
L’équipe R&D de Label4.aiWatermark11 min de lecture
Que fait une IA quand elle génère du texte ?
Nous sommes exposés quotidiennement aux puissants outils IA avec qui nous dialoguons comme nous le ferions avec des humains. Pourtant ces systèmes, appelés LLM (pour Large Language Models), sont des automates, qui fonctionnent selon un principe précis.
Voici une présentation très simplifiée de la façon dont ces outils vous répondent et produisent du texte. Un LLM ne rédige pas une phrase entière d’un seul coup. Il avance un ‘token’ (jeton en anglais) à la fois. Un token est un morceau de texte, qui peut être un mot, une partie de mot ou un signe de ponctuation. Le LLM à pour tâche de compléter, token par token, le texte précédent, qui peut être votre question initiale, ou toute la conversation précédente.
Par exemple, si on lui donne :
« J’aime beaucoup les »
le modèle regarde tout ce qui a déjà été écrit et estime quels tokens pourraient venir ensuite, avec pour chacun une certaine probabilité :
chats 30 %
chiens 30 %
patates 15 %
artichauts 5 %
…
Il tire ensuite au hasard un token en fonction de ces probabilités. Supposons qu’il choisisse « chiens » :
« J’aime beaucoup les chiens »
Le modèle recommence alors exactement la même opération pour trouver le token suivant, en tenant compte du nouveau contexte.
C’est donc une boucle très simple :
Dans la réalité, les calculs qui permettent de produire ces probabilités sont extrêmement complexes. Mais pour comprendre le watermarking, on peut oublier toute cette complexité et imaginer simplement que le LLM produit une table pour chaque token possible du vocabulaire et y associe un intervalle sur le résultat d’un dé à plein de faces. Il lance ensuite ce dé, regarde dans quel intervalle tombe le résultat, et choisi le token correspondant.
Et c’est sur le tirage de ce dé ou la table d’association résultat->token que les techniques de watermarking vont intervernir.
Comment cacher une signature invisible dans un texte généré ?
Une idée assez élégante consiste à profiter de la façon dont un LLM écrit : il ne choisit pas toujours le même mot. Il tire au sort le prochain token parmi plusieurs possibilités, avec des probabilités différentes.
Le watermarking, ou tatouage numérique, consiste alors à influencer ce tirage d’une manière secrète et détectable uniquement par celui qui détient ce secret.
Trois approches permettent de bien comprendre les différentes possibilités : Kirchenbauer, Aaronson et WaterMax.
Prenons une phrase très simple :
« J’aime beaucoup les … »
Le modèle regarde ce qui a déjà été écrit et estime ce qui pourrait venir ensuite.
Pour simplifier, imaginons qu’il fonctionne avec un dé à six faces :
| Résultat du dé | Token choisi |
| 1 ou 2 | chats |
| 3 ou 4 | chiens |
| 5 | patates |
| 6 | artichauts |
Le modèle a donc :
2 chances sur 6 de choisir « chats » ;
2 chances sur 6 de choisir « chiens » ;
1 chance sur 6 de choisir « patates » ;
1 chance sur 6 de choisir « artichauts ».
Il lance le dé, fait 2, et choisit donc « chats ». Une fois le token choisi, il est ajouté au texte :
« J’aime beaucoup les chats »
Le modèle recommence alors exactement le même processus pour choisir le token suivant.
Et ainsi de suite, jusqu’à obtenir tout le texte.
C’est une simplification, bien sûr : dans un vrai LLM, il y a énormément de tokens possibles et les probabilités sont calculées à partir du contexte. Mais pour comprendre le watermarking, notre dé suffit largement.
Kirchenbauer : truquer légèrement le dé
Le watermark de Kirchenbauer et ses collègues, présenté dans « A Watermark for Large Language Models« , repose sur une idée très simple : à chaque étape, on sépare secrètement les tokens en deux groupes.
Appelons-les les tokens verts et les tokens rouges.
La séparation dépend du contexte et d’une information secrète. Le détecteur, qui connaît cette information, pourra donc refaire la même séparation.
Reprenons notre dé.
Sans watermark :
| Résultat du dé | Token choisi |
| 1 ou 2 | chats |
| 3 ou 4 | chiens |
| 5 | patates |
| 6 | artichauts |
Imaginons maintenant que le système décide que :
« chats » est rouge ;
« chiens » est vert ;
« patates » est rouge ;
« artichauts » est vert.
Le watermark va alors favoriser les tokens verts.
On peut visualiser cela comme si quelqu’un avait modifié la table associant le résultat du dé au prochain token :
| Résultat du dé | Token choisi |
| 1,2,3 ou 4 | chiens |
| 5,6 | artichauts |
Sans watermark, nous avions 2 chances sur 6 de tirer le token « chats » et 1 chance sur 6 de tirer le token « patates ».
Avec le watermark, on donne davantage de chances aux tokens de la liste verte, et les tokens verts « chiens » et « artichauts » sont favorisés au détriment des tokens rouges « chats » et « patates ».
En pratique, le watermark ne barre généralement pas complètement les autres possibilités. Il leur donne plutôt moins de chances et augmente celles des tokens verts.
Sur un texte long ces petites préférences statistiques finissent par s’accumuler. Un détecteur, ayant connaissance des listes vertes et rouges, observera anormalement beaucoup de tokens appartenant aux listes vertes (« chiens », « artichauts ») sur le texte avec watermark. Il peut compter les tokens verts et la comparer à ce qui serait attendu sur un texte sans watermark (autant de tokens verts que de tokens rouge par exemple). Si ce nombre de token verts cumulé est suffisamment improbable à observer sans watermark, le détecteur considère que le texte porte probablement le watermark.
Le texte reste pourtant parfaitement lisible et ne porte pas de contrainte évidente mises lors de sa rédaction pour un observateur qui n’aurait pas connaissance des listes rouges et vertes.
Détail important pour la sécurité : la liste verte change.
Il ne suffit pas de décider une fois pour toutes que « chiens » et « artichauts » sont verts, sinon le watermark serait extrêmement facile à repérer.
La liste verte est donc recalculée à chaque étape, en fonction du contexte et d’une clé secrète.
Par exemple :
« J’aime beaucoup les »
↓
liste verte :
chiens, artichauts, …
Puis, après avoir choisi « chiens » :
« J’aime beaucoup les chiens »
↓
nouvelle liste verte :
et, poilus, fidèles, …
Le détecteur qui possède la clé peut refaire ces calculs et vérifier si le texte contient effectivement trop de tokens verts.
C’est cette succession de petits biais qui constitue la signature.
Aaronson : ne pas truquer le dé, mais contrôler le hasard
L’idée proposée par Scott Aaronson et développée avec Hendrik Kirchner est différente.
On peut se poser la question suivante :
Et si on ne modifiait pas les probabilités, mais qu’on faisant semblant de lancer le dé au hasard ?
Reprenons notre tableau initial:
| Résultat du dé | Token choisi |
| 1 ou 2 | chats |
| 3 ou 4 | chiens |
| 5 | patates |
| 6 | artichauts |
Normalement, le dé produit un résultat aléatoire.
Avec l’approche d’Aaronson, le générateur utilise à la place un pseudo-aléa déterminé par le contexte et une clé secrète.
Le résultat doit toujours avoir l’air aléatoire pour quelqu’un qui ne possède pas la clé.
Mais le détenteur de la clé peut reconstruire le hasard qui aurait dû être utilisé. Par exemple, cette séquence secrète pourrait être de décider d’une séquence 1-6-3-3-4-5 associée à une clé. Cette séquence semble le résultat d’un tirage d’un dé mais est en fait fixée une fois la clé connue.
Il peut alors regarder le texte et constater :
« Tiens, les choix effectués correspondent remarquablement bien à la suite de faux tirages pseudo-aléatoires associée à ma clé. »
Le watermark ne correspond donc plus à favoriser certains tokens mais à contrôler la séquence de tirage pour qu’elle semble dépendre du hasard sans que ce soit effectivement le cas.
C’est une différence assez subtile, mais importante : l’objectif est de pouvoir conserver la distribution normale du modèle tout en cachant une information dans le processus de tirage.
WaterMax : lancer le dé plusieurs fois
WaterMax, proposé par Giboulot et Furon, prend encore une autre direction. L’idée est notamment d’éviter de modifier directement le fonctionnement du LLM ou ses probabilités.
Cette fois, imaginons qu’on veuille choisir le prochain token.
Au lieu de lancer le dé une seule fois, on le lance plusieurs fois.
Par exemple :
Lancer 1 → chiens
Lancer 2 → chats
Lancer 3 → artichauts
Lancer 4 → chiens
On a donc plusieurs possibilités.
On attribue ensuite un score de watermark à chaque résultat et on cherche celui qui donne le meilleur score.
Par exemple :
| Token | Score |
| chats | 0,71 |
| chiens | 0,12 |
| patates | 0,93 |
| artichauts | 1,42 |
On choisit alors :
artichauts, parce que son score est le plus élevé, ET qu’il fait partie des tokens tirés. Cette double condition est importante pour que le token choisi reste plausible.
La contrepartie, c’est qu’il faut générer plusieurs possibilités pour en sélectionner une. WaterMax déplace ainsi le compromis entre qualité, détectabilité et coût de calcul plutôt que de simplement augmenter le biais appliqué à chaque token.
SynthID-Text : faire s’affronter les candidats
SynthID-Text, développé par Google DeepMind et utilisé notamment pour le texte généré par Gemini, adopte une approche encore différente. Il utilise lui aussi le hasard et une information secrète, mais au lieu de simplement modifier les probabilités ou de contrôler directement le tirage, il organise un véritable tournoi entre plusieurs tokens candidats.
Reprenons notre fameux dé.
Normalement, pour choisir le prochain token, le modèle lance une fois le dé :
| Résultat du dé | Token choisi |
| 1 ou 2 | chats |
| 3 ou 4 | chiens |
| 5 | patates |
| 6 | artichauts |
Avec SynthID-Text, on va plutôt tirer plusieurs candidats à partir de la distribution normale du modèle.
Imaginons, pour simplifier, que le système obtienne quatre candidats :
chats
chiens
artichauts
chiens
Ces candidats vont ensuite s’affronter deux par deux.
Mais qui gagne ?
C’est ici qu’intervient la clé secrète.
À chaque étape, le système utilise le contexte récent du texte et une clé secrète pour produire une suite de valeurs pseudo-aléatoires. Ces valeurs permettent d’attribuer à chaque token un score de watermark, par exemple 0 ou 1.
Imaginons :
| Token | Score |
| chats | 0 |
| chiens | 1 |
| artichauts | 1 |
On fait alors s’affronter les candidats deux par deux.
Par exemple :
chats (0) ─────┐
├── chiens (1)
chiens (1) ────┘
artichauts (1) ─┐
├── artichauts (1)
chiens (1) ────┘
Les gagnants passent au tour suivant. En cas d’égalité, l’un des candidats est choisi aléatoirement.
Puis les gagnants s’affrontent à nouveau, avec une nouvelle fonction de score pseudo-aléatoire.
Et ainsi de suite jusqu’à ce qu’il ne reste plus qu’un seul token.
Ce dernier token devient celui que le LLM ajoute au texte.
Les quatre techniques, côte à côte
On peut maintenant résumer les quatre approches avec notre fameux dé.
Chacune intervient à un endroit légèrement différent du processus de génération.
On peut les résumer comme ceci :
| Méthode | Que fait-elle du dé ? |
|---|---|
| Kirchenbauer | Elle biaise légèrement les probabilités en faveur de certains tokens. |
| Aaronson / Kirchner | Elle contrôle secrètement le hasard utilisé pour effectuer le tirage. |
| WaterMax | Elle effectue plusieurs tirages et choisit celui qui porte le mieux le watermark. |
| SynthID-Text | Elle effectue plusieurs tirages puis organise un tournoi secret entre les candidats. |
Ces quatre techniques poursuivent finalement le même objectif : transformer la liberté qu’a le LLM de choisir entre plusieurs continuations plausibles en un canal permettant de cacher une signature statistique.
La différence est simplement l’endroit où cette liberté est exploitée :
Kirchenbauer agit sur les probabilités ;
Aaronson / Kirchner agit sur le hasard du tirage ;
WaterMax agit sur la sélection parmi plusieurs tirages ;
SynthID-Text agit sur le tournoi entre plusieurs candidats.
Dans tous les cas, le texte final doit rester suffisamment naturel pour que le watermark soit pratiquement invisible à la lecture.
Pourquoi le watermark fonctionne-t-il ?
Il reste une question fondamentale :
Comment une petite modification peut-elle être détectable dans un texte de plusieurs milliers de tokens ?
Parce que le watermark ne cherche pas à faire quelque chose de spectaculaire sur un seul token.
Il cherche à créer une toute petite préférence qui se répète.
Imagine un dé normal lancé 1 000 fois.
Si le watermark fait légèrement favoriser certaines faces, on peut finir par obtenir quelque chose comme :
Sans watermark :
≈ 50 % de résultats « verts »
Avec watermark :
≈ 60 % de résultats « verts »
À l’échelle d’un seul lancer, impossible de voir quoi que ce soit.
À l’échelle de 1 000 lancers, la différence devient beaucoup plus intéressante statistiquement.
Le principe est donc :
petite perturbation × beaucoup de tokens = signal détectable.
Et si le texte est court ?
C’est là que le watermark rencontre une limite naturelle.
S’il n’y a que dix tokens, il y a peu d’informations à analyser.
Un texte peut parfaitement contenir, par hasard, beaucoup de tokens verts.
Le détecteur risque alors de ne pas avoir suffisamment d’éléments pour distinguer :
« watermark »
de :
« simple hasard ».
Plus le texte est long, plus le détecteur dispose d’observations pour accumuler de l’évidence statistique.
Et si quelqu’un réécrit le texte ?
Le watermark est attaché aux choix de tokens. Une réécriture partielle entraine donc une dégradation de la dérivation statistique introduire par le watermark.
Si quelqu’un prend :
« J’aime beaucoup les chiens parce qu’ils sont adorables »
et le réécrit :
« J’apprécie énormément les chiens car ils sont particulièrement mignons »
une partie des tokens d’origine disparaît.
Le signal peut donc être affaibli. Ici seul « les chiens » correspond à une suite de mots présente dans le texte avec watermark, il y’a donc de forte chance que sa présence ne soit plus détectable.
La résistance à la paraphrase, aux modifications et aux attaques, intentionnelles ou non, est ainsi un sujet important de recherche sur les watermarks des LLM. Les différentes méthodes font des compromis différents entre détectabilité, qualité et robustesse.
Conclusion
Nous avons présenté quatre techniques d’ajout de watermark au moment de la génération d’un texte par un LLM. Ces techniques agissent toutes au moment du choix du prochain token, en introduisant un biais statistique qui cumulé permet d’affirmer avec quasi-certitude qu’un watermark est présent. Néanmoins ces techniques sont limitées par la quantité de texte nécessaire à pouvoir établir la présence de ce biais statistiques. Elle ne s’appliquent également qu’à du texte généré, et ne peuvent donc pas servir à tracer ou authentifier des textes réels, à moins de les faire réécrire par un LLM. Enfin elles ont un impact, même léger, sur la qualité du texte généré et parfois aussi la latence de génération.
Toutefois, sans watermark, la détection de texte généré reposant uniquement sur les artefacts de génération intrinsèques des LLM est extrêmement fragile. C’est pourquoi le watermark texte est une nécessité identifiée pour répondre aux attentes de l’EU AI Act.
Une question sur votre propre cas ? Parlons-en.