Le watermarking de LLM, qui intègre des signaux imperceptibles mais détectables dans les sorties de modèle pour identifier le texte généré par les LLM, est essentiel pour prévenir les mauvaises utilisations des grands modèles de langage. Ces techniques de watermarking sont principalement divisées en deux catégories : la famille KGW et la famille Christ. La famille KGW modifie les logits produits par le LLM pour créer une sortie watermarkée en catégorisant le vocabulaire en une liste verte et une liste rouge en fonction du jeton précédent. Un biais est introduit dans les logits des jetons de la liste verte pendant la génération de texte, favorisant ces jetons dans le texte produit. Une métrique statistique est ensuite calculée à partir de la proportion de mots verts, et un seuil est établi pour distinguer entre le texte watermarké et non watermarké. Les améliorations de la méthode KGW incluent une meilleure partition des listes, une meilleure manipulation des logits, une capacité d’information de watermark accrue, une résistance aux attaques de suppression de watermark et la possibilité de détecter des watermarks publiquement.

Inversement, la famille Christ modifie le processus d’échantillonnage pendant la génération de texte de LLM, en intégrant un watermark en modifiant la façon dont les jetons sont sélectionnés. Les deux familles de watermarking visent à équilibrer la détectabilité du watermark avec la qualité du texte, en abordant des défis tels que la robustesse dans des paramètres d’entropie variables, l’augmentation de la capacité d’information de watermark et la protection contre les tentatives de suppression. Les recherches récentes se sont concentrées sur l’amélioration de la partition des listes et de la manipulation des logits, l’augmentation de la capacité d’information de watermark, le développement de méthodes pour résister à la suppression de watermark et la mise en place de la détection publique. En fin de compte, le watermarking de LLM est crucial pour une utilisation éthique et responsable des grands modèles de langage, en fournissant un moyen de tracer et de vérifier le texte généré par LLM. Les familles KGW et Christ offrent deux approches distinctes, chacune avec des forces et des applications uniques, en constante évolution grâce à la recherche et à l’innovation.

En raison de la capacité des cadres de watermarking de LLM à intégrer des signaux détectables dans les sorties de modèle pour identifier le texte généré par un cadre de LLM, ce dernier joue un rôle crucial dans l’atténuation des risques associés à une mauvaise utilisation des grands modèles de langage. Cependant, il existe actuellement une abondance de cadres de watermarking de LLM sur le marché, chacun avec ses propres perspectives et procédures d’évaluation, ce qui rend difficile pour les chercheurs l’expérimentation avec ces cadres. Pour contrer ce problème, MarkLLM, un outil de watermarking open-source, offre un cadre extensible et unifié pour mettre en œuvre les algorithmes de watermarking de LLM tout en fournissant des interfaces utilisateur conviviales pour assurer la facilité d’utilisation et l’accès. De plus, le cadre MarkLLM prend en charge la visualisation automatique des mécanismes de ces cadres, améliorant ainsi la compréhension de ces modèles. Le cadre MarkLLM offre une suite complète de 12 outils couvrant trois perspectives ainsi que deux pipelines d’évaluation automatisés pour évaluer ses performances. Cet article vise à couvrir en profondeur le cadre MarkLLM, et nous explorons le mécanisme, la méthodologie, l’architecture du cadre ainsi que sa comparaison avec les cadres de l’état de l’art. Alors, commençons.

MarkLLM : Un outil de watermarking de LLM

L’émergence de cadres de modèles de langage tels que LLaMA, GPT-4, ChatGPT et plus encore a considérablement progressé la capacité des modèles d’IA à effectuer des tâches spécifiques, notamment l’écriture créative, la compréhension du contenu, la récupération de la formation et bien plus encore. Cependant, avec les avantages remarquables associés à la compétence exceptionnelle des grands modèles de langage actuels, certains risques ont émergé, notamment la rédaction de papiers académiques fantômes, les fausses nouvelles et les représentations générées par LLM, ainsi que l’usurpation d’identité à des fins personnelles, pour n’en citer que quelques-uns. Compte tenu des risques associés à ces problèmes, il est essentiel de développer des méthodes fiables capables de distinguer entre le contenu généré par LLM et le contenu humain, une exigence majeure pour assurer l’authenticité de la communication numérique et prévenir la propagation de fausses informations. Au cours des dernières années, le watermarking de LLM a été recommandé comme l’une des solutions prometteuses pour distinguer le contenu généré par LLM du contenu humain, et en intégrant des fonctionnalités distinctes pendant le processus de génération de texte, les sorties de LLM peuvent être identifiées de manière unique à l’aide de détecteurs spécialement conçus. Cependant, en raison de la prolifération et des algorithmes relativement complexes des cadres de watermarking de LLM, ainsi que de la diversification des métriques et des perspectives d’évaluation, il est devenu extrêmement difficile d’expérimenter avec ces cadres.

Pour combler ce fossé, le cadre MarkLLM tente de faire les contributions suivantes. MARKLLM offre des interfaces cohérentes et conviviales pour charger les algorithmes, générer du texte watermarké, effectuer des processus de détection et collecter des données pour la visualisation. Il fournit des solutions de visualisation personnalisées pour les deux grandes familles d’algorithmes de watermarking, permettant aux utilisateurs de voir comment différents algorithmes fonctionnent sous diverses configurations avec des exemples du monde réel. L’outil comprend un module d’évaluation complet avec 12 outils abordant la détectabilité, la robustesse et l’impact sur la qualité du texte. De plus, il comporte deux types de pipelines d’évaluation automatisés prenant en charge la personnalisation des ensembles de données, des modèles, des métriques d’évaluation et des attaques, facilitant ainsi des évaluations flexibles et approfondies. Conçu avec une architecture modulaire et déconnectée, MARKLLM améliore la scalabilité et la flexibilité. Ce choix de conception prend en charge l’intégration de nouveaux algorithmes, de techniques de visualisation innovantes et l’extension de l’outil d’évaluation par les développeurs futurs.

De nombreux algorithmes de watermarking ont été proposés, mais leurs approches d’implémentation uniques donnent souvent la priorité à des exigences spécifiques plutôt qu’à la normalisation, ce qui entraîne plusieurs problèmes

1. Manque de normalisation dans la conception de classe : cela nécessite des efforts importants pour optimiser ou étendre les méthodes existantes en raison de conceptions de classe insuffisamment normalisées.
2. Manque d’uniformité dans les interfaces d’appel de niveau supérieur : les interfaces incohérentes rendent le traitement par lots et la réplication de différents algorithmes fastidieux et laborieux.
3. Problèmes de normes de code : les défis incluent la nécessité de modifier les paramètres dans plusieurs segments de code et une documentation incohérente, compliquant la personnalisation et l’utilisation efficace. Les valeurs codées en dur et la gestion des erreurs incohérente entravent encore plus l’adaptabilité et les efforts de débogage.

Pour résoudre ces problèmes, notre outil propose un cadre d’implémentation unifié qui permet l’invocation pratique de divers algorithmes d’état de l’art sous des configurations flexibles. De plus, notre structure de classe soigneusement conçue ouvre la voie à des extensions futures. La figure suivante illustre la conception de ce cadre d’implémentation unifié.

En raison de la conception distributive du cadre, il est straightforward pour les développeurs d’ajouter des interfaces de niveau supérieur à une classe d’algorithme de watermarking spécifique sans se soucier de l’impact sur les autres algorithmes.

MarkLLM : Architecture et méthodologie

Les techniques de watermarking de LLM sont principalement divisées en deux catégories : la famille KGW et la famille Christ. La famille KGW modifie les logits produits par le LLM pour créer une sortie watermarkée en catégorisant le vocabulaire en une liste verte et une liste rouge en fonction du jeton précédent. Un biais est introduit dans les logits des jetons de la liste verte pendant la génération de texte, favorisant ces jetons dans le texte produit. Une métrique statistique est ensuite calculée à partir de la proportion de mots verts, et un seuil est établi pour distinguer entre le texte watermarké et non watermarké. Les améliorations de la méthode KGW incluent une meilleure partition des listes, une meilleure manipulation des logits, une capacité d’information de watermark accrue, une résistance aux attaques de suppression de watermark et la possibilité de détecter des watermarks publiquement.

Inversement, la famille Christ modifie le processus d’échantillonnage pendant la génération de texte de LLM, en intégrant un watermark en modifiant la façon dont les jetons sont sélectionnés. Les deux familles de watermarking visent à équilibrer la détectabilité du watermark avec la qualité du texte, en abordant des défis tels que la robustesse dans des paramètres d’entropie variables, l’augmentation de la capacité d’information de watermark et la protection contre les tentatives de suppression. Les recherches récentes se sont concentrées sur l’amélioration de la partition des listes et de la manipulation des logits, l’augmentation de la capacité d’information de watermark, le développement de méthodes pour résister à la suppression de watermark et la mise en place de la détection publique. En fin de compte, le watermarking de LLM est crucial pour une utilisation éthique et responsable des grands modèles de langage, en fournissant un moyen de tracer et de vérifier le texte généré par LLM. Les familles KGW et Christ offrent deux approches distinctes, chacune avec des forces et des applications uniques, en constante évolution grâce à la recherche et à l’innovation.

Évaluation complète automatisée

Évaluer un algorithme de watermarking de LLM est une tâche complexe. Tout d’abord, cela nécessite de prendre en compte divers aspects, notamment la détectabilité du watermark, la robustesse contre les attaques et l’impact sur la qualité du texte. Deuxièmement, les évaluations de chaque perspective peuvent nécessiter des métriques, des scénarios d’attaque et des tâches différents. De plus, la réalisation d’une évaluation implique généralement plusieurs étapes, telles que la sélection du modèle et de l’ensemble de données, la génération de texte watermarké, le post-traitement, la détection de watermark, les attaques de texte et le calcul des métriques. Pour faciliter l’évaluation pratique et approfondie des algorithmes de watermarking de LLM, MarkLLM propose douze outils conviviaux, notamment des calculateurs de métriques et des attaquants qui couvrent les trois perspectives d’évaluation mentionnées. De plus, MARKLLM fournit deux types de pipelines de démonstration automatisés, dont les modules peuvent être personnalisés et assemblés de manière flexible, permettant une configuration et une utilisation faciles.

Pour l’aspect de la détectabilité, la plupart des algorithmes de watermarking nécessitent finalement de spécifier un seuil pour distinguer entre les textes watermarkés et non watermarkés. Nous fournissons un calculateur de taux de réussite de base en utilisant un seuil fixe. De plus, pour minimiser l’impact de la sélection du seuil sur la détectabilité, nous proposons également un calculateur qui prend en charge la sélection dynamique du seuil. Cet outil peut déterminer le seuil qui donne le meilleur score F1 ou sélectionner un seuil en fonction d’un taux de faux positifs (FPR) cible spécifié par l’utilisateur.

Pour l’aspect de la robustesse, MARKLLM propose trois attaques de tampering de texte au niveau du mot : suppression aléatoire de mots à un ratio spécifié, substitution aléatoire de synonymes en utilisant WordNet comme ensemble de synonymes et substitution de synonymes sensibles au contexte en utilisant BERT comme modèle d’incrustation. De plus, deux attaques de tampering de texte au niveau du document sont fournies : paraphrasage du contexte via l’API OpenAI ou le modèle Dipper. Pour l’aspect de la qualité du texte, MARKLLM propose deux outils d’analyse directe : un calculateur de perplexité pour évaluer la fluidité et un calculateur de diversité pour évaluer la variabilité des textes. Pour analyser l’impact du watermarking sur la qualité du texte dans des tâches spécifiques en aval, nous fournissons un calculateur de BLEU pour les tâches de traduction automatique et un juge de passage ou non pour les tâches de génération de code. De plus, étant donné les méthodes actuelles pour comparer la qualité du texte watermarké et non watermarké, qui incluent l’utilisation d’un LLM plus fort pour le jugement, MarkLLM propose également un discriminant GPT, utilisant GPT-4 pour comparer la qualité du texte.

Pipelines d’évaluation

Pour faciliter l’évaluation automatisée des algorithmes de watermarking de LLM, MARKLLM fournit deux pipelines d’évaluation : l’un pour évaluer la détectabilité du watermark avec et sans attaques, et l’autre pour analyser l’impact de ces algorithmes sur la qualité du texte. En suivant ce processus, nous avons mis en œuvre deux pipelines : WMDetect3 et UWMDetect4. La principale différence entre eux réside dans la phase de génération de texte. Le premier nécessite l’utilisation de la méthode generate_watermarked_text de l’algorithme de watermarking, tandis que le second dépend du paramètre text_source pour déterminer s’il faut récupérer directement du texte naturel à partir d’un ensemble de données ou invoquer la méthode generate_unwatermarked_text.

Pour évaluer l’impact du watermarking sur la qualité du texte, des paires de textes watermarkés et non watermarkés sont générées. Les textes, ainsi que d’autres entrées nécessaires, sont ensuite traités et alimentés dans un analyseur de qualité de texte désigné pour produire des résultats d’analyse et de comparaison détaillés. En suivant ce processus, nous avons mis en œuvre trois pipelines pour différents scénarios d’évaluation :

1. DirectQual.5 : Ce pipeline est spécifiquement conçu pour analyser la qualité des textes en comparant directement les caractéristiques des textes watermarkés avec celles des textes non watermarkés. Il évalue des métriques telles que la perplexité (PPL) et la diversité logarithmique, sans nécessiter de textes de référence externes.
2. RefQual.6 : Ce pipeline évalue la qualité du texte en comparant à la fois les textes watermarkés et non watermarkés avec un texte de référence commun. Il mesure le degré de similarité ou de déviation par rapport au texte de référence, le rendant idéal pour les scénarios qui nécessitent des tâches spécifiques en aval pour évaluer la qualité du texte, telles que la traduction automatique et la génération de code.
3. ExDisQual.7 : Ce pipeline utilise un juge externe, tel que GPT-4 (OpenAI, 2023), pour évaluer la qualité des textes watermarkés et non watermarkés. Le discriminant évalue les textes en fonction des descriptions de tâches fournies par l’utilisateur, en identifiant toute dégradation potentielle ou préservation de la qualité due au watermarking. Cette méthode est particulièrement précieuse lorsque une analyse avancée, basée sur l’IA, des effets subtils du watermarking est requise.

MarkLLM : Expériences et résultats

Pour évaluer ses performances, le cadre MarkLLM effectue des évaluations sur neuf algorithmes différents et évalue leur impact, leur robustesse et leur détectabilité sur la qualité du texte.

Le tableau ci-dessus contient les résultats d’évaluation de la détectabilité de neuf algorithmes pris en charge dans MarkLLM. L’ajustement dynamique du seuil est utilisé pour évaluer la détectabilité du watermark, avec trois paramètres fournis : sous un FPR cible de 10 %, sous un FPR cible de 1 % et dans des conditions pour un score F1 optimal. 200 textes watermarkés sont générés, tandis que 200 textes non watermarkés servent d’exemples négatifs. Nous fournissons le TPR et le score F1 sous ajustement dynamique du seuil pour 10 % et 1 % de FPR, ainsi que le TPR, le TNR, le FPR, le FNR, la précision, le rappel, le score F1, l’exactitude à la performance optimale. Le tableau suivant contient les résultats d’évaluation de la robustesse de neuf algorithmes pris en charge dans MarkLLM. Pour chaque attaque, 200 textes watermarkés sont générés et ensuite altérés, avec 200 textes non watermarkés servant d’exemples négatifs. Nous rapportons le TPR et le score F1 à la performance optimale sous chaque circonstance.

Pensées finales

Dans cet article, nous avons discuté de MarkLLM, un outil de watermarking open-source qui offre un cadre extensible et unifié pour mettre en œuvre les algorithmes de watermarking de LLM tout en fournissant des interfaces utilisateur conviviales pour assurer la facilité d’utilisation et l’accès. De plus, le cadre MarkLLM prend en charge la visualisation automatique des mécanismes de ces cadres, améliorant ainsi la compréhension de ces modèles. Le cadre MarkLLM offre une suite complète de 12 outils couvrant trois perspectives ainsi que deux pipelines d’évaluation automatisés pour évaluer ses performances.