La marca de agua de LLM, que integra señales imperceptibles pero detectables dentro de las salidas del modelo para identificar el texto generado por LLM, es vital para prevenir el mal uso de los grandes modelos de lenguaje. Estas técnicas de marca de agua se dividen principalmente en dos categorías: la familia KGW y la familia Christ. La familia KGW modifica los logits producidos por el LLM para crear una salida con marca de agua al categorizar el vocabulario en una lista verde y una lista roja en función del token anterior. Se introduce un sesgo en los logits de los tokens de la lista verde durante la generación de texto, favoreciendo estos tokens en el texto producido. Luego, se calcula una métrica estadística a partir de la proporción de palabras verdes, y se establece un umbral para distinguir entre texto con marca de agua y texto sin marca de agua. Las mejoras al método KGW incluyen una mejor partición de listas, una mejor manipulación de logits, una mayor capacidad de información de marca de agua, resistencia a los ataques de eliminación de marca de agua y la capacidad de detectar marcas de agua públicamente.

Por otro lado, la familia Christ altera el proceso de muestreo durante la generación de texto de LLM, incorporando una marca de agua al cambiar la forma en que se seleccionan los tokens. Ambas familias de marca de agua tienen como objetivo equilibrar la detectabilidad de la marca de agua con la calidad del texto, abordando desafíos como la robustez en entornos de entropía variables, el aumento de la capacidad de información de marca de agua y la protección contra intentos de eliminación. La investigación reciente se ha centrado en refinar la partición de listas y la manipulación de logits, mejorar la capacidad de información de marca de agua, desarrollar métodos para resistir la eliminación de marca de agua y permitir la detección pública. En última instancia, la marca de agua de LLM es crucial para el uso ético y responsable de los grandes modelos de lenguaje, proporcionando un método para rastrear y verificar el texto generado por LLM. Las familias KGW y Christ ofrecen dos enfoques distintos, cada uno con sus propias fortalezas y aplicaciones, que evolucionan continuamente a través de la investigación y la innovación en curso.

Debido a la capacidad de los marcos de marca de agua de LLM para incorporar señales detectables algorítmicamente en las salidas del modelo para identificar el texto generado por un marco de LLM, está desempeñando un papel crucial en la mitigación de los riesgos asociados con el mal uso de los grandes modelos de lenguaje. Sin embargo, hay una abundancia de marcos de marca de agua de LLM en el mercado actualmente, cada uno con sus propias perspectivas y procedimientos de evaluación, lo que hace que sea difícil para los investigadores experimentar con estos marcos de manera fácil. Para contrarrestar este problema, MarkLLM, una herramienta de marca de agua de código abierto, ofrece un marco extensible y unificado para implementar algoritmos de marca de agua de LLM, mientras proporciona interfaces de usuario amigables para garantizar la facilidad de uso y el acceso. Además, el marco de MarkLLM admite la visualización automática de los mecanismos de estos marcos, lo que mejora la comprensión de estos modelos. El marco de MarkLLM ofrece una suite integral de 12 herramientas que cubren tres perspectivas, junto con dos tuberías de evaluación automatizadas para evaluar su rendimiento. Este artículo tiene como objetivo cubrir el marco de MarkLLM en profundidad, y exploramos el mecanismo, la metodología, la arquitectura del marco, junto con su comparación con los marcos de estado del arte. Así que comencemos.

MarkLLM: Una herramienta de marca de agua de LLM

El surgimiento de marcos de grandes modelos de lenguaje como LLaMA, GPT-4, ChatGPT y más ha avanzado significativamente la capacidad de los modelos de IA para realizar tareas específicas, incluyendo la escritura creativa, la comprensión de contenido, la formación de recuperación y mucho más. Sin embargo, junto con los beneficios notables asociados con la habilidad excepcional de los grandes modelos de lenguaje actuales, ciertos riesgos han surgido, incluyendo la escritura de artículos académicos fantasma, las noticias y representaciones falsas generadas por LLM, y la impersonación individual, por nombrar algunos. Dado que los riesgos asociados con estos problemas, es vital desarrollar métodos confiables con la capacidad de distinguir entre el contenido generado por LLM y el contenido humano, un requisito importante para garantizar la autenticidad de la comunicación digital y prevenir la propagación de información errónea. Durante los últimos años, la marca de agua de LLM se ha recomendado como una de las soluciones prometedoras para distinguir el contenido generado por LLM del contenido humano, y al incorporar características distintas durante el proceso de generación de texto, las salidas de LLM se pueden identificar de forma única utilizando detectores diseñados especialmente. Sin embargo, debido a la proliferación y los algoritmos relativamente complejos de los marcos de marca de agua de LLM, junto con la diversificación de las métricas de evaluación y las perspectivas, ha sido increíblemente difícil experimentar con estos marcos.

Para salvar la brecha actual, el marco de MarkLLM intenta hacer las siguientes contribuciones. MarkLLM ofrece interfaces consistentes y amigables para cargar algoritmos, generar texto con marca de agua, realizar procesos de detección y recopilar datos para la visualización. Proporciona soluciones de visualización personalizadas para ambas familias de algoritmos de marca de agua principales, lo que permite a los usuarios ver cómo funcionan diferentes algoritmos bajo diversas configuraciones con ejemplos del mundo real. La herramienta incluye un módulo de evaluación integral con 12 herramientas que abordan la detectabilidad, la robustez y el impacto en la calidad del texto. Además, cuenta con dos tipos de tuberías de evaluación automatizadas que admiten la personalización de conjuntos de datos, modelos, métricas de evaluación y ataques, lo que facilita evaluaciones flexibles y exhaustivas. Diseñado con una arquitectura modular y suelta, MarkLLM mejora la escalabilidad y la flexibilidad. Esta elección de diseño admite la integración de nuevos algoritmos, técnicas de visualización innovadoras y la extensión de la herramienta de evaluación por parte de desarrolladores futuros.

Se han propuesto numerosos algoritmos de marca de agua, pero sus enfoques de implementación únicos a menudo priorizan requisitos específicos sobre la estandarización, lo que conduce a varios problemas

1. Falta de estandarización en el diseño de clases: Esto requiere un esfuerzo significativo para optimizar o ampliar métodos existentes debido a diseños de clases insuficientemente estandarizados.
2. Falta de uniformidad en las interfaces de llamada de nivel superior: Las interfaces inconsistentes hacen que el procesamiento por lotes y la replicación de diferentes algoritmos sean engorrosos y laboriosos.
3. Problemas de estándar de código: Los desafíos incluyen la necesidad de modificar ajustes en múltiples segmentos de código y documentación inconsistente, lo que complica la personalización y el uso efectivo. Los valores codificados de forma rígida y el manejo de errores inconsistentes dificultan aún más los esfuerzos de adaptación y depuración.

Para abordar estos problemas, nuestra herramienta ofrece un marco de implementación unificado que permite la invocación conveniente de varios algoritmos de estado del arte bajo configuraciones flexibles. Además, nuestra estructura de clase diseñada meticulosamente allana el camino para futuras extensiones. La siguiente figura demuestra el diseño de este marco de implementación unificado.

Debido al diseño distributivo del marco, es sencillo para los desarrolladores agregar interfaces de nivel superior adicionales a cualquier clase de algoritmo de marca de agua específica sin preocuparse por afectar otros algoritmos.

MarkLLM: Arquitectura y Metodología

Las técnicas de marca de agua de LLM se dividen principalmente en dos categorías: la familia KGW y la familia Christ. La familia KGW modifica los logits producidos por el LLM para crear una salida con marca de agua al categorizar el vocabulario en una lista verde y una lista roja en función del token anterior. Se introduce un sesgo en los logits de los tokens de la lista verde durante la generación de texto, favoreciendo estos tokens en el texto producido. Luego, se calcula una métrica estadística a partir de la proporción de palabras verdes, y se establece un umbral para distinguir entre texto con marca de agua y texto sin marca de agua. Las mejoras al método KGW incluyen una mejor partición de listas, una mejor manipulación de logits, una mayor capacidad de información de marca de agua, resistencia a los ataques de eliminación de marca de agua y la capacidad de detectar marcas de agua públicamente.

Por otro lado, la familia Christ altera el proceso de muestreo durante la generación de texto de LLM, incorporando una marca de agua al cambiar la forma en que se seleccionan los tokens. Ambas familias de marca de agua tienen como objetivo equilibrar la detectabilidad de la marca de agua con la calidad del texto, abordando desafíos como la robustez en entornos de entropía variables, el aumento de la capacidad de información de marca de agua y la protección contra intentos de eliminación. La investigación reciente se ha centrado en refinar la partición de listas y la manipulación de logits, mejorar la capacidad de información de marca de agua, desarrollar métodos para resistir la eliminación de marca de agua y permitir la detección pública. En última instancia, la marca de agua de LLM es crucial para el uso ético y responsable de los grandes modelos de lenguaje, proporcionando un método para rastrear y verificar el texto generado por LLM. Las familias KGW y Christ ofrecen dos enfoques distintos, cada uno con sus propias fortalezas y aplicaciones, que evolucionan continuamente a través de la investigación y la innovación en curso.

Evaluación Integral Automatizada

Evaluar un algoritmo de marca de agua de LLM es una tarea compleja. Primero, requiere la consideración de varios aspectos, incluyendo la detectabilidad de la marca de agua, la robustez contra la manipulación y el impacto en la calidad del texto. En segundo lugar, las evaluaciones desde cada perspectiva pueden requerir diferentes métricas, escenarios de ataque y tareas. Además, realizar una evaluación generalmente implica múltiples pasos, como la selección de modelo y conjunto de datos, la generación de texto con marca de agua, el procesamiento posterior, la detección de marca de agua, la manipulación del texto y el cálculo de la métrica. Para facilitar la evaluación conveniente y exhaustiva de los algoritmos de marca de agua de LLM, MarkLLM ofrece doce herramientas amigables para el usuario, incluyendo varios calculadores de métricas y atacantes que cubren las tres perspectivas de evaluación mencionadas. Además, MarkLLM proporciona dos tipos de tuberías de demostración automatizadas, cuyos módulos se pueden personalizar y ensamblar de forma flexible, lo que permite una fácil configuración y uso.

En cuanto al aspecto de la detectabilidad, la mayoría de los algoritmos de marca de agua requieren finalmente especificar un umbral para distinguir entre textos con marca de agua y textos sin marca de agua. Proporcionamos un calculador básico de tasa de éxito utilizando un umbral fijo. Además, para minimizar el impacto de la selección del umbral en la detectabilidad, también ofrecemos un calculador que admite la selección dinámica del umbral. Esta herramienta puede determinar el umbral que produce la mejor puntuación F1 o seleccionar un umbral en función de una tasa de falsos positivos (FPR) objetivo especificada por el usuario.

En cuanto al aspecto de la robustez, MarkLLM ofrece tres ataques de manipulación de texto a nivel de palabra: eliminación aleatoria de palabras a una proporción especificada, sustitución aleatoria de sinónimos utilizando WordNet como conjunto de sinónimos y sustitución de sinónimos consciente del contexto utilizando BERT como modelo de incrustación. Además, se proporcionan dos ataques de manipulación de texto a nivel de documento: parafrasear el contexto a través de la API de OpenAI o el modelo Dipper. En cuanto al aspecto de la calidad del texto, MarkLLM ofrece dos herramientas de análisis directo: un calculador de perplexidad para medir la fluidez y un calculador de diversidad para evaluar la variabilidad de los textos. Para analizar el impacto de la marca de agua en la utilidad del texto en tareas específicas, proporcionamos un calculador de BLEU para tareas de traducción automática y un juez de aprobación o no para tareas de generación de código. Además, dado que los métodos actuales para comparar la calidad del texto con marca de agua y sin marca de agua incluyen el uso de un LLM más fuerte para el juicio, MarkLLM también ofrece un discriminador GPT, que utiliza GPT-4 para comparar la calidad del texto.

Tuberías de Evaluación

Para facilitar la evaluación automatizada de los algoritmos de marca de agua de LLM, MarkLLM proporciona dos tuberías de evaluación: una para evaluar la detectabilidad de la marca de agua con y sin ataques, y otra para analizar el impacto de estos algoritmos en la calidad del texto. Siguiendo este proceso, hemos implementado dos tuberías: WMDetect3 y UWMDetect4. La principal diferencia entre ellas radica en la fase de generación de texto. La primera requiere el uso del método generate_watermarked_text del algoritmo de marca de agua, mientras que la segunda depende del parámetro text_source para determinar si recuperar directamente texto natural de un conjunto de datos o invocar el método generate_unwatermarked_text.

Para evaluar el impacto de la marca de agua en la calidad del texto, se generan pares de textos con marca de agua y sin marca de agua. Los textos, junto con otras entradas necesarias, se procesan y se alimentan a un analizador de calidad de texto designado para producir resultados de análisis y comparación detallados. Siguiendo este proceso, hemos implementado tres tuberías para diferentes escenarios de evaluación:

1. DirectQual.5: Esta tubería está diseñada específicamente para analizar la calidad del texto comparando directamente las características de los textos con marca de agua con las de los textos sin marca de agua. Evalúa métricas como la perplexidad (PPL) y la diversidad logarítmica, sin necesidad de textos de referencia externos.
2. RefQual.6: Esta tubería evalúa la calidad del texto comparando tanto los textos con marca de agua como los textos sin marca de agua con un texto de referencia común. Mide el grado de similitud o desviación del texto de referencia, lo que la hace ideal para escenarios que requieren tareas específicas de evaluación de la calidad del texto, como la traducción automática y la generación de código.
3. ExDisQual.7: Esta tubería emplea un juez externo, como GPT-4 (OpenAI, 2023), para evaluar la calidad de los textos con marca de agua y sin marca de agua. El discriminador evalúa los textos en función de las descripciones de tareas proporcionadas por el usuario, identificando cualquier posible degradación o preservación de la calidad debido a la marca de agua. Este método es particularmente valioso cuando se requiere un análisis avanzado y basado en IA de los efectos sutiles de la marca de agua.

MarkLLM: Experimentos y Resultados

Para evaluar su rendimiento, el marco de MarkLLM realiza evaluaciones en nueve algoritmos diferentes y evalúa su impacto, robustez y detectabilidad en la calidad del texto.

La tabla anterior contiene los resultados de la evaluación de la detectabilidad de nueve algoritmos compatibles con MarkLLM. Se emplea un ajuste de umbral dinámico para evaluar la detectabilidad de la marca de agua, con tres configuraciones proporcionadas: bajo una tasa de FPR del 10%, bajo una tasa de FPR del 1% y bajo condiciones para el rendimiento óptimo de la puntuación F1. Se generan 200 textos con marca de agua, mientras que 200 textos sin marca de agua sirven como ejemplos negativos. Proporcionamos la tasa de verdaderos positivos (TPR) y la puntuación F1 bajo ajustes de umbral dinámicos para el 10% y el 1% de FPR, junto con la tasa de verdaderos negativos (TNR), la tasa de falsos positivos (FPR), la tasa de falsos negativos (FNR), la precisión (P), la recuperación (R), la puntuación F1, la exactitud (ACC) en el rendimiento óptimo. La siguiente tabla contiene los resultados de la evaluación de la robustez de nueve algoritmos compatibles con MarkLLM. Para cada ataque, se generan 200 textos con marca de agua y se manipulan, con 200 textos sin marca de agua adicionales que sirven como ejemplos negativos. Informamos la tasa de verdaderos positivos (TPR) y la puntuación F1 en el rendimiento óptimo bajo cada circunstancia.

Pensamientos Finales

En este artículo, hemos hablado sobre MarkLLM, una herramienta de marca de agua de código abierto que ofrece un marco extensible y unificado para implementar algoritmos de marca de agua de LLM, mientras proporciona interfaces de usuario amigables para garantizar la facilidad de uso y el acceso. Además, el marco de MarkLLM admite la visualización automática de los mecanismos de estos marcos, lo que mejora la comprensión de estos modelos. El marco de MarkLLM ofrece una suite integral de 12 herramientas que cubren tres perspectivas, junto con dos tuberías de evaluación automatizadas para evaluar su rendimiento.