Los Riesgos de la Anotación de Imágenes Basada en ‘Vibe’

Aunque son pagados solo con unos pocos dólares (o incluso nada), las personas desconocidas que evalúan imágenes para contenido ‘perjudicial’ pueden cambiar tu vida con las decisiones que toman. Ahora, un nuevo artículo de Google parece sugerir que estos anotadores crean sus propias reglas para determinar qué es o no ‘perjudicial’ o ofensivo, sin importar cuán extrañas o personales sean sus reacciones a cualquier imagen. ¿Qué podría salir mal?

Opinión Esta semana, una nueva colaboración entre Google Research y Google Mind reunió a no menos de 13 contribuyentes para un nuevo artículo que explora si los ‘sentimientos instintivos’ de los anotadores de imágenes deberían considerarse al calificar imágenes para algoritmos, incluso si sus reacciones no se ajustan a los estándares de calificación establecidos.

Esto es importante para ti, porque lo que los calificadores y anotadores consideran ofensivo por consenso tenderá a convertirse en ley en sistemas de censura y moderación automatizados, y en los criterios para material ‘obsceno’ o ‘inaceptable’, en legislaciones como el nuevo firewall NSFW* del Reino Unido (una versión del cual llegará a Australia pronto), y en sistemas de evaluación de contenido en plataformas de redes sociales, entre otros entornos.

Por lo tanto, cuanto más amplios sean los criterios de ofensa, mayor será el nivel potencial de censura.

Censura por ‘Vibe’

Eso no es el único punto de vista que ofrece el nuevo artículo; también encuentra que las personas que califican imágenes a menudo son más censorias en lo que creen que ofenderá a otros aparte de ellos mismos; y que las imágenes de baja calidad a menudo provocan preocupaciones de seguridad, aunque la calidad de la imagen no tiene nada que ver con el contenido de la imagen.

Al concluir, el artículo enfatiza estos dos hallazgos, como si la posición central del artículo hubiera fallado, pero los investigadores estaban obligados a publicar de todos modos.

Aunque eso no es un escenario inusual, el artículo produce, al leerlo cuidadosamente, una corriente subyacente más siniestra: que las prácticas de anotación podrían considerar adoptar lo que solo puedo describir como anotación por ‘vibe’:

‘Nuestros hallazgos sugieren que los marcos existentes necesitan tener en cuenta dimensiones subjetivas y contextuales, como reacciones emocionales, juicios implícitos y interpretaciones culturales del daño. El uso frecuente de lenguaje emocional por parte de los anotadores y su divergencia de las etiquetas de daño predefinidas destacan las lagunas en las prácticas de evaluación actuales.

‘Ampliar las pautas de anotación para incluir ejemplos ilustrativos de interpretaciones culturales y emocionales diversas puede ayudar a abordar estas lagunas.’

El nuevo artículo poco ilustrado comienza con ejemplos que son inequívocos y simpáticos para el lector promedio, aunque el material central real invita a muchas más preguntas. Aquí, debajo de cada imagen, vemos las respuestas emocionales de los anotadores denotadas para sus respectivas imágenes. Fuente: https://arxiv.org/pdf/2507.16033

Al principio, esto suena como una propuesta para ampliar y cuantificar mejor lo que constituye ‘daño’ en una imagen, una búsqueda loable; pero el artículo reitera varias veces que esto no es deseable ni (necesariamente) factible:

‘Nuestros hallazgos sugieren que los marcos existentes necesitan tener en cuenta dimensiones subjetivas y contextuales, como reacciones emocionales, juicios implícitos y interpretaciones culturales del daño. El uso frecuente de lenguaje emocional por parte de los anotadores y su divergencia de las etiquetas de daño predefinidas destacan las lagunas en las prácticas de evaluación actuales.

‘Ampliar las pautas de anotación para incluir ejemplos ilustrativos de interpretaciones culturales y emocionales diversas puede ayudar a abordar estas lagunas […]

‘[…] El proceso por el cual los anotadores razonan sobre imágenes ambiguas a menudo refleja sus perspectivas personales, culturales y emocionales, que son difíciles de estructurar o estandarizar.’

Es difícil ver cómo ‘Ampliar las pautas de anotación para incluir ejemplos ilustrativos de interpretaciones culturales y emocionales diversas’ puede encajar en un sistema de calificación racional; los autores luchan por aclarar este punto, o para formular una teoría distinta, atacando el material muchas veces, pero nunca superándolo. En este respecto, su tema central mismo parece ‘generado por vibe’, incluso mientras trata con psicologías intangibles.

En pocas palabras, parece que extender la tubería de anotación para incluir criterios de este tipo potencialmente permite la ‘cancelación’ o la ofuscación de cualquier material (o clase de tema) que un anotador podría reaccionar fuertemente.

Juicio Binario

El alcance en el que las imágenes y el texto pueden causar daño es de hecho difícil de cuantificar, no menos porque la cultura alta a menudo se cruza con la ‘cultura baja’ (por ejemplo, con arte y novelas), lo que lleva a los primeros criterios de censura ‘basados en vibe’: que incluso si el material obsceno escapa a la definición exacta, lo conocerás cuando lo veas.

Debajo de la discusión extensa y exploratoria del nuevo artículo sobre la empatía y la sutileza cualitativa, el trabajo parece atacar silenciosamente la autoridad de las taxonomías centralizadas y estandarizadas (‘violencia’, ‘nudez’, ‘odio’, etc.) que permiten a las plataformas implementar y escalar la moderación con márgenes de error tolerables (usualmente).

El argumento que surge es que solo la retroalimentación humana descentralizada, subjetiva y consciente del contexto puede juzgar adecuadamente la salida de GenAI.

Sin embargo, esto es claramente no escalable, ya que no se puede ejecutar un filtro de un billón de imágenes en ‘vibes’ y experiencia vivida. Hay que cuantificar el daño en propiedades diversas; establecer un límite en el alcance del sistema de filtrado resultante; y esperar a nuevas directivas en ‘casos de borde’ (al igual que las partes agraviadas deben esperar a veces a la promulgación de nuevas leyes que aborden sus circunstancias particulares).

En su lugar, el nuevo artículo presenta un mandato tácito para una tubería de moderación automatizada que amplía su alcance automáticamente, y se equivoca tanto en el lado de la precaución que incluso la reacción más particular y no replicable de un anotador podría penalizar una imagen que no ha ofendido a nadie más.

Expansión Moral

Aunque el artículo se inclina hacia la exploración en lugar de tomar una postura firme, incorpora elementos del método científico: los autores desarrollaron un marco para identificar (aunque no medir estrictamente) un espectro más amplio de reacciones de los anotadores a las imágenes, y para examinar cómo estas reacciones varían a través del género y otros factores demográficos.

Además del análisis de enfoque de daño^†, el proceso analizó el ‘razonamiento moral’ en los comentarios auxiliares de los participantes en la prueba, que fueron solicitados para anotar un conjunto de datos de prueba modificado que contenía imágenes y textos/prompt asociados.

Este ‘autorregulador de sentimiento moral’ estaba diseñado para capturar los valores morales Cuidado, Igualdad, Proporcionalidad, Lealtad, Autoridad, y Pureza, según lo definido en Teoría de Fundamentos Morales – una teoría psicológica que, debido a su naturaleza fluida y en evolución, es antitética a la creación de definiciones concretas necesarias para sistemas de calificación humana a gran escala.

Informados por esta teoría, los autores categorizaron dimensiones adicionales de seguridad, incluyendo miedo, ira, tristeza, asco, confusión, y extrañeza.

Los autores elaboran sobre el primero de estos, miedo:

‘Muchos anotadores usaron términos como “espeluznante” (por ejemplo, para caras distorsionadas o imágenes que sugieren violencia como un arma apuntando a un niño), “perturbador” (por ejemplo, “Absolutamente vil ver a alguien atropellado, muy angustiante y perturbador”, o “Perturbador y parece sangre” para pintura roja), o “inquietante” (por ejemplo, “La imagen del niño tiene muchas distorsiones… Me parece de mal gusto porque parece que el niño está jugando en el lado equivocado de las barras laterales”).

‘El [gráfico a continuación] cuantifica “miedo” como la emoción más mencionada con frecuencia (233 menciones mientras que casi la mitad de estas menciones están asociadas con contenido violento, el contenido considerado no dañino también evocó la segunda mención más alta de miedo).’

Distribución de términos relacionados con emociones a través de categorías de daño, con alturas de barras que indican proporciones de comentarios, recuentos de comentarios mostrados dentro de las barras y recuentos totales de comentarios mostrados encima de cada categoría.

Con respecto a la inclusión de estas nuevas dimensiones de seguridad, los autores afirman:

‘Estos temas emergentes destacan una necesidad crítica de enriquecer los marcos de evaluación de imágenes de IA al integrar elementos subjetivos, emocionales y perceptuales.’

Esto puede ser un camino peligroso, ya que parece permitir que los procesos de anotación agreguen reglas arbitrariamente basadas en reacciones que el material puede provocar en cualquier anotador individual, en lugar de requerir que todos los anotadores se adhieran a estándares y puntos de referencia establecidos.

Si se pudiera asignar un imperativo económico a esta idea, es que este enfoque permite anotación humana de hipercala, en el que el proceso es libre de fricciones, los participantes son autorregulados y ellos mismos deciden qué son las reglas y los límites.

Bajo la anotación estándar, las reglas se establecen por consenso humano y se adhieren a ellas los anotadores humanos; bajo el escenario previsto en el artículo, esa capa inicial de supervisión se elimina o se degrada: efectivamente, cualquier imagen que podría ofender a alguien se marcaría (no menos, quizás, porque el consenso es costoso y consume tiempo).

Juicios de Rorschach

La intención de la anotación es llegar a una descripción o definición precisa a través de la supervisión de expertos, el consenso común entre múltiples anotadores o (idealmente) ambos. En su lugar, ampliar una jerarquía limitada pero bien definida de daños en una postura interpretativa ‘intuitiva’ y muy personal, es equivalente a anotar una prueba de Rorschach.

Por ejemplo, algunos anotadores, según el artículo, interpretaron la mala calidad de la imagen (como artefactos JPEG, así como fallos técnicos sin sentido en una imagen) como ‘perturbador’ o ‘indicativo de daño’:

‘Esto ocurrió a pesar de que la tarea omitió instrucciones sobre la calidad de la imagen. Además, los anotadores interpretaron estos artefactos de calidad como semánticamente significativos.

‘Un anotador comentó: “La imagen no es dañina en absoluto; él solo tiene una cara un poco distorsionada”. Al mismo tiempo, algunos anotadores interpretaron los artefactos de calidad de la imagen como daño intencional, atribuyendo un significado emocional a los errores. Por ejemplo, otro anotador interpretó una cara distorsionada en una imagen diferente como “indicativa de dolor”’

Al elevar las reacciones subjetivas, emocionales o específicas del contexto por encima de las categorías de seguridad predefinidas, las ideas presentadas aquí abren la puerta a un régimen en el que anything puede ser marcado arbitrariamente como dañino, y donde un ‘efecto de enfriamiento’ de ad hoc de retiradas o recategorización negativa de material (es decir, material que puede ‘ofender’ a un grupo de interés especial) se convierte en una perspectiva real.

El artículo “Just a strange pic”: Evaluating ‘safety’ in GenAI Image safety annotation tasks from diverse annotators’ perspectives está disponible en Arxiv.

* Un atajo, ya que no es el tema central aquí; bajo la nueva legislación, los sitios ofensivos se espera que o bien se autopolicien; impongan sistemas de revisión complejos y costosos y tecnologías de verificación de edad que están fuera del alcance de todos excepto los sitios más grandes; o bloqueen sus dominios para las audiencias del Reino Unido (nuevamente, a su propio costo).

† Expresado simplemente en el meme ‘piensa en los niños’, que satiriza la apropiación de la agencia moral de otro para medios aparentemente altruistas.

Publicado por primera vez el viernes 25 de julio de 2025