Adobe y Meta critican el mal uso de los estudios de usuario en la investigación de visión por computadora

Adobe y Meta, junto con la Universidad de Washington, han publicado una crítica extensa sobre lo que afirman es el creciente mal uso y abuso de los estudios de usuario en la investigación de visión por computadora (CV).

Los estudios de usuario solían estar limitados a personas locales o estudiantes alrededor del campus de una o más de las instituciones académicas participantes, pero desde entonces han migrado casi en su totalidad a plataformas de crowdsourcing en línea como Amazon Mechanical Turk (AMT).

Entre una amplia gama de quejas, el nuevo documento sostiene que los proyectos de investigación están siendo presionados para producir estudios por parte de los revisores de artículos; a menudo formulan mal los estudios; encargan estudios donde la lógica del proyecto no respalda este enfoque; y a menudo son “maquillados” por trabajadores de la multitud cínica que “descubren” las respuestas deseadas en lugar de pensar realmente en el problema.

El tratado de quince páginas que comprende el cuerpo central del nuevo documento presenta muchas otras críticas a la forma en que los estudios de usuario crowdsourced pueden estar impidiendo el avance de subsectores de visión por computadora, como el reconocimiento de imágenes y la síntesis de imágenes.

Aunque el documento aborda una amplia gama de problemas relacionados con los estudios de usuario, sus críticas más fuertes están reservadas para la forma en que la evaluación de la salida en los estudios de usuario (es decir, cuando los humanos crowdsourced son pagados en los estudios de usuario para hacer juicios de valor sobre, por ejemplo, la salida de nuevos algoritmos de síntesis de imágenes) puede estar afectando negativamente a todo el sector.

Veamos algunos de los puntos centrales.

Interpretaciones sensacionalistas

Entre las sugerencias del documento para aquellos que publican en el sector de visión por computadora, está la advertencia de “interpretar los resultados con cuidado”. El documento cita un ejemplo de 2021, cuando un nuevo trabajo de investigación que afirmaba que “los individuos no pueden identificar con precisión el arte generado por IA” fue ampliamente difundido en la prensa popular.

Uno de los informes de medios más destacados sobre el papel de 2021 ‘El papel del conocimiento de atribución de IA en la evaluación de la obra de arte’, de Harsha Gangadharbatla, citado como ejemplo en el nuevo documento. Aquí, la fuente de The Daily Mail es The Times (de pago). Fuentes: Daily Mail (enlace de archivo) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

Los autores afirman*:

‘[En] un estudio en una revista de psicología, se recopilaron imágenes de obras de arte tradicionales y creadas por tecnologías de IA de la web, y se les pidió a los trabajadores de la multitud que distinguieran qué imágenes provenían de qué fuentes. A partir de los resultados se concluyó que “los individuos no pueden identificar con precisión la obra de arte generada por IA”, una conclusión muy amplia que no se sigue directamente de los experimentos.

‘Además, el documento no informa sobre los conjuntos de imágenes específicos que se recopilaron o utilizaron, lo que hace que las afirmaciones sean difíciles, si no imposibles, de verificar y reproducir.

‘Más preocupante es que la prensa popular informó estos resultados con afirmaciones engañosas de que las IA pueden hacer arte de forma independiente tan bien como los humanos.’

Manejo de trabajadores de la multitud que engañan

Los trabajadores crowdsourced no suelen ganar mucho por sus esfuerzos. Dado que sus perspectivas son mínimas, y su mejor potencial de ganancias es a través de la realización de una gran cantidad de tareas, muchos de ellos están, según la investigación, dispuestos a tomar cualquier “atajo” que acelere la tarea actual para que puedan pasar a la siguiente tarea menor.

El documento observa que los trabajadores crowdsourced, al igual que los sistemas de aprendizaje automático, aprenderán patrones repetitivos en los estudios de usuario que formulan los investigadores, e inferirán simplemente la “respuesta correcta” o “deseada”, en lugar de producir una respuesta orgánica real al material.

Con este fin, el documento recomienda realizar controles sobre los trabajadores crowdsourced, también conocidos como “pruebas de validación” o “centinelas” – efectivamente, secciones falsas de una prueba diseñadas para ver si el trabajador está prestando atención, haciendo clic aleatoriamente o simplemente siguiendo un patrón que han inferido ellos mismos de las pruebas, en lugar de pensar en sus elecciones.

Los autores afirman:

‘Por ejemplo, en el caso de pares de imágenes estilizadas, una imagen del par puede ser un resultado de mala calidad intencional y objetiva. Durante el análisis, los datos de los participantes que fallan algún número preestablecido de controles se pueden descartar, asumiendo que fueron generados por participantes que no estaban atentos o inconsistentes.

‘Estos controles deben insertarse aleatoriamente en el estudio y deben parecerse a otros ensayos; de lo contrario, los participantes pueden descubrir qué ensayos son los controles.’

Manejo de investigadores que engañan

Con o sin intención, los investigadores pueden ser cómplices de este tipo de “juego”; hay muchas formas en que pueden, quizás incluso involuntariamente, “señalar” sus elecciones deseables a los trabajadores de la multitud.

Por ejemplo, el documento observa que, al seleccionar trabajadores de la multitud con perfiles que pueden ser propicios para obtener las “respuestas ideales” en un estudio, nominalmente probando una hipótesis que podría haber fallado en un grupo menos “seleccionado” y más arbitrario.

La fraseología también es una preocupación clave:

‘La redacción debe reflejar los objetivos de alto nivel, por ejemplo, “¿Cuál imagen contiene menos artefactos?” en lugar de “¿Cuál imagen contiene menos defectos de color en la región facial?” Por el contrario, la redacción imprecisa de la tarea deja demasiado a la interpretación, por ejemplo, “¿Cuál imagen es mejor?” puede entenderse como “¿Cuál es más estéticamente agradable?” donde la intención podría haber sido evaluar “¿Cuál es más realista?”

Otra forma de “influenciar benignamente” a los participantes es hacerles saber, abierta o implícitamente, cuál de las posibles opciones frente a ellos es el método del autor, en lugar de un método anterior o una muestra aleatoria.

El documento establece*:

‘[Los] participantes pueden responder con las respuestas que creen que los investigadores desean, consciente o inconscientemente, lo que se conoce como el “efecto de buen sujeto”. No etiquetar las salidas con nombres como “nuestro método” o “método existente”. Los participantes pueden estar sesgados por la dinámica de poder (es decir, el investigador que lleva a cabo la sesión de investigación), los investigadores que utilizan el lenguaje para primar a los participantes (por ejemplo, “¿Cuánto le gusta esta herramienta que construí ayer?”), y los investigadores y los participantes en su relación (por ejemplo, si ambos trabajan en el mismo laboratorio o empresa).’

El formato de una tarea en un estudio de usuario también puede afectar la neutralidad del estudio. Los autores observan que, si en una presentación de lado a lado, la línea de base se coloca consistentemente en la izquierda (es decir, “imagen A”) y la salida del nuevo algoritmo en la derecha, los participantes en el estudio pueden inferir que B es la “mejor” opción, basándose en su creciente presunción del resultado deseado por los investigadores.

‘Otros aspectos de la presentación, como el tamaño de las imágenes en la pantalla, su distancia entre sí, etc., pueden influir en las respuestas de los participantes. Probar el estudio con algunos ajustes diferentes puede ayudar a detectar estos posibles factores de confusión temprano.’

Las personas equivocadas para el producto equivocado

Los autores observan en varios puntos del documento que los trabajadores crowdsourced son un recurso más “genérico” de lo que se habría esperado en décadas anteriores, cuando los investigadores se vieron obligados a solicitar ayuda localmente, a menudo de estudiantes de la facultad que complementaban sus ingresos a través de la participación en estudios.

El requisito de participación activa deja al trabajador de la multitud poco espacio para estar “desinteresado” por un producto que se está probando, y los autores del documento recomiendan que los investigadores identifiquen a sus usuarios objetivo antes de desarrollar y probar un producto o servicio potencial – de lo contrario, se arriesgan a producir algo muy difícil de crear, pero que nadie realmente quiere.

‘De hecho, hemos presenciado a menudo a investigadores de gráficos por computadora o visión que intentan que su investigación sea adoptada por los practicantes de la industria, solo para descubrir que la investigación no aborda las necesidades de los usuarios objetivo. Los investigadores que no realizan una búsqueda de necesidades al comienzo pueden sorprenderse al descubrir que los usuarios no tienen necesidad ni interés en la herramienta que han pasado meses o años desarrollando.

‘Esas herramientas pueden funcionar mal en los estudios de evaluación, ya que los usuarios pueden encontrar que la tecnología produce resultados inútiles, irrelevantes o inesperados.’

El documento también observa que los usuarios que probablemente utilizarán un producto deben ser seleccionados para los estudios, incluso si no son fáciles de encontrar (o, presumiblemente, tan baratos).

En lugar de regresar a la contratación en el campus (lo que sería quizás un movimiento un poco hacia atrás), los autores sugieren que los investigadores “recluten a los usuarios en el mundo real”, interactuando con comunidades pertinentes.

‘Por ejemplo, puede haber un tablero de mensajes en línea activo o una comunidad de redes sociales que se pueda aprovechar. Incluso conocer a un miembro de la comunidad puede llevar a muestreo de bola de nieve, en el que los usuarios relevantes ofrecen conexiones a personas similares en su red.’

Solicitar retroalimentación

El documento también recomienda solicitar retroalimentación cualitativa de aquellos que han participado en estudios de usuario, no menos porque esto puede potencialmente exponer suposiciones falsas por parte de los investigadores.

‘Estos pueden ayudar a depurar el estudio, pero también pueden revelar aspectos inesperados de la salida que influyeron en las calificaciones de los usuarios. ¿El participante estaba “muy insatisfecho” [sic] con la salida porque era irrealista, no estética, sesgada o por alguna otra razón?

‘Sin información cualitativa, el investigador puede trabajar en refinar el algoritmo para que sea más realista, en lugar de abordar el problema subyacente del usuario.’

Al igual que muchas de las recomendaciones en todo el documento, esta recomendación en particular implica un gasto adicional de tiempo y dinero por parte de los investigadores, en una cultura que, según el trabajo, está recurriendo a estudios de usuario crowdsourced rápidos y prácticamente obligatorios, que suelen ser bastante baratos, y que se ajustan a una cultura impulsada por estudios que el documento critica a lo largo.

Sobrestudiado

El documento sugiere que los estudios de usuario se están convirtiendo en una especie de “requisito mínimo” en la comunidad de visión por computadora preimpresa, incluso en casos en los que un estudio no se puede formular razonablemente (por ejemplo, con una idea tan novedosa o marginal que no hay un análisis “como para como” para realizar, y que puede no ser susceptible a ninguna métrica que pueda producir resultados significativos en un estudio de usuario).

Como ejemplo de “acoso de estudio” (no es la frase de los autores), los investigadores citan el caso de un artículo de ICLR 2022 para el cual las revisiones de pares están disponibles en línea (instantánea de archivo tomada el 24 de junio de 2022; enlace tomado directamente del nuevo documento)^†:

‘Dos revisores dieron puntuaciones muy negativas debido, en parte, a la falta de estudios de usuario. El artículo finalmente fue aceptado, acompañado de un resumen que reprendía a los revisores por utilizar “estudios de usuario” como excusa para una mala revisión, y acusándolos de controlar el acceso. La discusión completa vale la pena leer.

‘La decisión final señaló que la presentación describía una biblioteca de software que había sido implementada durante años, con miles de usuarios (información que no se reveló a los revisores para la revisión anónima). ¿Habría sido rechazado el artículo, que describe un sistema muy influyente, si el comité no hubiera tenido esta información?

‘¿Y, si los autores hubieran pasado por el esfuerzo adicional de contruir y realizar un estudio de usuario, ¿habría sido significativo, y habría sido suficiente para convencer a los revisores?’

Los autores afirman que han visto a revisores y editores imponer “requisitos de evaluación onerosos” a artículos presentados, a pesar de que tales evaluaciones no tendrían realmente ningún significado o valor.

‘También hemos observado a autores y revisores que utilizan evaluaciones de MTurk como un apoyo para evitar tomar decisiones difíciles. Los comentarios de los revisores como “No puedo decir si las imágenes son mejores, quizás un estudio de usuario ayudaría” son potencialmente perjudiciales, ya que animan a los autores a realizar un trabajo adicional que no mejorará un artículo deficiente.’

Los autores cierran el documento con una “llamada a la acción” central, para que las comunidades de visión por computadora y gráficos por computadora consideren más a fondo sus solicitudes de estudios de usuario, en lugar de dejar que una cultura impulsada por estudios se desarrolle como una opción predeterminada, a pesar de los “casos de borde” donde algunos de los trabajos más interesantes pueden no encajar en algunos de los canales de investigación y presentación más rentables.

Los autores concluyen:

‘[Si] el objetivo principal de realizar estudios de usuario es complacer a los revisores en lugar de generar nuevos conocimientos, la utilidad y la validez de dichos estudios de usuario deben ser cuestionadas por los autores y los revisores. Penalizar el trabajo que no contiene evaluación de usuario tiene la consecuencia no intencionada de incentivar la investigación de usuario realizada apresuradamente, mal ejecutada.

‘Un axioma que hay que tener en cuenta es que “la mala investigación de usuario conduce a malos resultados”, y tal investigación continuará si los revisores continúan pidiéndola.’

* Mi conversión de las citas en línea del documento a hipervínculos pertinentes
^† Mi énfasis, no de los autores.

Publicado por primera vez el 24 de junio de 2022.