Andrew Gordon, Consultor de Investigación Senior, Prolific – Serie de Entrevistas

Andrew Gordon se basa en su sólida formación en psicología y neurociencia para descubrir conocimientos como investigador. Con una licenciatura en Psicología, una maestría en Neuropsicología y un doctorado en Neurociencia Cognitiva, Andrew aprovecha los principios científicos para comprender las motivaciones, el comportamiento y la toma de decisiones de los consumidores.

Prolific fue creado por investigadores para investigadores, con el objetivo de ofrecer un método superior para obtener datos y aportes de alta calidad de seres humanos para investigaciones de vanguardia. Hoy en día, más de 35.000 investigadores de la academia y la industria confían en Prolific AI para recopilar datos y comentarios humanos definitivos. La plataforma es conocida por sus participantes confiables, comprometidos y tratados de manera justa, con un nuevo estudio que se lanza cada tres minutos.

¿Cómo aprovecha su formación en neurociencia cognitiva para ayudar a los investigadores que realizan proyectos que involucran a la IA?

Un buen punto de partida es definir qué abarca realmente la neurociencia cognitiva. Esencialmente, la neurociencia cognitiva investiga los fundamentos biológicos de los procesos cognitivos. Combina principios de la neurociencia y la psicología, y ocasionalmente la informática, entre otros, lo que nos ayuda a entender cómo nuestro cerebro permite diversas funciones mentales. Esencialmente, cualquier persona que practique la investigación en neurociencia cognitiva necesita tener una sólida comprensión de las metodologías de investigación y una buena comprensión de cómo piensan y se comportan las personas. Estos dos aspectos son cruciales y pueden combinarse para desarrollar y ejecutar investigaciones de alta calidad sobre la IA. Una salvedad, sin embargo, es que la investigación sobre la IA es un término amplio; puede involucrar desde la formación de modelos fundamentales y la anotación de datos hasta la comprensión de cómo las personas interactúan con los sistemas de IA. Ejecutar proyectos de investigación con la IA no es diferente a ejecutar proyectos de investigación fuera de la IA; todavía se necesita una buena comprensión de los métodos, diseñar estudios para crear los mejores datos, muestrear correctamente para evitar sesgos y luego utilizar esos datos en análisis efectivos para responder a cualquier pregunta de investigación que se esté abordando.

Prolific enfatiza el trato ético y la compensación justa para sus participantes. ¿Podría compartir conocimientos sobre los desafíos y soluciones para mantener estos estándares?

Nuestro modelo de compensación está diseñado para asegurar que los participantes sean valorados y recompensados, sintiéndose así como una parte significativa de la máquina de investigación (porque lo son). Creemos que tratar a los participantes de manera justa y proporcionarles una tasa de pago justa, motiva a estos a comprometerse más profundamente con la investigación y, en consecuencia, a proporcionar mejores datos.

Desafortunadamente, la mayoría de las plataformas de muestreo en línea no aplican estos principios de pago y trato éticos. El resultado es un grupo de participantes que se sienten incentivados no para comprometerse con la investigación, sino para pasar por ella lo más rápido posible para maximizar su potencial de ganancias, lo que lleva a datos de baja calidad. Mantener la postura que adoptamos en Prolific es un desafío; básicamente, estamos luchando contra la corriente. El status quo en la investigación de la IA y otras formas de investigación en línea no se ha centrado en el trato o el bienestar de los participantes, sino en maximizar la cantidad de datos que se pueden recopilar al menor costo.

Hacer que la comunidad de investigación más amplia comprenda por qué hemos adoptado este enfoque y el valor que verán al utilizar nuestros servicios, en lugar de una plataforma competidora, presenta un desafío. Otro desafío, desde un punto de vista logístico, implica dedicar una cantidad significativa de tiempo a responder a las preocupaciones, consultas o quejas de nuestros participantes o investigadores de manera oportuna y justa. Dedicamos mucho tiempo a esto porque mantiene a los usuarios de ambos lados –participantes e investigadores– contentos, lo que los anima a seguir regresando a Prolific. Sin embargo, también dependemos en gran medida de que los investigadores que utilizan nuestra plataforma cumplan con nuestros altos estándares de trato y compensación una vez que los participantes son llevados a la tarea o encuesta del investigador y, por lo tanto, dejan el ecosistema de Prolific. Lo que sucede fuera de nuestra plataforma está realmente bajo el control del equipo de investigación, por lo que dependemos no solo de que los participantes nos informen si algo está mal, sino también de que nuestros investigadores mantengan los estándares más altos posibles. Tratamos de proporcionar toda la orientación que podamos para asegurarnos de que esto suceda.

Considerando el modelo de negocio de Prolific, ¿cuáles son sus pensamientos sobre el papel esencial de la retroalimentación humana en el desarrollo de la IA, especialmente en áreas como la detección de sesgos y la mejora de la razonamiento social?

La retroalimentación humana en el desarrollo de la IA es crucial. Sin la participación humana, corremos el riesgo de perpetuar sesgos, pasar por alto las sutilezas de la interacción social humana y no abordar algunos de los consideraciones éticas negativas asociadas con la IA. Esto podría obstaculizar nuestro progreso hacia la creación de sistemas de IA responsables, efectivos y éticos. En cuanto a la detección de sesgos, incorporar la retroalimentación humana durante el proceso de desarrollo es crucial porque debemos aspirar a desarrollar una IA que refleje la mayor cantidad posible de puntos de vista y valores, sin favorecer uno sobre otro. Diferentes demografías, antecedentes y culturas tienen sesgos inconscientes que, aunque no necesariamente negativos, pueden reflejar una perspectiva que no sería ampliamente aceptada. Una investigación colaborativa entre Prolific y la Universidad de Michigan destacó cómo los antecedentes de diferentes anotadores pueden afectar significativamente cómo califican aspectos como la toxicidad del discurso o la cortesía. Para abordar esto, involucrar a participantes de diversos orígenes, culturas y perspectivas puede prevenir que estos sesgos se arraiguen en los sistemas de IA en desarrollo. Además, la retroalimentación humana permite a los investigadores de la IA detectar formas más sutiles de sesgo que pueden no ser detectadas por métodos automatizados. Esto facilita la oportunidad de abordar sesgos a través de ajustes en los algoritmos, modelos subyacentes o técnicas de preprocesamiento de datos.

La situación con la razonamiento social es esencialmente la misma. La IA a menudo lucha con tareas que requieren razonamiento social porque, por naturaleza, no es un ser social, mientras que los humanos sí. Detectar el contexto cuando se hace una pregunta, comprender el sarcasmo o reconocer señales de emoción requiere un razonamiento social similar al humano que la IA no puede aprender por sí sola. Nosotros, como humanos, aprendemos socialmente, por lo que la única forma de enseñar a un sistema de IA estas técnicas de razonamiento es mediante la retroalimentación humana real para entrenar a la IA para interpretar y responder a diversas señales sociales. En Prolific, desarrollamos un conjunto de datos de razonamiento social diseñado específicamente para enseñar a los modelos de IA esta habilidad importante.

En esencia, la retroalimentación humana no solo ayuda a identificar áreas donde los sistemas de IA excelan o fracasan, sino que también permite a los desarrolladores realizar las mejoras y ajustes necesarios en los algoritmos. Un ejemplo práctico de esto se observa en cómo opera ChatGPT. Cuando se le hace una pregunta, a veces ChatGPT presenta dos respuestas y pide que se califique cuál es la mejor. Este enfoque se adopta porque el modelo está aprendiendo constantemente, y los desarrolladores entienden la importancia de la entrada humana para determinar las mejores respuestas, en lugar de confiar únicamente en otro modelo.

Prolific ha sido fundamental para conectar a los investigadores con participantes para el entrenamiento y la investigación de la IA. ¿Podría compartir algunas historias de éxito o avances significativos en la IA que se han logrado a través de su plataforma?

Debido a la naturaleza comercial de gran parte de nuestro trabajo de IA, especialmente en espacios no académicos, la mayoría de los proyectos en los que estamos involucrados están bajo estrictos acuerdos de no divulgación. Esto es principalmente para garantizar la confidencialidad de técnicas o métodos, protegiéndolos de ser replicados. Sin embargo, un proyecto que podemos discutir es nuestra asociación con Remesh, una plataforma de conocimientos impulsada por la IA. Colaboramos con OpenAI y Remesh para desarrollar un sistema que utiliza muestras representativas de la población de EE. UU. En este proyecto, miles de personas de una muestra representativa participaron en discusiones sobre políticas relacionadas con la IA a través del sistema de Remesh, lo que permitió el desarrollo de políticas de IA que reflejan la voluntad general del público, en lugar de una demografía selecta, gracias a la capacidad de Prolific para proporcionar una muestra tan diversa.

Mirando hacia el futuro, ¿cuál es su visión para el futuro del desarrollo ético de la IA, y cómo planea Prolific contribuir a lograr esta visión?

Mi esperanza para el futuro de la IA y su desarrollo se basa en el reconocimiento de que la IA solo será tan buena como los datos en los que se entrena. La importancia de la calidad de los datos no se puede exagerar para los sistemas de IA. Entrenar un sistema de IA con datos de mala calidad inevitablemente resulta en un sistema de IA subpar. La única forma de garantizar datos de alta calidad es asegurando el reclutamiento de un grupo diverso y motivado de participantes, ansiosos por proporcionar los mejores datos posibles. En Prolific, nuestro enfoque y principios rectores apuntan a fomentar exactamente eso. Al crear un grupo de participantes personalizado, exhaustivamente verificado y confiable, anticipamos que los investigadores utilizarán este recurso para desarrollar sistemas de IA más efectivos, confiables y confiables en el futuro.

¿Cuáles son algunos de los mayores desafíos que enfrenta en la recopilación de datos de entrenamiento de IA de alta calidad y humanos, y cómo supera Prolific estos obstáculos?

El desafío más significativo, sin duda, es la calidad de los datos. No solo es inútil un mal dato, sino que también puede llevar a resultados perjudiciales, particularmente cuando se emplean sistemas de IA en áreas críticas como los mercados financieros o las operaciones militares. Esta preocupación subraya el principio esencial de “basura dentro, basura fuera”. Si los datos de entrada son de mala calidad, el sistema de IA resultante será inherentemente de baja calidad o utilidad. La mayoría de las muestras en línea tienden a producir datos de menor calidad de lo que es óptimo para el desarrollo de la IA. Hay muchas razones para esto, pero un factor clave que Prolific aborda es el trato general que se da a los participantes en línea. A menudo, estas personas se consideran prescindibles, reciben una baja compensación, un trato pobre y poco respeto por parte de los investigadores. Al comprometernos con el trato ético de los participantes, Prolific ha cultivado un grupo de contribuyentes motivados, comprometidos, reflexivos, honestos y atentos. Por lo tanto, cuando se recopilan datos a través de Prolific, su alta calidad está asegurada, lo que subyace a modelos de IA confiables y confiables.

Otro desafío que enfrentamos con los datos de entrenamiento de la IA es garantizar la diversidad dentro de la muestra. Aunque las muestras en línea han ampliado significativamente el alcance y la variedad de personas con las que podemos realizar investigaciones en comparación con los métodos presenciales, a menudo se limitan a personas de países occidentales. Estas muestras suelen sesgar hacia demografías más jóvenes, alfabetizadas en computación, altamente educadas y más inclinadas a la izquierda. Esto no representa plenamente a la población global. Para abordar esto, Prolific tiene participantes de más de 38 países de todo el mundo. También proporcionamos a nuestros investigadores herramientas para especificar la composición demográfica exacta de su muestra de antemano. Además, ofrecemos muestreo representativo a través de plantillas de coincidencia de censo como la edad, el género y la etnia, o incluso la afiliación política. Esto asegura que los estudios, las tareas de anotación u otros proyectos reciban una amplia gama de participantes y, en consecuencia, una amplia variedad de conocimientos.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Prolific.