Andrew Gordon, Consultor de Investigación Senior, Prolific – Serie de Entrevistas

Andrew Gordon se basa en su sólida formación en psicología y neurociencia para descubrir conocimientos como investigador. Con una licenciatura en Psicología, una maestría en Neuropsicología y un doctorado en Neurociencia Cognitiva, Andrew aprovecha los principios científicos para comprender las motivaciones, el comportamiento y la toma de decisiones de los consumidores.

Prolific fue creado por investigadores para investigadores, con el objetivo de ofrecer un método superior para obtener datos y aportes de alta calidad de seres humanos para investigaciones de vanguardia. Hoy en día, más de 35,000 investigadores de la academia y la industria confían en Prolific AI para recopilar datos y comentarios humanos definitivos. La plataforma es conocida por sus participantes confiables, comprometidos y tratados de manera justa, con un nuevo estudio lanzado cada tres minutos.

¿Cómo aprovecha su formación en neurociencia cognitiva para ayudar a los investigadores que realizan proyectos que involucran inteligencia artificial?

Un buen punto de partida es definir qué abarca realmente la neurociencia cognitiva. Esencialmente, la neurociencia cognitiva investiga los fundamentos biológicos de los procesos cognitivos. Combina principios de neurociencia y psicología, y ocasionalmente ciencias de la computación, entre otros, lo que nos ayuda a comprender cómo nuestro cerebro permite diversas funciones mentales. Esencialmente, cualquier persona que practique la investigación en neurociencia cognitiva necesita tener una comprensión sólida de las metodologías de investigación y una buena comprensión de cómo piensan y se comportan las personas. Estos dos aspectos son cruciales y pueden combinarse para desarrollar y ejecutar investigaciones de alta calidad sobre inteligencia artificial. Una salvedad, sin embargo, es que la investigación sobre inteligencia artificial es un término amplio; puede involucrar desde la capacitación de modelos fundamentales y la anotación de datos hasta la comprensión de cómo las personas interactúan con los sistemas de inteligencia artificial. Ejecutar proyectos de investigación con inteligencia artificial no es diferente a ejecutar proyectos de investigación fuera de la inteligencia artificial; todavía necesitas una buena comprensión de los métodos, diseñar estudios para crear los mejores datos, muestrear correctamente para evitar sesgos y luego utilizar esos datos en análisis efectivos para responder a cualquier pregunta de investigación que estés abordando.

Prolific enfatiza el trato ético y la compensación justa para sus participantes. ¿Podría compartir conocimientos sobre los desafíos y soluciones para mantener estos estándares?

Nuestro modelo de compensación está diseñado para asegurar que los participantes sean valorados y recompensados, sintiéndose así como parte importante de la máquina de investigación (porque lo son). Creemos que tratar a los participantes de manera justa y proporcionarles una tasa de pago justa, los motiva a comprometerse más profundamente con la investigación y, en consecuencia, proporcionar mejores datos.

Desafortunadamente, la mayoría de las plataformas de muestreo en línea no aplican estos principios de pago y trato éticos. El resultado es una piscina de participantes que no está incentivada a comprometerse con la investigación, sino a pasar por ella lo más rápido posible para maximizar su potencial de ganancias, lo que conduce a datos de baja calidad. Mantener la postura que adoptamos en Prolific es un desafío; básicamente, estamos luchando contra la corriente. El status quo en la investigación de inteligencia artificial y otras formas de investigación en línea no se ha centrado en el trato o el bienestar de los participantes, sino en maximizar la cantidad de datos que se pueden recopilar al menor costo.

Hacer que la comunidad de investigación más amplia comprenda por qué hemos adoptado este enfoque y el valor que verán al usar nuestros servicios, en lugar de una plataforma competidora, presenta un desafío. Otro desafío, desde un punto de vista logístico, implica dedicar una cantidad significativa de tiempo a responder a las preocupaciones, consultas o quejas de nuestros participantes o investigadores de manera oportuna y justa. Dedicamos mucho tiempo a esto porque mantiene a los usuarios de ambos lados –participantes e investigadores– satisfechos, lo que los anima a seguir regresando a Prolific. Sin embargo, también dependemos en gran medida de que los investigadores que utilizan nuestra plataforma cumplan con nuestros altos estándares de trato y compensación una vez que los participantes son dirigidos a la tarea o encuesta del investigador y, por lo tanto, dejan el ecosistema de Prolific. Lo que sucede fuera de nuestra plataforma está realmente bajo el control del equipo de investigación, así que dependemos no solo de que los participantes nos informen si algo está mal, sino también de que nuestros investigadores mantengan los estándares más altos posibles. Tratamos de brindar toda la orientación que podamos para asegurar que esto suceda.

Considerando el modelo de negocio de Prolific, ¿cuáles son sus pensamientos sobre el papel esencial de la retroalimentación humana en el desarrollo de inteligencia artificial, especialmente en áreas como la detección de sesgos y la mejora del razonamiento social?

La retroalimentación humana en el desarrollo de inteligencia artificial es crucial. Sin la participación humana, corremos el riesgo de perpetuar sesgos, pasar por alto las sutilezas de la interacción social humana y no abordar algunas de las consideraciones éticas negativas asociadas con la inteligencia artificial. Esto podría obstaculizar nuestro progreso hacia la creación de sistemas de inteligencia artificial responsables, efectivos y éticos. En términos de detección de sesgos, la incorporación de la retroalimentación humana durante el proceso de desarrollo es crucial porque debemos aspirar a desarrollar inteligencia artificial que refleje la mayor cantidad posible de puntos de vista y valores, sin favorecer uno sobre otro. Diferentes demografías, antecedentes y culturas tienen sesgos inconscientes que, aunque no necesariamente negativos, podrían reflejar una perspectiva que no sería ampliamente aceptada. Una investigación colaborativa entre Prolific y la Universidad de Michigan destacó cómo los antecedentes de diferentes anotadores pueden afectar significativamente cómo califican aspectos como la toxicidad del discurso o la cortesía. Para abordar esto, involucrar a participantes de diversos orígenes, culturas y perspectivas puede prevenir que estos sesgos se arraiguen en los sistemas de inteligencia artificial en desarrollo. Además, la retroalimentación humana permite a los investigadores de inteligencia artificial detectar formas más sutiles de sesgo que podrían no ser detectadas por métodos automatizados. Esto facilita la oportunidad de abordar sesgos a través de ajustes en los algoritmos, los modelos subyacentes o las técnicas de preprocesamiento de datos.

La situación con el razonamiento social es esencialmente la misma. La inteligencia artificial a menudo lucha con tareas que requieren razonamiento social porque, por naturaleza, no es un ser social, mientras que los humanos sí lo son. Detectar el contexto cuando se hace una pregunta, entender el sarcasmo o reconocer señales de emoción, requiere un razonamiento social similar al humano que la inteligencia artificial no puede aprender por sí sola. Nosotros, como seres humanos, aprendemos socialmente, así que la única forma de enseñar a un sistema de inteligencia artificial estas técnicas de razonamiento es mediante la retroalimentación humana real para entrenar a la inteligencia artificial a interpretar y responder a diversas señales sociales. En Prolific, desarrollamos un conjunto de datos de razonamiento social diseñado específicamente para enseñar a los modelos de inteligencia artificial esta habilidad importante.

En esencia, la retroalimentación humana no solo ayuda a identificar áreas donde los sistemas de inteligencia artificial sobresalen o fracasan, sino que también permite a los desarrolladores realizar las mejoras y refinamientos necesarios en los algoritmos. Un ejemplo práctico de esto se observa en cómo opera ChatGPT. Cuando haces una pregunta, a veces ChatGPT presenta dos respuestas y te pide que califiques cuál es la mejor. Este enfoque se toma porque el modelo siempre está aprendiendo, y los desarrolladores comprenden la importancia de la entrada humana para determinar las mejores respuestas, en lugar de confiar únicamente en otro modelo.

Prolific ha sido fundamental para conectar a los investigadores con participantes para el entrenamiento y la investigación de inteligencia artificial. ¿Podría compartir algunas historias de éxito o avances significativos en inteligencia artificial que fueron posibles gracias a su plataforma?

Debido a la naturaleza comercial de gran parte de nuestro trabajo en inteligencia artificial, especialmente en espacios no académicos, la mayoría de los proyectos en los que estamos involucrados están bajo estrictos Acuerdos de No Divulgación. Esto es principalmente para garantizar la confidencialidad de técnicas o métodos, protegiéndolos de ser replicados. Sin embargo, un proyecto que podemos discutir es nuestra asociación con Remesh, una plataforma de inteligencia artificial que proporciona conocimientos. Colaboramos con OpenAI y Remesh para desarrollar un sistema que utiliza muestras representativas de la población de EE. UU. En este proyecto, miles de individuos de una muestra representativa participaron en discusiones sobre políticas relacionadas con la inteligencia artificial a través del sistema de Remesh, lo que permitió el desarrollo de políticas de inteligencia artificial que reflejan la voluntad general del público, en lugar de una demografía selecta, gracias a la capacidad de Prolific para proporcionar una muestra tan diversa.

Mirando hacia el futuro, ¿cuál es su visión para el futuro del desarrollo ético de inteligencia artificial, y cómo planea Prolific contribuir a lograr esta visión?

Mi esperanza para el futuro de la inteligencia artificial y su desarrollo se basa en el reconocimiento de que la inteligencia artificial solo será tan buena como los datos en los que se entrena. La importancia de la calidad de los datos no se puede exagerar para los sistemas de inteligencia artificial. Capacitar un sistema de inteligencia artificial con datos de mala calidad inevitablemente resulta en un sistema de inteligencia artificial de mala calidad. La única forma de garantizar datos de alta calidad es asegurando el reclutamiento de un grupo diverso y motivado de participantes, ansiosos por proporcionar los mejores datos posibles. En Prolific, nuestro enfoque y principios rectores apuntan a fomentar exactamente eso. Al crear una piscina de participantes personalizada, exhaustivamente verificada y confiable, anticipamos que los investigadores utilizarán este recurso para desarrollar sistemas de inteligencia artificial más efectivos, confiables y dignos de confianza en el futuro.

¿Cuáles son algunos de los mayores desafíos que enfrenta en la recopilación de datos de entrenamiento de inteligencia artificial de alta calidad y potenciados por humanos, y cómo supera Prolific estos obstáculos?

El desafío más significativo, sin duda, es la calidad de los datos. No solo es inútil un mal dato, sino que también puede conducir a resultados perjudiciales, particularmente cuando los sistemas de inteligencia artificial se utilizan en áreas críticas como los mercados financieros o las operaciones militares. Esto subraya el principio esencial de “basura que entra, basura que sale”. Si los datos de entrada son de mala calidad, el sistema de inteligencia artificial resultante será inherentemente de mala calidad o utilidad. La mayoría de las muestras en línea tienden a producir datos de menor calidad de lo que es óptimo para el desarrollo de inteligencia artificial. Hay muchas razones para esto, pero un factor clave que Prolific aborda es el trato general que se da a los participantes en línea. A menudo, estas personas se consideran descartables, recibiendo una baja compensación, un mal trato y poco respeto por parte de los investigadores. Al comprometerse con el trato ético de los participantes, Prolific ha cultivado una piscina de contribuyentes motivados, comprometidos, reflexivos, honestos y atentos. Por lo tanto, cuando se recopilan datos a través de Prolific, su alta calidad está asegurada, lo que subyace a modelos de inteligencia artificial confiables y dignos de confianza.

Otro desafío que enfrentamos con los datos de entrenamiento de inteligencia artificial es garantizar la diversidad dentro de la muestra. Si bien las muestras en línea han ampliado significativamente el alcance y la variedad de individuos con los que podemos realizar investigaciones en comparación con los métodos presenciales, a menudo están limitadas a personas de países occidentales. Estas muestras suelen inclinarse hacia demografías más jóvenes, alfabetizadas en computación, altamente educadas y más inclinadas a la izquierda. Esto no representa plenamente a la población global. Para abordar esto, Prolific tiene participantes de más de 38 países en todo el mundo. También proporcionamos a nuestros investigadores herramientas para especificar la composición demográfica exacta de su muestra con anticipación. Además, ofrecemos muestreo representativo a través de plantillas de coincidencia de censo como la edad, el género y la etnia, o incluso la afiliación política. Esto asegura que los estudios, las tareas de anotación o otros proyectos reciban una amplia variedad de participantes y, en consecuencia, una amplia gama de conocimientos.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Prolific.