Andrew Gordon, Consultant en recherche senior, Prolific – Série d’entretiens

Andrew Gordon tire parti de son solide background en psychologie et en neurosciences pour découvrir des connaissances en tant que chercheur. Avec un BSc en psychologie, un MSc en neuropsychologie et un Ph.D. en neurosciences cognitives, Andrew utilise des principes scientifiques pour comprendre les motivations, le comportement et la prise de décision des consommateurs.

Prolific a été créé par des chercheurs pour les chercheurs, dans le but d’offrir une méthode supérieure pour obtenir des données et des entrées de haute qualité provenant de l’homme pour la recherche de pointe. Aujourd’hui, plus de 35 000 chercheurs issus du monde universitaire et de l’industrie comptent sur Prolific AI pour collecter des données et des commentaires humains définitifs. La plateforme est connue pour ses participants fiables, engagés et traités équitablement, avec une nouvelle étude lancée toutes les trois minutes.

Comment utilisez-vous votre background en neurosciences cognitives pour aider les chercheurs qui réalisent des projets impliquant l’IA ?

Un bon point de départ consiste à définir ce que les neurosciences cognitives englobent réellement. En substance, les neurosciences cognitives étudient les fondements biologiques des processus cognitifs. Elles combinent des principes issus des neurosciences et de la psychologie, et parfois des sciences informatiques, entre autres, ce qui nous aide à comprendre comment notre cerveau permet diverses fonctions mentales. En substance, quiconque pratique la recherche en neurosciences cognitives doit avoir une solide compréhension des méthodologies de recherche et une bonne compréhension de la façon dont les gens pensent et se comportent. Ces deux aspects sont cruciaux et peuvent être combinés pour développer et exécuter des recherches de haute qualité en IA. Une mise en garde, cependant, est que la recherche en IA est un terme large ; elle peut impliquer tout, des formations de modèles fondamentaux et de l’annotation de données à la compréhension de l’interaction des gens avec les systèmes d’IA. Exécuter des projets de recherche avec l’IA n’est pas différent de l’exécution de projets de recherche en dehors de l’IA ; vous avez toujours besoin d’une bonne compréhension des méthodes, de concevoir des études pour créer les meilleures données, d’échantillonner correctement pour éviter les biais, puis d’utiliser ces données dans des analyses efficaces pour répondre à la question de recherche que vous abordez.

Prolific met l’accent sur le traitement éthique et la rémunération équitable de ses participants. Pouvez-vous partager des connaissances sur les défis et les solutions pour maintenir ces normes ?

Notre modèle de rémunération est conçu pour garantir que les participants soient valorisés et récompensés, se sentant ainsi comme jouant un rôle important dans la machine de recherche (car ils le font). Nous croyons que traiter les participants équitablement et leur offrir un taux de rémunération équitable les motive à s’engager plus profondément dans la recherche et, par conséquent, à fournir de meilleures données.

Malheureusement, la plupart des plateformes d’échantillonnage en ligne ne font pas respecter ces principes de paiement éthique et de traitement. Le résultat est un bassin de participants qui n’est pas incité à s’engager dans la recherche, mais à la traverser le plus rapidement possible pour maximiser leur potentiel de gain, ce qui conduit à des données de mauvaise qualité. Maintenir la position que nous adoptons chez Prolific est un défi ; nous luttons essentiellement contre la marée. Le statu quo dans la recherche en IA et d’autres formes de recherche en ligne n’a pas été axé sur le traitement ou le bien-être des participants, mais plutôt sur la maximisation de la quantité de données qui peuvent être collectées pour le coût le plus bas.

Faire comprendre à la communauté de recherche plus large pourquoi nous avons adopté cette approche et la valeur qu’ils verront en utilisant nos services, par opposition à une plateforme concurrente, présente un défi certain. Un autre défi, d’un point de vue logistique, consiste à consacrer beaucoup de temps pour répondre aux préoccupations, aux questions ou aux plaintes de nos participants ou de nos chercheurs de manière rapide et équitable. Nous consacrons beaucoup de temps à cela car cela maintient les utilisateurs des deux côtés – participants et chercheurs – heureux, les encourageant à revenir sur Prolific. Cependant, nous comptons également fortement sur les chercheurs utilisant notre plateforme pour respecter nos normes élevées de traitement et de rémunération une fois que les participants sont dirigés vers la tâche ou le sondage du chercheur et quittent ainsi l’écosystème Prolific. Ce qui se passe en dehors de notre plateforme est réellement sous le contrôle de l’équipe de recherche, nous comptons donc non seulement sur les participants pour nous informer si quelque chose ne va pas, mais également sur nos chercheurs pour respecter les normes les plus élevées possibles. Nous essayons de fournir autant de conseils que possible pour nous assurer que cela se produit.

Compte tenu du modèle économique de Prolific, quels sont vos commentaires sur le rôle essentiel du feedback humain dans le développement de l’IA, en particulier dans des domaines tels que la détection des biais et l’amélioration de la raison sociale ?

Le feedback humain dans le développement de l’IA est crucial. Sans l’implication humaine, nous risquons de perpétuer les biais, de négliger les nuances de l’interaction sociale humaine et de ne pas résoudre certains des problèmes éthiques négatifs associés à l’IA. Cela pourrait entraver nos progrès vers la création de systèmes d’IA responsables, efficaces et éthiques. En termes de détection des biais, l’intégration du feedback humain pendant le processus de développement est cruciale car nous devrions viser à développer une IA qui reflète la plus large gamme de points de vue et de valeurs possible, sans favoriser l’un par rapport à l’autre. Les différentes démographies, les antécédents et les cultures ont tous des biais inconscients qui, même s’ils ne sont pas nécessairement négatifs, pourraient encore refléter un point de vue qui ne serait pas largement partagé. Une recherche collaborative entre Prolific et l’Université du Michigan a mis en évidence comment les antécédents de différents annotateurs peuvent affecter de manière significative la façon dont ils évaluent des aspects tels que la toxicité du discours ou la politesse. Pour répondre à cela, impliquer des participants issus de divers horizons, cultures et perspectives peut empêcher que ces biais ne soient ancrés dans les systèmes d’IA en cours de développement. De plus, le feedback humain permet aux chercheurs en IA de détecter des formes plus subtiles de biais qui pourraient ne pas être détectées par des méthodes automatisées. Cela facilite l’opportunité de résoudre les biais grâce à des ajustements dans les algorithmes, les modèles sous-jacents ou les techniques de prétraitement des données.

La situation avec la raison sociale est essentiellement la même. L’IA a souvent du mal avec les tâches nécessitant une raison sociale car, par nature, elle n’est pas un être social, tandis que les humains le sont. La détection du contexte lorsqu’une question est posée, la compréhension de l’ironie ou la reconnaissance des signaux émotionnels nécessitent une raison sociale humaine que l’IA ne peut pas apprendre par elle-même. Nous, en tant qu’êtres humains, apprenons socialement, la seule façon d’enseigner à un système d’IA ces types de techniques de raisonnement est donc d’utiliser un feedback humain réel pour former l’IA à interpréter et à répondre à divers signaux sociaux. Chez Prolific, nous avons développé un jeu de données de raison sociale spécifiquement conçu pour enseigner aux modèles d’IA cette compétence importante.

En substance, le feedback humain non seulement aide à identifier les domaines où les systèmes d’IA excellent ou échouent, mais permet également aux développeurs d’apporter les améliorations et les affinements nécessaires aux algorithmes. Un exemple pratique de cela est observé dans la façon dont ChatGPT fonctionne. Lorsque vous posez une question, ChatGPT présente parfois deux réponses et vous demande de classer laquelle est la meilleure. Cette approche est adoptée car le modèle est toujours en apprentissage, et les développeurs comprennent l’importance de l’entrée humaine pour déterminer les meilleures réponses, plutôt que de compter uniquement sur un autre modèle.

Prolific a joué un rôle instrumental dans la connexion des chercheurs avec des participants pour la formation et la recherche en IA. Pouvez-vous partager certaines histoires de succès ou des avancées significatives en IA qui ont été rendues possibles grâce à votre plateforme ?

En raison de la nature commerciale de beaucoup de nos travaux en IA, en particulier dans les espaces non universitaires, la plupart des projets auxquels nous sommes impliqués sont soumis à des accords de non-divulgation stricts. C’est principalement pour garantir la confidentialité des techniques ou des méthodes, les protégeant de la réplication. Cependant, un projet dont nous sommes libres de discuter implique notre partenariat avec Remesh, une plateforme d’insights alimentée par l’IA. Nous avons collaboré avec OpenAI et Remesh pour développer un système qui utilise des échantillons représentatifs de la population américaine. Dans ce projet, des milliers d’individus issus d’un échantillon représentatif ont participé à des discussions sur les politiques liées à l’IA via le système de Remesh, permettant ainsi le développement de politiques d’IA qui reflètent la volonté générale du public, plutôt qu’un groupe démographique sélectionné, grâce à la capacité de Prolific à fournir un tel échantillon diversifié.

En regardant vers l’avenir, quelle est votre vision pour le futur du développement éthique de l’IA, et comment Prolific prévoit-il de contribuer à la réalisation de cette vision ?

Mon espoir pour l’avenir de l’IA, et de son développement, repose sur la reconnaissance que l’IA ne sera jamais meilleure que les données sur lesquelles elle est formée. L’importance de la qualité des données ne peut pas être surestimée pour les systèmes d’IA. Former un système d’IA sur des données de mauvaise qualité aboutit inévitablement à un système d’IA de mauvaise qualité. La seule façon de garantir des données de haute qualité est de garantir le recrutement d’un groupe diversifié et motivé de participants, prêts à fournir les meilleures données possibles. Chez Prolific, notre approche et nos principes directeurs visent à favoriser exactement cela. En créant un bassin de participants soigneusement sélectionnés et de confiance, nous anticipons que les chercheurs utiliseront cette ressource pour développer des systèmes d’IA plus efficaces, fiables et dignes de confiance à l’avenir.

Quels sont les plus grands défis que vous rencontrez dans la collecte de données de formation à l’IA de haute qualité et alimentées par l’homme, et comment Prolific surmonte-t-il ces obstacles ?

Le défi le plus important, sans aucun doute, est la qualité des données. Non seulement les mauvaises données sont inutiles, mais elles peuvent également conduire à des résultats préjudiciables, en particulier lorsque les systèmes d’IA sont utilisés dans des domaines critiques tels que les marchés financiers ou les opérations militaires. Cette préoccupation souligne le principe essentiel de “garbage in, garbage out”. Si les données d’entrée sont de mauvaise qualité, le système d’IA résultant sera inhérentement de mauvaise qualité ou d’utilité. La plupart des échantillons en ligne tendent à produire des données de qualité inférieure à ce qui est optimal pour le développement de l’IA. Il existe de nombreuses raisons à cela, mais l’un des facteurs clés que Prolific aborde est le traitement général des participants en ligne. Souvent, ces individus sont considérés comme jetables, recevant une faible rémunération, un mauvais traitement et peu de respect de la part des chercheurs. En s’engageant dans le traitement éthique des participants, Prolific a cultivé un bassin de contributeurs motivés, engagés, réfléchis, honnêtes et attentifs. Par conséquent, lorsque des données sont collectées via Prolific, leur haute qualité est assurée, sous-tendant des modèles d’IA fiables et dignes de confiance.

Un autre défi que nous rencontrons avec les données de formation à l’IA est de garantir la diversité dans l’échantillon. Alors que les échantillons en ligne ont considérablement élargi la portée et la variété des individus que nous pouvons étudier par rapport aux méthodes en personne, ils sont souvent limités aux personnes issues de pays occidentaux. Ces échantillons s’écartent souvent vers des démographies plus jeunes, plus instruites, plus éduquées et plus à gauche. Cela ne représente pas pleinement la population mondiale. Pour répondre à cela, Prolific compte des participants de plus de 38 pays à travers le monde. Nous offrons également à nos chercheurs des outils pour spécifier la composition démographique exacte de leur échantillon à l’avance. De plus, nous proposons des échantillons représentatifs via des modèles de correspondance de recensement tels que l’âge, le sexe, l’ethnicité, ou même l’affiliation politique. Cela garantit que les études, les tâches d’annotation ou d’autres projets reçoivent une gamme diversifiée de participants et, par conséquent, une large variété d’aperçus.

Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter Prolific.