Andrew Gordon, Senior Research Consultant, Prolific – Interview-Serie

Andrew Gordon greift auf seine solide Ausbildung in Psychologie und Neurowissenschaften zurück, um Erkenntnisse als Forscher zu gewinnen. Mit einem BSc in Psychologie, MSc in Neuropsychologie und Ph.D. in Kognitiver Neurowissenschaft nutzt Andrew wissenschaftliche Prinzipien, um die Motivationen, das Verhalten und die Entscheidungsfindung der Verbraucher zu verstehen.

Prolific wurde von Forschern für Forscher erstellt, mit dem Ziel, eine überlegene Methode für die Gewinnung hochwertiger menschlicher Daten und Eingaben für Spitzenforschung anzubieten. Heute verlassen sich über 35.000 Forscher aus Wissenschaft und Industrie auf Prolific AI, um definitive menschliche Daten und Feedback zu sammeln. Die Plattform ist bekannt für ihre zuverlässigen, engagierten und fair behandelten Teilnehmer, mit einem neuen Studienstart alle drei Minuten.

Wie nutzen Sie Ihre Ausbildung in kognitiver Neurowissenschaft, um Forschern zu helfen, die an Projekten mit künstlicher Intelligenz arbeiten?

Ein guter Ausgangspunkt ist die Definition dessen, was kognitive Neurowissenschaft tatsächlich umfasst. Im Wesentlichen untersucht die kognitive Neurowissenschaft die biologischen Grundlagen kognitiver Prozesse. Sie kombiniert Prinzipien aus Neurowissenschaft und Psychologie und gelegentlich Informatik, um uns zu helfen, zu verstehen, wie unser Gehirn verschiedene mentale Funktionen ermöglicht. Im Grunde muss jeder, der kognitive Neurowissenschaft durchführt, ein gutes Verständnis von Forschungsmethoden und eine gute Vorstellung davon haben, wie Menschen denken und sich verhalten. Diese beiden Aspekte sind entscheidend und können kombiniert werden, um hochwertige KI-Forschung zu entwickeln und durchzuführen. Ein wichtiger Hinweis ist jedoch, dass KI-Forschung ein breites Feld ist; es kann alles umfassen, von der Ausbildung von Grundmodellen und der Annotation von Daten bis hin zum Verständnis, wie Menschen mit KI-Systemen interagieren. Die Durchführung von Forschungsprojekten mit KI unterscheidet sich nicht von der Durchführung von Forschungsprojekten außerhalb von KI; Sie benötigen immer noch ein gutes Verständnis von Methoden, Studien, um die beste Daten zu erstellen, eine korrekte Stichprobenauswahl, um Verzerrungen zu vermeiden, und dann diese Daten in effektiven Analysen verwenden, um die Forschungsfrage zu beantworten, die Sie bearbeiten.

Prolific betont die ethische Behandlung und faire Entlohnung seiner Teilnehmer. Können Sie Einblicke in die Herausforderungen und Lösungen bei der Aufrechterhaltung dieser Standards teilen?

Unser Entlohnungsmodell ist darauf ausgelegt, sicherzustellen, dass Teilnehmer wertgeschätzt und belohnt werden, sodass sie sich wie ein wichtiger Teil der Forschungsmaschinerie fühlen (weil sie es sind). Wir glauben, dass die faire Behandlung von Teilnehmern und die Zahlung eines fairen Entgelts sie motiviert, sich tiefer mit der Forschung auseinanderzusetzen und folglich bessere Daten zu liefern.

Leider setzen die meisten Online-Stichprobenplattformen diese Prinzipien der ethischen Bezahlung und Behandlung nicht um. Das Ergebnis ist eine Teilnehmergruppe, die nicht motiviert ist, sich mit der Forschung auseinanderzusetzen, sondern diese so schnell wie möglich durchzuführen, um ihr Verdienstpotenzial zu maximieren, was zu schlechten Daten führt. Die Aufrechterhaltung der Haltung, die wir bei Prolific einnehmen, ist herausfordernd; wir kämpfen im Grunde gegen den Trend. Der Status quo in der KI-Forschung und anderen Formen der Online-Forschung hat sich nicht auf die Behandlung oder das Wohlbefinden der Teilnehmer konzentriert, sondern auf die Maximierung der Menge an Daten, die zu den geringsten Kosten gesammelt werden können.

Die Herausforderung, die wir haben, besteht darin, die breite Forschungsgemeinschaft zu verstehen, warum wir diesen Ansatz gewählt haben und welchen Wert sie durch die Nutzung von Prolific gegenüber einer konkurrierenden Plattform sehen werden. Eine weitere Herausforderung, aus logistischer Sicht, besteht darin, einen erheblichen Teil unserer Zeit für die Beantwortung von Bedenken, Anfragen oder Beschwerden unserer Teilnehmer oder Forscher in einer zeitnahen und fairen Weise aufzuwenden. Wir widmen uns diesem Thema, da es die Nutzer auf beiden Seiten – Teilnehmer und Forscher – glücklich macht und sie ermutigt, zu Prolific zurückzukehren. Wir verlassen uns jedoch auch stark auf die Forscher, die unsere Plattform nutzen, um unsere hohen Standards für Behandlung und Entlohnung einzuhalten, sobald die Teilnehmer die Prolific-Umgebung verlassen und zum Forschungsteam gelangen. Was außerhalb unserer Plattform passiert, liegt wirklich in der Kontrolle des Forschungsteams, sodass wir uns nicht nur auf die Teilnehmer verlassen, die uns mitteilen, wenn etwas nicht stimmt, sondern auch auf unsere Forscher, die die höchsten möglichen Standards einhalten. Wir bemühen uns, so viel Anleitung wie möglich zu bieten, um sicherzustellen, dass dies geschieht.

Wenn man das Geschäftsmodell von Prolific betrachtet, was sind Ihre Gedanken zur wesentlichen Rolle des menschlichen Feedbacks bei der Entwicklung von KI, insbesondere in Bereichen wie der Vermeidung von Verzerrungen und der Verbesserung der sozialen Argumentation?

Menschliches Feedback bei der KI-Entwicklung ist entscheidend. Ohne menschliche Beteiligung riskieren wir, Verzerrungen zu verewigen, die Nuancen der menschlichen sozialen Interaktion zu übersehen und einige der negativen ethischen Überlegungen im Zusammenhang mit KI nicht anzusprechen. Dies könnte unsere Fortschritte bei der Schaffung verantwortungsvoller, effektiver und ethischer KI-Systeme behindern. Im Hinblick auf die Vermeidung von Verzerrungen ist die Einbeziehung menschlichen Feedbacks während des Entwicklungsprozesses entscheidend, da wir darauf abzielen, KI zu entwickeln, die so viele verschiedene Ansichten und Werte wie möglich widerspiegelt, ohne eine gegenüber einer anderen zu bevorzugen. Verschiedene Demografien, Hintergründe und Kulturen haben alle unbewusste Verzerrungen, die, obwohl sie nicht notwendigerweise negativ sind, möglicherweise einen Standpunkt widerspiegeln, der nicht allgemein akzeptiert wird. Eine gemeinsame Forschung zwischen Prolific und der University of Michigan hob hervor, wie die Hintergründe verschiedener Annotatoren die Art und Weise, wie sie Aspekte wie die Toxizität der Sprache oder die Höflichkeit bewerten, erheblich beeinflussen können. Um dies zu bewältigen, kann die Einbeziehung von Teilnehmern aus verschiedenen Hintergründen, Kulturen und Perspektiven verhindern, dass diese Verzerrungen in KI-Systeme eingebaut werden, die derzeit entwickelt werden. Darüber hinaus ermöglicht menschliches Feedback KI-Forschern, subtilere Formen von Verzerrungen zu erkennen, die möglicherweise nicht durch automatisierte Methoden erkannt werden. Dies bietet die Gelegenheit, Verzerrungen durch Anpassungen in den Algorithmen, den zugrunde liegenden Modellen oder den Datenverarbeitungstechniken zu bekämpfen.

Die Situation mit der sozialen Argumentation ist im Wesentlichen dieselbe. KI hat oft Schwierigkeiten bei Aufgaben, die soziale Argumentation erfordern, da sie von Natur aus kein soziales Wesen ist, während Menschen es sind. Die Erkennung des Kontexts, wenn eine Frage gestellt wird, das Verständnis von Sarkasmus oder die Erkennung emotionaler Hinweise erfordert menschliche soziale Argumentation, die KI nicht alleine lernen kann. Wir, als Menschen, lernen sozial, sodass die einzige Möglichkeit, ein KI-System diese Art von Argumentationstechniken beizubringen, darin besteht, tatsächliches menschliches Feedback zu verwenden, um die KI zu trainieren, verschiedene soziale Hinweise zu interpretieren und darauf zu reagieren. Bei Prolific haben wir ein spezielles Dataset für soziale Argumentation entwickelt, das darauf ausgelegt ist, KI-Modelle diese wichtige Fähigkeit beizubringen.

Im Wesentlichen hilft menschliches Feedback nicht nur dabei, Bereiche zu identifizieren, in denen KI-Systeme hervorragend oder schwach sind, sondern ermöglicht es auch den Entwicklern, die notwendigen Verbesserungen und Verfeinerungen an den Algorithmen vorzunehmen. Ein praktisches Beispiel dafür ist die Funktionsweise von ChatGPT. Wenn Sie eine Frage stellen, präsentiert ChatGPT manchmal zwei Antworten und fragt Sie, welche die beste ist. Dieser Ansatz wird verwendet, weil das Modell immer lernt und die Entwickler die Bedeutung menschlichen Inputs verstehen, um die besten Antworten zu bestimmen, anstatt sich allein auf ein anderes Modell zu verlassen.

Prolific hat eine wichtige Rolle bei der Verbindung von Forschern mit Teilnehmern für die KI-Schulung und -Forschung gespielt. Können Sie einige Erfolgsgeschichten oder bedeutende Fortschritte in der KI teilen, die durch Ihre Plattform ermöglicht wurden?

Aufgrund der kommerziellen Natur vieler unserer KI-Arbeiten, insbesondere in nicht-akademischen Bereichen, unterliegen die meisten Projekte, an denen wir beteiligt sind, strengen Geheimhaltungsvereinbarungen. Dies geschieht in erster Linie, um die Vertraulichkeit von Techniken oder Methoden zu gewährleisten und sie vor Nachahmung zu schützen. Ein Projekt, über das wir jedoch sprechen dürfen, ist unsere Partnerschaft mit Remesh, einer KI-gestützten Erkenntnisse-Plattform. Wir haben mit OpenAI und Remesh zusammengearbeitet, um ein System zu entwickeln, das repräsentative Stichproben der US-Bevölkerung nutzt. In diesem Projekt haben Tausende von Personen aus einer repräsentativen Stichprobe an Diskussionen über KI-bezogene Richtlinien durch Remesh-System teilgenommen, was die Entwicklung von KI-Richtlinien ermöglichte, die den breiten Willen der Öffentlichkeit widerspiegeln, anstatt nur einer ausgewählten Demografie, dank der Fähigkeit von Prolific, eine derart vielfältige Stichprobe bereitzustellen.

Wenn Sie in die Zukunft blicken, was ist Ihre Vision für die Zukunft der ethischen KI-Entwicklung, und wie plant Prolific, zu dieser Vision beizutragen?

Meine Hoffnung für die Zukunft der KI und ihrer Entwicklung hängt von der Erkenntnis ab, dass KI nur so gut sein wird, wie die Daten, auf denen sie trainiert wird. Die Bedeutung der Datenqualität kann für KI-Systeme nicht überbetont werden. Das Training eines KI-Systems mit schlechten Daten führt unweigerlich zu einem minderwertigen KI-System. Der einzige Weg, um hochwertige Daten zu gewährleisten, besteht darin, eine vielfältige und motivierte Gruppe von Teilnehmern zu rekrutieren, die bereit sind, die besten möglichen Daten zu liefern. Bei Prolific zielen unsere Ansätze und Leitprinzipien darauf ab, genau dies zu fördern. Durch die Schaffung einer maßgeschneiderten, sorgfältig geprüften und vertrauenswürdigen Teilnehmergruppe erwarten wir, dass Forscher diese Ressource nutzen werden, um in Zukunft effektivere, zuverlässigere und vertrauenswürdigere KI-Systeme zu entwickeln.

Was sind einige der größten Herausforderungen, denen Sie bei der Sammlung hochwertiger, menschlicher KI-Trainingsdaten gegenüberstehen, und wie überwindet Prolific diese Hindernisse?

Die größte Herausforderung ist ohne Zweifel die Datenqualität. Nicht nur ist schlechte Daten unhelpful – sie kann auch zu schädlichen Ergebnissen führen, insbesondere wenn KI-Systeme in kritischen Bereichen wie Finanzmärkten oder militärischen Operationen eingesetzt werden. Diese Sorge unterstreicht das wesentliche Prinzip von “Müll rein, Müll raus”. Wenn die Eingabedaten minderwertig sind, wird das resultierende KI-System von Natur aus minderwertig oder nutzlos sein. Die meisten Online-Stichproben neigen dazu, Daten von geringerer Qualität zu produzieren als das, was für die KI-Entwicklung optimal ist. Es gibt viele Gründe dafür, aber ein wichtiger Faktor, den Prolific anspricht, ist die allgemeine Behandlung von Online-Teilnehmern. Oft werden diese Personen als austauschbar angesehen, erhalten eine geringe Entlohnung, eine schlechte Behandlung und wenig Respekt von den Forschern. Durch die Verpflichtung zu einer ethischen Behandlung von Teilnehmern hat Prolific eine Gruppe von motivierten, engagierten, nachdenklichen, ehrlichen und aufmerksamen Teilnehmern kultiviert. Wenn also Daten durch Prolific gesammelt werden, ist ihre hohe Qualität garantiert, was zuverlässige und vertrauenswürdige KI-Modelle untermauert.

Eine weitere Herausforderung, der wir bei der KI-Trainingsdatensammlung gegenüberstehen, ist die Gewährleistung der Vielfalt innerhalb der Stichprobe. Obwohl Online-Stichproben den Umfang und die Vielfalt der Personen, die wir für Forschungszwecke erreichen können, im Vergleich zu Face-to-Face-Methoden erheblich erweitert haben, sind sie häufig auf Personen aus westlichen Ländern beschränkt. Diese Stichproben neigen oft zu jüngeren, computerliteraten, hochgebildeten und eher linksorientierten Demografien. Dies stellt nicht die globale Bevölkerung vollständig dar. Um dies zu bewältigen, hat Prolific Teilnehmer aus über 38 Ländern weltweit. Wir bieten unseren Forschern auch Tools, um die genaue demografische Zusammensetzung ihrer Stichprobe im Voraus zu spezifizieren. Darüber hinaus bieten wir repräsentative Stichproben durch Census-Match-Vorlagen wie Alter, Geschlecht und Ethnizität oder sogar durch politische Zugehörigkeit an. Dies stellt sicher, dass Studien, Annotationen oder andere Projekte eine vielfältige Gruppe von Teilnehmern und folglich eine breite Palette von Erkenntnissen erhalten.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Prolific besuchen.