Andrew Gordon, Senior Research Consultant, Prolific – Interviewreihe

Andrew Gordon greift auf seinen fundierten Hintergrund in Psychologie und Neurowissenschaften zurück, um als Forscher Erkenntnisse zu gewinnen. Mit einem BSc in Psychologie, einem MSc in Neuropsychologie und einem Ph.D. In der kognitiven Neurowissenschaft nutzt Andrew wissenschaftliche Prinzipien, um die Motivationen, das Verhalten und die Entscheidungsfindung von Verbrauchern zu verstehen.

fruchtbar wurde von Forschern für Forscher entwickelt mit dem Ziel, eine überlegene Methode zur Gewinnung hochwertiger menschlicher Daten und Inputs für Spitzenforschung anzubieten. Heute verlassen sich über 35,000 Forscher aus Wissenschaft und Industrie auf Prolific AI, um eindeutige menschliche Daten und Feedback zu sammeln. Die Plattform ist bekannt für ihre zuverlässigen, engagierten und fair behandelten Teilnehmer. Alle drei Minuten wird eine neue Studie gestartet.

Wie nutzen Sie Ihren Hintergrund in der kognitiven Neurowissenschaft, um Forschern zu helfen, die Projekte mit KI durchführen?

Ein guter Ausgangspunkt ist die Definition dessen, was kognitive Neurowissenschaft eigentlich umfasst. Im Wesentlichen untersucht die kognitive Neurowissenschaft die biologischen Grundlagen kognitiver Prozesse. Es kombiniert unter anderem Prinzipien aus den Neurowissenschaften und der Psychologie sowie gelegentlich auch aus der Informatik und hilft uns zu verstehen, wie unser Gehirn verschiedene mentale Funktionen ermöglicht. Grundsätzlich muss jeder, der kognitiv-neurowissenschaftliche Forschung betreibt, ein ausgeprägtes Verständnis der Forschungsmethoden und ein gutes Verständnis dafür haben, wie Menschen denken und sich verhalten. Diese beiden Aspekte sind von entscheidender Bedeutung und können kombiniert werden, um auch hochwertige KI-Forschung zu entwickeln und durchzuführen. Eine Einschränkung besteht jedoch darin, dass KI-Forschung ein weit gefasster Begriff ist; Es kann alles umfassen, vom grundlegenden Modelltraining und der Datenannotation bis hin zum Verständnis, wie Menschen mit KI-Systemen interagieren. Die Durchführung von Forschungsprojekten mit KI unterscheidet sich nicht von der Durchführung von Forschungsprojekten außerhalb von KI; Sie müssen weiterhin über ein gutes Verständnis der Methoden verfügen, Studien entwerfen, um die besten Daten zu erstellen, eine korrekte Stichprobe durchführen, um Verzerrungen zu vermeiden, und diese Daten dann in effektiven Analysen verwenden, um die Forschungsfrage zu beantworten, die Sie bearbeiten.

Prolific legt Wert auf ethische Behandlung und faire Vergütung seiner Teilnehmer. Könnten Sie Einblicke in die Herausforderungen und Lösungen bei der Aufrechterhaltung dieser Standards geben?

Unser Vergütungsmodell soll sicherstellen, dass die Teilnehmer geschätzt und belohnt werden und ihnen das Gefühl geben, eine wichtige Rolle in der Forschungsmaschinerie zu spielen (weil sie es sind). Wir glauben, dass eine faire Behandlung der Teilnehmer und die Bereitstellung einer fairen Vergütung sie dazu motiviert, sich intensiver mit der Forschung zu befassen und folglich bessere Daten bereitzustellen.

Leider setzen die meisten Online-Sampling-Plattformen diese Grundsätze ethischer Bezahlung und Behandlung nicht durch. Das Ergebnis ist ein Teilnehmerpool, der einen Anreiz hat, sich nicht mit der Forschung zu befassen, sondern sie so schnell wie möglich zu durchsuchen, um sein Verdienstpotenzial zu maximieren, was zu Daten von geringer Qualität führt. Es ist eine Herausforderung, die Haltung beizubehalten, die wir bei Prolific einnehmen. Wir kämpfen im Wesentlichen gegen den Strom. Der Status quo in der KI-Forschung und anderen Formen der Online-Forschung konzentriert sich nicht auf die Behandlung oder das Wohlbefinden der Teilnehmer, sondern vielmehr auf die Maximierung der Datenmenge, die zu den niedrigsten Kosten gesammelt werden kann.

Es ist eine große Herausforderung, der breiteren Forschungsgemeinschaft verständlich zu machen, warum wir diesen Ansatz gewählt haben und welchen Nutzen sie daraus ziehen, uns im Gegensatz zu einer Konkurrenzplattform zu nutzen. Eine weitere Herausforderung aus logistischer Sicht besteht darin, viel Zeit aufzuwenden, um zeitnah und fair auf Bedenken, Fragen oder Beschwerden unserer Teilnehmer oder Forscher zu reagieren. Dafür widmen wir viel Zeit, weil es die Nutzer auf beiden Seiten – Teilnehmer und Forscher – glücklich macht und sie dazu ermutigt, immer wieder zu Prolific zurückzukehren. Wir verlassen uns jedoch auch stark darauf, dass die Forscher, die unsere Plattform nutzen, unsere hohen Behandlungs- und Vergütungsstandards einhalten, sobald die Teilnehmer zur Aufgabe oder Umfrage des Forschers weitergeleitet werden und somit das Prolific-Ökosystem verlassen. Was außerhalb unserer Plattform passiert, liegt wirklich in der Kontrolle des Forschungsteams. Daher sind wir nicht nur darauf angewiesen, dass die Teilnehmer uns informieren, wenn etwas nicht stimmt, sondern auch darauf, dass unsere Forscher die höchstmöglichen Standards einhalten. Wir versuchen, so viele Hinweise wie möglich zu geben, um sicherzustellen, dass dies geschieht.

Was halten Sie angesichts des Prolific-Geschäftsmodells von der wesentlichen Rolle des menschlichen Feedbacks bei der KI-Entwicklung, insbesondere in Bereichen wie der Erkennung von Vorurteilen und der Verbesserung des sozialen Denkens?

Menschliches Feedback ist bei der KI-Entwicklung von entscheidender Bedeutung. Ohne menschliche Beteiligung laufen wir Gefahr, Vorurteile aufrechtzuerhalten, die Nuancen menschlicher sozialer Interaktion zu übersehen und einige der negativen ethischen Überlegungen im Zusammenhang mit KI nicht anzugehen. Dies könnte unseren Fortschritt bei der Schaffung verantwortungsvoller, effektiver und ethischer KI-Systeme behindern. Im Hinblick auf die Erkennung von Verzerrungen ist die Einbeziehung menschlichen Feedbacks während des Entwicklungsprozesses von entscheidender Bedeutung, da wir darauf abzielen sollten, eine KI zu entwickeln, die ein möglichst breites Spektrum an Ansichten und Werten widerspiegelt, ohne die eine gegenüber der anderen zu bevorzugen. Unterschiedliche Bevölkerungsgruppen, Hintergründe und Kulturen haben alle unbewusste Vorurteile, die zwar nicht unbedingt negativ sind, aber dennoch einen Standpunkt widerspiegeln könnten, der nicht weit verbreitet wäre. Eine gemeinsame Forschung zwischen Prolific und der University of Michigan hat gezeigt, wie sich die Hintergründe verschiedener Annotatoren erheblich auswirken können beeinflussen, wie sie Aspekte wie die Toxizität der Sprache oder Höflichkeit bewerten. Um dieses Problem anzugehen, kann die Einbeziehung von Teilnehmern mit unterschiedlichem Hintergrund, unterschiedlicher Kultur und Perspektive verhindern, dass sich diese Vorurteile in den in der Entwicklung befindlichen KI-Systemen festsetzen. Darüber hinaus können KI-Forscher durch menschliches Feedback subtilere Formen der Voreingenommenheit erkennen, die von automatisierten Methoden möglicherweise nicht erkannt werden. Dies erleichtert die Möglichkeit, Verzerrungen durch Anpassungen der Algorithmen, zugrunde liegenden Modelle oder Datenvorverarbeitungstechniken zu beseitigen.

Die Situation beim sozialen Denken ist im Wesentlichen die gleiche. KI hat oft Probleme mit Aufgaben, die soziales Denken erfordern, da sie von Natur aus kein soziales Wesen ist, während es beim Menschen der Fall ist. Das Erkennen des Kontexts, wenn eine Frage gestellt wird, das Verstehen von Sarkasmus oder das Erkennen emotionaler Hinweise erfordert menschenähnliches soziales Denken, das die KI nicht alleine erlernen kann. Als Menschen lernen wir sozial, daher besteht die einzige Möglichkeit, einem KI-System diese Art von Argumentationstechniken beizubringen, darin, die KI mithilfe von tatsächlichem menschlichem Feedback zu trainieren, verschiedene soziale Signale zu interpretieren und darauf zu reagieren. Bei Prolific haben wir eine entwickelt Datensatz zum sozialen Denken speziell entwickelt, um KI-Modellen diese wichtige Fähigkeit beizubringen.

Im Wesentlichen hilft menschliches Feedback nicht nur dabei, Bereiche zu identifizieren, in denen KI-Systeme übertreffen oder scheitern, sondern ermöglicht es Entwicklern auch, die notwendigen Verbesserungen und Verfeinerungen an den Algorithmen vorzunehmen. Ein praktisches Beispiel hierfür ist die Funktionsweise von ChatGPT. Wenn Sie eine Frage stellen, präsentiert ChatGPT manchmal zwei Antworten und bittet Sie, die beste zu bewerten. Dieser Ansatz wird gewählt, weil das Modell ständig lernt und die Entwickler wissen, wie wichtig menschliche Eingaben sind, um die besten Antworten zu ermitteln, anstatt sich ausschließlich auf ein anderes Modell zu verlassen.

Prolific war maßgeblich daran beteiligt, Forscher mit Teilnehmern für KI-Schulung und -Forschung zusammenzubringen. Können Sie einige Erfolgsgeschichten oder bedeutende Fortschritte in der KI erzählen, die durch Ihre Plattform ermöglicht wurden?

Aufgrund des kommerziellen Charakters vieler unserer KI-Arbeiten, insbesondere im nicht-akademischen Bereich, unterliegen die meisten Projekte, an denen wir beteiligt sind, strengen Geheimhaltungsvereinbarungen. Dies dient in erster Linie dazu, die Vertraulichkeit von Techniken oder Methoden sicherzustellen und sie vor Replikation zu schützen. Ein Projekt, über das wir jedoch gerne sprechen, betrifft unsere Partnerschaft mit Remesh, einer KI-gestützten Insights-Plattform. Wir haben mit OpenAI und Remesh zusammengearbeitet, um ein System zu entwickeln, das repräsentative Stichproben der US-Bevölkerung nutzt. In diesem Projekt beteiligten sich Tausende von Personen aus einer repräsentativen Stichprobe über das Remesh-System an Diskussionen über KI-bezogene Richtlinien und ermöglichten dank der Bereitstellungsfähigkeit von Prolific die Entwicklung von KI-Richtlinien, die den breiten Willen der Öffentlichkeit und nicht nur eine ausgewählte Bevölkerungsgruppe widerspiegeln so eine vielfältige Auswahl.

Was ist mit Blick auf die Zukunft Ihre Vision für die Zukunft der ethischen KI-Entwicklung und wie will Prolific zur Verwirklichung dieser Vision beitragen?

Meine Hoffnung für die Zukunft der KI und ihre Entwicklung hängt von der Erkenntnis ab, dass KI nur so gut sein wird wie die Daten, auf denen sie trainiert wird. Die Bedeutung der Datenqualität für KI-Systeme kann nicht genug betont werden. Das Trainieren eines KI-Systems mit Daten schlechter Qualität führt unweigerlich zu einem minderwertigen KI-System. Die einzige Möglichkeit, qualitativ hochwertige Daten sicherzustellen, besteht darin, eine vielfältige und motivierte Gruppe von Teilnehmern zu rekrutieren, die bestrebt sind, die bestmöglichen Daten bereitzustellen. Bei Prolific zielen unser Ansatz und unsere Leitprinzipien darauf ab, genau das zu fördern. Durch die Schaffung eines maßgeschneiderten, gründlich geprüften und vertrauenswürdigen Teilnehmerpools gehen wir davon aus, dass Forscher diese Ressource nutzen werden, um in Zukunft effektivere, zuverlässigere und vertrauenswürdigere KI-Systeme zu entwickeln.

Was sind einige der größten Herausforderungen, denen Sie bei der Erfassung hochwertiger, von Menschen betriebener KI-Trainingsdaten gegenüberstehen, und wie überwindet Prolific diese Hindernisse?

Die größte Herausforderung ist zweifellos die Datenqualität. Schlechte Daten sind nicht nur nicht hilfreich, sie können sogar zu nachteiligen Ergebnissen führen, insbesondere wenn KI-Systeme in kritischen Bereichen wie Finanzmärkten oder Militäroperationen eingesetzt werden. Dieses Anliegen unterstreicht das wesentliche Prinzip „Müll rein, Müll raus“. Wenn die Eingabedaten unterdurchschnittlich sind, ist das resultierende KI-System von Natur aus von geringer Qualität oder geringem Nutzen. Die meisten Online-Beispiele produzieren tendenziell Daten von geringerer Qualität als für die KI-Entwicklung optimal. Dafür gibt es zahlreiche Gründe, aber ein Schlüsselfaktor, den Prolific anspricht, ist die allgemeine Behandlung von Online-Teilnehmern. Oft werden diese Personen als entbehrlich angesehen, sie erhalten eine geringe Vergütung, eine schlechte Behandlung und wenig Respekt von den Forschern. Durch die Verpflichtung zur ethischen Behandlung der Teilnehmer hat Prolific einen Pool motivierter, engagierter, nachdenklicher, ehrlicher und aufmerksamer Mitwirkender aufgebaut. Wenn Daten über Prolific erfasst werden, ist daher deren hohe Qualität gewährleistet und die Grundlage für zuverlässige und vertrauenswürdige KI-Modelle.

Eine weitere Herausforderung, vor der wir bei KI-Trainingsdaten stehen, besteht darin, die Vielfalt innerhalb der Stichprobe sicherzustellen. Während Online-Stichproben den Umfang und die Vielfalt der Personen, die wir untersuchen können, im Vergleich zu Methoden vor Ort erheblich erweitert haben, sind sie überwiegend auf Personen aus westlichen Ländern beschränkt. Diese Stichproben neigen häufig zu jüngeren, computerkundigen, gut ausgebildeten und eher linksgerichteten Bevölkerungsgruppen. Dies spiegelt nicht vollständig die Weltbevölkerung wider. Um dieses Problem anzugehen, hat Prolific Teilnehmer aus über 38 Ländern weltweit. Darüber hinaus stellen wir unseren Forschern Tools zur Verfügung, mit denen sie vorab die genaue demografische Zusammensetzung ihrer Stichprobe festlegen können. Darüber hinaus bieten wir repräsentative Stichproben durch Zensus-Match-Vorlagen wie Alter, Geschlecht und ethnische Zugehörigkeit oder sogar nach politischer Zugehörigkeit. Dadurch wird sichergestellt, dass Studien, Annotationsaufgaben oder andere Projekte ein vielfältiges Teilnehmerfeld und damit vielfältige Erkenntnisse erhalten.

Vielen Dank für das tolle Interview, Leser, die mehr erfahren möchten, sollten vorbeischauen fruchtbar.