Nora Petrova, Machine Learning Engineer & AI Consultant bei Prolific – Interviewreihe

Nora Petrova ist Machine Learning Engineer & AI Consultant bei Prolific. Prolific wurde 2014 gegründet und zählt bereits Organisationen wie Google, Stanford University, die University of Oxford, King’s College London und die Europäische Kommission zu seinen Kunden, die das Netzwerk von Teilnehmern nutzen, um neue Produkte zu testen, KI-Systeme in Bereichen wie Eye-Tracking zu trainieren und zu bestimmen, ob ihre humanorientierten KI-Anwendungen wie von ihren Erstellern beabsichtigt funktionieren.

Können Sie uns etwas über Ihren Hintergrund bei Prolific und Ihre Karriere bis heute erzählen? Was hat Sie für KI begeistert?

Meine Rolle bei Prolific ist aufgeteilt zwischen der Beratung zu KI-Anwendungsfällen und -Möglichkeiten und der Arbeit als ML-Engineer. Ich habe meine Karriere im Software-Engineering begonnen und bin allmählich zum Machine Learning gewechselt. Ich habe mich in den letzten 5 Jahren hauptsächlich auf NLP-Anwendungsfälle und -Probleme konzentriert.

Was mich ursprünglich für KI begeistert hat, war die Fähigkeit, aus Daten zu lernen und der Zusammenhang mit der Art und Weise, wie wir als Menschen lernen und wie unser Gehirn strukturiert ist. Ich denke, dass ML und Neurowissenschaften sich gegenseitig ergänzen und uns helfen können, unser Verständnis davon zu vertiefen, wie wir KI-Systeme bauen können, die in der Lage sind, die Welt zu navigieren, Kreativität zu zeigen und der Gesellschaft Wert zu verleihen.

Welche der größten KI-Verzerrungsprobleme sind Ihnen persönlich bekannt?

Verzerrungen sind in den Daten, die wir in KI-Modelle einfüllen, angeboren und können nicht vollständig entfernt werden. Es ist jedoch wichtig, dass wir uns der Verzerrungen in den Daten bewusst sind und Wege finden, die schädlichen Arten von Verzerrungen zu mindern, bevor wir Modelle mit wichtigen Aufgaben in der Gesellschaft betrauen. Die größten Probleme, mit denen wir konfrontiert sind, sind Modelle, die schädliche Stereotypen verewigen, systemische Vorurteile und Ungerechtigkeiten in der Gesellschaft aufrechterhalten. Wir sollten uns bewusst sein, wie diese KI-Modelle verwendet werden und welchen Einfluss sie auf ihre Nutzer haben werden, und sicherstellen, dass sie sicher sind, bevor wir sie für sensible Anwendungsfälle freigeben.

Einige bemerkenswerte Bereiche, in denen KI-Modelle schädliche Verzerrungen gezeigt haben, sind die Diskriminierung von unterrepräsentierten Gruppen bei der Zulassung zu Schulen und Universitäten und Geschlechterstereotype, die die Rekrutierung von Frauen negativ beeinflussen. Nicht nur das, sondern ein Algorithmus der Strafjustiz wurde als “hochriskant” für afroamerikanische Angeklagte eingestuft, fast doppelt so häufig wie für weiße Angeklagte in den USA, während die Gesichtserkennungstechnologie aufgrund mangelnder repräsentativer Trainingsdaten immer noch unter hohen Fehlerraten für Minderheiten leidet.

Die oben genannten Beispiele decken nur einen kleinen Teil der Verzerrungen ab, die von KI-Modellen gezeigt wurden, und wir können größere Probleme in der Zukunft vorhersehen, wenn wir nicht darauf achten, Verzerrungen jetzt zu mindern. Es ist wichtig zu beachten, dass KI-Modelle aus Daten lernen, die diese Verzerrungen enthalten, aufgrund von menschlichen Entscheidungen, die von unkontrollierten und unbewussten Verzerrungen beeinflusst werden. In vielen Fällen kann die Überweisung an einen menschlichen Entscheidungsträger die Verzerrung nicht eliminieren. Die tatsächliche Minderung von Verzerrungen erfordert das Verständnis, wie sie in den Daten vorhanden sind, die Faktoren zu isolieren, die zu verzerrten Vorhersagen beitragen, und kollektiv zu entscheiden, was wir als Grundlage für wichtige Entscheidungen verwenden möchten. Die Entwicklung eines Satzes von Standards, damit wir Modelle auf Sicherheit überprüfen können, bevor sie für sensible Anwendungsfälle verwendet werden, wird ein wichtiger Schritt nach vorne sein.

KI-Halluzinationen sind ein großes Problem bei jeder Art von generativer KI. Können Sie erläutern, wie Human-in-the-Loop (HITL)-Training diese Probleme mindern kann?

Halluzinationen in KI-Modellen sind in bestimmten Anwendungsfällen von generativer KI problematisch, aber es ist wichtig zu beachten, dass sie an sich kein Problem darstellen. In bestimmten kreativen Anwendungsfällen von generativer KI sind Halluzinationen willkommen und tragen zu einer kreativeren und interessanteren Antwort bei.

Sie können problematisch sein, wenn die Abhängigkeit von faktischen Informationen hoch ist. Zum Beispiel im Gesundheitswesen, wo robuste Entscheidungsfindung wichtig ist, ist es wichtig, dass medizinischem Personal verlässliche faktische Informationen zur Verfügung gestellt werden.

HITL bezieht sich auf Systeme, die es Menschen ermöglichen, direktes Feedback zu einem Modell für Vorhersagen zu geben, die unter einem bestimmten Vertrauensniveau liegen. Im Kontext von Halluzinationen kann HITL verwendet werden, um Modelle zu helfen, das Vertrauensniveau zu lernen, das sie für verschiedene Anwendungsfälle haben sollten, bevor sie eine Antwort ausgeben. Diese Schwellenwerte variieren je nach Anwendungsfall und das Lehren von Modellen, die Unterschiede in der Strenge zu verstehen, die für die Beantwortung von Fragen aus verschiedenen Anwendungsfällen erforderlich sind, wird ein wichtiger Schritt zur Minderung der problematischen Arten von Halluzinationen sein. Zum Beispiel kann im Rechtsbereich gezeigt werden, dass Menschen KI-Modellen beibringen, dass Faktenüberprüfung ein erforderlicher Schritt ist, wenn Fragen auf der Grundlage komplexer Rechtsdokumente mit vielen Klauseln und Bedingungen beantwortet werden.

Wie können KI-Arbeiter wie Datenannotatoren dazu beitragen, potenzielle Verzerrungsprobleme zu reduzieren?

KI-Arbeiter können zunächst helfen, Verzerrungen in den Daten zu identifizieren. Sobald die Verzerrung identifiziert wurde, wird es einfacher, Minderungsstrategien zu entwickeln. Datenannotatoren können auch helfen, Wege zu finden, um Verzerrungen zu reduzieren. Zum Beispiel können sie bei NLP-Aufgaben alternative Formulierungen von problematischen Textpassagen bereitstellen, um die in der Sprache vorhandene Verzerrung zu reduzieren. Darüber hinaus kann die Vielfalt von KI-Arbeitern dazu beitragen, Probleme mit Verzerrungen bei der Kennzeichnung zu mindern.

Wie stellen Sie sicher, dass KI-Arbeiter ihre eigenen menschlichen Verzerrungen nicht ungewollt in das KI-System einbringen?

Es ist sicherlich ein komplexes Problem, das sorgfältige Überlegung erfordert. Die Eliminierung von menschlichen Verzerrungen ist fast unmöglich und KI-Arbeiter können ungewollt ihre Verzerrungen an KI-Modelle weitergeben, daher ist es wichtig, Prozesse zu entwickeln, die Arbeiter zu bewährten Verfahren anleiten.

Einige Schritte, die unternommen werden können, um menschliche Verzerrungen auf ein Minimum zu reduzieren, sind:

• Umfassende Schulung von KI-Arbeitern über unbewusste Verzerrungen und Bereitstellung von Werkzeugen, um ihre eigenen Verzerrungen während der Kennzeichnung zu identifizieren und zu managen.
• Checklisten, die KI-Arbeiter daran erinnern, ihre eigenen Antworten vor dem Einreichen zu überprüfen.
• Durchführung einer Bewertung, die das Verständnis von KI-Arbeitern überprüft, bei der ihnen Beispiele von Antworten zu verschiedenen Arten von Verzerrungen gezeigt werden und sie aufgefordert werden, die am wenigsten verzerrte Antwort auszuwählen.

Regulierungsbehörden auf der ganzen Welt planen, KI-Ausgaben zu regulieren, was ist Ihrer Meinung nach falsch verstanden und was ist richtig?

Es ist wichtig, zu Beginn zu sagen, dass dies ein sehr schwieriges Problem ist, für das noch niemand eine Lösung gefunden hat. Die Gesellschaft und KI werden sich beide entwickeln und gegenseitig beeinflussen, auf Weise, die sehr schwer vorherzusagen sind. Ein Teil einer effektiven Strategie für die Entwicklung robuster und nützlicher Regulierungspraktiken besteht darin, auf das zu achten, was in KI passiert, wie Menschen darauf reagieren und welche Auswirkungen sie auf verschiedene Branchen haben.

Ich denke, ein wesentlicher Hindernis für eine effektive Regulierung von KI ist ein Mangel an Verständnis für das, was KI-Modelle können und nicht können, und wie sie funktionieren. Dies wiederum macht es schwieriger, die Konsequenzen, die diese Modelle für verschiedene Branchen und Teile der Gesellschaft haben werden, genau vorherzusagen. Ein weiterer Bereich, in dem es an Führung fehlt, ist die Frage, wie KI-Modelle an menschliche Werte ausgerichtet und was Sicherheit in konkreteren Begriffen bedeutet, werden können.

Regulierungsbehörden haben eine Zusammenarbeit mit Experten auf dem Gebiet der KI gesucht, haben sich bemüht, die Innovation durch übermäßig strenge Regeln nicht zu behindern und haben begonnen, die Konsequenzen von KI auf die Verdrängung von Arbeitsplätzen zu berücksichtigen, was alle sehr wichtige Bereiche sind. Es ist wichtig, vorsichtig zu sein, während unsere Gedanken über KI-Regulierung im Laufe der Zeit klarer werden, und so viele Menschen wie möglich in den Prozess einzubeziehen, um dieses Problem auf demokratische Weise anzugehen.

Wie können Prolific-Lösungen Unternehmen dabei helfen, KI-Verzerrungen und andere Probleme, die wir besprochen haben, zu reduzieren?

Die Datenerfassung für KI-Projekte war nicht immer ein bewusster oder deliberativer Prozess. Wir haben zuvor Scraping, Outsourcing und andere Methoden gesehen. Es ist jedoch wichtig, wie wir KI trainieren, und nächste Generationen von Modellen werden auf absichtlich gesammelten, hochwertigen Daten von realen Menschen und von denen, mit denen wir direkten Kontakt haben, aufgebaut werden müssen. Hier macht Prolific einen Unterschied.

Andere Bereiche wie Meinungsforschung, Marktforschung oder wissenschaftliche Forschung haben dies vor langer Zeit gelernt. Die Zielgruppe, die Sie sampeln, hat einen großen Einfluss auf die Ergebnisse, die Sie erhalten. KI beginnt, aufzuholen, und wir stehen jetzt an einem Scheideweg.

Jetzt ist die Zeit, um sich um die Verwendung besserer Stichproben zu kümmern und mit repräsentativeren Gruppen für KI-Training und -Verfeinerung zu arbeiten. Beides ist entscheidend für die Entwicklung sicherer, unvoreingenommener und ausgerichteter Modelle.

Prolific kann Unternehmen dabei helfen, die richtigen Werkzeuge für die Durchführung von KI-Experimenten auf sichere Weise bereitzustellen und Daten von Teilnehmern zu sammeln, bei denen Verzerrungen überprüft und gemindert werden. Wir können Unternehmen bei der Entwicklung von Richtlinien für die Datenerfassung, -auswahl, -entschädigung und -behandlung von Teilnehmern unterstützen.

Was ist Ihre Meinung zu KI-Transparenz, sollten Benutzer in der Lage sein, zu sehen, welche Daten ein KI-Algorithmus trainiert wurden?

Ich denke, es gibt Vor- und Nachteile für Transparenz und ein guter Kompromiss ist noch nicht gefunden worden. Unternehmen verbergen Informationen über die Daten, die sie zum Trainieren ihrer KI-Modelle verwendet haben, aus Angst vor Klagen. Andere haben ihre KI-Modelle öffentlich zugänglich gemacht und alle Informationen über die Daten, die sie verwendet haben, veröffentlicht. Vollständige Transparenz bietet viele Möglichkeiten für die Ausnutzung von Schwachstellen dieser Modelle. Vollständige Geheimhaltung hilft nicht dabei, Vertrauen aufzubauen und die Gesellschaft in die Entwicklung sicherer KI einzubeziehen. Ein guter Mittelweg würde genug Transparenz bieten, um Vertrauen in uns zu schaffen, dass KI-Modelle mit guten, relevanten Daten trainiert wurden, denen wir zugestimmt haben. Wir müssen darauf achten, wie KI verschiedene Branchen beeinflusst und offene Dialoge mit den betroffenen Parteien führen und sicherstellen, dass wir Praktiken entwickeln, die für alle funktionieren.

Ich denke, es ist auch wichtig, zu berücksichtigen, was Benutzer in Bezug auf Erklärbarkeit zufriedenstellen würde. Wenn sie verstehen möchten, warum ein Modell eine bestimmte Antwort liefert, wird es ihnen wahrscheinlich nicht helfen, wenn sie die rohen Daten sehen, mit denen das Modell trainiert wurde. Daher ist es wichtig, gute Erklärbarkeits- und Interpretierbarkeitstools zu entwickeln.

KI-Ausrichtungsforschung zielt darauf ab, KI-Systeme auf menschliche Ziele, Präferenzen oder ethische Grundsätze auszurichten. Können Sie erläutern, wie KI-Arbeiter trainiert werden und wie dies dazu beiträgt, KI so gut wie möglich auszurichten?

Dies ist ein aktives Forschungsgebiet und es gibt noch keine Einigkeit darüber, welche Strategien wir verwenden sollten, um KI-Modelle an menschliche Werte auszurichten oder sogar, welche Werte wir anstreben sollten.

KI-Arbeiter werden normalerweise aufgefordert, ihre Präferenzen authentisch darzustellen und Fragen zu ihren Präferenzen wahrheitsgetreu zu beantworten, während sie auch Grundsätzen rund um Sicherheit, fehlende Verzerrung, Harmlosigkeit und Nützlichkeit folgen.

In Bezug auf die Ausrichtung auf Ziele, ethische Grundsätze oder Werte gibt es mehrere Ansätze, die vielversprechend erscheinen. Ein bemerkenswertes Beispiel ist die Arbeit des Meaning Alignment Institute zu Demokratische Feinabstimmung. Es gibt einen hervorragenden Beitrag, der die Idee einführt hier.

Vielen Dank für das großartige Interview und für das Teilen Ihrer Ansichten zu KI-Verzerrungen. Leser, die mehr erfahren möchten, sollten Prolific besuchen.