Nora Petrova, Machine Learning Engineer & AI Consultant bei Prolific – Interview-Serie

Nora Petrova ist Machine Learning Engineer & AI Consultant bei Prolific. Prolific wurde 2014 gegründet und zählt bereits Unternehmen wie Google (GOOGL ), Stanford University, die University of Oxford, King’s College London und die Europäische Kommission zu seinen Kunden, die seine Teilnehmer-Netzwerk nutzen, um neue Produkte zu testen, KI-Systeme in Bereichen wie Augenverfolgung zu trainieren und zu bestimmen, ob ihre menschlichen Anwendungen wie von ihren Erfindern beabsichtigt funktionieren.

Können Sie uns etwas über Ihren Hintergrund bei Prolific und Ihre Karriere bis heute erzählen? Was hat Sie für KI begeistert?

Meine Rolle bei Prolific ist aufgeteilt zwischen der Beratung zu KI-Anwendungsfällen und -Möglichkeiten und der Arbeit als ML-Engineer. Ich habe meine Karriere im Software-Engineering begonnen und bin allmählich zum Machine Learning gewechselt. Ich habe mich in den letzten 5 Jahren hauptsächlich auf NLP-Anwendungsfälle und -Probleme konzentriert.

Was mich ursprünglich für KI begeistert hat, war die Fähigkeit, aus Daten zu lernen und die Verbindung zu unserer Art, als Menschen zu lernen, und wie unser Gehirn strukturiert ist. Ich denke, ML und Neurowissenschaft können sich gegenseitig ergänzen und uns helfen, AI-Systeme zu bauen, die in der Lage sind, die Welt zu navigieren, Kreativität zu zeigen und der Gesellschaft zu nützen.

Welche der größten KI-Verzerrungsprobleme sind Ihnen persönlich bekannt?

Verzerrungen sind in den Daten, die wir in KI-Modelle einfügen, angeboren und können nicht vollständig entfernt werden. Es ist jedoch wichtig, dass wir uns der Verzerrungen in den Daten bewusst sind und Wege finden, die schädlichen Arten von Verzerrungen zu mildern, bevor wir Modelle mit wichtigen Aufgaben in der Gesellschaft betrauen. Die größten Probleme, mit denen wir konfrontiert sind, sind Modelle, die schädliche Stereotypen verewigen, systemische Vorurteile und Ungerechtigkeiten in der Gesellschaft. Wir sollten uns bewusst sein, wie diese KI-Modelle verwendet werden und welchen Einfluss sie auf ihre Benutzer haben, und sicherstellen, dass sie sicher sind, bevor wir sie für sensible Anwendungsfälle genehmigen.

Einige prominente Bereiche, in denen KI-Modelle schädliche Verzerrungen gezeigt haben, sind die Diskriminierung von unterrepräsentierten Gruppen in der Schule und Universitätszulassung und Geschlechterstereotype, die die Rekrutierung von Frauen negativ beeinflussen. Nicht nur das, sondern auch ein KI-Algorithmus im Strafrechtssystem wurde als “hochriskant” für afroamerikanische Angeklagte eingestuft, fast doppelt so oft wie für weiße Angeklagte in den USA, während Gesichtserkennungstechnologie immer noch unter hohen Fehlerraten für Minderheiten leidet, aufgrund mangelnder repräsentativer Trainingsdaten.

Die oben genannten Beispiele decken nur einen kleinen Teil der Verzerrungen ab, die von KI-Modellen gezeigt wurden, und wir können größere Probleme in der Zukunft vorhersehen, wenn wir nicht jetzt auf die Milderung von Verzerrungen achten. Es ist wichtig, sich daran zu erinnern, dass KI-Modelle aus Daten lernen, die diese Verzerrungen enthalten, aufgrund von menschlichen Entscheidungen, die von unkontrollierten und unbewussten Verzerrungen beeinflusst werden. In vielen Fällen kann die Überweisung an einen menschlichen Entscheidungsträger die Verzerrung nicht eliminieren. Die tatsächliche Milderung von Verzerrungen erfordert das Verständnis, wie sie in den Daten vorhanden sind, die Faktoren zu isolieren, die zu verzerrten Vorhersagen beitragen, und kollektiv zu entscheiden, was wir als Grundlage für wichtige Entscheidungen verwenden wollen. Die Entwicklung eines Satzes von Standards, damit wir Modelle auf Sicherheit überprüfen können, bevor sie für sensible Anwendungsfälle verwendet werden, wird ein wichtiger Schritt nach vorne sein.

KI-Halluzinationen sind ein großes Problem bei jeder Art von generativer KI. Können Sie erläutern, wie Human-in-the-Loop (HITL)-Training diese Probleme mildern kann?

Halluzinationen in KI-Modellen sind problematisch, insbesondere in Anwendungsfällen von generativer KI, aber es ist wichtig zu beachten, dass sie an sich kein Problem darstellen. In bestimmten kreativen Anwendungen von generativer KI sind Halluzinationen willkommen und tragen zu einer kreativeren und interessanteren Antwort bei.

Sie können problematisch sein, wenn die Abhängigkeit von faktischen Informationen hoch ist. Zum Beispiel im Gesundheitswesen, wo robuste Entscheidungsfindung wichtig ist, ist es wichtig, medizinischem Personal verlässliche faktische Informationen zu liefern.

HITL bezieht sich auf Systeme, die es Menschen ermöglichen, direktes Feedback zu einem Modell für Vorhersagen zu geben, die unter einem bestimmten Vertrauensniveau liegen. Im Kontext von Halluzinationen kann HITL verwendet werden, um Modelle zu lehren, welches Vertrauensniveau sie für verschiedene Anwendungsfälle haben sollten, bevor sie eine Antwort ausgeben. Diese Schwellenwerte variieren je nach Anwendungsfall und das Lehren von Modellen, die Unterschiede in der Strenge zu verstehen, die für die Beantwortung von Fragen aus verschiedenen Anwendungsfällen erforderlich sind, wird ein wichtiger Schritt zur Milderung der problematischen Arten von Halluzinationen sein. Zum Beispiel kann im Rechtsbereich der Mensch dem KI-Modell demonstrieren, dass Faktenüberprüfung ein erforderlicher Schritt ist, wenn Fragen auf der Grundlage komplexer Rechtsdokumente mit vielen Klauseln und Bedingungen beantwortet werden.

Wie können KI-Arbeiter wie Datenanreicherer dazu beitragen, potenzielle Verzerrungsprobleme zu reduzieren?

KI-Arbeiter können zunächst dabei helfen, Verzerrungen in den Daten zu identifizieren. Sobald die Verzerrung identifiziert wurde, wird es einfacher, Milderungsstrategien zu entwickeln. Datenanreicherer können auch dabei helfen, Wege zu finden, um Verzerrungen zu reduzieren. Zum Beispiel können sie für NLP-Aufgaben alternative Formulierungen für problematische Textpassagen vorschlagen, um die in der Sprache vorhandene Verzerrung zu reduzieren. Darüber hinaus kann die Vielfalt von KI-Arbeitern dazu beitragen, Probleme mit Verzerrungen in der Kennzeichnung zu mildern.

Wie stellen Sie sicher, dass die KI-Arbeiter ihre eigenen menschlichen Verzerrungen nicht ungewollt in das KI-System einbringen?

Es ist sicherlich ein komplexes Problem, das sorgfältige Überlegung erfordert. Die Eliminierung von menschlichen Verzerrungen ist fast unmöglich und KI-Arbeiter können ungewollt ihre eigenen Verzerrungen in die KI-Modelle einbringen, daher ist es wichtig, Prozesse zu entwickeln, die die Arbeiter zu Best Practices führen.

Einige Schritte, die unternommen werden können, um menschliche Verzerrungen auf ein Minimum zu reduzieren, sind:

• Umfassende Schulung von KI-Arbeitern zu unbewussten Verzerrungen und Bereitstellung von Werkzeugen, um ihre eigenen Verzerrungen während der Kennzeichnung zu identifizieren und zu managen.
• Checklisten, die KI-Arbeiter daran erinnern, ihre eigenen Antworten zu überprüfen, bevor sie sie einreichen.
• Durchführung einer Bewertung, die den Grad des Verständnisses der KI-Arbeiter überprüft, indem sie Beispiele für Antworten aus verschiedenen Arten von Verzerrungen gezeigt bekommen und aufgefordert werden, die am wenigsten verzerrte Antwort auszuwählen.

Regulierungsbehörden auf der ganzen Welt planen, die KI-Ausgabe zu regulieren. Was, Ihrer Meinung nach, verstehen Regulierungsbehörden falsch, und was machen sie richtig?

Es ist wichtig, zu Beginn zu sagen, dass dies ein sehr schwieriges Problem ist, für das noch keine Lösung gefunden wurde. Die Gesellschaft und die KI werden sich gegenseitig beeinflussen und sich in Weisen entwickeln, die sehr schwierig vorherzusagen sind. Ein Teil einer effektiven Strategie für die Entwicklung robuster und nützlicher Regulierungspraktiken besteht darin, auf das zu achten, was in der KI passiert, wie Menschen darauf reagieren und welche Auswirkungen sie auf verschiedene Branchen haben.

Ich denke, ein erhebliches Hindernis für eine effektive Regulierung von KI ist ein Mangel an Verständnis für das, was KI-Modelle können und nicht können, und wie sie funktionieren. Dies wiederum macht es schwieriger, die Konsequenzen, die diese Modelle auf verschiedene Branchen und Sektoren der Gesellschaft haben werden, genau vorherzusagen. Ein weiterer Bereich, in dem es an Führungsmacht mangelt, ist die Frage, wie man KI-Modelle an menschliche Werte ausrichtet und was Sicherheit in konkreteren Begriffen bedeutet.

Regulierungsbehörden haben eine Zusammenarbeit mit Experten auf dem Gebiet der KI gesucht, haben sich bemüht, die Innovation durch übermäßig strenge Regeln nicht zu behindern, und haben begonnen, die Konsequenzen von KI auf die Arbeitsplatzverdrängung zu berücksichtigen, was alle sehr wichtige Bereiche sind. Es ist wichtig, vorsichtig zu sein, während unsere Gedanken über die Regulierung von KI im Laufe der Zeit klarer werden, und so viele Menschen wie möglich in die Lösung dieses Problems einzubeziehen.

Wie können Prolific-Lösungen Unternehmen bei der Reduzierung von KI-Verzerrungen und anderen besprochenen Problemen helfen?

Die Datenerfassung für KI-Projekte war nicht immer ein bewusster oder sorgfältiger Prozess. Wir haben in der Vergangenheit Scraping, Outsourcing und andere Methoden gesehen. Es ist jedoch wichtig, wie wir KI trainieren, und nächste Generationen von Modellen werden auf absichtlich gesammelten, hochwertigen Daten von realen Menschen und von Menschen, mit denen wir direkten Kontakt haben, aufgebaut werden müssen. Hierbei macht Prolific einen Unterschied.

Andere Bereiche, wie Umfragen, Marktforschung oder wissenschaftliche Forschung, haben dies bereits vor langer Zeit gelernt. Die Zielgruppe, die Sie sampeln, hat einen großen Einfluss auf die Ergebnisse, die Sie erhalten. KI beginnt, aufzuholen, und wir stehen jetzt an einem Scheideweg.

Jetzt ist der Zeitpunkt, um anzufangen, sich um die Verwendung besserer Stichproben zu kümmern und mit repräsentativeren Gruppen für die KI-Schulung und -Verfeinerung zu arbeiten. Beides ist entscheidend für die Entwicklung sicherer, unvoreingenommener und ausgerichteter Modelle.

Prolific kann Unternehmen dabei helfen, die richtigen Werkzeuge bereitzustellen, um KI-Experimente auf sichere Weise durchzuführen und Daten von Teilnehmern zu sammeln, bei denen Verzerrungen überprüft und gemildert werden. Wir können Unternehmen auch dabei helfen, Richtlinien für die Datenerfassung, die Auswahl, die Entlohnung und die faire Behandlung von Teilnehmern zu entwickeln.

Was ist Ihre Meinung zu KI-Transparenz? Sollten Benutzer in der Lage sein, zu sehen, welche Daten ein KI-Algorithmus trainiert wurde?

Ich denke, es gibt Vor- und Nachteile für Transparenz und ein gutes Gleichgewicht ist noch nicht gefunden worden. Unternehmen verbergen Informationen über die Daten, die sie für die Schulung ihrer KI-Modelle verwendet haben, aus Angst vor Klagen. Andere haben gearbeitet, um ihre KI-Modelle öffentlich zugänglich zu machen und haben alle Informationen über die Daten, die sie verwendet haben, veröffentlicht. Vollständige Transparenz bietet viele Möglichkeiten für die Ausnutzung von Schwachstellen in diesen Modellen. Vollkommene Geheimhaltung hilft nicht dabei, Vertrauen aufzubauen und die Gesellschaft in die Entwicklung sicherer KI einzubeziehen. Ein guter Mittelweg würde genug Transparenz bieten, um Vertrauen in uns zu schaffen, dass KI-Modelle auf guten, relevanten Daten trainiert wurden, denen wir zugestimmt haben. Wir müssen darauf achten, wie KI verschiedene Branchen beeinflusst und offene Dialoge mit den betroffenen Parteien führen und sicherstellen, dass wir Praktiken entwickeln, die für alle funktionieren.

Ich denke, es ist auch wichtig, zu berücksichtigen, was Benutzer in Bezug auf Erklärbarkeit zufriedenstellen würde. Wenn sie verstehen wollen, warum ein Modell eine bestimmte Antwort produziert, hilft es ihnen nicht, wenn man ihnen die rohen Daten gibt, auf denen das Modell trainiert wurde. Es ist wichtig, gute Erklärbarkeits- und Interpretierbarkeitstools zu entwickeln.

KI-Ausrichtungsforschung zielt darauf ab, KI-Systeme auf menschliche Ziele, Vorlieben oder ethische Prinzipien auszurichten. Können Sie erläutern, wie KI-Arbeiter trainiert werden und wie dies dazu beiträgt, dass die KI so gut wie möglich ausgerichtet ist?

Dies ist ein aktives Forschungsgebiet und es gibt noch keine Einigkeit darüber, welche Strategien wir verwenden sollten, um KI-Modelle an menschliche Werte auszurichten oder welche Werte wir anstreben sollten.

KI-Arbeiter werden normalerweise aufgefordert, ihre Vorlieben authentisch darzustellen und Fragen zu ihren Vorlieben wahrheitsgetreu zu beantworten, während sie auch Prinzipien um Sicherheit, Freiheit von Verzerrungen, Schadlosigkeit und Nützlichkeit beachten.

In Bezug auf die Ausrichtung auf Ziele, ethische Prinzipien oder Werte gibt es mehrere Ansätze, die vielversprechend erscheinen. Ein bemerkenswertes Beispiel ist die Arbeit des Meaning Alignment Institute zu Demokratische Feinabstimmung. Es gibt einen hervorragenden Beitrag, der die Idee hier vorstellt.

Vielen Dank für das großartige Interview und für die Teilung Ihrer Ansichten zu KI-Verzerrungen. Leser, die mehr erfahren möchten, sollten Prolific besuchen.