Yaron Singer, CEO von Robust Intelligence und Professor für Informatik an der Harvard University – Interviewreihe

Yaron Singer ist der CEO von Robust Intelligence und Professor für Informatik und Angewandte Mathematik an der Harvard University. Yaron ist bekannt für bahnbrechende Ergebnisse im Bereich des maschinellen Lernens, der Algorithmen und der Optimierung. Zuvor arbeitete Yaron bei Google (GOOGL ) Research und erhielt seinen PhD von der UC Berkeley.

Was hat Sie ursprünglich zum Bereich der Informatik und des maschinellen Lernens gezogen?

Meine Reise begann mit Mathematik, die mich zur Informatik führte, die mich wiederum zum maschinellen Lernen brachte. Mathematik hat mich zunächst deshalb interessiert, weil ihr axiomatisches System es mir ermöglichte, neue Welten zu schaffen. Mit der Informatik habe ich dann existenzielle Beweise kennengelernt, aber auch die Algorithmen dahinter. Aus kreativer Sicht ist die Informatik die Zeichnung von Grenzen zwischen dem, was wir können und nicht können.

Mein Interesse am maschinellen Lernen ist immer auf reale Daten zurückzuführen, fast auf die physische Seite davon. Dinge aus der realen Welt nehmen und sie modellieren, um etwas Bedeutungsvolles zu schaffen. Wir könnten buchstäblich eine bessere Welt durch sinnvolles Modellieren schaffen. Also gab mir die Mathematik eine Grundlage, um Dinge zu beweisen, die Informatik half mir, zu sehen, was wir können und nicht können, und das maschinelle Lernen ermöglicht es mir, diese Konzepte in der Welt zu modellieren.

Bis vor kurzem waren Sie Professor für Informatik und Angewandte Mathematik an der Harvard University. Was waren einige Ihrer wichtigsten Erkenntnisse aus dieser Erfahrung?

Meine größte Erkenntnis aus meiner Zeit als Fakultätsmitglied an der Harvard University ist, dass es einen entwickelt, große Dinge zu tun. Harvard hat traditionell eine kleine Fakultät, und die Erwartung an die tenure track-Fakultät ist es, große Probleme anzugehen und neue Felder zu schaffen. Man muss mutig sein. Das ist eine großartige Vorbereitung darauf, ein Unternehmen zu gründen, das eine neue Kategorie schafft und einen neuen Raum definiert. Ich empfehle nicht unbedingt, den Harvard-Tenure-Track zuerst zu durchlaufen – aber wenn man das überlebt, ist es leichter, ein Unternehmen zu gründen.

Können Sie Ihre “Aha”-Erkenntnis beschreiben, als Sie realisierten, dass fortschrittliche KI-Systeme anfällig für schlechte Daten sind, mit möglicherweise weitreichenden Konsequenzen?

Als ich als Graduate Student an der UC Berkeley war, nahm ich eine Auszeit, um ein Startup zu gründen, das maschinelle Lernmodelle für Marketing in sozialen Netzwerken aufbaute. Das war 2010. Wir hatten enorme Mengen an Daten von sozialen Medien und kodierten alle Modelle von Grund auf. Die finanziellen Auswirkungen für Einzelhändler waren erheblich, also verfolgten wir die Leistung der Modelle genau. Da wir Daten aus sozialen Medien verwendeten, gab es viele Fehler in den Eingaben sowie Drift. Wir sahen, dass sehr kleine Fehler zu großen Änderungen in der Modellausgabe führen konnten und zu schlechten finanziellen Ergebnissen für Einzelhändler führen konnten, die das Produkt verwendeten.

Als ich zu Google+ wechselte (für diejenigen, die sich daran erinnern), sah ich dieselben Effekte. In Systemen wie AdWords, die Vorhersagen über die Wahrscheinlichkeit treffen, dass Menschen auf eine Anzeige für bestimmte Schlüsselwörter klicken, stellten wir fest, dass kleine Fehler in den Eingaben zu sehr schlechten Vorhersagen führen. Wenn man dieses Problem im Google-Maßstab erlebt, wird einem klar, dass das Problem universell ist.

Diese Erfahrungen haben meine Forschungsarbeit stark geprägt, und ich habe meine Zeit an der Harvard University damit verbracht, zu untersuchen, warum KI-Modelle Fehler machen und wie man Algorithmen entwerfen kann, die verhindern, dass Modelle Fehler machen. Das führte zu mehr “Aha”-Erlebnissen und schließlich zur Gründung von Robust Intelligence.

Können Sie die Entstehungsgeschichte hinter Robust Intelligence teilen?

Robust Intelligence begann mit der Forschung zu einem theoretischen Problem: Welche Garantien können wir für Entscheidungen haben, die mit KI-Modellen getroffen werden? Kojin war ein Student an der Harvard University, und wir arbeiteten zusammen, zunächst Forschungsarbeiten schreibend. Also beginnt es mit dem Schreiben von Artikeln, die theoretisch darlegen, was fundamental möglich und unmöglich ist. Diese Ergebnisse führten später zu einem Programm für die Entwicklung von Algorithmen und Modellen, die robust gegen KI-Fehler sind. Wir bauten dann Systeme, die diese Algorithmen in der Praxis ausführen können. Danach war es ein natürlicher Schritt, ein Unternehmen zu gründen, in dem Organisationen ein solches System nutzen können.

Viele der Probleme, die Robust Intelligence angeht, sind stille Fehler. Was sind das und was macht sie so gefährlich?

Bevor ich eine technische Definition von stillen Fehlern gebe, ist es wichtig, zurückzutreten und zu verstehen, warum wir uns überhaupt um KI-Modelle kümmern, die Fehler machen. Der Grund, warum wir uns um KI-Modelle kümmern, die Fehler machen, ist die Konsequenz dieser Fehler. Unsere Welt verwendet KI, um kritische Entscheidungen zu automatisieren: Wer erhält ein Geschäftsdarlehen und zu welchem Zinssatz, wer erhält eine Krankenversicherung und zu welchem Tarif, welche Stadtteile sollten von der Polizei patrouilliert werden, wer ist der wahrscheinlichste Kandidat für einen Job, wie sollten wir die Flughafensicherheit organisieren und so weiter. Die Tatsache, dass KI-Modelle extrem fehleranfällig sind, bedeutet, dass wir bei der Automatisierung dieser kritischen Entscheidungen ein großes Risiko übernehmen. Bei Robust Intelligence nennen wir dies “KI-Risiko” und unsere Mission ist es, KI-Risiken zu eliminieren.

Stille Fehler sind KI-Modelle, die Fehler machen, bei denen das KI-Modell Eingaben erhält und eine Vorhersage oder Entscheidung als Ausgabe produziert, die falsch oder voreingenommen ist. Also sieht auf der Oberfläche alles in Ordnung aus, da das KI-Modell funktionell tut, was es tun soll. Aber die Vorhersage oder Entscheidung ist fehlerhaft. Diese Fehler sind still, weil das System nicht weiß, dass ein Fehler vorliegt. Das kann viel schlimmer sein als der Fall, in dem ein KI-Modell keine Ausgabe produziert, weil es lange dauern kann, bis Organisationen erkennen, dass ihr KI-System fehlerhaft ist. Dann wird KI-Risiko zu KI-Fehlern, die verheerende Konsequenzen haben können.

Robust Intelligence hat im Wesentlichen einen KI-Feuerwall entworfen, eine Idee, die zuvor als unmöglich galt. Warum ist dies eine so große technische Herausforderung?

Einer der Gründe, warum der KI-Feuerwall eine Herausforderung darstellt, ist, dass er gegen das Paradigma der KI-Gemeinschaft verstößt. Das vorherige Paradigma der KI-Gemeinschaft war, dass man, um Fehler zu eliminieren, mehr Daten, einschließlich schlechter Daten, an Modelle füttern muss. Durch diese Vorgehensweise trainieren sich die Modelle selbst und lernen, ihre eigenen Fehler zu korrigieren. Das Problem mit diesem Ansatz ist, dass er die Genauigkeit des Modells dramatisch senkt. Die besten bekannten Ergebnisse für Bilder, zum Beispiel, senken die Genauigkeit des KI-Modells von 98,5% auf etwa 37%.

Der KI-Feuerwall bietet eine andere Lösung. Wir trennen das Problem der Fehlererkennung von der Rolle der Vorhersage, was bedeutet, dass der Feuerwall sich auf eine bestimmte Aufgabe konzentrieren kann: Bestimmen, ob ein Datapunkt zu einer fehlerhaften Vorhersage führen wird.

Das war eine Herausforderung an sich, aufgrund der Schwierigkeit, eine Vorhersage für einen einzelnen Datapunkt zu treffen. Es gibt viele Gründe, warum Modelle Fehler machen, also war es nicht leicht, eine Technologie zu entwickeln, die diese Fehler vorhersagen kann. Wir sind sehr glücklich, die Ingenieure zu haben, die wir haben.

Wie kann das System helfen, KI-Voreingenommenheit zu verhindern?

Modellvoreingenommenheit entsteht aus einer Diskrepanz zwischen den Daten, auf denen das Modell trainiert wurde, und den Daten, die es verwendet, um Vorhersagen zu treffen. Wenn wir auf KI-Risiken zurückblicken, ist Voreingenommenheit ein großes Problem, das auf stille Fehler zurückzuführen ist. Zum Beispiel ist dies oft ein Problem mit unterrepräsentierten Bevölkerungsgruppen. Ein Modell kann voreingenommen sein, weil es weniger Daten von dieser Bevölkerungsgruppe gesehen hat, was die Leistung des Modells und die Genauigkeit seiner Vorhersagen dramatisch beeinflussen kann. Der KI-Feuerwall kann Organisationen auf diese Datenunterschiede hinweisen und helfen, das Modell zu korrigieren.

Was sind einige der anderen Risiken für Organisationen, die ein KI-Feuerwall hilft, zu verhindern?

Jedes Unternehmen, das KI verwendet, um kritische Entscheidungen zu automatisieren, insbesondere kritische Entscheidungen, introduceert automatisch ein Risiko. Schlechte Daten könnten so einfach sein wie die Eingabe einer Null anstelle einer Eins und trotzdem zu erheblichen Konsequenzen führen. Ob das Risiko falsche medizinische Vorhersagen oder falsche Vorhersagen über Kredite betrifft, der KI-Feuerwall hilft Organisationen, Risiken zu verhindern.

Gibt es noch etwas, das Sie über Robust Intelligence teilen möchten?

Robust Intelligence wächst schnell und wir erhalten viele großartige Bewerbungen. Aber etwas, das ich wirklich betonen möchte, ist, dass die wichtigste Eigenschaft, die wir bei Bewerbern suchen, ihre Leidenschaft für die Mission ist. Wir treffen viele Bewerber, die technisch stark sind, also kommt es wirklich darauf an, ob sie wirklich leidenschaftlich daran interessiert sind, KI-Risiken zu eliminieren und die Welt zu einem sichereren und besseren Ort zu machen.

In der Welt, in die wir gehen, werden viele Entscheidungen, die derzeit von Menschen getroffen werden, automatisiert. Ob uns das gefällt oder nicht, das ist ein Fakt. Angesichts dessen wollen wir alle bei Robust Intelligence, dass automatisierte Entscheidungen verantwortungsvoll getroffen werden. Also suchen wir nach Menschen, die begeistert sind, einen Einfluss zu haben, die verstehen, wie dies das Leben von Menschen beeinflussen kann. Wir suchen nach dieser Leidenschaft. Wir suchen nach den Menschen, die diese Technologie schaffen werden, die die ganze Welt verwenden wird.

Vielen Dank für das großartige Interview, ich habe mich gefreut, Ihre Ansichten über die Verhinderung von KI-Voreingenommenheit und die Notwendigkeit eines KI-Feuerwalls zu hören. Leser, die mehr erfahren möchten, sollten Robust Intelligence besuchen.