Yaron Singer, CEO von Robust Intelligence und Professor für Informatik an der Harvard University – Interviewreihe

Yaron Singer ist der CEO von Robuste Intelligenz und Professor für Informatik und Angewandte Mathematik in Harvard. Yaron ist bekannt für bahnbrechende Ergebnisse in den Bereichen maschinelles Lernen, Algorithmen und Optimierung. Zuvor arbeitete Yaron bei Google Research und promovierte an der UC Berkeley.

Was hat Sie ursprünglich an der Informatik und dem maschinellen Lernen interessiert?

Meine Reise begann mit Mathematik, die mich zur Informatik führte, die mich auf den Weg zum maschinellen Lernen brachte. Mathematik weckte zunächst mein Interesse, weil ihr axiomatisches System mir die Fähigkeit gab, neue Welten zu erschaffen. In der Informatik habe ich etwas über existenzielle Beweise gelernt, aber auch über die Algorithmen dahinter. Aus kreativer Sicht ist Informatik das Ziehen von Grenzen zwischen dem, was wir können und was nicht.

Mein Interesse am maschinellen Lernen wurzelte schon immer in einem Interesse an realen Daten, fast dem physischen Aspekt davon. Dinge aus der realen Welt nehmen und sie modellieren, um etwas Sinnvolles zu schaffen. Durch sinnvolle Modellierung könnten wir buchstäblich eine bessere Welt schaffen. Die Mathematik gab mir also eine Grundlage, um Dinge zu beweisen, die Informatik hilft mir zu erkennen, was getan werden kann und was nicht, und maschinelles Lernen ermöglicht es mir, diese Konzepte in der Welt zu modellieren.

Bis vor kurzem waren Sie Professor für Informatik und Angewandte Mathematik an der Harvard University. Was waren Ihre wichtigsten Erkenntnisse aus dieser Erfahrung?

Was ich als Fakultätsmitglied in Harvard am meisten mitnehme, ist, dass man dadurch den Appetit auf Großes weckt. Harvard hat traditionell eine kleine Fakultät, und die Erwartung an die Tenure-Track-Fakultät besteht darin, große Probleme anzugehen und neue Bereiche zu schaffen. Man muss mutig sein. Dies ist letztendlich eine hervorragende Vorbereitung für die Gründung eines kategorienschaffenden Startups, das einen neuen Raum definiert. Ich empfehle nicht unbedingt, zuerst den Harvard-Tenure-Track zu absolvieren – aber wenn man das übersteht, ist der Aufbau eines Startups einfacher.

Könnten Sie Ihren Aha-Moment beschreiben, als Ihnen klar wurde, dass hochentwickelte KI-Systeme anfällig für fehlerhafte Daten sind, was möglicherweise weitreichende Folgen haben kann?

Als Doktorand an der UC Berkeley nahm ich mir eine Auszeit, um ein Startup zu gründen, das Modelle für maschinelles Lernen für das Marketing in sozialen Netzwerken entwickelte. Das war im Jahr 2010. Wir hatten riesige Datenmengen aus sozialen Medien und haben alle Modelle von Grund auf codiert. Die finanziellen Auswirkungen für Einzelhändler waren recht erheblich, daher haben wir die Leistung der Modelle genau verfolgt. Da wir Daten aus sozialen Medien verwendeten, gab es viele Eingabefehler und Abweichungen. Wir haben gesehen, dass sehr kleine Fehler zu großen Änderungen in der Modellausgabe führten und zu schlechten finanziellen Ergebnissen für Einzelhändler führen konnten, die das Produkt verwenden.

Als ich dazu überging, bei Google+ zu arbeiten (für diejenigen unter uns, die sich erinnern), sah ich genau die gleichen Auswirkungen. Noch dramatischer ist, dass wir bei Systemen wie AdWords, die Vorhersagen über die Wahrscheinlichkeit machten, mit der Menschen auf eine Anzeige für Schlüsselwörter klicken, festgestellt haben, dass kleine Fehler bei der Eingabe in das Modell zu sehr schlechten Vorhersagen führten. Wenn Sie dieses Problem auf Google-Ebene beobachten, wird Ihnen klar, dass das Problem universell ist.

Diese Erfahrungen haben meinen Forschungsschwerpunkt stark geprägt, und ich habe meine Zeit in Harvard damit verbracht, zu untersuchen, warum KI-Modelle Fehler machen und, was noch wichtiger ist, wie man Algorithmen entwirft, die verhindern können, dass Modelle Fehler machen. Dies führte natürlich zu mehr Aha-Momenten und schließlich zur Entstehung von Robust Intelligence.

Könnten Sie uns die Entstehungsgeschichte von Robust Intelligence erzählen?

Robust Intelligence begann mit der Erforschung eines ursprünglich theoretischen Problems: Welche Garantien können wir für Entscheidungen haben, die mithilfe von KI-Modellen getroffen werden? Kojin war Student in Harvard und wir arbeiteten zusammen und verfassten zunächst Forschungsarbeiten. Es beginnt also mit dem Verfassen von Aufsätzen, in denen dargelegt wird, was theoretisch grundsätzlich möglich und unmöglich ist. Diese Ergebnisse wurden später in einem Programm zur Entwicklung von Algorithmen und Modellen weitergeführt, die robust gegenüber KI-Ausfällen sind. Anschließend bauen wir Systeme, die diese Algorithmen in der Praxis ausführen können. Danach war die Gründung eines Unternehmens, in dem Organisationen ein solches System nutzen konnten, ein natürlicher nächster Schritt.

Viele der Probleme, mit denen sich Robust Intelligence befasst, sind stille Fehler. Was sind das und was macht sie so gefährlich?

Bevor wir eine technische Definition stiller Fehler geben, lohnt es sich, einen Schritt zurückzutreten und zu verstehen, warum wir uns überhaupt darum kümmern sollten, dass KI Fehler macht. Der Grund, warum wir uns darum kümmern, dass KI-Modelle Fehler machen, sind die Konsequenzen dieser Fehler. Unsere Welt nutzt KI, um wichtige Entscheidungen zu automatisieren: Wer erhält einen Geschäftskredit und zu welchem ​​Zinssatz, wer erhält Krankenversicherungsschutz und zu welchem ​​Zinssatz, in welchen Vierteln sollte die Polizei patrouillieren, wer ist am wahrscheinlichsten ein Spitzenkandidat für einen Job? Wie sollten wir die Flughafensicherheit organisieren und so weiter? Die Tatsache, dass KI-Modelle äußerst fehleranfällig sind, bedeutet, dass wir mit der Automatisierung dieser kritischen Entscheidungen ein großes Risiko in uns tragen. Bei Robust Intelligence nennen wir dies „KI-Risiko“ und unsere Mission im Unternehmen ist es, KI-Risiken zu eliminieren.

Stille Fehler sind Fehler von KI-Modellen, bei denen das KI-Modell Eingaben empfängt und als Ausgabe eine Vorhersage oder Entscheidung erzeugt, die falsch oder verzerrt ist. Oberflächlich betrachtet sieht das System also insofern in Ordnung aus, als dass das KI-Modell aus funktionaler Sicht das tut, was es tun soll. Aber die Vorhersage oder Entscheidung ist falsch. Diese Fehler bleiben stumm, da das System nicht weiß, dass ein Fehler vorliegt. Dies kann weitaus schlimmer sein als der Fall, in dem ein KI-Modell keine Ergebnisse liefert, da es lange dauern kann, bis Unternehmen erkennen, dass ihr KI-System fehlerhaft ist. Dann wird das KI-Risiko zu KI-Ausfällen, die schwerwiegende Folgen haben können.

Robust Intelligence hat im Wesentlichen eine KI-Firewall entwickelt, eine Idee, die zuvor als unmöglich galt. Warum ist das eine solche technische Herausforderung?

Ein Grund dafür, dass die KI-Firewall eine solche Herausforderung darstellt, liegt darin, dass sie dem Paradigma der ML-Community widerspricht. Das bisherige Paradigma der ML-Community war, dass man, um Fehler zu beseitigen, mehr Daten, einschließlich fehlerhafter Daten, in Modelle einspeisen muss. Auf diese Weise trainieren sich die Modelle selbst und lernen, Fehler selbst zu korrigieren. Das Problem bei diesem Ansatz besteht darin, dass dadurch die Genauigkeit des Modells dramatisch abnimmt. Die bekanntesten Ergebnisse für Bilder führen beispielsweise dazu, dass die Genauigkeit des KI-Modells von 98.5 % auf etwa 37 % sinkt.

Die AI Firewall bietet eine andere Lösung. Wir entkoppeln das Problem der Fehlererkennung von der Aufgabe, eine Vorhersage zu erstellen, was bedeutet, dass sich die Firewall auf eine bestimmte Aufgabe konzentrieren kann: Bestimmen, ob ein Datenpunkt eine fehlerhafte Vorhersage erzeugen wird.

Dies war an sich schon eine Herausforderung, da es schwierig war, eine Vorhersage für einen einzelnen Datenpunkt zu treffen. Es gibt viele Gründe, warum Modelle Fehler machen. Daher war es keine leichte Aufgabe, eine Technologie zu entwickeln, die diese Fehler vorhersagen kann. Wir sind sehr glücklich, die Ingenieure zu haben, die wir haben.

Wie kann das System dazu beitragen, KI-Bias zu verhindern?

Modellverzerrungen entstehen durch eine Diskrepanz zwischen den Daten, auf denen das Modell trainiert wurde, und den Daten, die es für Vorhersagen verwendet. Zurück zum KI-Risiko: Voreingenommenheit ist ein großes Problem, das auf stille Fehler zurückzuführen ist. Dies ist beispielsweise häufig ein Problem bei unterrepräsentierten Bevölkerungsgruppen. Ein Modell kann verzerrt sein, weil es weniger Daten aus dieser Population gesehen hat, was sich dramatisch auf die Leistung dieses Modells und die Genauigkeit seiner Vorhersagen auswirkt. Die AI Firewall kann Unternehmen auf diese Datendiskrepanzen aufmerksam machen und dem Modell helfen, richtige Entscheidungen zu treffen.

Welche anderen Risiken für Unternehmen kann eine KI-Firewall verhindern?

Jedes Unternehmen, das KI zur Automatisierung von Entscheidungen, insbesondere kritischen Entscheidungen, einsetzt, bringt automatisch Risiken mit sich. Schlechte Daten können so geringfügig sein wie die Eingabe einer Null statt einer Eins und dennoch erhebliche Konsequenzen nach sich ziehen. Unabhängig davon, ob es sich bei dem Risiko um falsche medizinische Vorhersagen oder falsche Vorhersagen zur Kreditvergabe handelt, hilft die AI Firewall Unternehmen, Risiken insgesamt zu verhindern.

Gibt es noch etwas, das Sie über Robust Intelligence mitteilen möchten?

Robust Intelligence wächst rasant und wir bekommen viele tolle Kandidaten, die sich auf Stellen bewerben. Was ich den Menschen, die sich bewerben möchten, jedoch besonders hervorheben möchte, ist, dass die wichtigste Eigenschaft, die wir bei den Kandidaten suchen, ihre Leidenschaft für die Mission ist. Wir lernen viele Kandidaten kennen, die technisch stark sind. Es kommt also darauf an, herauszufinden, ob sie sich wirklich dafür einsetzen, KI-Risiken zu eliminieren, um die Welt sicherer und besser zu machen.

In der Welt, auf die wir zugehen, werden viele Entscheidungen, die derzeit von Menschen getroffen werden, automatisiert. Ob es uns gefällt oder nicht, das ist eine Tatsache. Vor diesem Hintergrund möchten wir alle bei Robust Intelligence, dass automatisierte Entscheidungen verantwortungsvoll getroffen werden. Jeder, der Freude daran hat, etwas zu bewirken, und der versteht, wie sich dies auf das Leben der Menschen auswirken kann, ist ein Kandidat, den wir für den Beitritt zu Robust Intelligence suchen. Wir suchen diese Leidenschaft. Wir suchen die Menschen, die diese Technologie entwickeln, die die ganze Welt nutzen wird.

Vielen Dank für das tolle Interview. Es hat mir Spaß gemacht, mehr über Ihre Ansichten zur Verhinderung von KI-Voreingenommenheit und über die Notwendigkeit einer KI-Firewall zu erfahren. Leser, die mehr erfahren möchten, sollten hier vorbeischauen Robuste Intelligenz.