Ali Ansari, Gründer und CEO von micro1 – Interviewreihe

Ali Ansari ist Gründer und CEO von micro1. Dort konzentriert er sich darauf, menschliche Expertise in Trainingsdaten und Evaluierungen für fortgeschrittene KI-Systeme zu überführen. Zu seiner unternehmerischen Laufbahn gehören der Aufbau einer Softwareentwicklungsagentur und die Gründung von peerlinc, bevor er 2022 micro1 ins Leben rief. Er studierte Informatik an der UC Berkeley und der Stanford University mit Schwerpunkt auf bestärkendem Lernen und arbeitet heute an den Systemen, die erforderlich sind, um Expertenbeiträge zur KI-Entwicklung zu gewinnen, zu bewerten und zu koordinieren.

micro1 ist ein Datenlabor, das mithilfe menschlicher Expertise und realistischer Arbeitsumgebungen das Training führender KI-Modelle und die Evaluierung von KI-Agenten unterstützt. Die Plattform vereint die Rekrutierung von Fachkräften, die Erstellung von Daten, die Qualitätsprüfung und die Modellevaluierung in Bereichen wie Recht, Gesundheitswesen, Finanzwesen, Ingenieurwesen und Wissenschaft. In diesem Interview spricht Ansari darüber, warum die Nachfrage nach menschlicher Expertise wächst, wie Betriebsdaten das bestärkende Lernen unterstützen und welche beruflichen Chancen rund um das Training und die Evaluierung von KI entstehen.

Du hast 2022 micro1 gegründet, nachdem du zuvor peerlinc aufgebaut und verkauft hattest. Welches Problem wolltest du ursprünglich lösen, und wie entwickelte sich micro1 zu einem Unternehmen, das sich auf das Training und die Evaluierung führender KI-Modelle konzentriert?

Ursprünglich ging es um ein Problem, das ich in meinem eigenen Unternehmen hatte. Ich leitete eine Softwareentwicklungsagentur, und jedes neue Projekt bedeutete, weitere Ingenieure zu finden und Vorstellungsgespräche mit ihnen zu führen. Das nahm einen Großteil meiner Zeit in Anspruch. Deshalb entwickelten wir eine KI-gestützte Interviewerin namens Zara, die uns dabei helfen sollte. Daraus entstand schließlich micro1.

Zunächst verkauften wir die Rekrutierungssoftware und bauten einen Marktplatz mit geprüften Fachkräften auf. Dann kam ein Kunde auf uns zu, der Hunderte von Ingenieuren benötigte, um KI-Modelle zu trainieren. Wir gingen der Frage nach, warum so viele Menschen gebraucht wurden, und erkannten, dass hinter der Entwicklung von Modellen eine enorme Nachfrage nach menschlicher Expertise stand.

Wir hatten bereits Jahre damit verbracht, die Fähigkeit aufzubauen, Menschen in großem Maßstab zu finden und zu überprüfen. Menschliche Daten waren eine äußerst wirkungsvolle Anwendung dieser Infrastruktur. Also setzten wir voll darauf, nutzten unseren KI-Recruiter, um Fachkräfte mit Expertenwissen zu finden und zu überprüfen, und bauten darauf aufbauend weitere Datenplattformen und Qualitätssicherungssysteme. Heute helfen wir Forschungslaboren dabei, diese Expertise in leistungsfähigere Modelle umzusetzen.

Du hast argumentiert, dass mit zunehmender Leistungsfähigkeit von KI-Modellen die Nachfrage nach menschlicher Expertise nicht etwa verschwindet, sondern sogar steigt. Was treibt diesen Zusammenhang an?

Dabei spielen mehrere Faktoren eine Rolle. Erstens übertragen wir den Modellen schwierigere Aufgaben, je besser sie werden. Ein Modell, das eine Frage beantworten kann, ist nützlich. Ein Modell, das einen vollständigen Arbeitsablauf übernehmen kann, ist deutlich nützlicher – dafür ist jedoch erheblich mehr Expertenwissen erforderlich.

Zweitens schaffen Menschen ständig neue Arbeit. Wenn ein Anwalt KI für viele Aufgaben nutzen kann, die bisher den Großteil seines Arbeitstags beansprucht haben, bleibt ihm mehr Zeit, sich komplexeren Problemen zu widmen oder eine neue Dienstleistung für Mandanten zu entwickeln. Diese völlig neuen Tätigkeiten wollen wir dann ebenfalls in Modelle einfließen lassen. Das meinen wir mit „Es gibt keine letzte Meile“. Die Arbeit entwickelt sich ständig weiter.

Synthetische Daten machen das Ganze noch interessanter. Mit ihnen lassen sich von Experten erstellte Aufgaben und Rückmeldungen erweitern, wodurch der ursprüngliche menschliche Beitrag noch nützlicher wird. Ich denke, diese Kombination ist der Grund dafür, dass die Nachfrage nach menschlicher Expertise parallel zu den Fähigkeiten der Modelle weiter wächst.

micro1 arbeitet mit Fachleuten aus Bereichen wie Recht, Gesundheitswesen, Finanzwesen, Ingenieurwesen und Wissenschaft zusammen. Was können diese Experten zu KI-Systemen beitragen, das sich nicht einfach aus bereits vorhandenen Online-Daten lernen lässt?

Ein großer Teil dessen, was einen guten Arzt, Anwalt oder Ingenieur ausmacht, ist das Urteilsvermögen, das sie durch ihre Arbeit entwickelt haben. Einiges davon ist dokumentiert, doch vieles zeigt sich darin, wie sie mit einem ungewöhnlichen Fall umgehen, fehlende Informationen erkennen oder entscheiden, auf welches Detail es tatsächlich ankommt.

Das ist für das Training von Modellen äußerst wertvoll. Ein Experte kann eine schwierige Aufgabe entwickeln, erläutern, wie ein gutes Ergebnis aussehen sollte, und genau benennen, woran ein Modell scheitert. Eine Antwort kann sehr überzeugend klingen und trotzdem genau das verfehlen, was für jemanden, der diese Arbeit ausübt, am wichtigsten ist.

Wir brauchen Experten, um solche Unterschiede zu erkennen. Außerdem brauchen wir unterschiedliche Perspektiven und ein sorgfältiges Prüfverfahren, denn das Urteil einer einzelnen Person kann nicht jeden Fall abdecken. Ziel ist es, diese Erfahrung in ein Signal umzuwandeln, aus dem das Modell lernen kann. Zudem gibt es in jedem Fachgebiet sehr viele Feinheiten. Juristische Expertise ist beispielsweise keine einheitliche Sache: Sie unterscheidet sich je nach Rechtsgebiet, Bundesstaat oder Rechtsordnung sowie nach den Rechtssystemen verschiedener Länder. Jede Ebene erfordert mehr Fachwissen und Urteilsvermögen. Diese Tiefe findet sich in allen Fachgebieten und ihren zahlreichen Teilgebieten. Deshalb brauchen wir Experten, die verstehen, was diese Unterschiede in der Praxis bedeuten.

Da sich die Branche zunehmend auf das Nachtraining, bestärkendes Lernen und die Evaluierung konzentriert: Wo liegen Ihrer Meinung nach heute die größten Engpässe bei der Verbesserung führender Modelle?

Ich denke, der Zugang zu realitätsnahen Daten ist einer der größten Engpässe. Unternehmen haben jahrelang Probleme gelöst, Entscheidungen getroffen und Ausnahmen bearbeitet. Diese Erfahrung ist in ihren Dokumenten, Systemen und Arbeitsabläufen festgehalten. Sie ist unglaublich wertvoll, wenn ein Modell lernen soll, echte Arbeit zu verrichten.

Deshalb haben wir unser Company Data Partnerships-Programm, kurz CDP, ins Leben gerufen. Wir bezahlen Unternehmen dafür, dass sie uns Lizenzen für ihre Betriebsdaten erteilen. Dazu können interne Dokumentationen, Projektverläufe, CRM-Datensätze und die Abläufe gehören, mit denen Mitarbeitende ihre Arbeit erledigen. Für wertvolle Unternehmensdatensätze zahlen wir mehr als 2 Millionen Dollar – abhängig von den Daten und der Partnerschaft.

Wir nutzen dieses Material, um realistische Trainings- und Evaluierungsumgebungen aufzubauen. Stellen Sie sich vor, ein Kundenanliegen zu lösen: Vielleicht müssen Sie den Kontoverlauf prüfen, die einschlägige Richtlinie finden und herausarbeiten, welche Maßnahme zu ergreifen ist. Eine Umgebung, die auf diesem Arbeitsablauf basiert, bietet einem Modell die Möglichkeit, diese Schritte zu üben. Fachleute legen die Aufgabe fest und bestimmen, wie sich beurteilen lässt, ob sie erfolgreich abgeschlossen wurde. Durch dieses Feedback wird die Umgebung für bestärkendes Lernen nützlich.

Die Unternehmen behalten das Eigentum an ihren zugrunde liegenden Daten. Wir vereinbaren den Umfang und die Anforderungen an den Umgang mit den Daten, einschließlich Datenschutzmaßnahmen, und bereiten sie für den vorgesehenen Verwendungszweck auf.

Der Wert liegt in der Erfahrung, die sich in diesen Datensätzen widerspiegelt. CDP bietet Unternehmen die Möglichkeit, mit dieser Erfahrung Einnahmen zu erzielen und zugleich dazu beizutragen, dass Modelle lernen, in wesentlich realistischeren Umgebungen zu arbeiten.

Welche Formen menschlichen Urteilsvermögens oder Fachwissens lassen sich Ihrer Meinung nach für KI-Systeme besonders schwer nachbilden, selbst wenn Modelle deutlich leistungsfähiger werden?

Menschlicher Geschmack und Kreativität sind Bereiche, mit denen sich Modelle meiner Meinung nach besonders schwertun werden. Der Grund dafür hängt damit zusammen, wie wir Trainingsdaten erstellen.

Bei vielen Aufgaben können wir Fachleute zusammenbringen und sie sich darauf einigen lassen, woran sich gute Arbeit erkennen lässt. Dadurch erhalten wir ein hilfreiches Signal, an dem wir die Modelle trainieren können. Fragt man Menschen jedoch, was ein großartiges Bild, einen großartigen Film oder ein überzeugendes Design ausmacht, können ihre Ansichten umso stärker auseinandergehen, je länger sie darüber diskutieren. Es gibt nicht immer eine einzige Antwort, auf die man sich einigen kann.

KI kann auch in diesen Bereichen sehr nützlich werden. Doch die Entscheidung darüber, was man erschaffen möchte, für wen es gedacht ist und ob es tatsächlich Anklang findet, erfordert viel menschliches Urteilsvermögen. Ich denke, dass dieses Urteilsvermögen umso wichtiger wird, je leichter sich mit den Tools Dinge produzieren lassen.

Sie beobachten, dass Fachleute das Training und die Evaluierung von KI zunehmend als ernsthafte berufliche Tätigkeit und nicht mehr als Nebenjob betrachten. Könnte sich daraus eine völlig neue Beschäftigungskategorie entwickeln, und wie könnten solche Laufbahnen aussehen?

Auf jeden Fall. Daraus ist bereits eine neue, mehrere Milliarden Dollar schwere Beschäftigungskategorie entstanden. Fachleute bringen das Wissen ein, das sie im Laufe ihrer Karriere erworben haben, um KI zu trainieren und zu evaluieren. Für manche wird diese Tätigkeit zu einem bedeutenden Teil ihres Berufslebens.

Die Arbeit selbst kann sehr anspruchsvoll sein. Eine Anwältin oder ein Anwalt könnte ein schwieriges Szenario entwerfen und festlegen, wie die Antwort des Modells zu beurteilen ist. Eine Ingenieurin oder ein Ingenieur könnte eine Aufgabe entwickeln, bei der ein Agent einen vollständigen Software-Arbeitsablauf durchläuft. Hinzu kommen Personen, die Daten prüfen, Evaluierungskriterien verbessern und Expertenteams leiten. Die Arbeit kann Menschen außerdem mehr Raum geben, sich auf das zu konzentrieren, was sie ursprünglich an ihrem Fachgebiet gereizt hat. In den meisten Berufen entfällt viel Zeit auf Verwaltungsaufgaben und Pflichten, die außerhalb der Tätigkeiten liegen, die Menschen als besonders sinnstiftend empfinden. Das Training von KI im eigenen Fachgebiet kann die Expertise in den Mittelpunkt der Arbeit rücken: schwierige Probleme bearbeiten, das eigene Urteilsvermögen einsetzen und die Erkenntnisse aus der eigenen Erfahrung weitergeben. So können sie mehr Zeit mit den Dingen verbringen, die ihnen wichtig sind und die sie besonders gut können, und zugleich mitgestalten, wie KI an diese Arbeit herangeht.

Ich denke, dass sich all das zu echten Karrierewegen entwickeln wird. Man kann sehr gut darin werden, Fachwissen in Trainingsdaten zu übertragen oder eine Datenpipeline zu betreiben und zu erkennen, wobei Modelle Unterstützung benötigen. Das sind wertvolle Fähigkeiten, und wir stehen noch ganz am Anfang herauszufinden, wie all diese Rollen aussehen werden.

Wie überprüfen Sie die Fachkenntnisse und stellen sicher, dass die daraus entstehenden Trainingsdaten korrekt und konsistent sind, wenn Unternehmen Ärztinnen und Ärzte, Anwältinnen und Anwälte, Ingenieurinnen und Ingenieure, Wissenschaftlerinnen und Wissenschaftler sowie andere Fachleute einstellen, um KI-Modelle zu verbessern?

Wir haben dafür ein umfassendes System entwickelt. Es beginnt mit Zara, unserer KI-Recruiterin, die uns dabei unterstützt, Fachleute mit den für ein Projekt erforderlichen Kompetenzen zu finden und zu überprüfen. Mit unserem Tool Merit können wir anschließend die Qualität, Geschwindigkeit und Zuverlässigkeit ihrer Beiträge im Zeitverlauf erfassen. Man muss sowohl die Fachkenntnisse einer Person verstehen als auch wissen, wie sie sich in den von ihr erstellten Daten niederschlagen.

Unsere Plattform flow führt die Arbeit der Fachleute mit den Modellen zusammen, die wir zur Unterstützung der Datengenerierung und -prüfung entwickelt haben. Die Fachleute legen die Aufgaben und die Merkmale eines guten Ergebnisses fest. Anschließend erweitert flow gen diesen Ausgangspunkt um neue Beispiele und Varianten. flow qc prüft die Daten auf Probleme wie fehlende Belege oder eine Diskrepanz zwischen einer Aufgabe und ihren Bewertungskriterien. Und flow grader bewertet, wie das Modell im Hinblick auf diese Kriterien abschneidet.

Entscheidend ist, was passiert, wenn eine Fachperson einen Fehler entdeckt. Die Korrektur kann die Trainingsdaten verbessern, aber auch dazu beitragen, die Generatoren und Qualitätsprüfungen selbst weiterzuentwickeln. Wiederkehrende Fehler können wir in Tests für die nächste Version umwandeln.

Das ist der selbstverstärkende Kreislauf synthetischer Daten, den wir aufbauen. Menschliche Expertise liefert uns den Ausgangspunkt und das Urteilsvermögen. Unsere Tools helfen dabei, den Prozess zu skalieren, und das Feedback von Fachleuten trägt dazu bei, den nächsten Durchlauf zu verbessern. Anschließend testen wir, ob diese Änderungen tatsächlich zu einer besseren Modellleistung führen. Das macht diesen Kreislauf so wertvoll.

KI-Agenten müssen zunehmend komplexe, mehrstufige Aufgaben ausführen, statt lediglich Antworten zu generieren. Worin unterscheidet sich das Training und die Evaluierung dieser Systeme von der Arbeit, die zur Verbesserung herkömmlicher großer Sprachmodelle erforderlich ist?

Der entscheidende Unterschied liegt in der Dauer der Aufgabe. Ein Agent muss möglicherweise zahlreiche Aktionen mit verschiedenen Tools ausführen, bevor er ein brauchbares Ergebnis erzielt. Die ersten Schritte können ihm gut gelingen, und trotzdem kann er die Aufgabe insgesamt nicht bewältigen, weil sich Fehler aufeinander aufbauen.

Deshalb brauchen wir Umgebungen, in denen das Modell den gesamten Arbeitsablauf üben kann, sowie Evaluierungen, die zeigen, an welchen Stellen es scheitert. Hat es die richtigen Informationen gefunden? Hat es das Tool korrekt verwendet? Hat es tatsächlich das gewünschte Ergebnis erzielt?

Hinzu kommt der Kontext des jeweiligen Unternehmens. Ein Agent, der in einem Unternehmen eingesetzt wird, muss dessen Prozesse und Erwartungen verstehen. Allgemeine Fähigkeiten bringen einen nur bis zu einem gewissen Punkt.

Hier werden Fachleute mit Domänenwissen besonders wichtig. Sie helfen uns, Fehler zu diagnostizieren und die Daten zu erstellen, mit denen sich diese beheben lassen. Man führt eine Evaluierung durch, ermittelt die Lücken, trainiert gezielt an diesen Schwachstellen und evaluiert erneut. Dieser Prozess setzt sich fort, während der Agent weitere Aufgaben übernimmt.

Welche Veränderungen beobachten Sie bei den Arten von durch Menschen erstellten Daten, die fortschrittliche Modelle benötigen, während diese leistungsfähiger werden? Und welche Formen von Fachwissen oder Evaluierung dürften in den nächsten Jahren deutlich an Bedeutung gewinnen?

Zwei Dinge werden immer wichtiger: die Dauer der Aufgabe und wie stark sie die reale Welt widerspiegelt. Mit zunehmender Leistungsfähigkeit der Modelle verlagern sich die nützlichen Trainingsdaten hin zu komplexen Arbeitsabläufen mit mehr Entscheidungen, mehr Kontext und mehr Gelegenheiten für Fehler.

Dadurch wird praktische Berufserfahrung sehr wertvoll. Wer eine Tätigkeit jahrelang ausgeübt hat, kennt die Ausnahmen und Abhängigkeiten, die beim Entwerfen einer Aufgabe aus der Außenperspektive leicht übersehen werden. Außerdem kann diese Person beurteilen, ob das Ergebnis eines Agenten im Unternehmen tatsächlich funktionieren würde.

Ich denke, dass sich Evaluierungen für Unternehmen mit der Zeit zu einem enormen Markt entwickeln werden, der möglicherweise ein Volumen von einer Billion Dollar pro Jahr erreicht. Jedes Unternehmen, das Agenten einsetzt, muss verstehen, wo sie funktionieren, wo sie scheitern und wie sie sich verbessern lassen. Menschen, die ihr Wissen in nützliche Evaluierungen einbringen können, werden dabei eine zentrale Rolle spielen. Der Bedarf bleibt bestehen, weil sich Unternehmen, Modelle und Arbeitsabläufe ständig verändern.

Manche Fachkräfte könnten im Grunde daran mitwirken, KI-Systeme darauf zu trainieren, Teile ihrer eigenen Arbeit zu übernehmen. Wie beurteilen Sie diesen Zielkonflikt, und wie wird Ihrer Meinung nach das Verhältnis zwischen menschlicher Expertise und KI in den nächsten drei bis fünf Jahren aussehen?

Ich denke, wir unterschätzen, wie viel neue Arbeit Menschen schaffen werden, wenn ihnen diese Tools zur Verfügung stehen.

Nehmen wir die Personalbeschaffung. Wenn ein Agent einen größeren Teil der Vorauswahl übernehmen kann, kann eine Personalverantwortliche mehr Zeit in den Aufbau von Beziehungen zu Bewerberinnen und Bewerbern investieren oder überlegen, wie sich Menschen ansprechen lassen, die das Unternehmen zuvor nicht erreichen konnte. Ihre Rolle verändert sich, und sie kann in derselben Zeit mehr leisten.

Ich erwarte eine ähnliche Entwicklung in vielen Berufen. In den nächsten drei bis fünf Jahren werden Agenten zunehmend zu Kolleginnen und Kollegen, die Menschen anleiten, mit Kontext versorgen und deren Arbeit bewerten. Dadurch übernehmen Menschen neue Aufgaben.

Deshalb bin ich optimistisch. Wir beobachten bereits, dass rund um das Training und die Evaluierung von KI neue Tätigkeiten entstehen. Ich denke, es wird noch viel mehr dazukommen, wenn die Menschen entdecken, was sie damit entwickeln und erreichen können.

Vielen Dank für das großartige Interview. Leserinnen und Leser, die mehr über von Fachleuten geleitete Trainingsdaten, KI-Evaluierung und Möglichkeiten erfahren möchten, ihr Fachwissen einzubringen, sollten micro1 besuchen.