Olga Megorskaya, Gründerin und CEO von Toloka – Interview-Serie

Olga Megorskaya, Gründerin und CEO von Toloka, leitet das Unternehmen seit 2020 und hat es von seinen ursprünglichen Wurzeln im Crowd-Labeling zu einem wichtigen Spieler im Bereich der KI-Datendienste geführt. Bevor sie Toloka gründete und leitete, verbrachte sie über ein Jahrzehnt bei Yandex, wo sie schließlich die Position der Leiterin von Crowdsourcing und Plattformen innehatte und die Infrastruktur für crowdsourcete Datenetikettierung für maschinelle Lernprodukte wie Suche, Sprache, Sprachsynthese, selbstfahrende Autos, Content-Moderation und mehr aufbaute und skalierte. Unter ihrer Führung bei Toloka hat das Unternehmen sich als globaler Datapartner für KI positioniert – indem es maschinelle Lerntechnologie mit menschlicher Expertise kombiniert, um die Schulung, Bewertung und Sicherheit von groß angelegten KI-Modellen und -Agenten zu unterstützen.

Toloka ist ein in den Niederlanden ansässiges Unternehmen mit Sitz in Amsterdam, das hochwertige, sorgfältig kuratierte Daten für die KI-Entwicklung bereitstellt, von Annotation und Etikettierung bis hin zu benutzerdefinierten Datensätzen für überwachtes Feintraining (SFT) und Verstärkendes Lernen durch menschliches Feedback (RLHF). Das Unternehmen unterstützt eine Vielzahl von Modalitäten – Text, Bild, Audio, Video – und beschäftigt Fachleute aus verschiedenen Bereichen sowie eine globale Crowd, um skalierbare, genaue Datensätze für die Schulung und Bewertung von fortschrittlichen KI-Agenten und großen Sprachmodellen bereitzustellen. Ihre Dienstleistungen helfen dabei, Fähigkeiten wie Reasoning, multilinguale Verständnis, Bild-/Audio-Generierung und KI-Sicherheit in verschiedenen Branchen und Anwendungen zu verbessern.

Sie haben Jahre damit verbracht, menschliche-in-der-Schleife-Systeme bei Yandex aufzubauen, bevor Sie Toloka 2020 mitgründeten. Was war der Moment, der Sie davon überzeugte, dass dies zu einem eigenständigen Unternehmen werden musste, und wie hat diese Erfahrung Ihre Vision für Tolokas Rolle in der KI-Entwicklung geprägt?

Wir haben uns zu einem bestimmten Zeitpunkt bewusst gemacht, dass Toloka sein ursprüngliches Unternehmen überwachsen hatte. KI-Forscher aus der ganzen Welt nutzten die Plattform, und wir erkannten, dass das Unternehmen als unabhängige Einheit mehr erreichen konnte. Folglich konnte Toloka auf die kumulierte Erfahrung von Hunderten von KI-Teams zurückgreifen, die Trainingsdaten für das gesamte Spektrum von KI-Lösungen sammelten – von Web-Suche und Sprachassistenten bis hin zu GenAI-Chatbots und KI-Agenten. Wir haben unsere Expertise im Bereich der menschlichen Anstrengung mit dem Aufbau und der Schulung von KI-Agenten kombiniert, um unser neues Produkt, Tendem, zu entwickeln.

Sie haben gesagt, dass die eigentliche Disruption nicht von vollständig autonomen Agenten kommen wird. Was hat Sie dazu gebracht, zu dem Schluss zu kommen, dass hybride Agenten – die KI-Automatisierung mit menschlicher Urteilsfähigkeit kombinieren – das Modell sind, das letztendlich siegen wird?

Obwohl ich glaube, dass KI-only-Lösungen in vielen Bereichen bald ein erstaunliches Qualitätsniveau erreichen werden, um die Bedürfnisse der Kunden vollständig zu befriedigen, wird es immer einen langen Schwanz von Anwendungsfällen geben, für die grundlegende Modelle nie optimiert werden. Hier kommt der hybride Ansatz zum Tragen, der sowohl KI-only- als auch menschliche-only-Lösungen in absehbarer Zeit übertrifft. Wir haben das gleiche Muster in den letzten zehn Jahren wiederholt beobachtet: KI kann Aufgaben wunderschön skalieren, aber sie hat Schwierigkeiten mit Nuancen, Kontext und den Arten von Urteilsentscheidungen, die in realen Geschäftsumgebungen wichtig sind. Fachleute wollen Geschwindigkeit, aber sie benötigen auch Zuverlässigkeit – vollständig autonome Agenten können das heute einfach nicht garantieren. Hybride Systeme gewinnen, weil sie beide Seiten der Gleichung lösen. KI übernimmt, was sie am besten kann: Geschwindigkeit, Struktur und Wiederholbarkeit. Menschliche Expertise füllt die Lücken: Mehrdeutigkeit, Randfälle und Interpretation. Wenn Sie beide native kombinieren, erhalten Sie einen Arbeitsablauf, der sowohl schnell als auch vertrauenswürdig ist. Das ist das Modell, auf das Fachleute letztendlich zurückgreifen werden.

Sie haben festgestellt, dass KI an Mehrdeutigkeit und mehrdokumentarischem Reasoning scheitert. Welche Arten von Aufgaben offenbaren diese Einschränkungen am deutlichsten?

Langhorizont-Aufgaben – die das Synthetisieren mehrerer Quellen, die Auflösung widersprüchlicher Informationen oder die Interpretation von Kontext erfordern und die Menschen Stunden oder sogar Tage dauern würden – neigen dazu, die aktuellen Grenzen von KI aufzudecken. Beispiele umfassen Marktforschung, Wettbewerbsanalyse, die Zusammenfassung von Langdokumenten, das Erstellen von Originalinhalten aus gemischten Eingaben oder das Herausfiltern von Erkenntnissen, die auf menschliche Nuancen im Gegensatz zu Musterekennung basieren. KI ist hervorragend darin, einen ersten Entwurf zu erstellen. Aber sobald eine Aufgabe Priorisierung, Urteilsvermögen oder die Auflösung von Mehrdeutigkeit erfordert, fällt die Zuverlässigkeit scharf ab. Dort sind menschliche Experten unerlässlich.

Viele Fachleute nutzen KI, vertrauen ihr aber noch nicht vollständig. Wie baut Ihr Ansatz das Vertrauen in die Delegation von echter Arbeit an KI-gestützte Systeme auf?

Das Vertrauen verbessert sich, wenn Menschen nicht mehr die Ausgabe von KI korrigieren müssen. Unser Ansatz baut Vertrauen auf, indem er Menschen von Anfang an in den Arbeitsablauf integriert, nicht als Eskalationspfad, wenn die KI fehlschlägt. Jede Aufgabe in Tendem fließt durch einen KI-Projektmanager, der entscheidet, was automatisiert und was menschliche Expertise erfordert. Danach stellen sowohl automatisierte Checks als auch menschliche QA sicher, dass die Endausgabe genau, vollständig und geschäftsbereit ist. Für Fachleute bedeutet dies, dass sie Arbeit delegieren und tatsächlich ein verifiziertes Ergebnis erwarten können, nicht einen Entwurf, den sie reparieren müssen.

Welche Mechanismen gewährleisten, dass menschliche Experten im Arbeitsablauf eine hohe Ausgabequalität beibehalten, ohne den Arbeitsablauf zu verlangsamen?

Zwei Dinge machen dies möglich:

• Spezialisierung im großen Maßstab. Experten in Tendems Netzwerk sind vorab überprüft, geschult und basierend auf Fachwissen ausgewählt. Sie sind keine allgemeinen Freelancer, die sich auf die Schnelle anpassen müssen – sie sind bereits für bestimmte Aufgabenarten qualifiziert.
• Geschichtete QA und intelligente Weiterleitung. KI übernimmt die Routineaufgaben, damit menschliche Experten sich auf die Teile konzentrieren können, die Urteilsvermögen erfordern. Dann gibt es eine zweite Ebene von automatischer QA und menschlicher Überprüfung, wo erforderlich. Dies hält Menschen dort beschäftigt, wo sie den größten Wert hinzufügen, nicht wo sie Engpässe schaffen.

Das Ergebnis ist eine Geschwindigkeit, die der Automatisierung entspricht, mit einer Genauigkeit, die der Expertenprüfung entspricht.

In Branchen, die Genauigkeit und Compliance verlangen, wie können hybride Systeme Verifizierbarkeit und Prüfbarkeit bieten, auf die Unternehmen vertrauen können?

Hybride Systeme ermöglichen von Natur aus Prüfbarkeit, da jeder Schritt im Arbeitsablauf verfolgt, zugeordnet und qualitätsgeprüft wird. Sie wissen, welche Teile automatisiert, welche von qualifizierten Experten durchgeführt und welche QA-Schritte die Ausgabe validiert haben. In hoch regulierten Branchen wird dieser Prozess unerlässlich. Sie verlassen sich nicht mehr auf eine schwarze KI-Entscheidung; Sie haben eine verifizierbare Kette von Urteilen, Korrekturen und Genehmigungen. Das ist, was hybride Systeme für Bereiche geeignet macht, in denen Genauigkeit und Compliance keine Option sein können.

Welche Kategorien von Wissensarbeit erwarten Sie, dass sie als erste auf hybride Agenten umsteigen, und welche werden am langsamsten dieses Modell annehmen?

Insgesamt denke ich, dass der hybride Ansatz viel einfacher zu übernehmen ist als ein KI-only-Ansatz, also erwarten wir, dass fast jeder Bereich mit diesem Modell abgedeckt werden kann – der Unterschied wird nur im Verhältnis von KI zu menschlicher Beteiligung liegen. Die frühen Anwender sind Rollen, bei denen Geschwindigkeit und Genauigkeit gleichermaßen wichtig sind, aber die Arbeit immer noch sehr repetitiv ist. Wir sehen bereits eine starke Nachfrage aus Bereichen wie Consulting, Marketing, Vertriebsoperationen, Forschung und Content-Erstellung. Die komplexesten (und wahrscheinlich interessantesten) Bereiche, die zu lösen sind, sind diejenigen, die näher an der physischen Welt liegen, wie Architektur und Bauwesen. Aber ich sehe auch einen klaren technologischen Weg dorthin.

Wie profitieren Organisationen operativ, wenn sie von freelancer-gesteuerter Arbeit auf hybride Agenten umsteigen?

Hybride Agenten beseitigen zwei der größten Ineffizienzen in freelancer-gesteuerter Arbeit: Management-Overhead und unbeständige Qualität. Organisationen und Fachleute müssen nicht mehr Freelancer rekrutieren, schulen, briefen, verwalten oder korrigieren. Der hybride Agent übernimmt die Arbeitsablauf-Orchestrierung automatisch, indem er die richtige Kombination aus KI und menschlicher Expertise für jeden Schritt zuweist. Dies reduziert die Bearbeitungszeit, standardisiert die Ausgabequalität und skaliert die Arbeit, ohne den Personalbestand zu erhöhen. Kurz gesagt: Sie erhalten die Geschwindigkeit der Automatisierung mit der Zuverlässigkeit eines Expertenteams, aber ohne es verwalten zu müssen.

Wie wird der Wechsel zu hybriden Systemen die breitere Freelance- und Gig-Wirtschaft beeinflussen?

Wir denken, dass es die Freelance-Wirtschaft umgestalten wird, nicht ersetzen. Anstatt dass Freelancer Zeit mit niedrigem Level, repetitiven Aufgaben verbringen, können sie in hybride Systeme als Spezialisten in bestimmten Bereichen einsteigen. Die Arbeit wird strukturierter: höherwertig, vorhersehbarer und stabiler. Anstatt inkonsistente Projekte zu jagen, können Experten auf Plattformen wie Tendem beitragen, wo ihre Fähigkeiten den richtigen Aufgaben zugeordnet und von KI-Systemen unterstützt werden, die die Bürokratie entfernen.

Wenn wir einige Jahre vorausblicken, wie sieht die “Delegation an KI” aus, wenn hybride Agenten zur Norm in der digitalen Arbeit werden?

Die Delegation wird sich weniger wie das “Benutzen eines Tools” und mehr wie das Übergeben von Arbeit an ein fähiges Team anfühlen. Sie beschreiben das gewünschte Ergebnis, und der hybride Agent wird es aufbrechen, Aufgaben zuweisen, die richtige Mischung aus KI und menschlicher Expertise anwenden, die Ergebnisse überprüfen und ein fertiges Produkt liefern – alles innerhalb von Stunden. Der Wechsel wird von der Nutzung von KI als Entwurfsassistenten zu dem Vertrauen in KI als Projektmanager sein, der den gesamten Arbeitsablauf überwacht. Das ist, wenn die wahre Delegation passiert: wenn Fachleute dem System vertrauen können, um die Endausgabe zu liefern, nicht nur einen Startpunkt.

Vielen Dank für das großartige Interview, Leser, die mehr erfahren möchten, sollten Toloka besuchen.