Radha Basu, CEO und Gründerin von iMerit – Interview-Serie

Radha Basu, Gründerin und CEO von iMerit, hat ihre Karriere bei HP aufgebaut, wo sie 20 Jahre lang tätig war und schließlich die Enterprise-Solutions-Gruppe leitete. Anschließend führte sie Support.com als CEO an die Börse. Radha gründete die Anudip Foundation im Jahr 2007 mit Dipak Basu und gründete iMerit im Jahr 2012. Sie gilt als führende Tech-Unternehmerin und Mentorin sowie als Pionierin im Software-Geschäft.

iMerit liefert multimodale KI-Datenlösungen, indem es Automatisierung, Experten-Annotation und erweiterte Analytik kombiniert, um hochwertige Datenkennzeichnung und Modellfeinabstimmung im großen Maßstab zu unterstützen.

Sie haben eine bemerkenswerte Reise hinter sich – von dem Aufbau der HP-Operationen in Indien bis zur Gründung von iMerit mit der Mission, benachteiligte Jugendliche in Bhutan, Indien und New Orleans zu unterstützen. Was hat Sie dazu inspiriert, iMerit zu gründen, und welche Herausforderungen haben Sie bei der Schaffung einer inklusiven, globalen Arbeitskraft von Grund auf erlebt?

Bevor ich iMerit gründete, war ich Vorsitzende und CEO von SupportSoft, wo ich das Unternehmen durch seine ersten und zweiten Börsengänge führte und es als globalen Marktführer im Bereich Support-Automatisierungs-Software etablierte. Diese Erfahrung zeigte mir die Macht der Kombination von Menschen und Technologie von Anfang an.

Während der Technologie-Boom in Indien neue Chancen schuf, bemerkte ich, dass viele talentierte junge Menschen in benachteiligten Gebieten zurückgelassen wurden. Ich glaubte an ihr Potenzial und ihre Lernbereitschaft. Als sie sahen, wie Software fortgeschrittene Technologien wie KI antreiben konnte, nahmen sie diese Karrieren begeistert an.

Wir starteten iMerit mit einem kleinen, vielfältigen Team, dessen Hälfte aus Frauen bestand, und sind seither schnell gewachsen. Die Anpassungsfähigkeit und Lernbereitschaft unseres Teams waren entscheidend, insbesondere da die datenzentrierte KI langfristig den Bedarf an qualifizierten Spezialisten erhöht hat.

Heute ist iMerit ein globaler Anbieter von KI-Datenlösungen für mission-kritische Branchen wie autonome Fahrzeuge, medizinische KI und Technologie. Unsere Arbeit stellt sicher, dass die KI-Modelle unserer Kunden auf hochwertigen, zuverlässigen Daten basieren, was in hochriskanten Umgebungen unerlässlich ist.

Letztendlich liegt unsere Stärke in einer soliden technischen Grundlage und einem Team von gut ausgebildeten, motivierten Mitarbeitern, die in einer unterstützenden, lernorientierten Kultur gedeihen. Dieser Ansatz hat unser Wachstum befeuert, uns cash-positiv gehalten und uns hohe NPS-Werte und treue Kunden eingebracht.

iMerit arbeitet jetzt mit über 200 Kunden zusammen, darunter Tech-Giganten wie eBay und Johnson & Johnson (JNJ ). Können Sie uns die Wachstumsreise des Unternehmens von den frühen Tagen bis zur Entwicklung zu einem globalen Marktführer im Bereich KI-Dienstleistungen schildern?

Wir haben einen Platz in der ersten Reihe bei den KI-Reisen unserer Kunden, von frühen Experimenten bis hin zu groß angelegten Produktionen. Unsere Arbeit umfasst Start-ups, globale Marktführer im Bereich autonome Fahrzeuge und große Unternehmen. Durch die Schulung ihrer Modelle von Grund auf haben wir ein unvergleichliches Verständnis dafür gewonnen, was es wirklich braucht, um KI in der realen Welt zu skalieren.

Das Feld hat sich ständig und rasch weiterentwickelt. Ich habe selten eine Technologie gesehen, die so dramatisch in so kurzer Zeit vorangekommen ist. Wir haben uns von einem Anbieter von Datenannotationen zu einem vollständigen KI-Datenunternehmen entwickelt, das spezialisierte Lösungen über den gesamten Human-in-the-Loop-(HITL)-Lebenszyklus hinweg anbietet: Annotation, Validierung, Prüfung und Red-Teaming. Die Behandlung von Randfällen und Ausnahmen ist für die Einsatzbereitschaft in der realen Welt von entscheidender Bedeutung und erfordert tiefes Fachwissen und nuancenreiches Urteilsvermögen auf jedem Schritt.

Unser größter vertikaler Markt ist die autonome Mobilität, in der wir den gesamten Wahrnehmungsstapel verwalten, einschließlich Sensorfusion über 15 Sensoren für Personenkraftwagen, Lieferfahrzeuge, Lkw und landwirtschaftliche Fahrzeuge. Im Gesundheitswesen treiben wir die klinische Bildgebung von KI voran. Im High-Tech-Bereich sind wir an der Spitze der GenAI-Feinabstimmung und -Validierung, was eine größere Sophistikation in unseren Workflows und unserem Fachwissen erfordert.

Erfolg in diesen Bereichen ist nicht nur eine Frage des Expertenwissens – es geht darum, Fachwissen zu kultivieren: die kognitive Fähigkeit, KI-Modelle in Frage zu stellen, zu coachen und zu kontextualisieren. Dies ist es, was unsere Teams auszeichnet.

Unser Wachstum wird durch langfristige Partnerschaften angetrieben, und die meisten unserer Top-10-Kunden haben uns über fünf Jahre lang begleitet. Wenn ihre Bedürfnisse komplexer werden, heben wir kontinuierlich unser Branchenwissen, unsere Werkzeuge, Schulungen und Lösungen an. Sowohl unsere Technologie als auch unsere Mitarbeiter müssen sich ständig weiterentwickeln.

Die Kombination von Software, Automatisierung, Annotation und Analytik schafft die Grundlage für sehr flexible, schnelle und präzise Human-in-the-Loop-Eingriffe. 70 % der neuen Logos sind auf unserem eigenen Technologie-Stack, was eine enorme interne Transformation erfordert. Wiederum stellt unsere Kultur sicher, dass die Teams hungrig sind, zu lernen und ständig zu wachsen.

Welche waren die wichtigsten Momente in der Geschichte von iMerit – sei es technologische Meilensteine oder strategische Entscheidungen – die dazu beigetragen haben, die Entwicklung des Unternehmens zu prägen?

Zu einer Zeit, als KI-Datenarbeit als Crowd-basierte Gelegenheitsarbeit angesehen wurde, haben wir eine frühe Wette darauf abgeschlossen, dass dies zu einer Karriere heranwachsen und eine Komplexität sowie einen Unternehmensfokus erfordern würde. Durch den Aufbau von internen Teams, die sich auf fortgeschrittene Anwendungsfälle konzentrieren, ermöglichten wir es unseren Kunden, schnell zu skalieren, was in unserem ersten 1-Millionen-Dollar-MRR-Deal im Bereich autonome Fahrzeuge kulminierte, einem Meilenstein, der unseren Ansatz bestätigte.

Die COVID-19-Sperre testete unsere Agilität: Wir wechselten von einem vollständig bürogebundenen zu einem vollständig remote arbeitenden Unternehmen fast über Nacht und investierten stark in Infrastruktur, Sicherheit und Kultur. Innerhalb weniger Wochen erholten sich die Kundenoperationen, und wir wuchsen sowohl in Bezug auf Umsatz als auch auf Mitarbeiterzahl in diesem Jahr. Heute, wo 70 % unseres Teams wieder vor Ort sind, nutzen wir weiterhin Remote-Talent und starten Scholars, unser globales Netzwerk von Fachexperten für GenAI-Feinabstimmung und -Validierung. Ob es sich um einen Kardiologen oder einen spanischen Mathematiker handelt, unsere high-touch-Kultur zieht und motiviert Top-Talent an, was direkt die Qualität und Konsistenz unserer Lösungen verbessert.

Im Jahr 2023 erwarben wir Ango.ai, eine KI-gestützte Plattform für Datenkennzeichnung und Workflow-Automatisierung, um die nächste Generation von KI-Daten-Tools voranzutreiben. Diese entscheidende Maßnahme kombinierte iMerits Branchenkenntnisse mit Angos fortschrittlicher Tool-Technologie und erweiterte unsere Fähigkeiten in der Radiologie, Sensorfusion und GenAI-Feinabstimmung. Wir arbeiten immer noch mit Kunden-Tools, aber viele neue Kunden werden jetzt direkt auf Ango Hub aufgenommen, angezogen von seinen benutzerfreundlichen Workflows und robuster Sicherheit, die in unserer Branche unerlässliche Anforderungen sind.

Unternehmen teilen uns regelmäßig mit, dass sie das Beste aus beiden Welten suchen: Experten-Einsicht, um Qualität zu gewährleisten, kombiniert mit einer sicheren, skalierbaren Plattform, die Automatisierung und Analytik liefert. Die Kombination mit Ango liefert genau das und positioniert uns einzigartig, um die komplexen Anforderungen der ambitioniertesten KI-Projekte von heute zu erfüllen und mit Zuversicht zu skalieren.

iMerit ist tief in fortgeschrittene Bereiche wie autonome Fahrzeuge, medizinische KI und GenAI involviert. Welche einzigartigen Datenherausforderungen stellen Sie in diesen Bereichen und wie gehen Sie damit um?

Datenbezogene Aufgaben machen in der Regel fast 80 % der Zeit aus, die für KI-Projekte aufgewendet wird, was sie zu einem kritischen Bestandteil der Pipeline macht. Der datenzentrierte Teil von KI kann zeitaufwändig und teuer sein, wenn er nicht angemessen und skalierbar gehandhabt wird.

Datenqualität und insbesondere die Vermeidung von eklatanten Fehlern sind in den mission-kritischen Bereichen, in denen wir tätig sind, von entscheidender Bedeutung. Ob es sich um ein Wahrnehmungs-Algorithmus oder einen Tumor-Detektor handelt, saubere Daten sind im Trainings-Validierungs-Zyklus unerlässlich.

Die Behandlung von Ausnahmefällen ist unverhältnismäßig wertvoll. Die menschliche Einsicht in die Gründe, warum etwas außerhalb der Norm liegt oder warum ein Szenario das Modell durchbricht, schafft einen enormen Wert bei der Erstellung eines vollständigeren und robusteren Modells.

Darüber hinaus werden Kontextfenster immer größer. Wir fassen klinische Notizen einer gesamten Arzt-Patienten-Konsultation zusammen und analysieren Anomalien in MRT-Bildern, nicht nur auf der Grundlage des Bildes, sondern auch auf der Grundlage des medizinischen Kontexts des Patienten. Fachexperten müssen Rubriken erstellen, um die Daten genau zu analysieren und die Qualität sicherzustellen.

Sicherheit, Datenschutz und Vertraulichkeit sind heikle Themen. Unser Chief Security Officer muss gegen unbefugten Zugriff, Löschung und Speicherung von Daten schützen. Infosec-Protokolle wie SOC2, HIPAA und TISAX sind für uns wichtige Investitionsbereiche.

Schließlich arbeiten unsere Ingenieure und Lösungsarchitekten kontinuierlich an benutzerdefinierten Integrationen und Berichten, um sicherzustellen, dass die einzigartigen Bedürfnisse der Kunden im letzten Meilenstein widerspiegelt werden. Ein einheitlicher Ansatz funktioniert nicht in der KI.

Sie haben über die Kombination von Robotik und menschlicher Intelligenz als sichereren Weg für KI gesprochen. Können Sie diese Arbeitsabläufe im Detail erläutern und warum Sie glauben, dass sie besser sind als der Versuch, die kreative Abweichung von KI zu eliminieren?

KI bietet Skalierbarkeit, was bedeutet, dass Unternehmen Tools entwickeln, um lange Prozesse zu automatisieren, die traditionell von Menschen durchgeführt werden. Aber Menschen bieten die letzte Meile an Flexibilität, Sicherheit und Widerstandsfähigkeit. Wenn softwarebasierte Dienste in der KI weiter verbreitet sind, werden die erfolgreichsten Unternehmen Robotics mit Human-in-the-Loop-Praktiken (HITL) effektiv kombinieren.

Wir sehen HITL als eine konsistente Schicht in jeder Phase des KI-Entwicklungs- und -Einsatzlebenszyklus und auch als ein Fundament von Vertrauen und Sicherheit. Folglich wird menschliche Intelligenz unerlässlich sein, um den Kurs zu korrigieren, wenn die Modelle fehlschlagen. Diese kritischen Anwendungen benötigen den menschlichen Verstand, um zu bestimmen, welche Änderungen vorgenommen werden müssen. Dies ist der Bereich, in dem HITL-Dienste noch wichtiger werden, wenn wir KI in die Produktion und Feldeinsätze integrieren.

Ihre Ango-Hub-Plattform kombiniert Automatisierung mit Human-in-the-Loop-Expertenwissen. Wie verbessert dieses hybride Modell die Datenqualität und die Modellleistung in Produktions-KI-Systemen?

KI und Automatisierung bieten Skalierbarkeit und Geschwindigkeit, während Menschen Nuancen, Einsicht und Aufsicht bieten. HITL stellt sicher, dass menschliche Beteiligung an kritischen Punkten im KI-Lebenszyklus erfolgt – um hochwertige Eingaben zu gewährleisten, Ausgaben zu validieren, Randfälle zu identifizieren, Modelle für Domänen fein zu justieren und kontextuelles Urteilsvermögen bereitzustellen. Menschen helfen dabei, Genauigkeit sicherzustellen, indem sie Ausgaben überprüfen und verifizieren und Halluzinationen oder Logikfehler erkennen, bevor sie Schaden anrichten. Sie bieten auch Aufsicht in ethisch sensiblen oder hochriskanten Kontexten, in denen LLMs keine endgültigen Entscheidungen treffen sollten. Wichtiger noch, menschliches Feedback treibt kontinuierliches Lernen an, das KI-Systeme dazu bringt, sich den Benutzerzielen im Laufe der Zeit anzupassen.

HITL kommt in vielen Formen vor. Fachexperten engagieren sich in gezielten Annotationen, wenden komplexe Argumentation auf Randfälle an und überprüfen KI-generierte Inhalte mithilfe strukturierter QA-Schnittstellen. Anstatt jede Entscheidung zu bewerten, werden Kontext-Eskalationssysteme oft implementiert. Diese Systeme leiten nur Low-Confidence-Ausgaben oder markierte Anomalien an menschliche Prüfer weiter, wodurch Aufsicht und Effizienz ausgewogen werden.

Ein weiterer kritischer Einsatz von HITL ist die Feinabstimmung von KI-Agenten durch Reinforcement Learning from Human Feedback (RLHF). Menschliche Prüfer bewerten, schreiben um oder geben Feedback zu Agenten-Antworten, was insbesondere in sensiblen Bereichen wie Gesundheitswesen, Rechtsdienstleistungen oder Kundensupport von entscheidender Bedeutung ist. Im gleichen Zuge ermöglichen Szenario-basiertes Testen und Red-Teaming menschlichen Evaluatoren, Agenten unter adversarialen oder ungewöhnlichen Bedingungen zu testen, um Schwachstellen vor der Bereitstellung zu identifizieren und zu beheben.

Das volle Potenzial von KI wird nur dann erreicht, wenn Menschen im Prozess bleiben, um jeden Schritt zu leiten, zu validieren und zu verbessern. Ob es darum geht, Agenten-Ausgaben zu verfeinern, Bewertungsschleifen zu trainieren oder zuverlässige Daten-Pipelines zu kuratieren, menschliche Aufsicht fügt der KI die Struktur und Verantwortung hinzu, die sie benötigt, um vertrauenswürdig und effektiv zu sein.

Wie bleibt iMerit mit der schnellen Entwicklung von Generative-AI-Tools Schritt, um Bewertung, RLHF und Feinabstimmungsdienste anzubieten?

Wir haben kürzlich das Ango-Hub-Deep-Reasoning-Lab (DRL) gestartet, eine einheitliche Plattform für Generative-AI-Feinabstimmung und interaktive Entwicklung von Chain-of-Thought-Reasoning mit KI-Lehrern. Unser DRL ermöglicht Echtzeit-, Schritt-für-Schritt-Prozesse und Bewertungen auf der Grundlage menschlicher Präferenzen, was zu kohärenteren und genauereren Modellantworten auf komplexe Probleme führt.

Fortschritte in GenAI-Modellen und Anwendungsentwicklung unterstreichen den Wert von sauberen, von Experten erstellten und validierten Daten. Mit dem Ango-Hub-DRL können Experten Modelle testen, Schwächen identifizieren und saubere Daten mithilfe von Chain-of-Thought-Reasoning erstellen. Sie interagieren mit den Modellen in Echtzeit und senden Prompts und Korrekturen schrittweise in einer einzigen Schnittstelle zurück.

Durch die Nutzung von iMerit-Scholars verfeinert das Ango-Hub-DRL die Modell-Reasoning-Prozesse. Es nutzt iMerits umfangreiche Erfahrung mit HITL-Workflows. Experten entwerfen mehrschrittige Szenarien für komplexe Aufgaben, wie z. B. die Erstellung von Chain-of-Thought-Prompts für fortgeschrittene Mathematikprobleme. iMerit-Scholars überprüfen Ausgaben, korrigieren Fehler und erfassen Interaktionen nahtlos. Die Magie liegt nicht darin, eine große Anzahl von Personen ungezielt aufzunehmen. Die besten Mathematiker sind nicht unbedingt die besten Lehrer. Man sollte auch nicht einen Kardiologen wie einen Gelegenheitsarbeiter behandeln. Die Anpassung und Schulung von Fachexperten, um in der Weise zu denken, die dem Modell-Trainingsprozess am meisten nützt, sowie die Einbindung machen den Unterschied.

Was bedeutet “Experten-im-Loop” im Kontext der Feinabstimmung von generativer KI? Können Sie Beispiele nennen, in denen menschliches Fachwissen die Modellausgaben erheblich verbessert hat?

Experten-im-Loop kombiniert menschliche Intelligenz mit Roboter-Intelligenz, um KI in die Produktion zu bringen. Es beinhaltet menschliche Experten, die die Ausgaben automatisierter Systeme validieren, verfeinern und verbessern.

Insbesondere stellt Experten-geführte Datenannotation sicher, dass Trainingsdaten mit domänen-spezifischem Wissen genau gekennzeichnet sind, was die Präzision und Zuverlässigkeit von Vorhersage-KI-Modellen verbessert. Durch die Verringerung von Voreingenommenheit und Fehlklassifizierungen verbessert Experten-geführte Annotation die Fähigkeit des Modells, effektiv in realen Szenarien zu verallgemeinern. Dies führt zu KI-Systemen, die vertrauenswürdiger, interpretierbarer und an die Bedürfnisse der Branche angepasst sind.

Zum Beispiel musste ein amerikanisches Technologie-Unternehmen, nachdem es einen großen Korpus medizinischer Daten erworben hatte, diese Daten für die Verwendung in seinem medizinischen Chatbot für Endverbraucher bewerten, um sicherzustellen, dass sichere und genaue medizinische Ratschläge für die Benutzer bereitgestellt werden. Durch die Zusammenarbeit mit iMerit nutzten sie unser umfangreiches Netzwerk von US-amerikanischen Gesundheitsexperten und versammelten ein Team von Krankenschwestern, die in einem Konsens-Workflow mit Eskalationen und Schiedsrichtern durch einen US-amerikanischen, zertifizierten Arzt arbeiteten. Die Krankenschwestern begannen damit, die Wissensbasis mit Definitionen zu bewerten, um Genauigkeit und Risiko zu beurteilen.

Durch die Diskussion von Randfällen und die Überarbeitung von Richtlinien konnten die Krankenschwestern in 99 % der Fälle zu einem Konsens gelangen. Dies ermöglichte es dem Team, das Projekt-Design zu überarbeiten, um eine Ein-Stimmen-Struktur mit einer 10-prozentigen Prüfung zu erstellen, wodurch die Projektkosten um über 72 % reduziert wurden. Durch die Zusammenarbeit mit iMerit konnte dieses Unternehmen kontinuierlich Wege finden, um medizinische Daten-Annotation ethisch und effizient zu skalieren.

Wie halten Sie mit über 8.000 Vollzeit-Experten weltweit die Qualität, Leistung und Mitarbeiterentwicklung auf hohem Niveau?

Die Definition von Qualität ist immer an den spezifischen Anwendungsfall des Kunden angepasst. Unsere Teams arbeiten eng mit den Kunden zusammen, um Qualitätsstandards zu definieren und zu kalibrieren, und verwenden benutzerdefinierte Prozesse, um sicherzustellen, dass jede Annotation schnell von Fachexperten validiert wird. Konsistenz ist für die Entwicklung von hochwertiger KI von entscheidender Bedeutung. Dies wird durch eine hohe Mitarbeiterbindung (90 %) und einen starken Fokus auf Produktionsanalytik unterstützt, ein wichtiger Unterschied bei der Gestaltung von Ango Hub, der durch tägliche Benutzereingaben unseres Teams geprägt ist.

Wir investieren kontinuierlich in Automatisierung, Optimierung und Wissensmanagement, das durch unsere eigene iMerit-One-Schulungsplattform untermauert wird. Dieses Engagement für Lernen und Entwicklung treibt nicht nur operative Exzellenz voran, sondern unterstützt auch die langfristige Karriereentwicklung unserer Mitarbeiter, fördert eine Kultur des Fachwissens und des Wachstums.

Was würden Sie angehenden KI-Unternehmern raten, die etwas Bedeutungsvolles aufbauen möchten – sowohl in der Technologie als auch im sozialen Einfluss?

KI bewegt sich atemberaubend schnell. Gehen Sie über den Technologie-Stack hinaus und hören Sie auf Ihre Kunden, um zu verstehen, was für ihr Geschäft von Bedeutung ist. Verstehen Sie ihre Bereitschaft für Geschwindigkeit, Veränderung und Risiko. Frühe Kunden können Dinge ausprobieren. Größere Kunden müssen wissen, dass Sie für die Dauer da sind und dass Sie sie weiterhin priorisieren werden. Beruhigen Sie sie mit Ihrem proaktiven Ansatz in Bezug auf Transparenz, Sicherheit und Verantwortung.

Darüber hinaus sollten Sie Ihre Investoren und Vorstandsmitglieder sorgfältig auswählen, um sicherzustellen, dass die Werte und Bedenken übereinstimmen. Bei iMerit haben wir während der schwierigen Zeiten wie COVID-19 erhebliche Unterstützung von unserem Vorstand und unseren Investoren erfahren, die wir dieser Übereinstimmung zuschreiben.

Die Schlüsselqualitäten, die zum Erfolg eines Unternehmers in der Tech-Branche beitragen, gehen über das Eingehen von Risiken hinaus; sie beinhalten den Aufbau eines profitablen, inklusiven Unternehmens.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten iMerit besuchen.