iMerit startet Scholars-Plattform, um expertengeleitetes KI-Training und die Evaluierung zu skalieren

Ein Modell kann eine überzeugende medizinische Erklärung oder eine flüssige Antwort auf eine mathematische Aufgabe liefern und dennoch einen Fehler machen, den nur eine Fachperson erkennt. Dieser Bedarf an fachlichem Urteilsvermögen steht hinter dem Start von iMerits Scholars-Plattform von iMerit, einem System, das die Menschen zusammenbringt, die fortschrittliche KI-Modelle trainieren, evaluieren und herausfordern.

Das zu EXL gehörende Unternehmen gab den Start am 26. Oktober bekannt. Die Plattform bündelt Rekrutierung, Onboarding, die Vermittlung von Fachkräften, Projektzuweisungen, Betreuung und Zahlungen. Das bestehende Scholars-Programm umfasst laut der Ankündigung mehr als 30.000 eingeladene und geprüfte Fachkräfte in 118 Ländern und mit Kenntnissen in 106 Sprachen.

Die Plattform ist darauf ausgelegt, mit wachsender Nachfrage Hunderttausende Fachkräfte zu verwalten. Damit ist die angestrebte Betriebskapazität gemeint, nicht die derzeit angegebene Größe der Community. Kurzfristig soll sie dazu beitragen, spezialisiertes menschliches Fachwissen über den gesamten Entwicklungs- und Bereitstellungszyklus von Modellen hinweg leichter zu koordinieren.

Aufbau der Fachkräftebasis für die Modellverbesserung

Die Scholars-Community umfasst Fachkräfte aus den Bereichen Medizin, Mathematik, Landwirtschaft, Linguistik, autonome Systeme und weiteren Spezialgebieten. Sie wirken am überwachten Fine-Tuning, an der Modellevaluierung, an Red-Team-Tests und am bestärkenden Lernen durch menschliches Feedback mit, allgemein als RLHF bezeichnet.

Für diese Tätigkeiten sind unterschiedliche Arten von Urteilsvermögen gefragt. Beim Fine-Tuning kann es erforderlich sein, sorgfältig ein Beispiel für die Antwort zu erstellen, die ein Modell geben sollte. Bei der Evaluierung wird geprüft, ob eine Ausgabe festgelegte Kriterien erfüllt. Bei Red-Team-Tests wird ein System gezielt auf Schwachstellen untersucht, während menschliches Feedback Präferenzen und Korrekturen liefern kann, die in das anschließende Training einfließen.

Die passende Person einer Aufgabe zuzuordnen, ist daher ebenso wichtig wie die Erweiterung des Fachkräftepools. Eine Ärztin oder ein Arzt mit Erfahrung in einem eng begrenzten Spezialgebiet erkennt möglicherweise einen folgenreichen Fehler, der einer breit aufgestellten prüfenden Person entgeht. Eine Linguistin oder ein Linguist kann eine Mehrdeutigkeit erkennen, die bei einer wörtlichen Übersetzung verschwindet.

Die neue Plattform ordnet Projekte Fachgebieten und kognitiven Fähigkeiten zu und stellt zugleich die administrative Infrastruktur bereit, um die Fachkräfte einzubinden. iMerit beschreibt das Ziel als eine kontinuierliche Zusammenarbeit mit Spezialistinnen und Spezialisten, die sich in die Arbeit einarbeiten und an Feedbackschleifen teilnehmen.

„Wir brauchen Menschen, die so viel Fachwissen haben, dass sie Modellen nicht nur etwas beibringen, sondern auch ihre Fehler nachweisen und sie korrigieren können“, sagte Radha Basu, Executive Vice President und Leiterin von iMerit bei EXL.

Ango Hub verbindet fachliches Urteilsvermögen mit Trainingsdaten

Die operative Technologie hinter der Scholars-Plattform ist Ango Hub, iMerits Plattform für Datenannotation und Modellevaluierung. Sie soll die Arbeit von Fachkräften in strukturierte, überprüfbare Ergebnisse überführen, die in eine Trainings- oder Evaluierungspipeline einfließen können.

Die bestehende Produktdokumentation von Ango Hub beschreibt konfigurierbare Arbeitsabläufe, mehrere Annotierende pro Datenobjekt, Benchmark-Aufgaben und Prüffunktionen, mit denen Labels akzeptiert, abgelehnt oder korrigiert werden können. Projektrichtlinien und ein Ticketsystem helfen den Prüfenden, Fragen zu klären, während rollenbasierte Zugriffskontrollen festlegen, wer mit bestimmten Daten arbeiten darf.

Die Plattform unterstützt mehrere Modalitäten, darunter Bilder, Videos, Audio, Text, PDFs und medizinische DICOM-Daten. Diese Bandbreite ist relevant, weil bei der Modellentwicklung Sprache zunehmend mit visuellen, klinischen oder Informationen aus der physischen Welt kombiniert wird. Benutzeroberfläche und Prüfprozess müssen zu dem Material passen, das eine Fachperson untersucht.

Die Unterscheidung zwischen den beiden Plattformen ist hilfreich: Scholars koordiniert die Fachkräfte und ihre Zusammenarbeit mit Projekten, während Ango Hub die Werkzeuge und Arbeitsabläufe bereitstellt, mit denen Beiträge von Fachkräften zu nutzbaren KI-Daten werden.

Von der Korrektur einzelner Antworten zur Bewertung kompletter Agenten-Workflows

iMerits Deep Reasoning Lab ermöglicht einen detaillierteren Einblick in diesen Prozess. Das Unternehmen beschreibt, wie Fachkräfte mehrstufige Szenarien entwerfen, Modellausgaben prüfen, Fehler kategorisieren und Korrekturen samt Erläuterungen bereitstellen. Diese strukturierten Beispiele können Entwicklern helfen, zu erkennen, an welcher Stelle eine Antwort fehlerhaft ist, und gezieltes Trainingsmaterial zu erstellen.

Solche Reasoning-Traces sind kuratierte Ergebnisse, die für eine bestimmte Aufgabe erstellt und geprüft werden. Es sollte nicht davon ausgegangen werden, dass sie sämtliche internen Berechnungsschritte offenlegen, die zu einer Modellantwort geführt haben. Ihr praktischer Nutzen liegt darin, einen Bewertungsweg und die zugehörigen Korrekturen so deutlich zu machen, dass sie nachvollzogen und wiederverwendet werden können.

Der Dienst des Unternehmens zur Bewertung von Agenten erweitert die Prüfung über die abschließende Antwort hinaus und umfasst auch Planungsschritte, Tool-Aufrufe, Zwischenzustände und Ergebnisse. Das Unternehmen beschreibt strukturierte Bewertungsraster und fachliche Schlichtungsverfahren für Aspekte wie Aufgabenerfüllung, Tool-Auswahl, Verankerung und Richtliniengrenzen.

Das wird wichtig, wenn KI eigenständig handeln kann. Ein Agent kann eine ausgefeilte Zusammenfassung liefern und dabei dennoch das falsche Tool verwenden oder die eigentliche Aufgabe unerledigt lassen. Die Prüfung der Abfolge von Aktionen ermöglicht es Fachkräften, solche Fehler zu erkennen und Entwicklern strukturiertes Feedback zu geben.

Zahlungen und kontinuierliche Projektarbeit werden Teil der Infrastruktur

Der Start integriert außerdem Trolley für weltweite Auszahlungen. iMerit zufolge unterstützt die Integration sichere Zahlungen und Compliance-Prozesse für die internationale Expertengemeinschaft des Unternehmens.

Zahlungsabläufe scheinen möglicherweise weit von der Modellleistung entfernt zu sein, beeinflussen jedoch, ob Fachleute kontinuierlich mitwirken können. Wenn ein Projekt auf Experten in vielen Ländern angewiesen ist, werden Rekrutierung, Onboarding, Aufgabenverteilung und Vergütung zu betrieblichen Abhängigkeiten.

Die Plattform vereint diese Funktionen mit der Vermittlung und Betreuung, statt jedes Projektteam sie separat zusammenstellen zu lassen. Für Kunden besteht der angestrebte Vorteil in einer verlässlicheren Belegschaft und einem konsistenteren Prüfprozess; für Experten bietet sich ein klarerer Weg vom Einstieg in ein Projekt bis zum Abschluss der Arbeit und dem Erhalt der Vergütung.

„Sie kennzeichnen nicht einfach nur Daten, sondern tragen dazu bei, zu gestalten, wie diese Systeme in Ihrem Fachgebiet denken und sich verhalten“, sagte Pavel Kopach, M.D., Pathologiespezialist am Beth Israel Deaconess Medical Center und iMerit Scholar für KI im Gesundheitswesen, in der Ankündigung.

EXL schafft den Kontext für den Einsatz in Unternehmen

Der Start folgt auf den Abschluss der Übernahme von iMerit durch EXL, der am 3. August bekannt gegeben wurde. EXL stellte die Verbindung als Zusammenführung von Fachwissen in den Bereichen Modelltraining und -bewertung mit seinen Kompetenzen in den Bereichen Unternehmensdaten, operativer Kontext und KI-Implementierung dar.

Dadurch eröffnet sich für Scholars ein breiterer Marktzugang. Basu sagte, iMerit weite seine Tätigkeit von der Entwicklung von Frontier-Modellen auf Arbeitsabläufe in den Bereichen Bankwesen, Gesundheitswesen und Versicherungen aus, in denen die Anpassung an Fachgebiete sowie Vertrauen und Sicherheit darüber entscheiden, ob KI erfolgreich im Produktivbetrieb eingesetzt werden kann.

Die neue Plattform belegt nicht von sich aus, dass ein Modell in jedem spezialisierten Einsatzgebiet zuverlässig ist. Sie schafft vielmehr eine konkretere Voraussetzung: die Organisation der Fachleute, Werkzeuge und Rückmeldungen, die nötig sind, um ein System an den Anforderungen des jeweiligen Einsatzgebiets zu testen. Je stärker KI in professionelle Arbeitsabläufe vordringt, desto wichtiger wird es als Teil des Technologie-Stacks, die passende Fachkraft zu finden, eine hilfreiche Korrektur zu erfassen und dieses Wissen wieder in die Entwicklung einfließen zu lassen.