KI-Modelle und Plattformen
Scale AI startet gemeinsam mit IMDA einen Benchmark zum juristischen Schlussfolgern in Singapur
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Scale AI und die Infocomm Media Development Authority (IMDA) von Singapur stellten SG-LegalClarify vor. Der Benchmark prüft 19 Sprachmodelle anhand von 1.860 Szenarien aus 10 Rechtsgebieten Singapurs. Dabei wird sowohl die juristische Genauigkeit als auch die Fähigkeit der Modelle untersucht, vor einer Antwort nach fehlenden Informationen zu fragen.
Scale bezeichnet SG-LegalClarify als erste Forschungsinitiative im Rahmen einer im April 2026 formalisierten Zusammenarbeit, die am 7. Juli 2026 öffentlich vorgestellt wurde. Das Projekt soll Regierungen dabei unterstützen, KI-Systeme anhand ihrer eigenen Gesetze und Institutionen zu bewerten, statt davon auszugehen, dass sich die Ergebnisse internationaler Benchmarks auf jedes nationale Umfeld übertragen lassen.
Die Forschungsarbeit stellt Singapur als anspruchsvollen Prüfstand dar, da dort das übernommene englische Common Law neben lokalen Anpassungen und speziell für Singapur erlassenen Gesetzen gilt. Ein Modell, das sich auf allgemeine Grundsätze des Common Law stützt, kann daher die maßgebliche lokale Rechtsvorschrift übersehen. SG-LegalClarify prüft außerdem eine weitere Fähigkeit: zu entscheiden, ob eine Anfrage genügend rechtlich relevante Informationen enthält, um überhaupt beantwortet werden zu können.
Dieser Unterschied ist bei alltäglichen Anfragen wichtig. Wer nach der Strafe für Geschwindigkeitsüberschreitung fragt, muss möglicherweise den Fahrzeugtyp, die tatsächlich gefahrene Geschwindigkeit und bereits vorhandene Strafpunkte angeben. Ein Assistent, der ohne diese Angaben eine Strafe nennt, kann eine überzeugend klingende, aber rechtlich falsche Antwort geben.
Fragenpaare prüfen, wann Modelle nachfragen
Der Datensatz umfasst zunächst 1.100 englischsprachige Ausgangsfragen: 340 mit vollständigen Angaben und 760 mit unzureichenden Angaben. Zu jeder unvollständigen Frage gibt es eine vollständig spezifizierte Entsprechung, die die zunächst fehlenden Fakten enthält. 23 zugelassene Anwältinnen und Anwälte verfassten die Fragen; sieben von ihnen wirkten auch als Prüfer mit. Ihre juristische Berufserfahrung reichte von zwei bis 37 Jahren, der Median lag bei sechs Jahren.
Für jede Frage gibt es ein von einer Anwältin oder einem Anwalt erstelltes Bewertungsschema, das die Erkennung der Rechtsfrage, den Abruf der einschlägigen Rechtsnorm, deren Anwendung und die Schlussfolgerung abdeckt. Insgesamt umfasst der Datensatz 12.546 Bewertungskriterien. Davon sind 89,0 % für eine inhaltlich richtige Antwort zwingend erforderlich; in den zentralen Ergebnissen werden nur diese Pflichtkriterien berücksichtigt.
Zunächst muss jedes Modell an einer Schwelle zur Informationsausreichung entscheiden, ob es direkt antwortet oder weitere Fakten einholt. Auf dem Pfad der Informationsbeschaffung gibt ein simulierter Nutzer die zunächst fehlenden Fakten nur dann preis, wenn das Modell ausdrücklich danach fragt. Ein Bewertungsgremium aus drei KI-Modellen, das anhand von Vergleichen mit Einschätzungen menschlicher Anwälte ausgewählt wurde, bewertet jedes Kriterium per Mehrheitsentscheid.
Die Suche verbesserte die Ergebnisse, doch beim Nachfragen blieben die Modelle schwach
Laut der Forschungsarbeit lag Claude Fable 5 bei Tests ohne externe Informationsquellen vorn und erfüllte 69,8 % der Pflichtkriterien; der Durchschnitt betrug 53,8 %. Mit Websuche erzielte Kimi K3 mit 77,8 % das beste Ergebnis, während der Durchschnitt auf 63,0 % stieg. Alle Modelle verbesserten sich, allerdings unterschiedlich stark. Den schwächsten Bewertungsbereich bildete der Abruf der Rechtsnormen: Die Bestehensquoten lagen ohne Suche bei 43,2 % und mit Suche bei 56,5 %.
Laut der Zusammenfassung von Scale wurden in etwa 39 % der Szenarien ohne externe Informationsquellen, in denen Fakten fehlten, keine Rückfragen gestellt. In etwa 28 % der Szenarien, die bereits genügend Informationen enthielten, stellten die Modelle dagegen unnötige Fragen. Wenn Angaben fehlten, fragten die Modelle im Durchschnitt nur nach 39 % der relevanten Fakten, die von Rechtsexperten ermittelt worden waren.
In einem beschreibenden Vergleich von Versuchen mit Webzugriff, bei denen die Modelle nach sämtlichen relevanten fehlenden Fakten fragten, berichtet die Forschungsarbeit, dass 55,6 % zum richtigen juristischen Schluss kamen, 32,1 % zu einem falschen Schluss und 12,3 % gar keinen Schluss zogen. Eine vollständige Erhebung der benötigten Informationen gewährleistete somit nicht, dass das Recht korrekt angewandt wurde.
Grenzen der Bewertung und Pläne zur Veröffentlichung
Die Autorinnen und Autoren benennen mehrere Einschränkungen der Ergebnisse: Die KI-Hilfssysteme wurden nur begrenzt durch Menschen validiert, Unterschiede zwischen den Anbietern verhinderten einen identischen Zugang zu Suchwerkzeugen, und eine vorgeschaltete Weiterleitung könnte das Verhalten bei Rückfragen beeinflusst haben. Nicht jede als fehlend gekennzeichnete Variable ist erforderlich, um einen konkreten Fall zu lösen. Eine unvollständige Abdeckung der angefragten Fakten deutet daher nicht automatisch auf unzureichende Rückfragen hin.
Die Forschenden planen, 50 % der Ausgangsfragen in jeder Kategorie zu veröffentlichen und den Rest für eine nicht öffentliche Bewertung zurückzuhalten. Dabei soll jedes Paar aus unvollständig und vollständig spezifizierter Frage derselben Aufteilung zugeordnet bleiben. Auch die Modellausgaben für die öffentliche Aufteilung und die Bewertungspipeline sollen veröffentlicht werden.
Laut der Ethikerklärung der Forschungsarbeit sind die Bewertungen nicht als Beleg dafür zu verstehen, dass ein Modell für unbeaufsichtigte Rechtsberatung sicher ist. Für Regierungen, die KI im Rechtsbereich bewerten, machen die Ergebnisse die Fähigkeit zu Rückfragen zu einem Teil der Frage nach der Genauigkeit: Ein System muss erkennen, welche Fakten nach lokalem Recht relevant sind, und das Recht anschließend korrekt anwenden, sobald es diese Informationen eingeholt hat.
