KI-Modelle und Plattformen
Vals-AI-Benchmark zur Rechtsberatung: Modelle bieten bei lokaler Hilfe zu wenig
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
NextLadder Ventures und Vals AI kündigten am 10. November 2026 den Access to Justice Benchmark an. Demnach erreichte keines von 23 KI-Modellen bei 252 Szenarien zur Rechtshilfe den Schwellenwert von 80 Prozent, der für eine verlässliche erste Anlaufstelle angesetzt wurde.
Die Benchmark-Ergebnisse und die Methodik zeigen eine deutliche Kluft zwischen der Erklärung von Gesetzen und dem Finden praktischer Hilfe. Vals AI berichtet, dass die Modelle bei allgemeinen rechtlichen Erläuterungen 78 bis 87 Prozent der Expertenkriterien erfüllten, bei der Suche nach konkreten Anlaufstellen wie einem lokalen Rechtshilfeprogramm, einer gerichtlichen Selbsthilfestelle oder einem bestimmten Formular jedoch nur 30 bis 50 Prozent. Einundzwanzig Modelle nannten in mindestens 70 Prozent ihrer abschließenden Antworten ein nationales Verzeichnis, darunter LawHelp.org, das Verzeichnis „Find Legal Help“ der ABA oder 211, statt durchgehend das zuständige lokale Programm oder Büro zu ermitteln.
In der gemeinsamen Mitteilung liegt Qwen 3.8 Max mit 76,4 Prozent erfüllter Kriterien auf dem ersten Platz. Es folgen Claude Sonnet 5.5 mit 74,9 Prozent und Wonder Full mit 74,7 Prozent; alle drei liegen innerhalb der Fehlermarge voneinander. Aufgrund dieser engen Werteverteilung lässt sich aus der numerischen Rangfolge kein klarer Spitzenreiter ableiten.
Meghana Kotcherlakota, Forschungswissenschaftlerin bei Vals AI, stellte das Projekt Benchmarks für KI im Rechtsbereich gegenüber, die sich auf Anwaltskanzleien und Unternehmenskunden konzentrieren: „Wir haben den Access to Justice Benchmark entwickelt, um zu zeigen, wie gut diese Modelle den Menschen helfen, die am dringendsten Unterstützung brauchen – bei jedem einzelnen Problem – und um nachzuverfolgen, ob sie besser werden.“
Die Mitteilung ordnet die Ergebnisse im Zusammenhang mit der Studie „Justice Gap“ von 2022 der Legal Services Corporation ein. Diese kam zu dem Ergebnis, dass einkommensschwache Amerikaner bei 92 Prozent ihrer zivilrechtlichen Probleme keine oder nur unzureichende rechtliche Hilfe erhielten. Von denjenigen, die keine Hilfe suchten, nannten 46 Prozent die Kosten als Grund. Die Untersuchung stützte sich auf eine Umfrage unter etwa 5.000 Erwachsenen, die NORC an der University of Chicago durchführte, sowie auf Daten von Rechtshilfeorganisationen, die von der Körperschaft finanziert werden.
Wie der Benchmark die Unterstützung an der ersten Anlaufstelle bewertete
Der Benchmark betrachtet jedes Modell als erste Anlaufstelle, vergleichbar mit einer Person, die Erstgespräche führt, oder einer gerichtlichen Selbsthilfestelle, und sieht die Bereitstellung allgemeiner rechtlicher Informationen statt Rechtsberatung vor. Zwei Juristen lieferten praxisnahe Anfragen; anschließend passten sechs Rechtshilfeexperten sie an die ihnen zugewiesenen Bundesstaaten an: Kalifornien, Louisiana, Virginia, New York, Maryland und Texas. Die Experten erstellten Einstiegsfragen, Hintergrundinformationen, die nur dann offengelegt wurden, wenn das Gespräch danach fragte, Schwierigkeitsbewertungen und Bewertungsraster mit durchschnittlich 15,4 unabhängigen Kriterien.
Der vollständige Datensatz umfasst 504 Szenarien, gleichmäßig auf den öffentlichen Testsatz und einen privaten Validierungssatz verteilt. Jedes zu prüfende Modell konnte im Web suchen, Seiten öffnen und einen von GPT-5 simulierten Klienten befragen, bevor Decider v1.2, ein automatisiertes Bewertungssystem, das vollständige Gespräch bewertete. Es wurden nur Informationen bereitgestellt, nach denen das zu prüfende Modell gefragt hatte; der simulierte Klient fügte weder weitere Einzelheiten hinzu noch stellte er fehlerhafte Annahmen infrage. Die Punktzahl eines Modells entsprach dem über alle Testszenarien zusammengefassten Anteil der erfüllten Kriterien des Bewertungsrasters.
Gesprächsführung und Quellenwahl machten Schwächen sichtbar
Gesetze, Gerichtsordnungen und Rechtsprechung machten 42 Prozent der von den Modellen gelesenen Seiten aus, während auf Selbsthilfeangebote von Rechtshilfeorganisationen und gemeinnützigen Organisationen 10 Prozent entfielen. Vals AI führt dieses Muster auf die unterschiedlichen Ergebnisse zurück: Das Lesen von Gesetzen kann eine allgemeine Zusammenfassung ermöglichen, nennt aber nicht die Organisation oder das Gerichtsamt, an die sich Nutzer als Nächstes wenden sollten.
Laut der Gesprächsanalyse von Vals AI gab es durchschnittlich etwa 3,5 Gesprächsrunden. Die meisten Modelle lieferten bereits in ihrer ersten Antwort eine vollständige Antwort, bevor sie Fragen stellten – sofern sie überhaupt Fragen stellten. GPT-6.1 Sol beendete seine erste Antwort in 88 Prozent der Fälle mit einer Frage, belegte bei der Erhebung erforderlicher Angaben, also dem Kriterium des Bewertungsrasters dafür, ob ein Modell nach notwendigen Informationen fragte, jedoch mit 68,1 Prozent nur den 18. Platz. Dieser Gegensatz zeigt, dass häufiges Nachfragen nicht zwangsläufig die von den Experten als erforderlich festgelegten Angaben zutage förderte. Modelle, die keine Fragen stellten, nahmen mitunter Einzelheiten an, etwa in welchem Bundesstaat sich der Nutzer befand oder ob bereits eine gerichtliche Anordnung vorlag.
Bei den Themen erzielten laut Vals AI Szenarien zu Wohnraum und Mietrecht mit 75,4 Prozent über alle Modelle hinweg die höchsten Werte. Am schlechtesten schnitten Fragen zu öffentlichen Leistungen mit 57,3 Prozent ab, wobei diese Kategorie nur fünf Szenarien umfasste. Das Familienrecht war mit 110 Szenarien vertreten und erreichte durchschnittlich 71,2 Prozent; innerhalb dieses Bereichs kamen Fragen zum Umgangsrecht auf 61,3 Prozent und Szenarien zur Betreuung durch Verwandte unter Beteiligung des Kinderschutzes auf 63,0 Prozent.
Zwei Beispiele aus der Mitteilung veranschaulichen, wie sich diese Schwächen auf die Hilfestellung auswirkten. In einem Bagatellverfahren in Louisiana, bei dem es um ein mündliches Rückzahlungsversprechen ging, fragten nur acht Modelle, ob die Schuld mit Immobilien zusammenhing. Vier wiesen darauf hin, dass der Ablauf der zehnjährigen Einreichungsfrist eine Rückforderung verhindern würde, und drei verwiesen den Nutzer auf die Website des Gerichtsschreibers, wo Formulare für die Klage und den Antrag auf Erlass von Gebühren zu finden sind. In einem Szenario in New York City ging es um die Kaution eines Mieters, der bereits ausgezogen war. Vierzehn Modelle erhielten eine schlechtere Bewertung, weil sie zu einem außergerichtlichen Mahnschreiben rieten, obwohl das Bewertungsraster der Experten davon abriet; nur vier verwiesen den Mieter an das städtische Programm „Right to Counsel“.
Ergebnisse kostenloser und kostenpflichtiger Modelle
In einem separaten Vergleich großer Chatbot-Anbieter lag der Durchschnitt der von Vals AI geschätzten Gruppe kostenloser Modelle bei 69,7 %, gegenüber 70,4 % bei Premiummodellen. Claude Sonnet 5.5 erzielte 1,2 Prozentpunkte mehr als Claude Opus 5.5, und nur das Premiummodell von xAI zeigte einen klaren Vorteil gegenüber dem kostenlosen Modell desselben Anbieters. Die Zuordnung zu den Tarifstufen im Vergleich beruht auf Schätzungen und wurde von den Anbietern nicht bestätigt. Außerdem können die identischen API-Tests das Verhalten von Chatbots für Verbraucher nicht vollständig abbilden; Modelle mit offenen Gewichten wurden nicht berücksichtigt.
Die Organisationen erklärten, dass sie gemeinsam an einer umfassenderen Analyse und einem zusätzlichen Kurzbericht arbeiten, der Fachkräften an vorderster Front helfen soll, die verbleibenden Lücken zu verstehen. Für Rechtshilfeorganisationen, die diese Systeme bewerten, bedeutet das in der Praxis: Das Recht zu erklären, ist nur ein Teil der Leistung beim Erstkontakt. Der Benchmark bewertet auch, ob die Modelle entscheidungsrelevante Fakten aufdecken und einen konkreten nächsten Schritt vor Ort nennen.
