Wo das Sprachmodell aufhören sollte: KI für Lohnabrechnung, Zulassungsverfahren und andere Bereiche entwickeln, in denen Fehler schwerwiegende Folgen haben

In den vergangenen Jahren habe ich KI in Produkte integriert, bei denen eine falsche Antwort ihren Preis hat: in eine KI-gestützte Plattform zur Einhaltung von Vorschriften für die Lohnabrechnung auf dem australischen Markt, wo sich ein Fehler auf dem Bankkonto einer Person niederschlägt, und in ein Produkt für die Hochschulzulassung, bei dem eine unpassende Empfehlung die nächsten vier Jahre eines Studiums prägen kann. In beiden Fällen war dieselbe Frage ausschlaggebend für die Architektur: Wie weit sollte das Sprachmodell gehen dürfen, bevor ein deterministisches System übernimmt?

Bei jeder fünften Gehaltsabrechnung in den USA tritt ein Fehler auf, der im Durchschnitt 291 $ kostet, noch bevor es zu Rechtsstreitigkeiten kommt. Die EU-KI-Verordnung stuft den Einsatz von KI bei Zulassungsentscheidungen und im Personalmanagement als Hochrisiko ein.

Die Zahlen den Regeln überlassen

Deterministische Regeln bestimmen alles, was mit einem Geldbetrag oder rechtlichen Folgen verbunden ist. Das Modell interpretiert und erläutert diese Regeln – und nichts darüber hinaus.

Bei der Lohnabrechnungsplattform wollten wir eine klare Grenze zwischen den Abrechnungsregeln und der KI ziehen. Zunächst legen Fachleute für Lohnabrechnung die Vergütungsregeln in einem strukturierten Format fest. Anschließend verarbeitet das System diese Regeln und erstellt alle möglichen Szenarien, die sich daraus ergeben können. Diese vollständige Szenariomenge bildet die maßgebliche Wissensgrundlage des Modells. Das Modell kann weder neue Regeln erstellen noch bestehende ändern oder entscheiden, welche Quellen es verwendet. Es kann lediglich den relevanten Regelsatz abrufen, Vergütungstabellen nachschlagen und das verwendete Szenario angeben. Regeldefinition, Szenarioerstellung und Quellenauswahl bleiben vollständig außerhalb der KI-Ebene.

Das Produkt für die Hochschulzulassung folgt derselben Logik: Anforderungen an den Studienort, Budgetgrenzen, der Status der Bildungseinrichtung und Zulassungsschwellenwerte werden als Regeln angewendet, bevor das Modell eine Rangfolge beeinflussen kann. Wenn eine studierende Person angibt, unbedingt in Kalifornien studieren zu müssen, kann eine Hochschule außerhalb des Bundesstaats diese Vorgabe nicht außer Kraft setzen, nur weil das Modell sie ansonsten für passend hält. Das Modell kümmert sich um weniger verbindliche Präferenzen und Erläuterungen; deterministische Logik dient überall dort als Leitplanke, wo „annähernd richtig“ nicht genügt.

Die Suche verankert das Modell – bis zu einem gewissen Grad

Die Retrieval-Augmented Generation (RAG) sorgt dafür, dass Antworten auf den Richtlinien der Organisation selbst beruhen und nicht auf beliebigen Inhalten, die das Modell während des Trainings aufgenommen hat. Allerdings werden ihre Möglichkeiten auch übertrieben dargestellt. Als RegLab der Stanford University kommerzielle juristische Recherchetools auf RAG-Basis testete, halluzinierten diese dennoch in 17 bis 33 % der Fälle. Die Suche schränkt ein, was das Modell sagen kann, doch es kann sich weiterhin irren.

Das habe ich selbst erlebt. Bei der Lohnabrechnungsplattform fand das System einmal die zutreffende tarifliche Regelung für einen Fall, doch das Modell interpretierte die Überstundenregeln trotzdem falsch. Die richtige Quelle war abgerufen worden, aber die Antwort war falsch. Danach schränkten wir stärker ein, worüber das Modell selbst entscheiden durfte. Wichtige Abrechnungsregeln wurden in eine explizite Geschäftslogik überführt, jede Antwort musste durch Quellenmaterial belegt sein, und wir ergänzten Tests, die auf dem fehlgeschlagenen Fall beruhten. Der Zugriff auf die richtigen Informationen hilft nur, wenn zugleich kontrolliert wird, wie das Modell sie verwendet.

Jede Antwort nachvollziehbar machen

Bevor eine Antwort erstellt wird, hält das System genau fest, welches Regelwerk und welche Version verwendet wurden, ebenso wie das Modell und weitere Angaben zur Anfrage. Die Aussage, eine KI-Antwort beruhe auf den Unternehmensrichtlinien, lässt sich nur schwer überprüfen. Viel aussagekräftiger ist die Angabe, dass sie auf Grundlage von Version 7 einer bestimmten Vereinbarung erstellt wurde, die aufbewahrt wird und sich mit anderen Versionen vergleichen lässt. Außerdem protokollieren wir jeden Aufruf eines Modells oder Tools: was die nutzende Person gefragt hat, welche Inhalte abgerufen wurden, welche Tools ausgeführt wurden, was das Modell zurückgegeben hat und welche Fehler dabei aufgetreten sind. Geht eine Supportanfrage ein, können wir genau nachvollziehen, woher eine falsche Antwort stammt. Das Urteil im Fall Air Canada von 2024, in dem ein Gericht die Fluggesellschaft dazu verpflichtete, einen Rabatt zu gewähren, den ihr Chatbot erfunden hatte, zeigt, welche Folgen die Alternative haben kann.

Menschen dort einbeziehen, wo Folgen entstehen

Das Profil für generative KI des NIST behandelt die Frage, was ein System allein erledigt und wann ein Mensch erforderlich ist, als Governance-Entscheidung. Wir leiten einen Fall an einen Menschen weiter, wenn das System unsicher ist, wenn sich Informationen widersprechen oder wenn die Entscheidung die nutzende Person erheblich betreffen könnte. Bei der Hochschulzulassung wird ein ungewöhnliches Studierendenprofil ebenso wie eine Empfehlung, die verbindliche Anforderungen der studierenden Person nicht eindeutig erfüllt, zur Prüfung durch eine Studienberatung gekennzeichnet. Dadurch wurden Empfehlungen erkannt, die auf den ersten Blick vernünftig wirkten, aber eine Einschränkung im Profil der studierenden Person übersahen; jeder dieser Fälle floss anschließend in das System zurück. Keines der beiden Produkte trifft Entscheidungen abschließend allein. Bevor eine Empfehlung berücksichtigt werden kann, ist die Einschätzung einer Studienberatung erforderlich, und jede vom Lohnabrechnungssystem erstellte Gehaltsabrechnung wird vor der Ausgabe zur Genehmigung gekennzeichnet. Eine menschliche Prüfung ist nicht für jede Anfrage vorgesehen. Ziel ist es, Routinefälle zuverlässig zu automatisieren und einen Menschen einzubeziehen, wenn es gute Gründe gibt, an der Sicherheit des Systems zu zweifeln.

Entscheiden, was das Modell heute übernehmen kann

Bei jedem Arbeitsablauf wende ich einen praktischen Test an. Kann eine falsche Ausgabe erkannt und rückgängig gemacht werden, bevor sie eine Person erreicht, kann das Modell diesen Schritt übernehmen. Lässt sich die Antwort anhand einer Regel überprüfen, ist die Regel maßgeblich, und das Modell erläutert sie. Würde eine falsche Ausgabe eine Gehaltszahlung oder eine Zulassungsentscheidung erreichen, bevor sie jemand bemerkt, ist der betreffende Schritt noch nicht bereit.

Sprachmodelle sind die besten Interpreten, die wir je vor ein Regelwerk gestellt haben. In Bereichen, in denen Fehler schwerwiegende Folgen haben, sollte ihre Rolle bei der Interpretation enden.