Die Vorstellung überwinden, dass „KI Magie ist“: Warum es für jedes Unternehmen Priorität haben muss, zu lernen, wie KI-Modelle funktionieren

Angesichts der Warnungen vor außer Kontrolle geratenen KI-Agenten überließ ein Entwickler einem Programmieragenten kürzlich freie Hand an einem Rechner ohne externe Sicherungskopie. Er löschte 48.000 Dateien in weniger als zwei Minuten.

Vorfälle wie dieser führen drastisch vor Augen, dass der Einsatz von KI-Agenten Risiken birgt. Es reicht nicht, irgendwo in einem komplexen Prozess eine menschliche Prüfstelle einzubauen und davon auszugehen, dass damit alles sicher ist. Manche Prozesse erfordern keinen Eingriff, andere hingegen deutlich strengere Kontrollen. Einen Tippfehler zu korrigieren und Tausende von Dateien zu löschen, birgt ganz offensichtlich nicht das gleiche Risiko. Die Aufsicht muss daher dem tatsächlichen Ausmaß der möglichen Folgen Rechnung tragen.

Unternehmen müssen besser darin werden, die Momente zu erkennen, in denen menschliches Urteilsvermögen tatsächlich gefragt ist – insbesondere dann, wenn eine Handlung weitreichende Folgen hat oder sich nur schwer rückgängig machen lässt. Und wenn Agenten Fehler machen, muss die Umgebung deren Auswirkungen begrenzen.

KI ist nicht deterministisch, sondern probabilistisch

Vor allem müssen alle Beschäftigten, die direkt oder indirekt mit der Softwareentwicklung zu tun haben, ein grundlegendes Verständnis dafür entwickeln, wie KI-Modelle Informationen verarbeiten. Das ist keine Kleinigkeit: Es erfordert ein kontinuierliches Engagement für die Weiterbildung der Teams und sollte schließlich zu einem unternehmensweiten Ziel werden.

Wenn man zum ersten Mal mit KI interagiert, fühlt es sich wie Magie an. Man gibt einen Satz ein und führt plötzlich ein Gespräch. Ein grundlegendes Verständnis davon, wie Modelle und ihr Training tatsächlich im Hintergrund funktionieren, ist wichtig, um unternehmensweite Richtlinien für den Einsatz von KI in den Bereichen Sicherheit und Produktivität festzulegen. Das neuronale Netz, die Tokenisierung und die dahinter stattfindende statistische Analyse sowie die Frage, wie daraus Ergebnisse hervorgehen, bieten allen Beschäftigten im Unternehmen eine wichtige Gelegenheit, sich weiterzubilden.

Große Sprachmodelle werden niemals deterministische Ergebnisse liefern. Ihre Ausgaben sind probabilistisch. Bei herkömmlicher Software kann man nach der Eingabe mit bestimmten Ausgaben rechnen, etwa A, B oder C. Bei KI hingegen könnte das Ergebnis F, ein & oder die Beschreibung einer Katze mit Sonnenbrille sein.

Probabilistische Systeme lassen sich nicht auf herkömmliche Weise testen. Benötigt wird eine Testmöglichkeit, mit der sich Anpassungen vornehmen, Schlussfolgerungen ziehen, Zusammenhänge verstehen und schnell Kontext heranziehen lässt, um die probabilistischen Aspekte zu erfassen und die dadurch möglicherweise entstehenden Probleme zu erkennen. Je nach Umfang und Risiko kann diese Art von Tests entweder von einer KI oder von einem Menschen mit einschlägiger Fachkenntnis durchgeführt werden. Ein Mensch im Prozess ist vor allem ganz am Anfang hilfreich: So lässt sich der Rahmen für das zu lösende Problem festlegen, und am Ende können die Ergebnisse überprüft werden.

Da Entwickler am besten beobachten können, welche Variablen und gängigen Vorgehensweisen die interne KI ihres Unternehmens nutzt, um aus Eingaben Antworten abzuleiten, können sie maßgeblich dazu beitragen, die KI-Schulungen in ihren Unternehmen zu gestalten und sicherzustellen, dass alle den Unterschied zwischen Determinismus und probabilistischem Verhalten bei KI verstehen – und wissen, warum er wichtig ist. Ziel ist es, die Vorstellung abzubauen, der Einsatz von KI sei wie Magie und man könne sich mit jeder beliebigen Ausgabe zufriedengeben. Stattdessen sollten Unternehmen darauf hinarbeiten, die verwendeten Modelle verständlich zu machen und offenzulegen, wie sie eingesetzt werden, welche Probleme auftreten können, wie sie überprüft werden und welche Ergebnisse dieser Prozess liefert.

Schutzvorkehrungen gehören in die Infrastruktur, nicht ins Modell

Sobald der „Zauber“ der KI entlarvt ist und ein KI-gestütztes Projekt läuft, ist eine transparente Prüfungsrichtlinie unverzichtbar, um sicherzustellen, dass alles nach Plan verläuft. So kann die verantwortliche Person, wenn das Projekt zu einem „schlechten“ oder nicht zufriedenstellenden Ergebnis führt, die durchgeführten Schritte überprüfen und verhindern, dass das Problem erneut auftritt. Das ist auch dann von Vorteil, wenn die Ergebnisse besser als erwartet ausfallen: Die entsprechenden Schritte können dann wiederholt und mit anderen Projekten oder Gruppen geteilt werden.

Ein solches Vorgehen systematisch zu verankern, ist besonders für größere Unternehmen wichtig. Dort können in jedem Team Dutzende Entwickler arbeiten, während im Laufe des Tages Hunderte von Entwicklern Code bearbeiten. KI kann vieles sehr schnell erledigen. Wenn etwas schiefgeht, muss es daher ein System geben, mit dem sich genau feststellen lässt, in welchem Schritt das Problem aufgetreten ist. Ein Beispiel dafür sind die Agenten von OpenAI, die diesen Sommer in Hugging Face eindrangen. OpenAI testete, wie gut seine Modelle Software-Schwachstellen ausnutzen konnten, und verwendete dafür einen Benchmark namens ExploitGym. Für den Test lockerte das Unternehmen gezielt die Weigerung der Modelle, sich an offensiven Cyberaktivitäten zu beteiligen. Der einzige Weg aus der Sandbox führte über einen Paket-Proxy. Die Modelle entdeckten eine unbekannte Schwachstelle in diesem Proxy, entkamen und verbrachten mehr als zwei Tage in den Produktionssystemen von Hugging Face auf der Suche nach den Testantworten.

Schlagzeilen bezeichneten es als außer Kontrolle geratene KI. Ich würde es eine deterministische Konfiguration rund um ein probabilistisches System nennen. OpenAI wies die Modelle an, zu hacken, und verließ sich dann darauf, dass sie sich an den vorgesehenen Ablauf hielten. Laut dem Entwickler des Benchmarks hatten Modelle schon zuvor bei dem Test geschummelt, aber immer innerhalb der Sandbox. Dieses Mal blieb eines nicht darin. Herkömmliche Schutzvorkehrungen setzen herkömmliches Verhalten voraus – doch KI muss sich nicht an Standards halten.

Deshalb hängt die Sicherheit von KI von Zugriffsrechten und Kontrollen ab, die durch die Umgebung durchgesetzt werden – und nicht davon, dass sich das Modell wohl verhält. Gehen Sie davon aus, dass der Agent jede Tür ausprobieren wird, und lassen Sie nur die Türen offen, die er benötigt. Der Agent, der 48.000 Dateien löschte, war angewiesen worden, mit Kopien zu arbeiten und die Originale unangetastet zu lassen. Trotzdem löschte er die Originale. Anweisungen sind keine Kontrollen.

Die Berechtigungen eines Agenten zu verwalten, ist wie die Einarbeitung eines neuen Junior-Entwicklers. Sie würden ihm am ersten Tag keinen Root-Zugriff auf die Produktionsumgebung geben. Und wenn Sie es doch täten und er Ihre Datenbank löschte, würden Sie das nicht damit erklären, dass er ein genialer Hacker sei. Bei Sicherheitsvorfällen jeder Größenordnung ist es unerlässlich, die eigentliche Ursache genau zu bestimmen. Liegt es am Modell? Liegt es an dem Unternehmen, das das Modell entwickelt hat? Liegt es an dem Unternehmen, das dem Modell Zugriff gewährt hat? Was auch immer die Ursache ist: Letztlich trägt ein Mensch die Verantwortung.

Ein wichtiges Thema, mit dem man sich heute befassen muss, ist schließlich, was sich im Verborgenen auf dem Laptop eines Entwicklers abspielt. Früher ließ sich der Arbeitsablauf einfacher nachvollziehen. Entwickler schrieben Code, überprüften ihn und stellten ihn bereit. So führte ein klarer Weg zurück zu dem Moment, in dem etwas schiefging. Heute kann ein Entwickler einem Agenten ein Ticket gegeben und gesagt haben: „Beheb das.“ Wenn diese Arbeit außerhalb des Blickfelds stattfindet, gibt es nichts nachzuverfolgen. Jeder Schritt muss vollständig dokumentiert sein: welcher Agent ausgeführt wurde, welches Modell er verwendete, welche Prompts er erhielt, welche Werkzeuge er aufrief und welche Berechtigungen er zu diesem Zeitpunkt hatte. Agenten zentral statt auf einzelnen Laptops auszuführen, ist eine Möglichkeit, das zu erreichen. Entscheidend ist, dass es eine lückenlose Dokumentation gibt.

Letztlich muss sich jedes Unternehmen im Falle eines Vorfalls schützen. Die Dokumentation sollte genügend Informationen enthalten, um eine Ursachenanalyse durchzuführen und den Schritt sowie den Code zu finden, die das Problem verursacht haben.

KI hat die Welt grundlegend verändert, und die Geschäftsprozesse müssen sich daran anpassen. Um geeignete Schutzplanken festzulegen, braucht es ein besseres Verständnis der KI-Prozesse, der Tests, der Überprüfungszyklen und der Auditzyklen – sowohl in den Entwicklerteams als auch unternehmensweit.