Warum die Beschaffung zum mächtigsten Regulierungsinstrument für KI wird

Bei all der Aufmerksamkeit, die der KI-Gesetzgebung geschenkt wird, könnten einige der folgenreichsten Regeln, die die Technologie betreffen, von einem wirklich unerwarteten Ort kommen: den Beschaffungsabteilungen.

Wie bei vielen regulatorischen Anfängen in den Vereinigten Staaten bietet Kalifornien ein frühes Beispiel: Der Staat hat spezifische Anforderungen für den Kauf von Produkten und Dienstleistungen, die generative KI nutzen, festgelegt. Staatliche Stellen müssen das Risiko von GenAI-Beschaffungen bewerten, wobei mittel- und hochriskante Anwendungen einer zusätzlichen Prüfung durch das California Department of Technology (CDT) unterzogen werden. Ausschreibungen erfordern eine Offenlegungsklausel für GenAI, und Anbieter müssen möglicherweise ihre Nutzung der Technologie offenlegen, selbst wenn KI nur beiläufig im Produkt oder der Dienstleistung vorkommt.

Noch interessanter ist, was nach Abschluss des Vertrags geschieht.Kaliforniens GenAI-Beschaffungsrichtlinie erweitert die Aufsicht über den ursprünglichen Kauf hinaus. Vertragsmanager sollen die GenAI-Technologie im Laufe der Zeit überwachen, da bestimmte Änderungen an der Technologie eine erneute Risikobewertung auslösen können.

Das ändert die Situation für Anbieter, da das Durchlaufen der Beschaffung nicht mehr nur das Beantworten eines Sicherheitsfragebogens und das Einreichen einiger Unterlagen bedeutet. KI-Governance wird zunehmend Teil der Eintrittsbedingungen für Geschäfte in Kalifornien. Und obwohl dies die aktuelle Lage in Kalifornien ist, führt es häufig andere Bundesstaaten, wenn keine bundesweite Gesetzgebung existiert, was bedeutet, dass Unternehmen kurzsichtig wären, wenn sie dies als reines Kalifornien‑Beschaffungsproblem ansehen.

Wenn der Käufer die Regeln festlegt

Wie wurden Beschaffungsabteilungen zum Brennpunkt für KI-Governance? Regierungen können Jahre damit verbringen, Gesetze zu diskutieren, aber Beschaffungsregeln können agiler sein, weil sie ein viel unmittelbareres Publikum haben: jeden, der den Vertrag erhalten möchte.

Ohne umfassende KI-Gesetzgebung haben Käufer einen anderen Weg gefunden, ihre eigenen Erwartungen an KI festzulegen. Sie können entscheiden, welche Informationen sie über die Nutzung der Technologie durch einen Anbieter benötigen, welche Nachweise sie erwarten und welches Risikoniveau sie vor Vertragsunterzeichnung bereit sind zu akzeptieren. Für große Käufer, insbesondere Regierungen und große Unternehmen, können diese Anforderungen erhebliches Gewicht haben.

Beschaffungsteams im privaten Sektor haben eigene Gründe, Fragen zu stellen, etwa wo KI eingesetzt wird oder welche Nachweise dafür vorliegen, dass geeignete Kontrollen vorhanden sind. Unternehmen investieren bereits viel Zeit in die Prüfung der Sicherheits- und Datenschutzpraktiken ihrer Lieferanten. Die Einführung von KI bringt ein weiteres Risikofeld mit sich, das Käufer zunehmend verstehen müssen, bevor sie einem Anbieter ihre Daten anvertrauen, seine Technologie in einen kritischen Prozess integrieren oder ihm erlauben, Entscheidungen zu treffen, die Kunden und Mitarbeitende betreffen.

Ihr KI-Risiko könnte jemand anderem gehören

Eine der wichtigsten Erkenntnisse des kalifornischen Ansatzes ist, dass er anerkennt, wie schwierig es geworden ist, eine klare Grenze um die KI‑Nutzung einer Organisation zu ziehen. Egal, ob sie ihr eigenes KI‑Produkt gekauft hat, mit Beratungsfirmen zusammenarbeitet, die Dienstleistungen erbringen, oder einfach cloudbasierte Dienste nutzt, KI ist in Organisationen oder deren Lieferketten eingebettet.

Der kalifornische Beschaffungsprozess berücksichtigt einen Teil davon. Er umfasst IT‑ und Nicht‑IT‑Beschaffungen, bei denen GenAI zum Einsatz kommt, einschließlich Berater, die die Technologie nutzen, und verlangt eine Risikobewertung, wenn GenAI während der Beschaffung identifiziert wird.

Der Prozess ähnelt dem, als Cybersicherheitsteams erkannten, dass der Schutz der eigenen Systeme nicht ausreicht, wenn ein Lieferant mit Zugriff auf ihre Daten oder Infrastruktur schwache Kontrollen hat. Diese Erkenntnis machte die Cybersicherheit von Drittanbietern zu einem wesentlichen Bestandteil des Lieferanten‑Risikomanagements – eine Entwicklung, in die sich auch die KI zu bewegen scheint.

Sie schafft zudem ein unangenehmes Problem für Organisationen, die separate Programme für Sicherheit, Datenschutz, KI‑Governance und jede neue Compliance‑Verpflichtung aufgebaut haben. Die Risiken respektieren diese organisatorischen Grenzen nicht. Eine KI‑Anwendung kann gleichzeitig Datenschutzfragen, Sicherheitslücken und regulatorische Pflichten erzeugen.

Ein weiteres Silos zu schaffen, um sie zu steuern, fügt nur einen weiteren Ort hinzu, an dem etwas durch die Maschen fallen kann.

Das Problem, die Einhaltung nur einmal zu beweisen

Eine weitere Komplikation zu einem bereits komplexen Thema ist, dass sich KI bewegt. Modelle werden aktualisiert, Anbieter führen neue Funktionen ein, Mitarbeitende finden Einsatzmöglichkeiten für Werkzeuge, die beim Kauf nicht vorhergesehen wurden, und Daten ändern sich. Diese Fluidität bedeutet, dass auch die Regulierung angepasst werden muss.

Dennoch basiert ein Großteil der Compliance‑Aktivität immer noch auf einem bestimmten Zeitpunkt. Eine Prüfung steht an, also werden Belege gesammelt. Ein Kunde schickt einen Fragebogen, also sucht jemand nach den Antworten. Eine neue Anforderung kommt, und ein weiteres Compliance‑Projekt beginnt.

Dieser Ansatz war bereits umständlich, aber mit KI wird er zunehmend schwerer zu rechtfertigen. Eine Risikobewertung, die beim Kauf eines Produkts durchgeführt wurde, kann zum Zeitpunkt der Bewertung völlig korrekt sein, ein Jahr später jedoch völlig veraltet sein.

Kalifornien scheint dies zu erkennen, da seine Leitfaden zur Vertragsüberwachung eine fortlaufende Bewertung von GenAI‑Lieferungen verlangt, einschließlich ungenauer Ausgaben, gefälschter Inhalte und Vorurteilen. Änderungen oder Ergänzungen der GenAI‑Technologie in Verträgen, die zuvor eine CDT‑Beratung erforderten, können ebenfalls eine Neubewertung nötig machen.

Das NIST AI Risk Management Framework vertritt eine ähnliche Sichtweise des KI‑Risikomanagements und behandelt es als fortlaufenden Prozess über den gesamten KI‑Lebenszyklus hinweg. Dies erfordert eine andere Denkweise von Organisationen, die es gewohnt sind, sich für das nächste Audit vorzubereiten und dann erleichtert aufzuatmen, wenn es vorbei ist.

Beschaffung will Beweise, nicht ein Durcheinander

Es gab viel Aufregung rund um automatisierte Compliance, insbesondere weil Unternehmen versuchen, mit einer wachsenden Zahl von Sicherheits-, Datenschutz- und KI-Anforderungen Schritt zu halten. Die Anziehungskraft ist nachvollziehbar, doch die Gefahr entsteht, wenn Effizienz mit Governance verwechselt wird.

Das Abschließen eines Workflows sagt nichts darüber aus, ob das zugrunde liegende Risiko sich geändert hat. Zum Beispiel könnte ein Anbieter, der vor sechs Monaten KI für einen bestimmten Service nicht einsetzte, dies jetzt tun. Deshalb muss Compliance eher wie ein Kreislauf funktionieren als wie eine Ziellinie. Organisationen müssen wissen, was sie steuern, prüfen, dass Kontrollen weiterhin das tun, wozu sie bestimmt sind, und neue Risiken sowie Anforderungen in den Prozess integrieren, sobald sie auftauchen.

Richtig umgesetzt macht das die Beschaffung zudem deutlich weniger schmerzhaft. Wenn ein Kunde fragt, wie KI reguliert wird, steckt die Antwort nicht in einem Dokument, das jemand im letzten Jahr für ein Audit verfasst hat. Es gibt eine aktuelle, fortlaufende Evidenzbasis, die zeigt, wie Risiken in der Praxis gemanagt werden, und das wird zunehmend kommerziell wichtig.

Kalifornien zeigt, wie die Beschaffung KI‑Governance‑Prinzipien in Anforderungen umwandeln kann, die Lieferanten tatsächlich erfüllen müssen, wenn sie das Geschäft erhalten wollen. Andere öffentliche Auftraggeber können dasselbe tun, während Unternehmens‑Beschaffungsteams einen starken Anreiz haben, ihren eigenen Lieferanten härtere Fragen zu stellen.

Unternehmen werden möglicherweise irgendwann feststellen, dass KI‑Governance nicht nur deshalb umgesetzt wird, weil ein Regulierungsbehörde es verlangt. Sie werden KI steuern, weil ein Beschaffungsteam beschlossen hat, sie zur Nachweisführung aufzufordern, was sie gerne tun, um das Geschäft zu gewinnen.