Das Gebot der Geheimhaltung: Warum traditionelle Sicherheitsmodelle versagen, wenn KI-Agenten auf Code zugreifen.

Im April 2023, Samsung entdeckte, dass seine Ingenieure sensible Informationen an ChatGPT weitergegeben hatten.Das war jedoch ein Zufall. Stellen Sie sich nun vor, diese Code-Repositories hätten absichtlich platzierte Anweisungen enthalten, die für Menschen unsichtbar, aber von KI verarbeitet werden und darauf abzielen, nicht nur Code, sondern auch jeden API-Schlüssel, jede Datenbankzugangsdaten und jedes Service-Token zu extrahieren, auf das die KI Zugriff hat. Das ist keine bloße Theorie. Sicherheitsforscher haben bereits demonstriert Diese Angriffe mit „unsichtbaren Anweisungen“ funktionieren. Die Frage ist nicht, ob das passieren wird, sondern wann.

Die Grenze, die nicht mehr existiert

Jahrzehntelang basierte unsere Sicherheit auf einer fundamentalen Annahme: Code ist Code und Daten sind Daten. SQL-Injection lehrte uns, Abfragen zu parametrisieren. Cross-Site-Scripting lehrte uns, Ausgaben zu maskieren. Wir lernten, Barrieren zwischen dem, was Programme tun, und dem, was Benutzer eingeben, zu errichten.

Mit KI-Agenten ist diese Grenze verschwunden.

Anders als deterministische Software, die vorhersehbaren Pfaden folgt, sind große Sprachmodelle probabilistische Blackboxes, die nicht zwischen legitimen Entwickleranweisungen und bösartigen Eingaben unterscheiden können. Wenn ein Angreifer einem KI-Programmierassistenten eine Eingabe macht, liefert er nicht nur Daten. Er programmiert die Anwendung im Wesentlichen in Echtzeit um. Die Eingabe wird zum Programm selbst.

Dies stellt einen fundamentalen Bruch mit allem dar, was wir über Anwendungssicherheit wissen. Traditionelle syntaxbasierte Firewalls suchen nach schädlichen Mustern wie DROP TABLE oder tags, fail completely against natural language attacks. Researchers have demonstrated “semantic substitution” techniques where replacing “API keys” with “apples” in prompts allows attackers to bypass filters entirely. How do you firewall intent when it’s disguised as harmless conversation?

Die Zero-Click-Realität, über die niemand spricht

Was die meisten Sicherheitsteams nicht verstehen: Prompt-Injection erfordert keine Benutzereingabe. Es handelt sich dabei oft um Zero-Click-Exploits. Ein KI-Agent, der lediglich ein Code-Repository nach einer Routineaufgabe durchsucht, einen Pull Request prüft oder die API-Dokumentation liest, kann einen Angriff ohne menschliches Eingreifen auslösen.

Betrachten Sie folgendes Szenario, basierend auf Techniken, die Forscher bereits bewiesen habenEin Angreifer schleust unsichtbare Anweisungen in HTML-Kommentare der Dokumentation einer beliebten Open-Source-Bibliothek ein. Jeder KI-Assistent, der diesen Code analysiert – sei es GitHub Copilot, Amazon CodeWhisperer oder ein anderer Programmierassistent für Unternehmen –, kann dadurch potenziell Zugangsdaten stehlen. Eine einzige kompromittierte Bibliothek kann Tausende von Entwicklungsumgebungen angreifbar machen.

Die Gefahr liegt nicht im LLM selbst, sondern in der Handlungsfähigkeit, die wir ihm verleihen. Sobald wir diese Modelle mit Tools und APIs verknüpften und ihnen erlaubten, Daten abzurufen, Code auszuführen und auf Geheimnisse zuzugreifen, verwandelten wir hilfreiche Assistenten in perfekte Angriffsvektoren. Das Risiko skaliert nicht mit der Intelligenz des Modells, sondern mit seiner Vernetzung.

Warum der gegenwärtige Ansatz zum Scheitern verurteilt ist

Die Branche ist derzeit besessen davon, Modelle anzugleichen und bessere Schutzmechanismen zu entwickeln. OpenAI fügt weitere Leitplanken hinzu. Anthropic konzentriert sich auf verfassungsbasierte KI. Alle versuchen, Modelle zu erstellen, die nicht ausgetrickst werden können.

Das ist ein aussichtsloser Kampf.

Wenn eine KI intelligent genug ist, um nützlich zu sein, ist sie auch intelligent genug, um getäuscht zu werden. Wir tappen in die sogenannte „Bereinigungsfalle“: Wir gehen fälschlicherweise davon aus, dass eine bessere Eingabefilterung uns schützen wird. Doch Angriffe können als unsichtbarer Text in HTML-Kommentaren verborgen, tief in der Dokumentation versteckt oder auf bisher unvorstellbare Weise kodiert werden. Man kann nicht bereinigen, was man nicht im Kontext versteht, und genau dieser Kontext macht LLMs so mächtig.

Die Branche muss eine bittere Wahrheit akzeptieren: Eine sofortige Injektion wird zum Erfolg führen. Die Frage ist, was dann geschieht.

Der architektonische Wandel, den wir brauchen

Wir befinden uns aktuell in einer Art „Patchphase“ und fügen verzweifelt Eingabefilter und Validierungsregeln hinzu. Doch so wie wir schließlich erkannten, dass die Verhinderung von SQL-Injection parametrisierte Abfragen und nicht etwa eine verbesserte String-Maskierung erfordert, benötigen wir nun eine architektonische Lösung für die Sicherheit von KI.

Die Antwort liegt in einem Prinzip, das einfach klingt, aber ein Umdenken in der Art und Weise erfordert, wie wir Systeme entwickeln: KI-Agenten sollten niemals die Geheimnisse besitzen, die sie verwenden.

Hier geht es nicht um besseres Berechtigungsmanagement oder verbesserte Tresorlösungen. Es geht darum, KI-Agenten als einzigartige, verifizierbare Identitäten anzuerkennen, anstatt als Benutzer, die Passwörter benötigen. Wenn ein KI-Agent auf eine geschützte Ressource zugreifen muss, sollte er Folgendes tun:

1. Authentifizieren Sie sich anhand seiner überprüfbaren Identität (nicht anhand eines gespeicherten Geheimnisses).

2. Erhalten Sie Anmeldeinformationen, die nur für diese spezifische Aufgabe gültig sind.

3. Lassen Sie diese Anmeldeinformationen nach Sekunden oder Minuten automatisch ablaufen.

4. Langjährige Geheimnisse niemals aufbewahren oder gar „einsehen“.

Es zeichnen sich mehrere Ansätze ab. AWS IAM-Rollen für Servicekonten, Googles Workload-Identität, Die dynamischen Geheimnisse von HashiCorp VaultSpeziell entwickelte Lösungen wie Akeyless' Zero Trust Provisioning deuten alle auf diese Zukunft ohne Geheimnisse hin. Die Implementierungsdetails variieren, aber das Prinzip bleibt gleich: Wenn die KI keine Geheimnisse stehlen kann, wird die Gefahr des sofortigen Einschleusens von Sicherheitslücken deutlich geringer.

Das Entwicklungsumfeld von 2027

Innerhalb von drei Jahren wird die .env-Datei in der KI-gestützten Entwicklung überflüssig sein. Langlebige API-Schlüssel in Umgebungsvariablen werden dann so betrachtet werden wie heute Passwörter im Klartext: als peinliches Relikt aus einer naiveren Zeit.

Stattdessen wird jeder KI-Agent unter strikter Privilegientrennung arbeiten. Standardmäßig nur Lesezugriff. Aktions-Whitelisting ist Standard. Geschützte Ausführungsumgebungen sind eine Compliance-Anforderung. Wir werden nicht mehr versuchen, das Denken der KI zu kontrollieren, sondern uns ausschließlich darauf konzentrieren, ihre Aktionen zu kontrollieren.

Dies ist nicht nur eine technische Weiterentwicklung, sondern ein grundlegender Wandel der Vertrauensmodelle. Wir bewegen uns von „Vertrauen ist gut, Kontrolle ist besser“ zu „Niemals vertrauen, immer prüfen und von Kompromittierung ausgehen“. Das Prinzip der minimalen Berechtigungen, lange gepredigt, aber selten angewendet, wird unabdingbar, wenn Ihr Junior-Entwickler eine KI ist, die täglich Tausende potenziell schädlicher Eingaben verarbeitet.

Die Wahl, vor der wir stehen

Die Integration von KI in die Softwareentwicklung ist unvermeidlich und größtenteils vorteilhaft. GitHub berichtet, dass Entwickler, die Copilot nutzen, Aufgaben 55 % schneller erledigen.Die Produktivitätssteigerungen sind real, und kein Unternehmen, das wettbewerbsfähig bleiben will, kann sie ignorieren.

Wir stehen an einem Scheideweg. Wir können den eingeschlagenen Weg fortsetzen, indem wir weitere Schutzmaßnahmen einführen, bessere Filter entwickeln und darauf hoffen, KI-Agenten zu erschaffen, die sich nicht täuschen lassen. Oder wir können die grundlegende Natur der Bedrohung anerkennen und unsere Sicherheitsarchitektur entsprechend überarbeiten.

Der Samsung-Vorfall war ein Warnschuss. Der nächste Sicherheitsvorfall wird kein Zufall sein und sich nicht auf ein einzelnes Unternehmen beschränken. Da KI-Systeme immer mehr Fähigkeiten erlangen und auf immer mehr Systeme zugreifen können, wächst das potenzielle Ausmaß exponentiell.

Die Frage für jeden CISO, jeden technischen Leiter und jeden Entwickler ist einfach: Wenn die Prompt-Injection in Ihrer Umgebung erfolgreich ist (und das wird sie), was wird der Angreifer vorfinden? Wird er eine wahre Fundgrube an langlebigen Anmeldeinformationen entdecken oder einen KI-Agenten finden, der trotz Kompromittierung keine Geheimnisse zum Stehlen hat?

Die Entscheidung, die wir jetzt treffen, wird darüber entscheiden, ob KI zum größten Beschleuniger der Softwareentwicklung oder zur größten Schwachstelle wird, die wir je geschaffen haben. Die Technologie für sichere, datenbasierte KI-Systeme existiert bereits. Die Frage ist, ob wir sie implementieren, bevor Angreifer uns dazu zwingen.

OWASP hat die sofortige Injektion bereits als das größte Risiko identifiziert. in ihren Top 10 für LLM-Bewerbungen. Das NIST erarbeitet Leitlinien Bei Zero-Trust-Architekturen sind die Frameworks vorhanden. Die einzige Frage ist die Implementierungsgeschwindigkeit im Verhältnis zur Weiterentwicklung der Angriffe.

Bio: Refael Angel ist Mitgründer und CTO von SchlüssellosDort entwickelte er die patentierte Zero-Trust-Verschlüsselungstechnologie des Unternehmens. Refael ist ein erfahrener Softwareentwickler mit fundierten Kenntnissen in Kryptografie und Cloud-Sicherheit. Zuvor war er als Senior Software Engineer im Forschungs- und Entwicklungszentrum von Intuit in Israel tätig, wo er Systeme zur Verwaltung von Verschlüsselungsschlüsseln in öffentlichen Cloud-Umgebungen entwickelte und Authentifizierungsdienste für Maschinen konzipierte. Er besitzt einen Bachelor of Science in Informatik vom Jerusalem College of Technology, den er im Alter von 19 Jahren erwarb.