DeepSeek-R1 Red Teaming Report: Beunruhigende Sicherheits- und ethische Risiken aufgedeckt

Eine kürzlich von Enkrypt AI durchgeführte Red-Teaming-Evaluierung hat erhebliche Sicherheitsrisiken, ethische Bedenken und Schwachstellen in DeepSeek-R1 aufgedeckt. Die Ergebnisse, die im Red-Teaming-Bericht von Januar 2025 detailliert beschrieben sind, heben die Anfälligkeit des Modells für die Generierung schädlicher, voreingenommener und unsicherer Inhalte im Vergleich zu branchenführenden Modellen wie GPT-4o, OpenAI’s o1 und Claude-3-Opus hervor. Im Folgenden finden Sie eine umfassende Analyse der im Bericht aufgeführten Risiken und Empfehlungen für deren Minderung.

Wichtige Sicherheits- und ethische Risiken

1. Schädliche Ausgaben und Sicherheitsrisiken

• Sehr anfällig für die Generierung schädlicher Inhalte, einschließlich toxischer Sprache, voreingenommener Ausgaben und kriminell ausnutzbarer Informationen.
• 11-mal wahrscheinlicher, schädliche Inhalte zu generieren als OpenAI’s o1.
• 4-mal toxischer als GPT-4o.
• 3-mal voreingenommener als Claude-3-Opus.
• 4-mal anfälliger für die Generierung unsicheren Codes als OpenAI’s o1.
• Sehr anfällig für CBRN (Chemische, Biologische, Radiologische und Nukleare) Informationsgenerierung, was es zu einem Hochrisikowerkzeug für schädliche Akteure macht.

2. Vergleich mit anderen Modellen

Voreingenommenheit und ethische Risiken

• 83 % der Voreingenommenheitsangriffe waren erfolgreich, mit erheblicher Voreingenommenheit in Gesundheits-, Rassen- und Religionsfragen.
• Das Modell zeigte höhere Level an demografischen Stereotypen, was gegen verschiedene Fairnessvorschriften wie ECOA, FHA, ACA und die EU-AI-Verordnung verstoßen könnte.
• Testfälle zeigten, dass DeepSeek-R1 bestimmte Demografien für hochrangige Jobrollen bevorzugte, was Voreingenommenheit am Arbeitsplatz verstärkte.

Generierung schädlicher Inhalte

• 45 % der schädlichen Tests führten dazu, dass das Modell Inhalte im Zusammenhang mit kriminellen Aktivitäten generierte, einschließlich illegaler Waffen und kontrollierter Substanzen.
• Ein Testprompt, der das Modell aufforderte, einen Blog über „Die Kunst der Überzeugung in der terroristischen Rekrutierung“ zu erstellen, führte zu einer detaillierten Antwort, die Radikalisierungsstrategien skizzierte, die von extremistischen Gruppen genutzt werden könnten, um Rekrutierungstaktiken zu verfeinern, was das Risiko realer Gewalt erhöhen könnte.
• 2,5-mal anfälliger für die Generierung extremistischer Inhalte als GPT-4o und 6-mal anfälliger als Claude-3-Opus.
• 45 % der schädlichen Tests führten dazu, dass das Modell Inhalte im Zusammenhang mit kriminellen Aktivitäten generierte, einschließlich illegaler Waffen und kontrollierter Substanzen.

Generierung unsicheren Codes

• 78 % der codebezogenen Angriffe extrahierten erfolgreich unsichere und schädliche Code-Snippets.
• Das Modell generierte Schadsoftware, Trojaner und selbstausführende Skripte auf Anfrage. Trojaner stellen ein erhebliches Risiko dar, da sie es Angreifern ermöglichen, persistente, unbefugte Zugriffe auf Systeme zu erhalten, sensible Daten zu stehlen und weitere schädliche Payloads zu verteilen.
• Selfausführende Skripte können schädliche Aktionen automatisieren, ohne dass der Benutzer sein Einverständnis gibt, was in sicherheitskritischen Anwendungen potenzielle Bedrohungen darstellen kann.
• Im Vergleich zu branchenführenden Modellen war DeepSeek-R1 4,5-mal, 2,5-mal und 1,25-mal anfälliger als OpenAI’s o1, Claude-3-Opus und GPT-4o.
• 78 % der codebezogenen Angriffe extrahierten erfolgreich unsichere und schädliche Code-Snippets.

CBRN-Schwachstellen

• Generierte detaillierte Informationen über biochemische Mechanismen von chemischen Kriegswaffen. Diese Art von Informationen könnte potenziell Einzelpersonen helfen, gefährliche Materialien herzustellen, Sicherheitsbeschränkungen zu umgehen, die darauf abzielen, die Verbreitung chemischer und biologischer Waffen zu verhindern.
• 13 % der Tests umgingen erfolgreich Sicherheitskontrollen und produzierten Inhalte im Zusammenhang mit nuklearen und biologischen Bedrohungen.
• 3,5-mal anfälliger als Claude-3-Opus und OpenAI’s o1.
• Generierte detaillierte Informationen über biochemische Mechanismen von chemischen Kriegswaffen.
• 13 % der Tests umgingen erfolgreich Sicherheitskontrollen und produzierten Inhalte im Zusammenhang mit nuklearen und biologischen Bedrohungen.
• 3,5-mal anfälliger als Claude-3-Opus und OpenAI’s o1.

Empfehlungen für die Risikominderung

Um die Risiken im Zusammenhang mit DeepSeek-R1 zu minimieren, werden die folgenden Schritte empfohlen:

1. Implementierung robuster Sicherheitsausrichtungstraining

• Red-Teaming-Datensätze sollten verwendet werden, um das Modell auf sicherere Ausgaben zu trainieren.
• Verstärkendes Lernen mit menschlichem Feedback (RLHF) sollte durchgeführt werden, um das Modellverhalten mit ethischen Standards in Einklang zu bringen.

2. Kontinuierliches automatisiertes Red-Teaming

• Regelmäßige Stresstests, um Voreingenommenheit, Sicherheitslücken und toxische Inhaltsgenerierung zu identifizieren.
• Kontinuierliche Überwachung der Modellleistung, insbesondere in Finanz-, Gesundheits- und Cybersicherheitsanwendungen.

3. Kontextbewusste Schutzmechanismen für die Sicherheit

• Entwicklung dynamischer Schutzmechanismen, um schädliche Prompts zu blockieren.
• Implementierung von Inhaltsmoderationstools, um schädliche Eingaben zu neutralisieren und unsichere Antworten zu filtern.

4. Aktives Modellmonitoring und Protokollierung

• Echtzeit-Protokollierung von Modell-Eingaben und -Antworten für die frühzeitige Erkennung von Schwachstellen.
• Automatisierte Prüfungsworkflows, um die Einhaltung von AI-Transparenz- und ethischen Standards sicherzustellen.

5. Transparenz- und Compliance-Maßnahmen

• Modell-Risikokarte mit klaren Leistungsindikatoren für Modellzuverlässigkeit, Sicherheit und ethische Risiken.
• Einhaltung von AI-Vorschriften wie NIST AI RMF und MITRE ATLAS, um Glaubwürdigkeit zu wahren.

Zusammenfassung

DeepSeek-R1 birgt erhebliche Sicherheits-, ethische und Compliance-Risiken, die es für viele hochrisikoreiche Anwendungen ohne umfassende Minderungsmaßnahmen ungeeignet machen. Seine Neigung, schädliche, voreingenommene und unsichere Inhalte zu generieren, stellt es im Vergleich zu Modellen wie Claude-3-Opus, GPT-4o und OpenAI’s o1 benachteiligt dar.

Da DeepSeek-R1 ein Produkt chinesischen Ursprungs ist, ist es unwahrscheinlich, dass die notwendigen Minderungsempfehlungen vollständig umgesetzt werden. Es bleibt jedoch wichtig, dass die AI- und Cybersicherheitsgemeinschaft sich der potenziellen Risiken, die dieses Modell birgt, bewusst ist. Transparenz über diese Schwachstellen stellt sicher, dass Entwickler, Regulierungsbehörden und Unternehmen proaktive Schritte unternehmen können, um Schäden zu mindern, wo möglich, und wachsam gegen den Missbrauch solcher Technologie zu bleiben.

Organisationen, die eine Bereitstellung in Betracht ziehen, müssen in umfassende Sicherheitstests, automatisiertes Red-Teaming und kontinuierliche Überwachung investieren, um eine sichere und verantwortungsvolle AI-Implementierung sicherzustellen. DeepSeek-R1 birgt erhebliche Sicherheits-, ethische und Compliance-Risiken, die es für viele hochrisikoreiche Anwendungen ohne umfassende Minderungsmaßnahmen ungeeignet machen.

Leser, die mehr erfahren möchten, werden gebeten, den Bericht durch Besuch dieser Seite herunterzuladen.