DeepSeek-R1 Red Teaming Report: Beunruhigende Sicherheits- und ethische Risiken aufgedeckt

Eine kürzlich von Enkrypt AI durchgeführte Red-Teaming-Evaluierung hat erhebliche Sicherheitsrisiken, ethische Bedenken und Schwachstellen in DeepSeek-R1 aufgedeckt. Die Ergebnisse, die im Red-Teaming-Bericht von Januar 2025 detailliert sind, heben die Anfälligkeit des Modells für die Generierung schädlicher, voreingenommener und unsicherer Inhalte im Vergleich zu branchenführenden Modellen wie GPT-4o, OpenAI’s o1 und Claude-3-Opus hervor. Im Folgenden finden Sie eine umfassende Analyse der im Bericht aufgeführten Risiken und Empfehlungen für die Minderung.

Schüssel-Sicherheits- und ethische Risiken

1. Schädliche Ausgaben und Sicherheitsrisiken

• Sehr anfällig für die Erzeugung schädlicher Inhalte, einschließlich toxischer Sprache, voreingenommener Ausgaben und kriminell ausnutzbarer Informationen.
• 11-mal wahrscheinlicher, schädliche Inhalte zu generieren als OpenAI’s o1.
• 4-mal toxischer als GPT-4o.
• 3-mal voreingenommener als Claude-3-Opus.
• 4-mal anfälliger für die Generierung unsicherer Code als OpenAI’s o1.
• Sehr anfällig für die Generierung von CBRN- (Chemical, Biological, Radiological und Nuclear) Informationen, was es zu einem hochriskanten Werkzeug für bösartige Akteure macht.

2. Vergleich mit anderen Modellen

Voreingenommenheit und ethische Risiken

• 83% der Voreingenommenheitsangriffe waren erfolgreich, mit erheblicher Voreingenommenheit in Gesundheits-, Rassen- und Religionsfragen.
• Das Modell zeigte höhere Levels an demografischer Stereotypisierung, was gegen verschiedene Fairnessvorschriften wie ECOA, FHA, ACA und die EU-AI-Verordnung verstoßen könnte.
• Testfälle zeigten, dass DeepSeek-R1 bestimmte Demografien für hochrangige Jobrollen bevorzugte, was die Voreingenommenheit am Arbeitsplatz verstärkte.

Erzeugung schädlicher Inhalte

• 45% der schädlichen Tests führten dazu, dass das Modell Inhalte im Zusammenhang mit kriminellen Aktivitäten erzeugte, einschließlich illegaler Waffen und kontrollierter Substanzen.
• Ein Testprompt, der das Modell aufforderte, einen Blog über “Die Kunst der Überzeugung in der terroristischen Rekrutierung” zu entwickeln, führte zu einer sehr detaillierten Antwort, die Radikalisierungsstrategien umriss, die von extremistischen Gruppen genutzt werden könnten, um Rekrutierungstaktiken zu verfeinern, was das Risiko realer Gewalt erhöhen könnte.
• 2,5-mal anfälliger für die Erzeugung extremistischer Inhalte als GPT-4o und 6-mal anfälliger als Claude-3-Opus.
• 45% der schädlichen Tests führten dazu, dass das Modell Inhalte im Zusammenhang mit kriminellen Aktivitäten erzeugte, einschließlich illegaler Waffen und kontrollierter Substanzen.

Erzeugung unsicheren Codes

• 78% der codebezogenen Angriffe extrahierten erfolgreich unsichere und schädliche Code-Snippets.
• Das Modell erzeugte Schadsoftware, Trojaner und selbstausführende Skripte auf Anfrage. Trojaner stellen ein erhebliches Risiko dar, da sie es Angreifern ermöglichen, persistente, unbefugte Zugriffe auf Systeme zu erhalten, sensible Daten zu stehlen und weitere schädliche Payloads zu deployen.
• Selfausführende Skripte können schädliche Aktionen automatisieren, ohne dass der Benutzer zugestimmt hat, was in cybersecurity-kritischen Anwendungen potenzielle Bedrohungen darstellen kann.
• Im Vergleich zu branchenführenden Modellen war DeepSeek-R1 4,5-mal, 2,5-mal und 1,25-mal anfälliger als OpenAI’s o1, Claude-3-Opus und GPT-4o.
• 78% der codebezogenen Angriffe extrahierten erfolgreich unsichere und schädliche Code-Snippets.

CBRN-Schwachstellen

• Erzeugte detaillierte Informationen über biochemische Mechanismen von chemischen Kriegswaffen. Diese Art von Informationen könnte potenziell Einzelpersonen helfen, gefährliche Materialien herzustellen, Sicherheitsbeschränkungen zu umgehen, die darauf abzielen, die Verbreitung chemischer und biologischer Waffen zu verhindern.
• 13% der Tests umgingen erfolgreich Sicherheitskontrollen und erzeugten Inhalte im Zusammenhang mit nuklearen und biologischen Bedrohungen.
• 3,5-mal anfälliger als Claude-3-Opus und OpenAI’s o1.
• Erzeugte detaillierte Informationen über biochemische Mechanismen von chemischen Kriegswaffen.
• 13% der Tests umgingen erfolgreich Sicherheitskontrollen und erzeugten Inhalte im Zusammenhang mit nuklearen und biologischen Bedrohungen.
• 3,5-mal anfälliger als Claude-3-Opus und OpenAI’s o1.

Empfehlungen für die Risikominderung

Um die Risiken im Zusammenhang mit DeepSeek-R1 zu minimieren, werden die folgenden Schritte empfohlen:

1. Implementierung robuster Sicherheitsausrichtungstraining

• Red-Teaming-Datensätze sollten verwendet werden, um das Modell auf sicherere Ausgaben zu trainieren.
• Durchführung von Reinforcement-Learning mit menschlichem Feedback (RLHF), um das Modellverhalten mit ethischen Standards in Einklang zu bringen.

2. Kontinuierliches automatisiertes Red-Teaming

• Regelmäßige Stresstests, um Voreingenommenheit, Sicherheitslücken und schädliche Inhalte zu identifizieren.
• Einsetzen von kontinuierlicher Überwachung der Modellleistung, insbesondere in Finanz-, Gesundheits- und Cybersicherheitsanwendungen.

3. Kontextbewusste Sicherheitsschranken

• Entwicklung dynamischer Schutzmechanismen, um schädliche Prompts zu blockieren.
• Implementierung von Inhaltsmoderations-Tools, um schädliche Eingaben zu neutralisieren und unsichere Antworten zu filtern.

4. Aktive Modellüberwachung und Protokollierung

• Echtzeit-Protokollierung von Modell-Eingaben und -Antworten für die frühzeitige Erkennung von Schwachstellen.
• Automatisierte Audit-Workflows, um die Einhaltung von AI-Transparenz- und ethischen Standards sicherzustellen.

5. Transparenz- und Compliance-Maßnahmen

• Einrichtung einer Modell-Risikokarte mit klaren Leistungsindikatoren für Modellzuverlässigkeit, Sicherheit und ethische Risiken.
• Einhaltung von AI-Vorschriften wie NIST AI RMF und MITRE ATLAS, um Glaubwürdigkeit zu wahren.

Schlussfolgerung

DeepSeek-R1 birgt erhebliche Sicherheits-, ethische und Compliance-Risiken, die es für viele hochriskante Anwendungen ohne umfassende Minderungsmaßnahmen untauglich machen. Seine Neigung, schädliche, voreingenommene und unsichere Inhalte zu erzeugen, stellt es im Vergleich zu Modellen wie Claude-3-Opus, GPT-4o und OpenAI’s o1 benachteiligt dar.

Da DeepSeek-R1 ein Produkt chinesischen Ursprungs ist, ist es unwahrscheinlich, dass die notwendigen Minderungsempfehlungen vollständig umgesetzt werden. Es bleibt jedoch wichtig, dass die AI- und Cybersicherheitsgemeinschaften sich der potenziellen Risiken bewusst sind, die dieses Modell birgt. Transparenz über diese Schwachstellen stellt sicher, dass Entwickler, Regulierungsbehörden und Unternehmen proaktive Schritte unternehmen können, um Schäden zu mindern, wo möglich, und wachsam gegen den Missbrauch solcher Technologie zu bleiben.

Organisationen, die eine Bereitstellung in Betracht ziehen, müssen in umfassende Sicherheitstests, automatisiertes Red-Teaming und kontinuierliche Überwachung investieren, um eine sichere und verantwortungsvolle AI-Implementierung sicherzustellen. DeepSeek-R1 birgt erhebliche Sicherheits-, ethische und Compliance-Risiken, die es für viele hochriskante Anwendungen ohne umfassende Minderungsmaßnahmen untauglich machen.

Leser, die mehr erfahren möchten, werden gebeten, den Bericht durch Besuch dieser Seite herunterzuladen.