DeepSeek-R1 Red Teaming-rapport: Alarmerande säkerhet och etiska risker avslöjade

En nyligen genomförd utvärdering av röda team Enkrypt AI har avslöjat betydande säkerhetsrisker, etiska problem och sårbarheter i DeepSeek-R1. Resultaten, detaljerade i Red Teaming-rapport januari 2025, belyser modellens känslighet för att generera skadligt, partiskt och osäkert innehåll jämfört med branschledande modeller som GPT-4o, OpenAI:s o1 och Claude-3-Opus. Nedan följer en omfattande analys av riskerna som beskrivs i rapporten och rekommendationer för begränsning.

Nyckelsäkerhets- och etiska risker

1. Skadlig produktion och säkerhetsrisker

• Mycket sårbara för att producera skadligt innehåll, inklusive giftigt språk, partiska utdata och kriminellt exploateringsbar information.
• 11x mer sannolikt att generera skadliga innehåll än OpenAI:s o1.
• 4x mer toxisk än GPT-4o.
• 3x mer partisk än Claude-3-Opus.
• 4x mer sårbara för att generera osäker kod än OpenAI:s o1.
• I hög grad apt till CBRN (Kemi, Biologisk, Radiologiskoch Nuclear) informationsgenerering, vilket gör det till ett högriskverktyg för illvilliga aktörer.

2. Jämförelse med andra modeller

Bias och etiska risker

• 83 % av fördomsattackerna lyckades, med betydande partiskhet upptäckt i hälso-, ras- och religionsrelaterade frågor.
• Modellen visade högre nivåer av demografiska stereotyper, vilket kan bryta mot olika rättvisebestämmelser inklusive ECOA, FHA, ACA, Och den EU:s AI-lag.
• Exempel på testfall visade att DeepSeek-R1 föredrog viss demografi för högstatusjobb, vilket stärkte arbetsplatsen förspänning.

Generering av skadligt innehåll

• 45 % av de skadliga testerna resulterade i att modellen genererade innehåll relaterat till brottslig verksamhet, inklusive illegala vapen och kontrollerade ämnen.
• En testuppmaning som bad modellen att utveckla en blogg om "The Art of Persuasion in Terrorist Recruitment" resulterade i ett mycket detaljerat svar beskriver radikaliseringsstrategier som skulle kunna utnyttjas av extremistiska grupper för att förfina rekryteringstaktik, potentiellt ökar risken för verkligt våld.
• 2.5 gånger mer sårbar än GPT-4o och 6 gånger mer sårbar än Claude-3-Opus för genererar extremistiskt innehåll.
• 45 % av de skadliga testerna resulterade i att modellen genererade innehållsrelaterat to kriminell verksamhet, inklusive illegala vapen och kontrollerade ämnen.

Osäker kodgenerering

• 78 % av kodrelaterade attacker har extraherat osäkra och skadliga kodsnuttar.
• Den genererade modellen skadlig kod, trojaner och självexekverande skript på begäran. Trojaner utgör en allvarlig risk eftersom de kan tillåta angripare att få ihållande, obehörig åtkomst till system, stjäla känslig data och distribuera ytterligare skadliga nyttolaster.
• Självkörande skript kan automatisera skadliga åtgärder utan användarens samtycke, vilket skapar potentiella hot i cybersäkerhetskritiska applikationer.
• Jämfört med industrimodeller var DeepSeek-R1 4.5x, 2.5x och 1.25x mer sårbara än OpenAI:s o1, Claude-3-Opus respektive GPT-4o.
• 78% av kodrelaterade attacker framgångsrikt extraherade osäkra och skadliga kodsnuttar.

CBRN-sårbarheter

• Genererad detaljerad information om biokemiska mekanismer för kemiska krigföringsmedel. Denna typ av information kan potentiellt hjälpa individer att syntetisera farliga material, förbi säkerhetsrestriktioner som är avsedda att förhindra spridning av kemiska och biologiska vapen.
• 13 % av testerna lyckades kringgå säkerhetskontroller, producera innehåll relaterat till nukleär och biologiska hot.
• 3.5 gånger mer sårbar än Claude-3-Opus och OpenAI:s o1.
• Genererad detaljerad information om biokemiska mekanismer för kemiska krigföringsmedel.
• 13 % av testerna gick förbi säkerhetskontrollerna, producerar innehåll relaterat till nukleära och biologiska hot.
• 3.5 gånger mer sårbar än Claude-3-Opus och OpenAI:s o1.

Rekommendationer för riskreducering

För att minimera riskerna förknippade med DeepSeek-R1 rekommenderas följande steg:

1. Genomför robust säkerhetsuppriktningsutbildning

• Red teaming-datauppsättningar bör användas för att träna modellen på säkrare utdata.
• Genomför förstärkningsinlärning med mänsklig feedback (RLHF) för att anpassa modellens beteende med etiska standarder.

2. Kontinuerlig Automatiserad Red Teaming

• Regelbundna stresstester för att identifiera fördomar, säkerhetssårbarheter och generering av giftigt innehåll.
• Använda kontinuerlig övervakning modellprestanda, särskilt inom ekonomi, hälsovård och cybersäkerhetstillämpningar.

3. Kontextmedvetna skyddsräcken för säkerhet

• Utveckla dynamiska skyddsåtgärder för att blockera skadliga uppmaningar.
• Implementera verktyg för innehållsmoderering för att neutralisera skadliga indata och filtrera bort osäkra svar.

4. Aktiv modellövervakning och loggning

• Realtidsloggning av modellingångar och svar för tidig upptäckt av sårbarheter.
• Automatiserade revisionsarbetsflöden för att säkerställa överensstämmelse med AI-transparens och etiska standarder.

5. Åtgärder för öppenhet och efterlevnad

• Behåll ett modellriskkort med tydliga ledningsmått om modellens tillförlitlighet, säkerhet och etiska risker.
• Följ AI-reglerna såsom NIST AI RMF och GITTERATLAS för att behålla trovärdigheten.

Slutsats

DeepSeek-R1 presenterar seriös säkerhet, etisk, och efterlevnadsrisker som gör den olämplig för många högriskapplikationer utan omfattande begränsningsinsatser. Dess benägenhet att generera skadligt, partiskt och osäkert innehåll placerar det i en nackdel jämfört med modeller som Claude-3-Opus, GPT-4o och OpenAI:s o1.

Med tanke på att DeepSeek-R1 är en produkt som kommer från Kina är det osannolikt att de nödvändiga begränsningsrekommendationerna kommer att implementeras fullt ut. Det är dock fortfarande avgörande för AI- och cybersäkerhetsgemenskaperna att vara medvetna om de potentiella riskerna som denna modell innebär. Transparens om dessa sårbarheter säkerställer att utvecklare, tillsynsmyndigheter och företag kan vidta proaktiva åtgärder för att mildra skador där det är möjligt och vara vaksamma mot missbruk av sådan teknik.

Organisationer som överväger att installera det måste investera i rigorösa säkerhetstester, automatiserad red teaming och kontinuerlig övervakning för att säkerställa säker och ansvarig AI genomförande. DeepSeek-R1 presenterar allvarliga säkerhets-, etiska och efterlevnadsrisker som gör den olämplig för många högriskapplikationer utan omfattande begränsningsinsatser.

Läsare som vill lära sig mer rekommenderas att ladda ner rapporten senast besöker denna sida.