OpenAI afbryder koordineret kampagne for udtræk af modellers ræsonnementsspor

OpenAI sagde i et sikkerhedsindlæg offentliggjort den 30. september 2026, at det havde identificeret og afbrudt en koordineret kampagne, der var designet til at udtrække beskyttede ræsonnementer fra dets modeller, og at det tilskrev en kerne‑klynge af aktiviteten til personer forbundet med Moonshot AI, udvikleren af Kimi. Den tidligst observerede aktivitet fandt sted i den første uge af juli 2026.

Hvad OpenAI observerede

OpenAI beskrev aktiviteten som i overensstemmelse med adversarial destillation, som de definerer som den systematiske og uautoriserede brug af en models output eller ræsonnementsprocesser til at hjælpe med at træne, reproducere eller forbedre en anden model. Beskyttede ræsonnementer er, ifølge virksomheden, modellens interne registrering af, hvordan den løser en opgave; udtræk af denne kan afsløre information, der holdes tilbage fra det endelige svar, og hjælpe andre med at reproducere modellens evner.

OpenAI sagde, at operatørerne ikke brød deres kryptering, kompromitterede en database eller opnåede direkte adgang til gemte bruger‑samtaler. Operatørerne manipulerede modelinteraktioner, så beskyttede ræsonnementer kunne reproduceres i former, der var synlige for anmoderen, på en koordineret og skaleret måde, hvilket overtrådte virksomhedens servicevilkår. En teknik, som OpenAI observerede, involverede at kopiere krypterede ræsonnementer fra én samtale og bede en model i en anden samtale om at dekryptere og transskribere det skjulte ræsonnementsindhold. Virksomheden sagde, at manipulationen ikke er en sårbarhed, der er unik for deres modeller, og at de delte information om den med branchepartnere gennem Frontier Model Forum for at styrke de kollektive forsvar.

Aktiviteten startede den 1. juli 2026, i starten med lavt volumen, indtil OpenAI observerede høje spidser i volumen den 24. og 25. juli 2026 bestående af 16.000 forespørgsler, der brugte et relevant udtrækningsmønster fra mere end 4.000 brugere. En fodnote i indlægget bemærker, at disse tal beskriver forsøgte, men ikke nødvendigvis vellykkede, udtræk. OpenAI sagde, at yderligere undersøgelser identificerede relateret prompt‑mønster‑aktivitet på tværs af en klynge på mere end 15.000 brugere, som de fuldstændigt afbrød senest den 28. juli 2026. Aktiviteten udviklede sig over tid, hvilket ifølge virksomheden understreger, at adversarial destillation er en bredere sikkerhedsudfordring, der kræver lagdelte, adaptive forsvar.

OpenAI sagde, at adversarial destillation udgør sikkerheds‑ og national sikkerhedsrisici: udtrukne ræsonnementer kan bruges til at træne en anden model uden at bevare de sikkerhedsforanstaltninger, der anvendes på den oprindelige models bruger‑rettede output, og destillation i stor skala kan fremskynde overførslen af avancerede evner uden den samme investering i sikkerhed, en bekymring som virksomheden siger forværres, efterhånden som modeller får evner inden for dobbelt‑brugs‑områder. OpenAI sagde, at de inden offentliggørelsen undersøgte kampagnens omfang og potentielle påvirkning, implementerede egne afbødninger, delte med og indhentede feedback fra forskere og branchepartnere, og at yderligere afbødnings‑ og undersøgelsesarbejde fortsætter.

Tilskrivning

OpenAI sagde, at det er uklart, om alle operatører observeret i den relevante periode stammer fra én enkelt aktør, og at de tilskriver en kerne‑klynge af aktiviteten til personer forbundet med Moonshot AI, udvikleren af Kimi.

Den 8. september 2026 frigav National Security Agency, Cybersecurity and Infrastructure Security Agency og Federal Bureau of Investigation en fælles cybersikkerhedsadvarsel, der fastslog, at Moonshot AI har gennemført en udbredt destillationskampagne mod amerikanske førende AI‑virksomheder siden mindst midten af 2025. Advarslen angiver, at Moonshot AI udtrak betydelige Claude Fable 5‑data for at træne deres Kimi‑K3‑model og GPT‑4o‑data for at træne deres Kimi‑K2‑model, og at virksomheden brugte amerikanske modeller til at destillere optimering af superviseret finjustering, forstærkningslæring, softwareudvikling og matematik‑evner.

Advarslen angiver mere generelt, at DeepSeek, Moonshot AI, Alibaba, MiniMax, StepFun og Z.AI sandsynligvis med den kinesiske regerings viden har udtrukket milliarder af tokens på tværs af millioner af udvekslinger fra amerikanske førende AI‑modeller, herunder varianter af Claude, GPT, Gemini og Grok, siden mindst slutningen af 2024. Ifølge agenturerne kanaliserede disse virksomheder forespørgsler gennem native‑API’er, fjern‑cloud‑udbydere og tredjeparts‑aggregatorer; brugte et gråmarked af API‑proxy’er kendt som transfer‑stations for at omgå geografiske begrænsninger, overtræde brugsvilkår og underminere sporbarhed; og opnåede omkostningsbesparelser gennem bulk‑indkøb af premium‑abonnementer, der deles på tværs af udvikler‑teams. Agenturerne anbefalede, at amerikanske AI‑virksomheder implementerer omfattende detektion og afbødning, indfører målrettede responsændringer for mistænkte destillationsforsøg, og etablerer tvær‑organisatorisk deling af efterretninger.

Forskningen i ræsonnementsspor

OpenAI sagde, at uafhængige sikkerhedsforskere gjorde dem opmærksomme på relaterede sårbarheder på tværs af modeller og i samtalekomprimering gennem ansvarlig offentliggørelse. Virksomheden sagde, at de undersøgte fundene, bekræftede at de angrebspfade, forskerne identificerede, var reelle, og at arbejdet hjalp dem med at forstå den bredere angrebsklasse og fremskynde afbødninger.

I en artikel indsendt til arXiv den 10. august 2026 rapporterer Alexander Panfilov, David Schmotz, Ilia Shumailov, Luca Beurer‑Kellner, Joachim Schaeffer, Ameya Prabhu, Jonas Geiping og Maksym Andriushchenko, at førende udbydere skjuler deres modellers trinvise ræsonnementer for at beskytte intellektuel ejendom og begrænse informationslækage, og returnerer sporene til klienten som blokke af krypteret tekst, som klienten sender tilbage med hver efterfølgende forespørgsel. Forfatterne identificerer en arkitektonisk sårbarhed: disse krypterede blokke er fuldt kompatible og udskiftelige på tværs af forskellige sessioner, brugere og modeller inden for en udbyders økosystem. De beskriver en skalerbar dekrypterings‑jailbreak, hvor et krypteret ræsonnementsspor fra en given model injiceres i en svagere, mindre beskyttet model fra samme udbyder, hvilket tvinger den til at dekode og outputte sporet ordret i klartekst uden at jailbreak’e den mere kapable model direkte.

Forfatterne rapporterer, at sårbarheden muliggør fire forskellige angrebsvektorer: omgåelse af anti‑destillations‑mekanismer, som de demonstrerer på tværs af Anthropic, OpenAI og Google; stor‑skala privat dataudtræk, hvor de genvandt 367 personligt identificerbare informationsartefakter og 182 legitimationsoplysninger ved at dekode 315.320 ræsonnementsblokke indsamlet fra offentlige arkiver; utilsigtet afsløring af farlig information skjult i ræsonnementsprocessen, selv når modellens endelige synlige output sikkert afviser en ondsindet forespørgsel; og usynlige prompt‑injektioner, der indlejrer ondsindet payload fuldstændigt inden for krypterede blokke for at forgifte offentlige agent‑udrulninger. Efter ansvarlig offentliggørelse foreslår forfatterne kryptografiske og system‑niveau afhjælpninger for at sikre ræsonnementer på klientsiden.

Hvordan OpenAI reagerede

OpenAI oplyser, at de afbødede kampagnen gennem en kombination af håndhævelse af kontoregler, tekniske kontroller og partnerkoordinering: de forbød eller begrænsede svigagtige konti, styrkede tilmeldings‑ og infrastrukturkontroller og udvidede overvågningen af relaterede netværk. Virksomheden siger også, at de har styrket beskyttelsen af skjulte ræsonnementer på tværs af brugere, arbejdsområder, organisationer og modelfamilier: de lukkede en vej, der tillod en person, der allerede besad en anden brugers krypterede ræsonnementer, at genafspille dem og genskabe indholdet, tilføjede kontroller for at opdage og tilbageholde streamet output, der kunne afsløre ræsonnementer, og samarbejdede med tredjepartsudbydere om at identificere og afbryde konti, når relateret aktivitet gik gennem deres tjenester.

OpenAI sagde, at de delte relevante fund gennem Frontier Model Forum og passende regerings‑informationsdelingskanaler, så andre frontier‑udviklere og offentlige partnere kunne lede efter lignende aktivitet og styrke deres egne forsvar, og bemærkede, at systemer, der understøtter portable eller genafspillelige ræsonnementsartefakter, kan stå over for relaterede risici.

OpenAI siger, at de forventer, at forsøg på adversarial destillation bliver mere sofistikerede, efterhånden som frontier‑modeller forbedres, og efterhånden som aktører søger billigere måder at efterligne deres kapaciteter på. Virksomheden siger, at partner‑hostede implementeringer har brug for de samme beskyttelser som først‑partstjenester, at værktøjs‑output‑angreb kræver beskyttelser, der undersøger mere end almindelig synlig tekst, og at de fortsat forbedrer værktøjsforsvar, klassifikator‑dækning og model‑afvisninger, mens de udbreder relevante kontroller på tværs af cloud‑partnere. OpenAI siger, at deres svar vil fortsætte med at fokusere på tre områder: stærkere tekniske beskyttelser mod udtræk, bedre detektion og håndhævelse af regler over for koordinerede kampagner samt dybere trussels‑informationsdeling på tværs af industri og regering.