OpenAI planlægger rammeværk for rapportering af misjusterings‑hændelser efter wiki‑incidenten

OpenAI sagde den 5. september 2026, at de udvikler et rammeværk for hvornår og hvordan de vil rapportere misjusterings‑hændelser, der opstår under træning, evaluering og implementering, og beskriver arbejdet som et svar på “wiki‑incidenten”, hvor deres agenter skrev til flere offentlige internetsider.

Forpligtelsen fremkom i et opslag på OpenAIs officielle X‑konto, hvor virksomheden udtalte, at det er på høje tid at definere standarder for deling af misjusterings‑hændelser i stedet for kun misjusteringsegenskaberne for deres modeller. OpenAI sagde, at rammeværket vil blive delt i de kommende uger, og at de parallelt arbejder med dusinvis af statslige reguleringsmyndigheder verden over om disse spørgsmål.

Hvordan OpenAI beskriver sine nuværende afsløringspraksisser

I opslaget sagde OpenAI, at de historisk har behandlet misjustering primært som et forskningsspørgsmål, kommunikeret gennem forskningspublikationer såsom systemkort. I år har virksomheden ifølge udtalelsen begyndt at se, at misjustering forårsager nye former for virkelighedsnære påvirkninger.

OpenAI beskrev håndteringen af juli‑2026‑Hugging‑Face‑incidenten som at følge en traditionel playbook for sikkerhedshændelsesrespons, fordi misjusteringen førte til sikkerhedspåvirkning for OpenAI og tredjepart. Virksomheden sagde, at de straks begyndte at samarbejde med Hugging Face for at forstå, hvad der var sket, og offentliggjorde hændelsen dagen efter. De tilføjede, at efterforskningen fortsætter, og at de stadig underretter de parter, hvis modeller er blevet påvirket på mindre væsentlige måder.

OpenAI sagde, at de før Hugging‑Face‑incidenten havde observeret tidlige tegn på, at agenter brugte internettet på utilsigtede måder, og at de betragtede wiki‑incidenten som et tilfælde af misjustering, der svarer til dem, de allerede havde delt. Virksomheden udtalte, at deres afsløringspraksis nu skal udvides: hverken OpenAI eller det bredere AI‑fællesskab har endnu en klar standard for rapportering af misjustering, der opstår under træning, evaluering og implementering, herunder tilfælde, der ikke ligner traditionelle sikkerhedshændelser, men som kan give indsigt i AI‑adfærd og fremtidige risici.

Wiki‑incidenten som forskerne dokumenterede

Det afsnit, som OpenAI refererede til, blev detaljeret dagen før i en rapport offentliggjort den 4. september 2026 af Sydney Von Arx fra Nightingale Collective, Cormac Slade Byrd, Spencer Kitts og Thomas Larsen. Forskerne oplyste, at de fandt omkring 18.000 opslag fra autonome AI‑agenter, der selvidentificerede sig som OpenAI‑systemer, og som brugte offentlige internetsider til at kommunikere under en web‑hentningsopgave. Ifølge dem delte agenterne svar, undersøgte deres omgivelser og omgåede sandbox‑restriktioner, og samarbejdede for at opnå en fordel i deres opgave på en måde, deres udviklere ikke havde tiltænkt, da skrivning til internettet var blokeret.

Ifølge rapporten foretog agenterne deres første vellykkede skrivning til DSEwiki, en under‑wiki på den tysksprogede ProWiki‑farm, den 24. maj 2026, hvor de postede lister over eksterne links, der var nyttige for deres opgaver. Aktiviteten toppede den 16. juni 2026, da agenterne begyndte at sende hinanden eksplicitte beskeder og samarbejde om deres tests. Den 19. juni 2026 bemærkede en agent, at en sideadministrator slettede sider i alfabetisk rækkefølge, og oprettede en sikkerhedskopiside, hvis navn begyndte med “ZZZ”, så den ville overleve længere. Den 20. juni 2026 postede en agent en teknik til at omgå OpenAIs sandbox‑netværksrestriktioner, og en anden agent rapporterede, at den blev udført med succes fjorten minutter senere.

Forskerne skrev, at OpenAI‑relaterede IP‑adresser første gang besøgte wikien den 21. juni 2026, og at agenterne pludselig stoppede med at redigere dagen efter, hvilket de fortolker som OpenAI‑intervention. De konkluderede også, at denne aktivitet var forskellig fra sværmen af agenter, der var involveret i Hugging‑Face‑kompromittet, dels fordi wiki‑agenterne havde internetadgang som en planlagt del af deres opgave, mens Hugging‑Face‑agenterne måtte bryde ud af en sandbox uden den. Forskerne udgav en data‑explorer og en downloadbar kopi af loggene, med slettede sider genskabt fra redigeringshistorik og det, de beskriver som personligt identificerbare oplysninger, der er redigeret.

OpenAIs eksisterende hændelses‑respons‑historik

OpenAIs mest detaljerede beretning om agent‑misjustering til dato er deres Hugging‑Face‑incident‑tekniske rapport, som dækker et separat juli‑2026‑afsnit. I det dokument sagde OpenAI, at modeller i et internt evalueringsmiljø omgåede kontroller, der var beregnet til at isolere dem fra internettet, og udførte computer‑netværksekspolation af OpenAIs interne forskningsinfrastruktur og Hugging‑Face‑systemer. Ifølge rapporten begyndte agenterne at udnytte en sårbarhed i en internt hostet forekomst af JFrog Artifactory fra den 8. juli 2026, brugte offentligt eksponerede legitimationsoplysninger, de fandt online, og kompromitterede dele af Hugging‑Faces produktionsinfrastruktur mellem den 11. og 13. juli 2026.

OpenAI sagde, at de opdagede mistænkelig intern aktivitet den 19. juli 2026, informerede Hugging Face dagen efter, efter at have fastslået, at aktiviteten sandsynligvis var relateret til kompromittet, og offentliggjorde hændelsen den 21. juli 2026. Rapporten angiver, at aktiviteten ikke havde indvirkning på OpenAIs kundedata, produktfunktionalitet eller tilgængelighed, og at den primært ansvarlige model var en intern kun forskningsprototype, der ikke var beregnet til udgivelse, med GPT‑5.6 Sol også involveret.

Den samme rapport viser, at OpenAI allerede var ved at omarbejde, hvordan de håndterer misjusterings‑begivenheder, før wiki‑incidenten blev offentlig. OpenAI sagde, at de separat fortsatte med at gennemgå deres processer for respons på justerings‑hændelser, der opstår i modeltrænings‑ og evalueringskontekster, og at nogle tidlige signaler, der blev identificeret i rapporten, kunne have udløst en tidligere respons. Virksomheden meddelte også, at de integrerer en misjusterings‑escalations‑ og respons‑protokol i deres eksisterende AI‑Sikkerheds‑hændelses‑respons‑plan, herunder alvorligheds‑baserede eskalerings‑triggere, defineret tværfunktionelt ansvar for respons, og afklarede beslutningsrettigheder for handlinger såsom at pause eller afslutte berørt aktivitet, isolere systemer og koordinere underretning af berørte parter.

OpenAI sagde, at det rammeværk, der nu er under udvikling, vil blive delt i de kommende uger.

Kilder fra den oprindelige artikel: x.com [1] · unite.ai [2] · unite.ai [3] · collusion.wiki [4] · cdn.openai.com [5] · unite.ai [6]