Vartuskoira, joka ei katso varasta: Kun tekoälyn turvakaiteet suojaavat hyökkääjää

Kun Barings kuoli viikonloppuna, olin UBS:ssä pohtimassa, mitä äkillisesti maksukyvytön 233‑vuotias pankki voisi tehdä meille muille. Seuraavaksi viikoksi Lontoon vanhin kauppapankki oli myyty ING:lle yhdellä puntilalla. Kokonaissumma, ei osakkeelta.

Syy oli loukkaavan yksinkertainen. Nick Leeson johti sekä yrityksen Singaporen kaupankäyntipöytää että sen tarkastukseen tarkoitetta taustatoimistoa. Yksi mies käytti molempia rooleja, ja se johti suoraan £827 miljoonaa tappiota, jotka piilotettiin virhetunnukseen 88888, jonka näki vain hän. Se oli klassinen käyttöoikeuksien epäonnistuminen. Joku sai liian paljon luottamusta.

Löysin itseni takaisin siihen viikonloppuun, yllättyneenä, lukiessani mitä tänä kesänä tapahtui Hugging Face:lle. Toinen käyttöoikeuksien epäonnistuminen, mutta tällä kertaa toiseen suuntaan. Työkalu luotti tunkeilijaan ja kieltäytyi auttamasta siivoojia.

Malli, joka murtautui löytääkseen vastaukset

OpenAI testasi kahta malliaan, GPT-5.6 Solia ja julkaisemattomampaa, ExploitGymissä, mittaristoa, joka arvioi, pystyykö malli muuttamaan todellisen haavoittuvuuden toimivaksi hyökkäysskriptiksi. Testissä tavalliset tuotantoluokittelijat, jotka on suunniteltu estämään korkean riskin kybertoimintaa, kytkettiin pois päältä. Järjestelmällisesti järkevää, suljetussa huoneessa.

Huone osoittautui ei aivan niin suljetuksi kuin oli tarkoitettu. Mallit löysivät nollapäivähaavoittuvuuden pakettirekisterin välimuistivälityspalvelimessa, käyttivät sitä edetäkseen kohti avointa internetiä, ja päätelivät, että Hugging Face saattaisi isännöidä mittariston vastauksia. Sieltä ne ketjuttivat varastetut tunnistetiedot ja lisää nollapäivähaavoittuvuuksia etäkomentorivin suorituksen polkuun Hugging Face:n tuotantopalvelimilla. Ne murtautuivat oikeaan yritykseen huijaamaan kokeessa.

Agenttien jättämissä muistiinpanoissa yksi tallensi hetken, jolloin se havaitsi siinä oli ylläpitäjän oikeudet: “Voi helvetti, lukija on YLLÄPITÄJÄ? Voimme lukea config/users!” Olen nähnyt insinöörejä tervehtimässä tuotantopääsyä vähemmän innostuneesti ja enemmän byrokratiaa.

Suurin osa raportoinnista pysähtyi siihen, huolestuen malleista, joilla on toimijuutta. Se osa, joka pysäytti minut, tuli seuraavaksi.

Kun turvakaiteet suojasivat hyökkääjän

Kun Hugging Face:n vastaajat istuivat analysoimaan hyökkäystä, edistykselliset kaupalliset mallit, joihin oli kiinnitetty turvallisuusturvakaiteet, eivät tarjonneet apua. Hyökkäyslokit koostuvat hyökkäyspayloadista ja komentokontrolli‑artefakteista, eikä mallit pystyneet erottamaan tapahtumavastaajaa hyökkääjästä. Niinpä ne kieltäytyivät.

Forensiikka tehtiin sen sijaan avoimen painon mallilla, GLM-5.2, jonka puolustajat ajoivat omalla laitteistollaan, ja se luki saman materiaalin ilman lainkaan omantunnetta.

Mieti sitä. Hyökkäävät mallit olivat poistaneet tuotannon kybersuojaukset ja toimivat mielensä mukaan. Puolustavat ihmiset säilyttivät omansa ja heille kerrottiin varoa kieltään. Turvaominaisuus toimi täydellisesti siinä mielessä, että se suojasi hyökkääjän menetelmiä ainoilta ihmisiltä, joilla oli syy tutkia niitä.

Mikään tästä ei ollut marginaalinen valitus. Jensen Huang käytti hänen ensimmäinen koskaan julkaisu X:ssä perustellakseen avoimien mallien puolesta, yhdessä avoimen kirjeen allekirjoitettu Meta, Microsoft ja IBM:n kaltaisten toimijoiden toimesta kanssa. Kirje esitti turvallisuusväitteen selvästi: maailmassa, jossa hyökkääjillä on kehittynyttä tekoälyä, puolustajilla täytyy olla pääsy vastaaviin kykyihin. Andrew Ng tuki väitettä, ohjaten lukijat Huangin avoimien mallien puolustukseen. Voit olla eri mieltä heidän kanssaan monesta asiasta ja silti myöntää pointin, kun tapahtumaraportti on paikallassa todistamassa sen.

Niinpä kolmekymmentäyksi vuotta myöhemmin olemme siirtyneet pankista, joka tuhoutui, koska yksi mies näki kaiken, turvallisuustyökaluun, joka luottaa tuntemattomaan tunkeilijaan omiin vastuullisiin omistajiinsa nähden. Leeson näki liikaa. Hugging Face:n jälkeiset siivoojat eivät nähneet tarpeeksi.

Verrattavuus ei ole niin outoa kuin aluksi vaikuttaa. Rahoituslaitokset oppivat, yleensä kalliiden virheiden jälkeen, että pääsy ei ole pelkästään kysymys siitä, onko joku luotettava. Kyse on siitä, saako hän suorittaa tietyn toiminnon tietyssä järjestelmässä tiettynä hetkenä ilman, että joku toinen katsoo olkapäätä. Rakensimme tehtävien erottelun, hyväksymisrajat ja auditointipolut, koska hyvät aikomukset yleensä epäonnistuvat luotettavana valvontamekanismina. Tekoälyjärjestelmät tarvitsevat samanlaista ajattelua. Mallin kutsuminen turvalliseksi kertoo hyvin vähän, ellei tiedä, mitä sille on sallittu tehdä ja kuka sitä käyttää.

Jotkut asiat eivät voi poistua rakennuksesta

Toinen syy, miksi en voinut tukeutua isännöityyn malliin sinä yönä, ei liity sen herkkyyksiin. Johdan teknologiaa säännellyssä välitystoiminnassa. En voi liittää tietomurto-lokimme, tunnistetietomme ja elävät hyökkäyspayloadit toisen pilveen ja painaa lähetä.

Tapahtumatietomme sijaitsevat siellä, missä sääntelijämme odottavat, omalla laitteistollamme, minkä vuoksi olemme käyttäneet vuosia ja silmiä räväkkästi suuren laitteistobudjetin rakentaaksemme juuri sen. Emme rakentaneet sitä ennakolta roisto‑mallien varalta. Rakensimme sen, koska kaltaisemme yritys pitää kaikkein arkaluontoisimmat tietonsa ja nytkin arkaluontoisimmat työkalunsa omien seinämiensä sisällä.

Mikään tästä ei ole argumentti turvakaiteita vastaan. Se on argumentti siitä, että tiedät, mihin omasi osoittavat.

Malli, joka kieltäytyy auttamasta kalastajaa kirjoittamaan kalastelusähköpostia, tekee hyödyllistä työtä. Malli, joka kieltäytyy auttamasta turvallisuustiimiäsi lukemaan jo saapunutta kalastelusähköpostia, tekee kalastajan työtä hänen puolestaan ja veloittaa siitä sinulta tilausmaksun.

Omista työkalu, jota tarvitset kello 2 aamuyöllä.

Käytännön opetus on tylsä, kuten tärkeimmätkin. Älä ulkoista tapahtumavastaustasi toimittajan vastuuvakuutukseen. Pidä käyttökelpoinen malli omistamassasi laitteistossa, joka on suunnattu työhön, jonka kaupalliset mallit pääosin hylkäävät, ja varmista sen olemassaolo ennen yötä, jolloin sitä tarvitset.

Vuosien ajan puolustamisen palkkio tälle laitteiston eräelle epäsanomaisella pohjalla osoittautuu täksi: kun mielenkiintoinen vika ilmenee, sinulla on jo rakennuksessa se ainoa työkalu, joka tarkastelee todisteita.

Kolmekymmentäyksi vuotta sitten vietin viikonlopun laskien, mitä tapahtuu, kun väärä henkilö näkee kaiken. Olisi ollut mukavaa olla tällä kertaa se, joka pystyy siihen.