Eclypsiumin tutkimus osoittaa, miten vaarantunut laitteisto voi muuttaa tekoälymalleja ajon aikana

Eclypsium on osoittanut, miten vaarantunut tietojenkäsittelyinfrastruktuuri voi muuttaa tekoälymallin toimintaa päättelyvaiheessa, vaikka mallin alkuperäiset tiedostot säilyvät ennallaan. Lokakuun 29. päivänä julkaistu tutkimus, Luotettava tekoäly edellyttää luotettavaa infrastruktuuria, osoittaa, miksi mallin allekirjoituksen tai tiedostotiivisteen tarkistaminen ei takaa muistissa suoritettavan mallin eheyttä.

NVIDIAn tukemassa hallitussa demonstraatiotestissä tutkijat muokkasivat mallin painokertoimia ajon aikana käyttämällä vaarannettua tiedonkäsittely-yksikköä eli DPU:ta ja sallivaa muistin eristystä. Mallin vastaukset muuttuivat, vaikka tallennettua mallia tai päättelypalvelua ei muutettu. Havainto osoittaa, että laitteisto, laiteohjelmisto ja laitteiden kokoonpano kuuluvat tekoälyn tietoturvarajaukseen.

Toinen tapa muuttaa tekoälymallia

Tekoälyn tietoturvakeskusteluissa keskitytään usein haitallisiin kehotteisiin, myrkytettyyn koulutusdataan ja turvattomaan työkalujen käyttöön. Tässä tutkimuksessa tarkastellaan alempaa kerrosta: infrastruktuuria, joka säilyttää mallin parametrit ja siirtää niitä mallin ollessa käynnissä.

Painokertoimet ovat numeerisia parametreja, jotka muovaavat mallin vastauksia. Kelvollinen levyllä oleva tiedosto voidaan ladata muistiin, minkä jälkeen riittävän korkein käyttöoikeuksin toimiva komponentti voi muuttaa sitä. Alkuperäisen tiedoston myöhemmässä tarkistuksessa näkyvät yhä odotetut tavut, vaikka vastaus on tuotettu muutetun ajonaikaisen tilan perusteella.

Eclypsiumin demonstraatio muutti selvästi mallin analyysivastausta geopoliittiseen kysymykseen. Laajempi huolenaihe on, että ajonaikainen manipulointi voisi vaikuttaa myös muihin arkaluonteisiin käyttötarkoituksiin, kuten tuotettuun koodiin ja automatisoituihin päätöksiin. Nämä mahdollisuudet on kuitenkin syytä erottaa laboratoriossa osoitetusta konkreettisesta toiminnasta.

Myös väitteellä havaitsematta jäämisestä on rajattu soveltamisala: demonstraatiossa käytetyt tallennetun mallin eheyden tarkistukset eivät paljastaneet muistissa tehtyjä muutoksia. Tämä ei osoita, että ne jäisivät näkymättömiksi kaikissa valvonta- tai rikosteknisissä tutkimusmenetelmissä.

Hyökkäyksen edellytyksillä on merkitystä

Testissä käytettiin NVIDIA Grace Hopper -ympäristöä. Suoran muistipääsyn reitti edellytti vaarannettua, korkein käyttöoikeuksin toimivaa komponenttia sekä kokoonpanoasetuksia, jotka sallivat pääsyn arkaluonteiseen muistiin. Tutkijat nostavat esiin IOMMU:n läpiviennin ja PCIe-eristyksen sallivat asetukset keskeisinä edellytyksinä ja huomauttavat nimenomaisesti, etteivät nämä olleet Linuxin oletusasetuksia.

IOMMU auttaa hallitsemaan sitä, mihin muistiin oheislaite voi päästä käsiksi. Tutkijoiden testaamassa vahvemman eristyksen kokoonpanossa sama suora reitti ei ollut käytettävissä. Tulos korostaa siksi käyttöönoton todellisten asetusten tarkistamisen tärkeyttä sen sijaan, että oletettaisiin asennetun tietoturvaominaisuuden valvovan aktiivisesti rajaa.

DPU on ohjelmoitava infrastruktuuriprosessori, jota käytetään verkkoyhteyksien, tallennuksen ja tietoturvapalvelujen toteuttamiseen. Sen kyky siirtää tietoa tehokkaasti on hyödyllinen, mutta oikeutettuja infrastruktuuritoimintoja palvelevat käyttöoikeudet voivat muuttua vaarallisiksi, jos hyökkääjä saa komponentin hallintaansa.

NVIDIAn vastaus: luottamusrajat on tarkistettava

Yhteistyötä käsittelevässä katsauksessaan NVIDIA kuvailee BlueFieldin todennettua käynnistystä, laitteistopohjaista luottamusta, eristystä, laiteohjelmistopäivitysten suojauksia ja attestointia. Yhtiö korostaa myös, että pilvipalvelujen ylläpitäjät valitsevat eri tietoturva-asetuksia erilaisten luottamusmallien mukaan.

Yhtiöiden viesti on, että ylläpitäjät tarvitsevat näyttöä näistä valinnoista. Muistipääsyn hallintaa, laitteiden eristystä ja hallintaliittymiä on arvioitava käyttöönoton uhkamallin yhteydessä. Pelkkä ominaisuuden saatavuus ei osoita, että se olisi määritetty oikein.

NVIDIA ja Eclypsium kuvailevat ongelman koskevan myös yhtä toimittajaa laajempaa kokonaisuutta. Tekoälyjärjestelmät ovat riippuvaisia isäntäkoneen korkein käyttöoikeuksin toimivista ohjelmistoista, kiihdytinten laiteohjelmistoista, hallintaohjaimista ja tiedonsiirtomekanismeista. Käytetyt reitit vaihtelevat arkkitehtuurin mukaan, mutta nämä komponentit on joka tapauksessa otettava huomioon.

Miksi agenttien tietoturva riippuu myös infrastruktuurin tietoturvasta

Panokset kasvavat, kun malli voi käyttää työkaluja, käsitellä yrityksen tietoja tai käynnistää toimintoja. Infrastruktuurin manipulointi voi horjuttaa sovellustason suojauksissa tehtyjä oletuksia siitä, mikä malli todellisuudessa on käynnissä.

NVIDIAn avoin agenttien turvallisuusalusta havainnollistaa monikerroksista lähestymistapaa. OpenShell huolehtii ajonaikaisesta hallinnasta, kun taas NVIDIA Sentry on BlueFieldissä ja toimii laitteistoeristetyssä tietoturva-alueessa, joka sijaitsee isäntäkoneen ja agentin ulkopuolella. Arkkitehtuurin tavoitteena on valvoa toimintaa ja panna käytännöt täytäntöön erillisestä ohjauspisteestä käsin.

Erillinen asema tuo mukanaan uuden tietoturvavastuun: myös valvontaan käytetyn laitteiston ja sen ohjelmistopinon on säilyttävä luotettavina. Kun ohjaustoiminto siirretään sovelluksen ulkopuolelle, yksi riippuvuus vähenee, mutta ohjaustoiminnosta vastaavan komponentin luotettavuuden varmistamisen merkitys kasvaa.

Laitteiston inventoinnista jatkuvaan varmistukseen

Eclypsium kutsuu mallikeskeisen varmennuksen ja infrastruktuurin eheyden välistä kuilua ”tekoälyinfrastruktuurin varmennusaukoksi”. Sen infrastruktuurin varmennusalusta kartoittaa komponentit, arvioi laiteohjelmiston ja kokoonpanon, vertaa laitteiden tilaa hyväksyttyihin vertailutiloihin ja valvoo muutoksia. Yhtiö pitää näitä ominaisuuksia olemassa olevia sovellus- ja mallisuojauksia täydentävinä.

Käytännön työ alkaa siitä, että operaattorit käsittelevät DPU-yksiköitä, GPU-yksiköitä, hallintaohjaimia ja niiden laiteohjelmistoja erikseen hallittavina omaisuuserinä. Jokaiselle on määritettävä vastuutaho, seurattava versioita, arvioitava haavoittuvuudet ja luotava selkeä päivitysprosessi. Hallintatason käyttöoikeudet ja infrastruktuuriprosessoreissa käytettävät kolmannen osapuolen ohjelmistot on myös otettava mukaan arviointiin.

Tarkistusten tulisi seurata laitteistoa myös käyttöönoton, päivitysten, häiriöistä palautumisen ja uudelleenmäärityksen aikana. Puhdas käyttöjärjestelmälevykuva ei yksin osoita, että kaikki alemman tason komponentit ovat hyväksytyssä tilassa. Jaettu infrastruktuuri tekee tästä elinkaaresta erityisen merkityksellisen, sillä sama laitteisto voi palvella peräkkäisiä asiakkaita.

Käynnissä olevan järjestelmän tarkistaminen, ei vain artefaktin

Mallien allekirjoituksista on edelleen hyötyä: ne vastaavat tärkeään kysymykseen ladattavasta artefaktista. Suojattu käynnistys, attestointi, suorituksenaikainen eristys ja jatkuva valvonta vastaavat eri kysymyksiin järjestelmästä, jossa artefaktia suoritetaan. Mitään näistä ei pidä pitää kaikkien muiden korvikkeena.

Eclypsiumin tutkimuksen merkitys on siinä, että malli voi läpäistä yhden eheystarkistuksen, vaikka jokin toinen osa sen suoritusketjua olisi muuttunut. Organisaatioiden, jotka ottavat tekoälyn käyttöön merkittäviä vaikutuksia sisältävissä työnkuluissa, on varmennettava infrastruktuuri mallien arvioinnin rinnalla koko käytön ajan.