Tekoälyvalvonnalla on kolme sokeaa pistettä — ja useimmat yritykset eivät seuraa niistä yhtään

Suurin osa tekoälyturvallisuudesta yritysten sisällä on suunnattu väärään kohdehenkilöön. Tiimit viettävät viikkoja väittelyssä siitä, mikä malli olisi parhain, ja sitten kytkentä malliin sähköpostiin, maksuihin, asiakastietokantaan ja koodiin, ilman pysähtymistä yksinkertaisemman kysymyksen äärelle: kun tämä asia tekee jotain, kuka sitä tarkkailee, ja voiko kukaan estää sen?

Luvut sanovat, että tämä on pian tuleva kalliiksi. Gartner arvioi, että vähintään 15 %:ia rutiininomaisista päätöksistä tehdään autonomisesti tekoälyllä vuonna 2028, kun taas vuonna 2024 niitä ei ollut käytännössä ollenkaan. Samassa tutkimuksessa varoitetaan, että yli 40 %:ia agenteista tekoälyprojekteista perutaan vuoden 2027 loppuun mennessä, ja yksi syy, jonka se mainitsee, on heikko riskienhallinta. Lue se uudelleen. Projektit eivät kuole, koska mallit ovat huonoja. Ne kuolevat, koska kukaan ei rakentanut niiden hallintaa.

Rakennan tekoälyjärjestelmiä ammatikseni, joten näen samat aukot yhä uudelleen. Niitä on kolme. Useimmat yritykset eivät tarkkaile niitä oikein, ja moni tarkkailee niistä nolla.

Agentit ovat äänekkäitä

Kaikki ovat huolissaan autonomisista agenteista, ja heillä on syytä olla. Mutta useimmat ihmiset ovat huolissaan väärästä asiasta. Agentin hämmentävä asia ei ole se, että se päättää. Se on se, että se toimii. Se ei ehdota hyvitystä; se maksaa sen. Se ei laadi sähköpostia; se lähettää sen. Kun annat mallille joukon työkaluja, olet antanut sille kyvyn ulottua todellisiin järjestelmiin ja muuttaa asioita.

Jos teet virheen, epäonnistuminen ei ole kömpelö lause. Se on rahaa ovea ulos tai hiljaisesti pudotettu taulu tietokannasta. Ja siinä on terävä reuna. Ohjelmointirajapinnan injektio on OWASP:n luettelon tekoälysovellusten riskeissä ykkönen, ja hyvällä syyllä: jos syötät mallille väärän tekstin, se voidaan saada suostumaan tekemään jotain, mitä kukaan ei ole pyytänyt. Kun malli voi vain puhua, se on harmi. Kun malli voi soittaa työkaluja, se on hyökkääjä, jolla on API-avaimet.

Vakiomuotoinen vastaus on kirjata kaikki, mitä agentti tekee, ja tarkkailla jälkiä. Hyvä. Mutta jälki on kuvaus siitä, mitä on jo tapahtunut. Se on valvontakameran kuva rahastosta sen jälkeen, kun se on tyhjennetty, hyödyllinen tutkimukselle, mutta turha varkauden estämiseksi.

Hiljainen, josta kukaan ei puhu

Toinen sokea piste ei koskaan pääse esityslapulle, koska se on tylsä. Se on tavallinen ohjelmointirajapinnan kutsu. Ei agentti, ei kehys, vaan koodin pala jossain palvelussa, joka kokoaa syötteen ja lähettää sen mallille.

Useimmat tekoälyjärjestelmät ovat tuotannossa tällaisia, ja se on vähiten säädelty osa koko pinon tähden, koska se on niin tavallinen. Se on HTTP-pyyntö, joka on haudattu kolme kerrosta syvemmälle johonkin palveluun, jonka on kirjoittanut insinööri, joka ei ole kuullut tekoälypolitiikastasi eikä tiedä, mistä sen löytää. Tuo yksittäinen kutsu voi lähettää asiakkaan tiedot kolmannelle osapuolelle malliin tai laukaista toiminnon alirakenteessa, eikä mitään tarkkaile, voiko se tehdä sen, eikä mitään riippumatonta kirjaa, että se teki sen.

Sotkuinen on ihminen

Kolmas sokea piste on ihminen, joten se on pahin. Henkilöstö on jo kuukausia sitten keksinyt, että tehtävän liittäminen ChatGPT:hen tai Claudeen saa sen tehtyä nopeammin, joten he tekevät sitä koko päivän, usein henkilökohtaisista tileistä, joita et voi nähdä. Tämä ei ole hypoteettinen. Cyberhavenin tarkastelu oikeasta työpaikan käytöstä osoitti, että todellinen osuus työntekijöistä on liittänyt luottamuksellisia yritystietoja ChatGPT:hen, paljon niistä tileistä, joista yrityksellä ei ole ikkunaa.

Jos haluat varoittavan tarinan, se on Samsung. Vuonna 2023 se kielsi generatiivisen tekoälyn sisäisesti sen jälkeen, kun insinöörit liittivät omistajan lähdekoodin ChatGPT:hen kolme kertaa alle kuukaudessa. Nämä eivät olleet pahantahtoisia toimijoita. He olivat hyviä insinöörejä, jotka yrittivät vianetsintää nopeammin. Se on koko ansa: vuoto näyttää samalta kuin tuottavuus. Ja vanhat tietohävikkitökalusi eivät sieppaase sitä, koska se on kopio ja liittäminen selaimen välilehdelle, ei tiedosto, joka poistuu rakennuksesta.

Mikä toimii oikeasti

Kun asetetaan kolme riviin, korjaus ei ole enää agenttien erityisongelma, vaan yksinkertainen idea: hallitse, mitä tekoäly tekee, ennen kuin se tekee sen, ei sen jälkeen. Muutamia asioita, jotka todella merkitsevät, oppiessa enimmäkseen vaikean tien kautta.

ISTU eteenpäin, ei takana. Tämä on koko peli, ja siksi vaadin, että havainnointi ja hallinta eivät ole sama sana. Kojussa, joka kertoo, että agentti siirsi 40 000 puntaa eilen, on tappiota. Jotain, joka voi pitää siirron ihmisen tarkasteltavaksi ennen kuin se poistuu, on valvonta. Jos asenteesi voi kertoa vain, mitä tapahtui, sinulla ei ole valvontaa. Sinulla on takapuoli.

Käytä yhtä tarkastuspistettä, ei yhtä kunkin työkalun kohdalla. Agentit, ohjelmointirajapinnan kutsut ja henkilöstön liittäminen chatbottiin tuntuvat kolmelta eri ongelmalta, joten yritykset ostavat kolme eri työkalua ja lopulta saavat kolme aukkoa niiden välillä. Pahat asiat elävät aukkojen välissä. Kaikki, mitä tekoäly tekee, missä tahansa se tulee, on kuljettava saman portin läpi.

Pidä lokimerkintä, jonka tekoäly ei voi uudelleenkirjoittaa. Jos järjestelmä, joka tekee asian, on ainoa, joka kirjaa sen tekemisen, sinulla ei ole kirjaa. Sinulla on päiväkirja, jonka se saa muokata. Tämä on juuri, mihin säännöt ovat menossa. EU:n tekoälylain lokimerkintävaatimus, 12 artikla, on olemassa, jotta voidaan jälkikäteen rekonstruoida, mitä korkea riski järjestelmä teki, joku muu kuin järjestelmä. Käytännössä se tarkoittaa lokia, joka pidetään ulkopuolella, sellaista, jota ei voida hiljaisesti muuttaa myöhemmin.

Laita ihminen suurten, peruuttamattomien puhelujen äärelle. Ei kaikkea, tee se, ja ihmiset hukkuvat hyväksynnässä, kunnes he leimaavat kaiken. Mutta ne puhelut, joita et voi peruuttaa, rahan siirtäminen, tietojen vienti, tietojen poistaminen, on pysäytettävä ja odottava. EU:n tekoälylaki edellyttää jo ihmisen valvontaa korkean riskin järjestelmissä, 14 artikla. Ongelma, joka on muistettava, on, että valvonta laskee vain, jos henkilöllä on aikaa ja asiayhteyttä todella sanoa ei. Hyväksyntä, jota kukaan ei lue, on vain teatteria.

Rehellinen vaatimus

Nämä kolme eivät ole poikkeustapauksia. Ne ovat tavallinen tapa, jolla useimmat yritykset ajavat tekoälyä tällä hetkellä, hiljaisesti, ilman paljon verkkoa. Tiimit, jotka pääsevät seuraavien kahden vuoden ajan ilman rumaa tapausta, eivät ole niitä, joilla on kauneimmat kaaviot. He ovat ne, jotka päättivät aikaisin, että kaikki, mitä heidän tekoälynsä tekee, agentti, ohjelmointirajapinnan kutsu, liitetty kappale, menee yhden portin läpi ennen kuin se tapahtuu, ei sen jälkeen.

Jos haluat nopean testin omasta asennuksestasi, vastaa kahteen kysymykseen rehellisesti. Niistä kolmesta pinnasta, kuinka monta voit nähdä? Ja niistä, joita voit nähdä, kuinka monta voit estää? Monille yrityksille rehellinen vastaus toiseen kysymykseen on nolla. Se on luku, jonka on korjattava ensin.