Vin Sharma, Vijilin perustaja ja toimitusjohtaja – haastattelusarja

Vin Sharma on Vijilin perustaja ja toimitusjohtaja. Hänellä on yli 30 vuoden kokemus kyberturvallisuudesta, avoimesta lähdekoodista, pilvipalveluista ja tekoälyinfrastruktuurista. Ennen yrityksen perustamista hän johti Amazon SageMakerin ja Amazon Bedrockin syväoppimiseen liittyvää suunnittelutyötä AWS:llä, kehitti datakeskusinfrastruktuuria Intelillä ja työskenteli tuote- ja suunnittelutehtävissä Hewlett-Packardilla. Hänen uransa alkoi luotettujen UNIX-järjestelmien automatisoidusta red team -testauksesta. Tämä tausta vaikuttaa siihen, että hän keskittyy tekemään yritysten tekoälyagenteista luotettavia, tietoturvallisia ja turvallisia.

Vijil tarjoaa luottamusinfrastruktuuria yritysten tekoälyagenteille ja auttaa organisaatioita arvioimaan niiden toimintaa, valvomaan niiden käyttöä ja parantamaan niiden häiriönsietokykyä koko agentin elinkaaren ajan. Yhtiön lähestymistavassa yhdistyvät testaus, tietoturva ja jatkuva palaute, joiden avulla agenttien toiminta sovitetaan organisaation tavoitteisiin ja käytäntöihin. Tässä haastattelussa Sharma kertoo, miten luottamus määritellään ja miten sitä mitataan, miksi agenttien testaus eroaa perinteisestä ohjelmistoturvallisuudesta ja millaista valvontaa yritykset tarvitsevat agenttien saadessa lisää autonomiaa.

Työskentelit yli 30 vuoden ajan muun muassa AWS:llä, Intelillä ja Hewlett-Packardilla ennen kuin perustit Vijilin. Mikä sai sinut lopulta vakuuttumaan siitä, että tekoälyn luottamukseen ja tietoturvaan liittyi niin merkittävä ratkaisematon ongelma, että sen ympärille kannatti perustaa yritys?

Ennen kuin aloitin työt tietoturva-alan startup-yrityksessä 30 vuotta sitten, opiskelin jatko-opiskelijana tekoälyä ja koneoppimista. Sen jälkeen olen työskennellyt tuotekehitystiimeissä, jotka ovat rakentaneet sotilastason tietoturvaa Unix- ja Linux-pohjaisiin käyttöjärjestelmiin, kehittäneet verkkopankkien suojattuja verkkopalvelimia ja pilvipalvelujen luotettuja suoritusympäristöjä, lisänneet salauksen data-analytiikka-alustoihin ja viimeisimpänä palanneet täyden kierroksen jälkeen rakentamaan yrityskäyttöön soveltuvia tekoäly- ja koneoppimispalveluja AWS:llä. Tämä matka sai minut vakuuttumaan siitä, että luottamuksen rakentaminen älykkääseen järjestelmään on haastavampaa kuin itse älykkään järjestelmän rakentaminen. Tekoälyalalla näytetään yleisesti sitoutuneen agenttien kyvykkyyden kasvattamiseen, mutta mielestäni meidän on investoitava yhtä paljon resursseja skaalautuvien valvonta- ja ohjausmekanismien rakentamiseen agenteihin. Ilman mittareita ja mekanismeja, jotka on sovitettu yksittäisten organisaatioiden tarpeisiin, alkuvaiheen innokas käyttöönotto tyssää riskeihin ja sijoitetun pääoman tuottoon liittyviin ongelmiin, sillä yritykset eivät pysty osoittamaan, että niiden agentit toimivat niiden parhaaksi.

Vijilin lähtökohtana on ajatus, että monet tekoälyagentit eivät koskaan päädy tuotantokäyttöön, koska yritykset eivät pysty riittävästi varmistamaan niiden luotettavuutta, tietoturvaa ja turvallisuutta. Missä näette suurimmat luottamukseen liittyvät puutteet, kun yritykset siirtyvät tekoälyn prototyypeistä tuotantokäyttöönottoihin?

Yhä itsenäisemmin toimivien agenttien käyttöönoton pullonkaulana on se, pystyvätkö organisaatiot määrittelemään agenttiensa tavoitellun toiminnan ja varmistamaan, että agentit toimivat toivotulla tavalla. Eikä siinä vielä kaikki: niiden on pystyttävä tekemään tämä agenttien toimintanopeudella ja sellaisessa mittakaavassa, jossa agentit toimivat. Siksi tarvitsemme keinon, jolla agentit voivat mitata ja muokata toisten agenttien toimintaa. Kaksi suurinta puutetta liittyvät siihen, että ei tiedetä, mitä pitäisi mitata (mitä agenttien kohdalla tarkoittaa hyvä toiminta), eikä siihen, mitä pitäisi muokata (mitä agenttijärjestelmän osia pitäisi säätää, jotta saadaan aikaan sen toimeksiantajan tavoittelemaa toimintaa: mallia ja sen parametreja, järjestelmäkehotetta, käyttäjän ohjeita, agentin ohjauskehystä vai moniagenttijärjestelmien graafia).

Miten Vijil määrittelee ja mittaa tekoälyagentin ”luottamusta”, ja mitkä signaalit tai vertailuarvot ovat tärkeimpiä arvioitaessa, onko agentti valmis toimimaan yritysympäristössä?

Määrittelemme luottamuksen autonomiselle agentille delegoinnista odotettavaksi hyödyksi, jota pienentää riski siitä, että agentti toimii tarkoitustamme vastaan. Agenttiin voi siis luottaa, jos se toimii oikein tavanomaisissa, häiriöisissä ja vihamielisissä olosuhteissa ja rajoittaa vahingot mahdollisimman pieniksi silloin, kun se epäonnistuu. Luottamusta voidaan mitata kolmen peruspilarin avulla: luotettavuuden, tietoturvan ja turvallisuuden. Agentit ovat luotettavia, kun ne toimivat odotetusti erilaisissa olosuhteissa; ne ovat tietoturvallisia, kun ne toimivat odotetusti vihamielisissä olosuhteissa; ja ne ovat turvallisia, kun ne pystyvät minimoimaan liiketoimintaan, lainsäädäntöön ja tekniikkaan liittyvät riskit.

Tekoälyagentit voivat käyttäytyä arvaamattomasti, koska niissä yhdistyvät mallit, työkalut, tietolähteet, muisti ja ulkoiset järjestelmät. Miten agentin testaus eroaa perinteisestä sovellusten tietoturvatestauksesta tai tavanomaisesta mallien arvioinnista?

Perinteisten ohjelmistojen virheet ilmenevät tavoilla, jotka tunnetaan nykyään hyvin. Yleisesti ottaen niihin kuuluvat kyvyttömyys käsitellä virheellisiä syötteitä, logiikan ja järjestelmäsuunnittelun heikkoudet, toteutuksen ohjelmistovirheet, hyökkäyksille altistavat piilevät haavoittuvuudet sekä tulosteiden tahattomat sivuvaikutukset. Näiden virheiden testaaminen on siksi varsin ennakoitavaa. Agentit laajentavat mahdollisten virheiden kirjoa valtavasti, niin laajaksi, etteivät mallien arviointi, yksikkötestit, integraatiotestit, sovellusten tietoturvatestit, penetraatiotestit ja vaatimustenmukaisuuden tarkistukset pysty kattamaan sitä lainkaan. Agenttien synnyttämien uusien riskien testaamiseen tarvitsemme uusia mittareita ja mekanismeja, joilla arvioidaan agentin toimintaa suhteessa sen toimeksiantajan määrittelemään tarkoitukseen, käyttäjien käyttäjäprofiileihin sekä sen organisaation, toimialan ja alueen käytäntöihin, jossa agentti toimii.

Taustaasi kuuluu syväoppimisen suunnittelutyön johtaminen Amazon SageMakerin ja Amazon Bedrockin parissa. Mitkä AWS:llä tekoälyinfrastruktuurin rakentamisesta saamasi opit ovat vaikuttaneet eniten siihen, miten lähestyt agenttien tietoturvaa ja luotettavuutta Vijilillä?

Merkittävin oppi oli, että palveluiden luotettavuuteen, tietoturvaan ja vaatimustenmukaisuuteen liittyvien ongelmien löytäminen varhaisessa kehitysvaiheessa oli paljon tehokkaampaa ja tuloksellisempaa kuin niiden havaitseminen juuri ennen julkaisua, kuten perinteisesti tehtiin, tai mikä vielä pahempaa, vasta palvelun ollessa tuotantokäytössä, jolloin heräsi puheluihin palvelun toimintahäiriöistä.

Vijil ei keskity ainoastaan agenttien testaamiseen ennen käyttöönottoa, vaan myös niiden suojaamiseen ja jatkuvaan kehittämiseen tuotantokäytössä. Millaiset riskit tulevat näkyviin vasta, kun agentti alkaa toimia vuorovaikutuksessa oikeiden käyttäjien, tietojen ja yritysjärjestelmien kanssa?

Todellisessa maailmassa yllätyksille ei ole rajoja. Yllättyvä agentti tekee herkästi virheitä. Ketään ei huoleta, jos agentti tekee virheen meemiä luodessaan. Mutta talousneuvojaa, avustavaa lakimiestä, asianajajaa, sairaanhoitajaa, lääkäriä, potilasta tai muuta ammattilaista avustamaan tai korvaamaan suunniteltu agentti ei voi toimia, ellei sen sietorajoja määritellä tarkasti, sen toimintaa valvota huolellisesti ja agentin toiminta palauteta nopeasti ennalleen. Tämä koskee aloja, joilla on pystyttävä osoittamaan, että toiminta täyttää luottamusvelvollisuuden vaatimukset.

Kun yritykset ottavat käyttöön yhä itsenäisempiä agentteja, jotka pystyvät suorittamaan toimia pelkkien vastausten tuottamisen sijaan, miten tietoturvamallin on kehityttävä? Riittävätkö perinteiset käsitteet, kuten käyttöoikeudet, identiteetti ja pääsynhallinta?

Eivät. Kun agenteista tulee organisaatioissa toimijoita, niille on annettava yksilölliset, todennettavissa olevat identiteetit. Niille on määritettävä roolit, jotka rajaavat niiden toimintaa ja toiminnallisia osia (resurssien käyttöoikeuksilla varustettuja työkaluja) pakollisen pääsynhallinnan käytäntöjen avulla. Niiden toimintaa on valvottava jatkuvasti, jotta havaitaan poikkeamat sille tarkoitetusta tarkoituksesta, ja niitä on ohjattava pysymään toimintakykyisinä hyökkäysten aikana.

Vijil on edennyt 6 miljoonan dollarin siemenrahoituskierroksesta 17 miljoonan dollarin A-sarjan rahoituskierrokseen, rakentanut noin 20 hengen perustajatiimin ja saavuttanut ensimmäisen miljoonan dollarin vuotuisen toistuvan liikevaihdon. Mitkä päätökset olivat tärkeimpiä, kun siirryitte varhaisesta teknisestä ideasta kaupalliseen käyttöönottoon?

Päätimme varhain rakentaa luottamusta lisäävän kerroksen, joka integroituu asiakkaan valitsemaan alustaan. Ennakoimme kuitenkin, että yritykset haluaisivat yhä enemmän räätälöintimahdollisuuksia, tarkempaa hallintaa ja alhaisempia kustannuksia avoimia malleja käyttävissä moniagenttijärjestelmissä. Pitkän aikavälin strategiamme on rakentaa alustakerros yksittäisen tuotteen sijaan. Se antaa meille suhteellisia kilpailuetuja mutta luo myös haastavia olosuhteita: sellaisten yritysten löytäminen, jotka ovat valmiita hallinnoimaan agentteja laajassa mittakaavassa, ei ole yhtä helppoa kuin sellaisen palvelun myyminen, jossa järjestelmä siirretään sellaisenaan uuteen ympäristöön.

Aloitit urasi kehittämällä automatisoituja red team -testejä luotetuille UNIX-järjestelmille vuonna 1995. Lähes kolmea vuosikymmentä myöhemmin, miten red team -testauksen periaatteet ovat muuttuneet, kun testattavana on tekoälyagentti, joka kykenee päättelemään, mukautumaan ja käyttämään ulkoisia työkaluja?

Perinteisesti red team -testauksella tarkoitettiin organisaation puolustuksen testaamista koordinoitua hyökkäystä vastaan. Yleiset periaatteet pätevät edelleen. Organisaation heikkouksia on yhä tutkittava koordinoiduilla hyökkäyksillä valvotuissa olosuhteissa. Historiassa vallinnut ajanjakso, jolloin red team -harjoitukset laadittiin käsikirjoituksen mukaan ohjelmistojärjestelmien testaamiseksi, ei kuitenkaan enää riitä, koska tekoälyagentit eivät ole deterministisiä ohjelmistoja: ne on suunniteltu mukautumaan ympäristöönsä, joten samaa hyökkäystä ei voi toistaa ennustettavasti. Mielestäni agentteja pitäisi kohdella yritysten tavoin. Siksi agenttien red team -testauksessa on välttämättä mukauduttava agentin tarkoitukseen, tutkittava, miten sen toiminta poikkeaa käyttäjien tavoitteista, sekä arvioitava sen halukkuutta ja kykyä kiertää ympäristönsä käytäntöjä.

Uskotko, että riippumattomasta testauksesta ja mitattavista luottamusstandardeista tulee tulevaisuudessa edellytys tekoälyagenttien käyttöönotolle yrityksissä? Mitä koko toimialalla on tapahduttava, jotta tällaisesta varmuudesta tulee vakiintunut käytäntö?

Tällä hetkellä kehittäjät arvioivat agenttien kyvykkyyttä, red team -tiimit testaavat niiden vastustuskykyä kehotteiden injektointia ja jailbreak-hyökkäyksiä vastaan, ja GRC-tiimit ovat vasta aloittamassa niiden säädöstenmukaisuuden testaamista. Hyvin harvat organisaatiot ottavat käyttöön toimintatapaa, jossa agentin käyttäytymistä todennetaan jatkuvasti taustalla koko sen elinkaaren ajan mallien, työkalujen, resurssien, työnkulkujen ja toimintaympäristön muuttuessa. Vielä tärkeämpää on, että Vijil auttaa yrityksiä ainutlaatuisella tavalla jäljittämällä agentin todellisen toiminnan tuotantokäytössä takaisin sen määrityksiin. Näin syntyy palautesilmukka, joka kehittää agenttia jatkuvasti. Hyökkäyksistä selviytyvät agentit ovat niitä, jotka mukautuvat ja säilyttävät toimintakykynsä.

Kiitos hienosta haastattelusta! Lukijat, jotka haluavat oppia lisää yritysten tekoälyagenttien testaamisesta, suojaamisesta ja jatkuvasta kehittämisestä, voivat tutustua Vijiliin.