Bo Li, Virtue AI:n toimitusjohtaja – Haastattelusarja

Bo Li, Virtue AI:n toimitusjohtaja, on tunnettu tutkija ja yrittäjä, joka on erikoistunut tekoälyjärjestelmien turvallisuuteen ja suojaamiseen. Hän johtaa Virtue AI:ta ja toimii samalla apulaisprofessorina Illinoisin yliopistossa Urbana-Champaignissa, jossa hänen tutkimuksensa keskittyy koneoppimisen turvallisuuteen, luotettavaan tekoälyyn ja vihamielisen robustisuuteen. Hänen uransa ulottuu sekä akatemiasta että teollisuudesta, mikä mahdollistaa hänen kääntää edistyneitä tekoälytutkimuksia käytännön sovelluksiin, jotka auttavat organisaatioita kehittämään turvallisempia ja kestävämpiä tekoälytekniikoita.

Virtue AI on yritys, joka on keskittynyt suojaamaan ja hallitsemaan tekoälyjärjestelmiä, joita käytetään yritysmaailmassa. Sen alusta tarjoaa ominaisuuksia, kuten automaattinen red-teaming, reaaliaikaiset varmistukset ja jatkuva valvonta, joilla voidaan tunnistaa haavoittuvuuksia, kuten ohjelmointikielen injektio, hallusinaatiot ja tietovuodot. Integroimalla suoraan tekoälykehityksen ja käyttöönoton työnkulkuun, yritys auttaa organisaatioita turvallisesti laajentamaan suurten kielen mallien ja tekoälysovellusten käyttöä ylläpitäen samalla vahvat turvallisuus- ja hallintastandardeja.

Mikä motivoi sinua siirtymään pelkästään akateemisesta urasta Virtue AI:n perustamiseen ja johtamiseen, ja mikä ongelma koet sinun puuttuvan teollisuudesta laajamittaisesti?

Perinteiset turvallisuustyökalut on suunniteltu ennustettaville sovelluksille, joilla on kiinteät polut. Ne eivät ole suunniteltu järjestelmille, jotka päättävät, sopeutuvat ja toimivat itsenäisesti. Minun perustajieni ja minun näkemämme kuilu perustutkimuksen ja yritysten välillä, mitä perustutkimus oli tuottanut ja mitä yrityksillä oli käytettävissään. Tutkimus oli olemassa, mutta tuotantotodellisuus ei.

Virtue AI keskittyy turvallisuuteen, suojaamiseen ja määräysten noudattamiseen suurten kielen mallien ja autonomisten agenttien osalta. Mikä näistä alueista yritykset aliarvioivat eniten tänään?

Yritykset ymmärtävät kaikkia näistä alueista jossain määrin, erityisesti turvallisuutta, mutta siellä on edelleen suuri aukko.

Yritykset ovat alkaneet ottaa malliturvallisuuden tosissaan, ainakin pinnan tasolla. Mutta agentit ovat eri ongelma. Ne saavat pääsyn yrityksen infrastruktuurin herkillä osilla: suorittavat koodia, kutsuvat API:ita, selainkäyntiä ja tekevät ketjutettuja päätöksiä, jotka koskevat tietoja, taloutta ja toimintoja. Useimmat turvallisuustiimit eivät ole valmiit päättämään noista järjestelmistä.

Riskejä ei ole teoreettisia. Ilman turvallisuutta, joka on suunniteltu nimenomaan agenteille, pienet virheet kasautuvat nopeasti. Odottamaton työkalukutsu, epäselvä ohje, ohjelmointikieli, joka pääsee ohittamaan varmistukset—mikä tahansa näistä voi eskaloitua sallimattomiin toimiin tai tietovuotoon ennen kuin kukaan huomaa, että jotain meni pieleen.

Jatkuva red-teaming on keskeinen osa Virtue AI:n lähestymistapaa. Mitä virheitä tai riskejä tulee esiin vasta, kun järjestelmät ovat jo tuotannossa?

Useimmat vakavat virheet.

Säädellyssä ympäristössä testaat mallia ja agenteja. Tuotannossa testaat järjestelmää—and those are different things. Kun malli on kytketty työkaluihin, hakuputkiin, käyttäjän syötteisiin ja muihin agenteihin, käyttäytyminen laajenee tavoin, joita ennen käyttöönoton testausta ei voida havaita. “Turvallisesti määritelty” agentti voi toimia eri tavoin, kun se on kytketty todellisiin tietokantoihin, uusiin MCP-palvelimiin tai muihin agenteihin. Järjestelmästä tulee epädeterministinen. Se alkaa tehdä päätöksiä kontekstista, jota ei ollut olemassa arvioinnin aikana.

Silloin löydät virheet, jotka todella merkitsevät.

Mitä “tekoälyturvallisuus” tarkoittaa käytännössä, erityisesti kun järjestelmät kehittyvät hienosäätöön, hakemiseen ja työkalujen käyttöön?

Käytännössä tekoälyturvallisuutta ei voida mitata yhdellä staattisella vertailukohtauksella, koska nykyaikaiset tekoälyjärjestelmät kehittyvät jatkuvasti hienosäätöön, hakemisen täydentämiseen ja työkalu- tai agenttiviestintään. Sen sijaan turvallisuuden on arvioitava järjestelmän ominaisuutena koko tekoälysovelluksen elinkaaren ajan. Tämä sisältää mallien ja agenttien stressitestauksen moninaisten red-teaming-hyökkäyksillä, reaaliaikaisen valvonnan, kuten ohjelmointikielten, työkalukutsujen ja toimien seuraamisen, ja tulosten arvioinnin määritettyjen riskipolitiikkojen (esim. väärinkäytön, hallusinaatioiden, tietovuotojen tai sallimattomien toimien) perusteella.

Esimerkiksi meidän palkittu tutkimus (Paras paperi National Security Agency ja NeurIPS), DecodingTrust, on tarjonnut perusteellisen turvallisuuden ja turvallisuuden testaamisen perusmallien osalta. Meidän DecodingTrust-Agent-alusta on rakentanut realistisen agenttisimulaattorin, joka isännöi moninaisia ympäristöjä, joissa on alkuperäisiä red-teaming-agenteja, jotta voidaan suorittaa dynaamista, sopeutuvaa ja jatkuvaista red-teaming-testausta.

Turvallisuuden mittaaminen on tärkeää, koska ohjelmointikielten, hakulähteiden tai työkalujen päivitykset voivat aiheuttaa uusia haavoittuvuuksia. Käytännössä tämä tarkoittaa automaattisen red-teamingin, reaaliaikaisen varmistuksen ja havainnollistamisen yhdistämistä, jotta voidaan mitata ei vain mallivastauksia vaan koko tekoälyjärjestelmän turvallisuutta, joka toimii todellisessa maailmassa.

Mikä alue, johon sinun tutkimustaustasi ulottuu, on osoittautunut haasteelliseksi käännettäväksi todellisiksi puolustuksiksi?

Kääntääkseen tutkimusta robustisuudesta, yksityisyydestä ja vihamielisistä hyökkäyksistä todellisiksi puolustuksiksi on itse asiassa hyvin toteutettavissa. Tutkimusryhmäni on saanut vahvoja edistysaskeleita, kuten varmennetun robustisuuden ja yksityisyyden takeet, mutta nämä tulokset perustuvat usein oletuksiin, jotka eivät välttämättä pidä paikkaansa monimutkaisissa tuotantojärjestelmissä.

Nykyiset tekoälysovellukset kehittyvät jatkuvasti uusien datojen, hienosäätöjen, hakuputkien ja työkalujen integroinnin kautta, mikä voi aiheuttaa uusia haavoittuvuuksia ajan myötä.

Tehokas tekoälyturvallisuus ei voi riippua yksittäisestä suojauksesta—se vaatii jatkuvaista red-teamingiä, riskin löytämistä ja sopeutuvia varmistuksia, jotka kehittyvät järjestelmän mukana. Tämä on juuri Virtue AI:n filosofia: yhdistämällä pitkäaikaisen tekoälyturvallisuuden tutkimuksen automaattiseen, laajamittaiseen red-teamingiin ja reaaliaikaiseen suojaukseen voidaan jatkuvasti tunnistaa uusia riskejä ja päivittää puolustuksia, mikä mahdollistaa käytännön ja skaalautuvan turvallisuuden todellisille tekoälyjärjestelmille.

Mikä tekee autonomisten tekoälyagenttien turvallisuuden perustavanlaatuisesti erilaiseksi verrattuna perinteisen ohjelmistoturvaamiseen tai jopa chatbottien turvallisuuteen?

Agentit eivät ole staattisia ohjelmia. Ne eivät seuraa ennustettavia polkuja, eivätkä ne pysy sisällä sinun määrittelemässäsi rajauksissa käyttöönoton aikana.

Perinteinen turvallisuus olettaa kiinteät suorituspolut, vakaat API:t ja deterministisen käyttäytymisen. Autonomiset agentit rikkovat kaikki nämä oletukset. Ne päättävät, mitä seuraavaksi tehdään, valitsevat työkalut kontekstin perusteella ja tuottavat vaikutuksia useiden järjestelmien yli yhdessä suorituksessa.

Et voi skannata ohjelmointikieltä, lujittaa mallia tai valvoa yksittäistä API-kutsua ja pitää työtä valmiina. Sinun on turvattava agentti kokonaisuutena—sen päättely, työkalujen käyttö, ympäristö ja se, mitä tapahtuu jälkikäteen.

Tuo on ydinongelma, jonka pääsyyntekijät eivät voi ratkaista. Ne eivät ole suunniteltu siihen.

Missä olemassa olevat turvallisuustyökalut eivät riitä, kun agenteja voidaan käyttää useiden järjestelmien, työkalujen ja tietolähteiden yli samanaikaisesti?

Ne jättävät sinut sokeaksi sille, miten agentti tosiasiassa toimi kokonaisuutena.

Useimmat työkalut on suunniteltu sovelluksille, joilla on selkeät rajaukset ja vakaat käyttäytymiset. Ne voivat kertoa, miltä yksittäinen API-kutsu näytti. Ne eivät kerro, miten agentti päätteli tiensä viiden työkalukutsun kautta tuottaakseen lopputuloksen, jota kukaan ei ollut aikonut.

Näkyvyyden aukko on ongelma. Jos et voi nähdä koko toimintaketjua ja päätöksiä, et voi hallita sitä eikä audita sitä jälkikäteen.

MITen reaaliaikaiset varmistukset vähentävät riskejä verrattuna pelkästään seuraamiseen tai lokittamiseen?

Lokittaminen kertoo, mitä meni pieleen lokien jälkeen. Se on hyödyllistä rikostutkinnalle ja määräysten noudattamiselle, mutta se ei estä mitään.

Autonomisten agenttien kanssa toiminnan ja havainnon välinen viive voi olla todella kalliita. Agentti, joka on jo suorittanut pahaa API-kutsua tai on vuotanut tietoja, ei odota lokiputkisi valmistumista.

Reaaliaikaiset varmistukset estävät toiminnan ennen sen suorittamista. Jos agentti yrittää jotain, mikä on sallimaton, se estetään tai merkataan ennen kuin se suoritetaan, ei sen jälkeen.

Yhdistelmä on myös tärkeä. Reaaliaikainen ehkäisy yhdistettynä yhtenäiseen täytäntöönpanopisteeseen kaikissa agenttien ja työkalujen välisten vuorovaikutusten osalta on eri riskiprofiili kuin passiivinen yksittäisten komponenttien seuraaminen.

Virtue AI perustettiin syvästi teknillisesti suuntautuneista tutkijoista. Miten tämä vaikuttaa tuoteisiin verrattuna kaupallisemmin suuntautuneisiin tekoälystartupeihin?

Tekoälyturvallisuus ja -hallinta on perustavanlaatuisesti syvä tekninen ongelma. Järjestelmät, joita suojelemme, kuten suuret kielen mallit, monimodaaliset mallit ja agenteille perustuvat järjestelmät, ovat itse perustuneet edistyneisiin tutkimuksiin. Ilman vahvaa perustutkimuksessa olevaa tekoälyosaamista on lähes mahdotonta suunnitella tehokkaita turvallisuusratkaisuja niille.

Monissa tapauksissa suurin haaste tekoälyturvallisuudessa on, kun edistynyt red-teaming-algoritmi tunnistaa tekoälyagenttien haavoittuvuuksia tutkimuspaperissa—miten kääntää tämä oivallus tuotantokelpoiseksi puolustukseksi, joka voi luotettavasti suojella todellisia järjestelmiä laajamittaisesti? Virtue AI:ssa tämän kuilun sulkeminen tutkimuksen ja käyttöönoton välillä on keskeinen osa siitä, miten toimimme ja mihin olemme kokeneita.

Koska Virtue AI perustettiin tutkijoista, jotka ovat viettäneet vuosia työskentelemällä tekoälyrobustisuuden, vihamielisen oppimisen ja luotettavan tekoälyparissa, tutkimus- ja insinööritiimimme työskentelevät samojen ongelmien parissa samanaikaisesti. Tutkijamme jatkavat uusien mallirakenteiden, uusien agenteille perustuvien työnkulkujen ja kehittyvien hyökkäystekniikoiden tutkimista, kun taas insinööritiimimme integroi nämä oivallukset suoraan tuotantojärjestelmiin.

Kun tunnistamme uuden haavoittuvuuden—kuten uuden ohjelmointikielen injektiorakenteen tai agenttien manipulointistrategian—se voidaan nopeasti kääntää uusiksi havaitsemismalleiksi, varmistuksiksi tai red-teaming-strategioiksi. Tämä tapahtuu jatkuvasti, ei vain neljännesvuosittaisella tuotekehitysroadmapilla.

Tuloksena tuotteemme ovat sekä älykkäitä että yrityksille valmiita, auttaen organisaatioita turvallistamaan tekoälyjärjestelmiään niiden kehittämisessä ja käyttöönotossa. Monet asiakkaistamme kertovat, että tämä tutkimukseen perustuva lähestymistapa on juuri se, mikä mahdollistaa heidän nopean etenemisen ylläpitäen samalla turvallisuutta ja määräysten noudattamista.

Toisin kuin puhtaasti kaupallisesti suuntautuneet tiimit, jotka usein optimoivat sen, mitä asiakkaat pyytävät tänään, joka voi johtaa pieniin parannuksiin, mutta jäävät jälkeen nopeasti kehittyvän tekoälyjärjestelmien uhkakuvan edelle. Tekoälyturvallisuudessa uhkat kehittyvät yhtä nopeasti kuin itse teknologia. Tutkimukseen perustuva perusta mahdollistaa meille ennakoida uusia riskejä aikaisemmin ja rakentaa puolustuksia ennen kuin ne muuttuvat laajamittaisiksi ongelmiksi.

Mikä on yleisin väärinkäsitys, jonka yritykset tekevät tekoälyturvallisuudesta, kun he tulevat Virtue AI:lle?

Yksi yleisimmistä väärinkäsityksistä, joita yritykset tekevät, kun he tulevat Virtue AI:lle, on se, että tekoälyturvallisuus voidaan ratkaista soveltamalla perinteisiä turvallisuustyökaluja tai perusviestintäsuodattimia.

Itse asiassa tekoälyjärjestelmät esittävät uusia uhkia, kuten ohjelmointikielen injektio, vankilamurtot, hallusinaatioiden kautta tapahtuva väärinkäyttö, tietovuodot hakujärjestelmistä ja agenttien manipulointi työkalujen tai ulkoisten API:iden kautta. Nämä riskit nousevat itse tekoälymallin ja agenttien käyttäytymisestä ja päättelystä, eivätkä pelkästään ympäröivästä infrastruktuurista.

Tämän vuoksi korostamme tekoälyominaista turvallisuutta: yhdistämällä automaattisen red-teamingin haavoittuvuuksien löytämiseksi, reaaliaikaiset varmistukset käytännön politiikkojen noudattamiseksi ja järjestelmätasolla olevan havainnollistamisen seuraamaan ohjelmointikieliä, työkalukutsuja ja agenttitoimia.

Kun yritykset ymmärtävät, miten erilaiset tekoälyriskit ovat verrattuna perinteisiin ohjelmistoriskeihin, he nopeasti toteavat, että tekoälyjärjestelmien turvallisuus vaatii perustavanlaatuisesti uuden turvallisuusarkkitehtuurin.

Lopulta, mitä “vastuullinen tekoälykäyttöönotto” tarkoittaa sinulle käytännössä—ei teoriassa, vaan yrityksessä, joka toimittaa tuotteita tänään?

Nopeampi ja turvallisempi eivät ole vastakohtia, vaikka useimmat yritykset kohtelevat niitä sellaisina. Oletus on, että vakava turvallisuus hidastaa—enemmän arviointikierroksia, enemmän portteja, enemmän kitkaa ennen kuin jotain toimitetaan.

Käytännössä yritykset, jotka ottavat agenteja käyttöön luottavaisesti, ovat niitä, jotka rakentavat turvallisuuden prosessiin sen sijaan, että kiinnittäisivät sen loppuun: automaattinen red-teaming ennen käyttöönottoa, reaaliaikaiset kontrollit, kun agentti on jo käytössä, ja keskitetty näkyvyys koko agentin elinkaaren ajan.

Se ei ole määräysten noudattamisen harjoitus. Se on se, mikä mahdollistaa nopean toiminnan, koska et löydä tuotannossa sellaista, mitä olisi pitänyt löytää aikaisemmin.

Vastuullinen käyttöönotto käytännössä tarkoittaa, että tiedät, mitä agenteillesi voidaan tehdä, voit nähdä, mitä he tekevät, ja voit pysäyttää ne, kun jotain menee pieleen.

Vastuullinen tekoälykehitys mahdollistaa jatkuvan, laajan tekoälyjärjestelmien käyttöönoton luottamuksella, sen sijaan, että hidastaisi tekoälyinnovaatiota. Kiitos tästä haastattelusta, lukijat, jotka haluavat oppia enemmän, kannattaa vierailla Virtue AI:ssa.