Nikunj Bajaj, yksi TrueFoundryn perustajista ja sen toimitusjohtaja – Haastattelusarja

Ennen TrueFoundryn perustamista työskentelit koneoppimisen tutkimuksen, Facebookin (META ) tuotantokäytössä olevan tekoälyn ja laajojen suosittelujärjestelmien parissa. Mitkä kokemukset kannustivat sinua suorimmin rakentamaan yritysten tekoälyinfrastruktuuriin keskittyvän yhtiön, ja mihin ongelmaan ei mielestäsi tuolloin puututtu?

Metassa pidimme koneoppimista ohjelmistojen erikoistapauksena ja generatiivista tekoälyä koneoppimisen erikoistapauksena. Tästä syntyi pystysuuntainen pino, jossa ohjelmistot olivat alimpana, koneoppiminen keskellä ja generatiivinen tekoäly ylimpänä. Tällaisessa rakenteessa koneoppimiskehittäjän rakentamat mallit otetaan käyttöön samalla tavalla kuin muutkin ohjelmistot, mikä tekee järjestelmien skaalaamisesta hyvin suoraviivaista.

Useimmat yritykset rakensivat kuitenkin rinnakkaisia pinoja: niillä oli erilliset kokonaisuudet ohjelmistoille, koneoppimiselle ja generatiiviselle tekoälylle. Kun pinot ovat rinnakkaisia, skaalaamisesta tulee monimutkaisempaa koneoppimisen ja ohjelmistomaailman välillä tarvittavien siirtojen ja luovutusten vuoksi.

Tiimimme on aina työskennellyt koneoppimismallien ja koneoppimisinfrastruktuurin rakentamisen rajapinnassa. Siksi meillä oli ainutlaatuinen näkemys siitä, miten voisimme tuoda vastaavia pystysuuntaisia pinoja yrityksiin ja mukauttaa ne kunkin erityisvaatimuksiin. Meillä oli loppuvuonna 2021 myös oletus, että koneoppiminen lähestyi käännekohtaa. Sen toteutuessa yhä useampi yritys tarvitsisi pystysuuntaisesti integroidun pinon näiden järjestelmien tehokkaaseen käyttöönottoon ja skaalaamiseen. Tämä johti lopulta TrueFoundryn perustamiseen, ja oletuksemme osoittautui oikeaksi. Tekoälyn käyttöönotto kiihtyi ChatGPT:n julkaisun jälkeen loppuvuonna 2022.

Kun tekoälyjärjestelmät siirtyvät kokeiluista päivittäiseen toimintaan, miten organisaatioiden tapa ajatella luotettavuutta ja vikaantumisia on muuttunut?

Generatiivisessa tekoälyssä panokset ovat huomattavasti suuremmat kuin perinteisissä koneoppimisjärjestelmissä. Kun nämä järjestelmät siirtyvät tuotantoon, organisaatiot kohtaavat paljon enemmän epäselvyyttä ja epädeterministisyyttä, sillä suuret kielimallit ovat luonteeltaan stokastisia. Niiden päälle rakennetut agenttijärjestelmät lisäävät epäselvyyttä entisestään.

Vikaantumiset eivät myöskään enää ole kaksijakoisia. Sen sijaan, että järjestelmä joko toimii tai ei toimi, monet ongelmat ilmenevät osittaisina vikoina tai huomaamattomana heikkenemisenä. Järjestelmä saattaa ajan myötä vastata hitaammin, tuottaa heikompaa laatua tai toimia virheellisesti. Tällaisia heikennyksiä voi usein olla vaikeampi havaita, ja toisinaan ne ovat jopa haitallisempia kuin täydellinen käyttökatko.

Organisaatioiden on tarkasteltava luotettavuutta käytettävyyden lisäksi myös suorituskyvyn ajan mittaan tapahtuvan heikkenemisen kannalta.

TrueFailover julkaistiin aikana, jolloin useat näkyvät pilvi- ja tekoälypalvelujen häiriöt seurasivat toisiaan. Mitkä viimeaikaiset tapahtumat osoittivat selvästi, että tekoälyn luotettavuus oli muuttunut mukavasta lisästä arkkitehtuurin keskeiseksi vaatimukseksi?

Yksi terveydenhuollon asiakkaistamme käsittelee reaaliaikaisia, kiireellisiä potilaiden lääkemääräyksiin liittyviä pyyntöjä. Mallin vikaantumisesta aiheutunut käyttökatko vaikutti asiakkaan toimintaan. Sen työnkulut tuottavat tuhansia dollareita liikevaihtoa sekunnissa, ja katko häiritsi osaa näistä kriittisistä työnkuluista. Asiakas oli ensimmäisiä TrueFailoverin käyttäjiä, joten pystyimme auttamaan nopeassa palautumisessa ja vaikutukset saatiin rajattua.

Tällaiset tapaukset herättävät tärkeän kysymyksen: kun generatiivisten tekoälyjärjestelmien panokset kasvavat jatkuvasti, miksi palautumisprosessit ovat edelleen suurelta osin manuaalisia? Tapaus vahvisti käsitystä, että järjestelmät on rakennettava olettaen vikoja tapahtuvan ja suunniteltava korjaamaan itsensä automaattisesti. Luotettavuus on myös rakennettava itse tekoälypinoon AI Gateway -yhdyskäytävien avulla. Ne voivat tarjota keskitetyn reitityksen, havainnoitavuuden, suojakaiteet ja älykkään siirtymisen palveluntarjoajan mallista toiseen.

Monia tekoälyn käyttökatkoja kuvataan edelleen pieniksi teknisiksi häiriöiksi. Missä näet todellisten taloudellisten ja inhimillisten kustannusten alkavan näkyä, kun tekoälyjärjestelmät lakkaavat toimimasta?

Yritysten tekoäly on kehittynyt niin pitkälle, etteivät nämä häiriöt vaikuta enää vain sisäisiin työnkulkuihin. Katkot ja heikkenemiset vaikuttavat nykyään suoraan ja välittömästi julkiseen mielikuvaan ja voittoihin, koska tuotantokäytön sovellukset palvelevat nyt asiakkaita. Siirtyminen sisäisestä testauksesta yleisön käyttämiin sovelluksiin, joissa on paljon pelissä, selittää, miksi johdon huomiota ja valvontaa vaaditaan yhä enemmän.

Kun tekoälyjärjestelmät kytkeytyvät yhä syvemmin operatiivisiin työnkulkuihin, käyttökatkot eivät enää ole pelkkiä teknisiä ongelmia. Niillä on yhä useammin suoria seurauksia liiketoiminnalle, asiakkaille ja maineelle.

Kuinka nopeasti tekoälyn käyttökatko voi muuttua toiminnalliseksi tai maineeseen kohdistuvaksi riskiksi toiminnan kannalta kriittisissä ympäristöissä, kuten apteekeissa, terveydenhuollossa tai asiakastuessa?

Toiminnan kannalta kriittisissä ympäristöissä tilanne kärjistyy lähes välittömästi, sillä järjestelmät tukevat reaaliaikaisia työnkulkuja, joissa ajoitus on ratkaiseva. Lyhytkin häiriö voi pysäyttää kriittisiä prosesseja, viivästyttää palvelua tai keskeyttää niiden tuotoksista riippuvia myöhempiä järjestelmiä. Tästä syntyy koko organisaatioon ulottuvia ketjureaktioita.

Terveydenhuollon kaltaisilla aloilla vaikutukset ulottuvat toiminnan häiriöistä asiakaskokemukseen ja palvelun lopputuloksiin. Jos potilas ei saa reseptilääkettään ajoissa, seuraukset voivat olla todellisia. Tämä ei ole ongelma vain potilaalle, vaan se voi myös vahingoittaa apteekin tai terveydenhuollon palveluntarjoajan mainetta. Kun kyse on kriittisestä toiminnasta ja luottamuksesta, järjestelmien jatkuva toiminta on ensiarvoisen tärkeää. Siksi organisaatiot tunnistavat yhä selvemmin, että tekoälyjärjestelmät on suunniteltava olettaen vikoja tapahtuvan ja että palautumismekanismien on käynnistyttävä automaattisesti riskien minimoimiseksi.

Olet sanonut, että monet tiimit suunnittelevat arkkitehtuurin kyvykkyyksien eivätkä jatkuvuuden ehdoilla. Miksi häiriönsietokyky on mielestäsi perinteisesti jäänyt taka-alalle tekoälyjärjestelmien suunnittelussa?

Tämä johtuu pitkälti organisaatioiden kannustimista. Uudet kyvykkyydet ovat näkyviä ja innostavia. Ne mahdollistavat esittelyjä, ominaisuuksia ja tuoteideoita, jotka johto näkee välittömästi.

Jatkuvuus on määritelmällisesti näkymätöntä silloin, kun kaikki toimii hyvin. Siksi palkitsemisjärjestelmät painottuvat usein uusien ominaisuuksien julkaisemiseen sen sijaan, että varmistettaisiin, ettei mikään hajoa. Organisaatiot sijoittavatkin usein suhteettoman paljon kyvykkyyksien kehittämiseen verrattuna häiriönsietokyvyn tekniseen rakentamiseen.

Kun yritykset tukeutuvat yhä enemmän ulkoisiin malleihin ja rajapintoihin, millaisia uusia haavoittuvuuksia tekoälypinoon syntyy, joita johto ei ehkä vielä täysin ymmärrä?

Suuret kielimallit ovat pohjimmiltaan jaettuja resursseja, eivätkä yritykset omista niitä samalla tavalla kuin perinteistä infrastruktuuria. Lisäksi yritysten tärkeitä, liiketoimintakriittisiä järjestelmiä ajetaan ulkoisissa järjestelmissä, joiden kestävyyttä aika ei ole vielä kunnolla koetellut. Suuret kielimallit kehittyvät itsekin nopeasti. Siksi mallin tarjoajaa ei voida pitää vastuussa esimerkiksi viiveestä tai mallin suorituskyvyn lievästä heikkenemisestä, koska tarjoajat uudistavat tutkimustaan hyvin nopeasti.

Koska suuret kielimallit ovat jaettuja resursseja, viive voi äkillisesti kasvaa, kun joku toinen mallien käyttäjä tekee tietyn toimenpiteen. Kielimallien perusluonne tuo mukanaan monia tällaisia vikakohtia, eikä yrityksillä tässä uudessa maailmassa yksinkertaisesti ole kaikkea hallinnassaan. Kun täydellistä hallintaa ei ole, paras vaihtoehto on rakentaa riittävästi varmistavia rinnakkaisratkaisuja, jotta järjestelmä kestää häiriöitä.

Miten organisaatioiden pitäisi yksittäisiin tuotteisiin keskittymättä arvioida tekoälyarkkitehtuuria uudelleen niin, että se olettaa vikojen tapahtuvan sen sijaan, että katkoja pidettäisiin harvinaisina poikkeustapauksina?

Organisaatioiden pitäisi palata hajautettujen järjestelmien suunnittelun perusperiaatteisiin. Ohjelmistojärjestelmät rakennettiin olettaen, että verkkokomponentit ja koneet vikaantuvat ja että kokonainen alue voi poistua käytöstä.

Tekoälyjärjestelmien ei pitäisi poiketa tästä. Meidän on oletettava, että mallien tarjoajille tulee viiveongelmia, suorituskyvyn heikkenemistä tai käyttökatkoja, ja lisättävä varmistavia rinnakkaisratkaisuja, jotta sovellukset kestävät erilaisia vikatilanteita.

Uskotko tekoälyn häiriönsietokyvyn muodostuvan ratkaisevaksi tekijäksi alustan ja toimittajan valinnassa samaan tapaan kuin käytettävyys ja varmistavat rinnakkaisratkaisut vaikuttivat pilvi-infrastruktuuria koskeviin päätöksiin?

Kun yhä useampi tekoälyjärjestelmä siirtyy tuotantoon, häiriönsietokyvystä tulee perusvaatimus. Jos toimittaja ei pysty esittämään käytettävyyttä ja yleistä häiriönsietokykyä kuvaavia kaavioita ja mittareita, sitä ei edes harkita. Kun häiriönsietokyky on kaikkia toimittajia koskeva perusodotus, ratkaiseviksi tekijöiksi nousevat käyttökokemus, suorituskyvyn optimointi, havainnoitavuus ja korkeamman tason tuoteominaisuudet. Ajan myötä AI Gateway -yhdyskäytävän ja automaattisen varajärjestelmään siirtymisen kaltaisista ominaisuuksista tulee yritysten tekoälyinfrastruktuurin keskeisiä peruselementtejä.

Mitä tuotantovalmis tekoäly tulevaisuudessa todella tarkoittaa maailmassa, jossa sen odotetaan olevan jatkuvasti käytettävissä eikä vain ajoittain hyödyllinen?

Tuotantovalmiiden tekoälyjärjestelmien on oltava havainnoitavia, hallittavia ja palautettavissa. Kaikkien kolmen ehdon on täytyttävä.

Jotta tuotantokäytössä oleva tekoäly olisi havainnoitavaa, tiimeillä on oltava tarkka näkyvyys mallien toimintaan, viiveeseen, virheiden osuuteen, tokenien käyttöön, ajautumiseen ja vikojen esiintymismalleihin. Ilman vahvaa havainnoitavuutta heikkenemisiä on hyvin vaikea huomata ennen käyttäjiä.

Hallittavuuteen kuuluvat liikenteen muokkaus, pyyntömäärien rajoittaminen, suojakaiteet, käytäntöjen toimeenpano sekä älykäs reititys mallien ja palveluntarjoajien välillä. Tässä AI Gateway -yhdyskäytävästä tulee keskeinen perusta. Se toimii keskitettynä ohjaustasona, joka toimeenpanee suojakaiteet, varmistaa johdonmukaisen hallinnan ja mahdollistaa dynaamisen mallinvaihdon suorituskyvyn tai luotettavuuden heiketessä.

Lopuksi palautettavuus tarkoittaa sitä, että järjestelmät rakennetaan olettaen komponenttien voivan rikkoutua osittain tai kokonaan. Syynä voivat olla tarjoajien käyttökatkot, mallin laadun heikkeneminen, pyyntörajat tai pahantahtoisten toimijoiden odottamattomat syötteet. Automaattisen varajärjestelmään siirtymisen ja itsestään korjautumisen on oltava arkkitehtuurin luontaisia osia, ei vasta ongelman ilmettyä käynnistettäviä manuaalisia toimintaohjeita.

Tähän suuntaan työskentelemme TrueFoundryssa. Toimittajat, jotka määrittelevät tuotantovalmiuden näin ja yhdistävät havainnoitavuuden, keskitetyn hallinnan ja automaattisen palautumisen, ansaitsevat asiakkaiden pitkäaikaisen luottamuksen. Ne pystyvät myös ratkaisemaan uusia ongelmia sitä mukaa kuin niitä ilmenee.

Kiitos erinomaisesta haastattelusta. Lisätietoa haluavat lukijat voivat tutustua TrueFoundryyn.