Christian Stano, Anyscalen Field CTO – haastattelusarja

Christian Stano, Anyscalen Field CTO, on rakentanut uransa laajamittaisen tekoälyinfrastruktuurin, koneoppimisalustojen ja hajautetun laskennan parissa. Ennen Anyscaleen siirtymistään hän johti Attentiven tekoäly- ja koneoppimisalustoista vastaavaa organisaatiota. Siellä hän laajensi infrastruktuuria, joka mahdollisti palvelujen personoinnin yli puolelle miljardille tilaajalle, ja edisti Ray-pohjaisten yhtenäisten laskentajärjestelmien käyttöönottoa. Ne nopeuttivat kehitystyötä ja pienensivät käyttökustannuksia. Aiemmin hän työskenteli kyberturvallisuuden, pilviarkkitehtuurin ja julkisen sektorin tekoälyhankkeiden parissa muun muassa Coalfirella ja Deloittella ja osallistui yhden Yhdysvaltain puolustusministeriön ensimmäisistä koneoppimisalustoista kehittämiseen. Hänen kokemuksensa kattaa tekoälyalustojen suunnittelun, koneoppimisen tuotantokäytännöt eli MLOpsin, pilvinatiivin infrastruktuurin, kehittäjien työn tukemisen ja organisaatioiden kasvattamisen. Hänellä on siten laaja kokemus yritysten auttamisesta tekoälyn laajamittaisessa tuotantokäytössä.

Anyscale on Ray-ohjelmistokehyksen taustalla oleva yritys. Ray on avoimen lähdekoodin hajautetun laskennan ohjelmistokehys. Sitä käytetään laajasti tekoäly- ja Python-työkuormien skaalaamiseen suoritin- ja grafiikkasuoritinklusterien yli. Yrityksen perustivat Rayn alkuperäiset kehittäjät UC Berkeleyn RISELabista. Se keskittyy yksinkertaistamaan laajamittaisen tekoälyinfrastruktuurin käyttöönottoa, orkestrointia ja hallintaa koulutuksessa, päättelyssä, datankäsittelyssä ja tekoälyagenttien työkuormissa. Alustan avulla organisaatiot voivat ajaa hajautettuja tekoälyjärjestelmiä sekä pilvessä että omissa palvelinympäristöissään. Se tarjoaa myös havainnoitavuuden, hallinnan ja suorituskyvyn optimointia nykyaikaisille tekoälysovelluksille. Raysta on tullut kehittyvän tekoälyinfrastruktuurin keskeinen kerros, jonka avulla kehittäjät voivat skaalata työkuormia yhdestä koneesta tuhansiin solmuihin muuttamalla nykyistä Python-koodia vain vähän.

Olet työskennellyt kyberturvallisuuden, julkisen sektorin koneoppimisalustojen ja erittäin laajamittaisten personointijärjestelmien parissa. Mitkä ilmiöt ovat toistuneet, kun organisaatiot yrittävät siirtyä tekoälypiloteista tuotantoon?

Toimialasta riippumatta kolme ilmiötä toistuu. Ensinnäkään tiimeillä ei ole luotettavaa, valmiiksi määriteltyä etenemistapaa kehityksestä tuotantoon. Ne voivat rakentaa mallin notebook-ympäristössä, mutta sen saamiseen tuotantoon ei ole vakiintunutta tapaa. Jokainen käyttöönotto on erillisratkaisu ja jokainen vika yllätys. Toiseksi infrastruktuuri ei skaalaudu tarpeiden mukana. Pilotissa toiminut järjestelmä kaatuu, kun sille annetaan todellisia datamääriä tai todellista liikennettä. Kolmanneksi tiimit toimivat ilman kunnollista näkyvyyttä. Havainnoitavuus ei riitä kertomaan, miten järjestelmät todella toimivat, missä ne ovat kohta pettämässä ja milloin tilanteeseen on puututtava.

Kaikkia kolmea yhdistää sama perusongelma: tiimeillä ei ole toimivaa käsitystä siitä, miten laskentaa laajennetaan useammille koneille. Ne yrittävät ratkaista kaiken kerralla sen sijaan, että suunnittelisivat etenemisjärjestyksen huolellisesti. Ajattelen asiaa kolmena vaiheena: saa se toimimaan, tee siitä kunnollinen ja tee siitä nopea. Nämä eivät ole kertaluonteisia etappeja, vaan vaiheita toistetaan. On jatkuvasti priorisoitava sen välillä, mikä on juuri nyt rikki ja mikä rikkoutuu seuraavaksi. Menestyvät tiimit tunnistavat oman vaiheensa eivätkä etene seuraavaan ennen kuin perusta on vakaa.

Anyscalelle tulee tiimejä kaikista näistä vaiheista. Osa yrittää vielä saada järjestelmän toimimaan ja tarvitsee luotettavan reitin kehityksestä tuotantoon. Toisilla tämä jo on, mutta ne hukkuvat toiminnan monimutkaisuuteen ja niiden on saatava kokonaisuus kuntoon. Monet taas ovat rakentaneet toimivan järjestelmän, jota ne eivät pysty kasvattamaan liiketoiminnan vaatimiin mittoihin. Yhtenäinen laskentakerros auttaa jokaisessa vaiheessa, mutta aloituskohta riippuu siitä, mikä ongelma on polttavin.

Attentivella autoit skaalaamaan tekoälyjärjestelmiä, jotka palvelivat satoja miljoonia käyttäjiä. Mitkä olivat suurimmat arkkitehtuuriin tai organisaatioon liittyvät pullonkaulat, jotka piti voittaa tämän mittakaavan saavuttamiseksi?

Suurin pullonkaula oli infrastruktuurin monimutkaisuuden S-käyrä. Kun lisäsimme malleihimme dataa ja palvelimme yhä useampia asiakkaita, saavutimme laskennan käännekohdan. Jopa suurimmat yksittäisinä kasvatetut solmut antoivat muistin loppumisesta kertovia virheitä, eikä suoraviivainen solmujen lisääminenkään riittänyt. Laskentakapasiteettimme ei pysynyt datan määrän kasvun mukana.

Luonteva reaktio oli lisätä työkaluja rajoitusten kiertämiseksi. Se oli aiempiin kokemuksiini perustunut toimintatapani. Jokainen työkalu ratkaisi rajatun ongelman mutta lisäsi toiminnan monimutkaisuutta. Koneoppimisputkemme oli vaarassa muuttua integraatioiden tilkkutäkiksi. Jokainen uusi käyttötapa tarkoitti lisää yhteensovittamista, uusia vikaantumistapoja, suurempia kustannuksia ja enemmän työtä alustatiimille.

Skaalaamisen mahdollisti lopulta datankäsittelyn, koulutuksen, päättelyn ja mallien tarjoamisen yhdistäminen Rayn ja Anyscalen päälle. Vaikutus näkyi heti: infrastruktuurikustannukset laskivat huomattavasti, koulutuskierrokset nopeutuivat merkittävästi datamäärien kasvusta huolimatta ja malleilla pystyttiin palvelemaan useita kertaluokkia suurempaa asiakasmäärää.

Mikä sai sinut päättämään liittyä Anyscaleen juuri tässä vaiheessa, ja miten näet Field CTO:n roolin muovaavan tekoälyn käyttöönottoa yrityksissä?

Kokemukseni Anyscalen tuomisesta Attentivelle muutti perusteellisesti tapani rakentaa koneoppimisalustoja. Aiemmin merkittävä osa alustakehityksen työstä ja kustannuksista syntyi erillisten järjestelmien yhdistämisestä. Anyscalen avulla pystyimme poistamaan suuren osan tästä ylimääräisestä työstä ja keskittymään kehittäjäkokemukseen, luotettavuuteen ja suorituskykyyn. Muutos vaikutti valtavasti sekä tiimin tuottavuuteen että järjestelmän tuloksiin. Anyscaleen liittyminen tarjosi mahdollisuuden työskennellä tämän ongelman parissa kokopäiväisesti ja auttaa muita organisaatioita saman muutoksen läpi. Field CTO:na tehtäväni on ennen kaikkea muuttaa nämä käytännön opit toistettaviksi toimintamalleiksi, joita asiakkaamme voivat soveltaa laajentaessaan tekoälyn käyttöä.

Monet yritykset ovat yhä jumissa tekoälyn pilottivaiheessa. Mikä näkemyksesi mukaan tarkalleen pettää, kun varhaiset kokeilut yritetään skaalata tuotantojärjestelmiksi?

Kun yritykset siirtyvät tekoälykokeiluista tuotantoon, ongelma on harvoin pelkässä mallissa. Tavallisesti sen ympärillä oleva järjestelmä ja operointi pettävät. Joskus infrastruktuurin rajat tulevat vastaan varhain, eikä malleja pystytä kouluttamaan tai tarjoamaan halutussa mittakaavassa. Siksi mallin palvelemien asiakkaiden tai käyttötapausten määrää on rajoitettava. Useammin ongelmat ilmenevät tuotannossa odottamattomina poikkeustapauksina tai datan muutosten seurauksena. Muisti on yksi yleisimmistä ongelmakohdista: datan koon, jakauman tai tyypin muuttuessa ajot loppuvat muistin puutteeseen. Näitä ongelmia on vaikea ennakoida ja vielä vaikeampi korjata automaattisesti. Tuotannossa olevan tekoälyn viat ovat väistämättömiä. Tavoitteena ei ole välttää niitä kokonaan, vaan havaita ja ymmärtää ne nopeasti sekä rakentaa itsestään palautuvia järjestelmiä, jotka ratkaisevat ne ennen vaikutuksia liiketoimintaan.

Ray, Anyscalen taustalla olevan tiimin luoma hajautetun laskennan ohjelmistokehys, yleistyy tekoälytyökuormien perustana. Miksi hajautetusta suorituksesta on tulossa niin keskeinen osa nykyaikaista tekoälyinfrastruktuuria?

Hajautettu suoritus ja työkuormien hallinta ovat nykyään tekoälyputkien perusedellytyksiä. Nykyaikaiset tekoälytyökuormat ovat luonteeltaan rinnakkaisia ja vaativat paljon resursseja. Koulutus, päättely ja datankäsittely edellyttävät lukuisten tehtävien koordinointia suorittimien ja grafiikkasuorittimien välillä, usein dynaamisesti. Nykyisessä laskentaympäristössä näiden työkuormien hallinta niukkojen resurssien varassa aiheuttaa valtavasti operatiivista työtä. Perinteisiä järjestelmiä ei suunniteltu tällaiseen monimutkaisuuteen tai mittakaavaan. Rayn kaltaiset ohjelmistokehykset ovat keskeisiä, koska ne automatisoivat taustalla tapahtuvan koordinoinnin ja antavat tiimien skaalata työkuormia saumattomasti yhdestä koneesta tuhansiin solmuihin. Muutos kertoo laajemmasta siirtymästä tekoälyä varten suunniteltuun laskentaan: infrastruktuuri rakennetaan nimenomaan tekoälytyökuormien toimintamalleille sen sijaan, että sitä sovitettaisiin vanhoista malleista.

Kun yhä useampi yritys ottaa Rayn käyttöön Anyscalen alustalla, millaisia eroja näet yhtenäiseen toimintatapaan sitoutuvien organisaatioiden ja erillisiä työkaluja yhdistelevien organisaatioiden välillä?

Yhtenäisten alustojen ja hajanaisten työkalujen ero tiivistyy lopulta keskittymiseen ja tehokkuuteen. Useisiin erillisiin järjestelmiin tukeutuvat tiimit käyttävät paljon aikaa niiden yhdistämiseen, epäjohdonmukaisuuksien hallintaan ja eri ympäristöjen vikojen selvittämiseen. Tämä lisää operatiivista työtä ja hidastaa kokeiluja. Yhtenäinen lähestymistapa puolestaan antaa tiimien keskittyä yhden järjestelmän parantamiseen. Tuloksena ovat parempi luotettavuus, vahvempi suorituskyky ja sujuvampi kehittäjäkokemus. Myös päivystys ja vianetsintä helpottuvat, kun toimintamallit ovat johdonmukaisia ja ymmärrettäviä. Hyötynä ei ole vain tekninen tehokkuus vaan myös organisaation toiminnan selkeys.

Miten tärkeä kehittäjäkokemus eli DevEx on tekoälyn käyttöönoton nopeuttamisessa eri tiimeissä, kun arvioit asiaa kokonaisia koneoppimisalustoja rakentaneena?

Kehittäjäkokemus on yksi vaikuttavimmista keinoista nopeuttaa tekoälyn käyttöönottoa. Kun alustatiimit helpottavat järjestelmien käyttöä vakioiduilla työnkuluilla, mallipohjilla ja vähentämällä infrastruktuurin aiheuttamia hankaluuksia, ne parantavat organisaation jokaisen kehittäjän tuottavuutta. Tämä on erityisen tärkeää tekoälyssä, jossa muutostahti on nopea ja tiimien on pystyttävä kehittämään ratkaisujaan nopeasti pysyäkseen kilpailukykyisinä. Parempi kehittäjäkokemus näkyy suoraan nopeampina kokeiluina, lyhyempänä matkana tuotantoon ja lopulta suurempana liiketoimintahyötynä. Tekoälyavusteiset ohjelmointityökalut vahvistavat näiden DevEx-perusasioiden vaikutusta. Monella tapaa tämä on parhaiten skaalautuva keino nopeuttaa koko organisaation työtä.

Kustannustehokkuus huolestuttaa yhä enemmän tekoälytyökuormien kasvaessa. Mitkä usein sivuutetut keinot auttaisivat yrityksiä vähentämään infrastruktuurikustannuksia suorituskyvystä tinkimättä?

Tekoälytyökuormien kasvaessa kustannusten hallinnasta tulee sekä tärkeämpää että monimutkaisempaa. Usein aliarvioidaan, miten nopeasti tehottomuus voi saada kustannukset karkaamaan, etenkin grafiikkasuorittimiin perustuvassa infrastruktuurissa. Suurissa klustereissa voidaan käynnistää tuhansia solmuja. Ellei resursseja hallita tai sammuteta asianmukaisesti, kustannuksia kertyy nopeasti. Syntyy tekoälylle ominaista hallitsematonta laajenemista, jossa laskentaresurssien käyttö kasvaa nopeammin kuin tiimit pystyvät sitä seuraamaan tai ohjaamaan. Ratkaisu edellyttää vahvaa hallintaa, näkyvyyttä ja automaatiota, kuten automaattista skaalausta, käyttämättömien resurssien automaattista sulkemista ja keskitettyä resurssienhallintaa. Suuressa mittakaavassa kustannustehokkuus ei ole vain käytännön toiminnan huoli vaan olennainen osa järjestelmän suunnittelua.

Olet työskennellyt niin koneoppimisen piirrevarastojen kuin reaaliaikaisten päättelyjärjestelmienkin parissa. Miten eräajona ja reaaliaikaisesti suoritettavien tekoälytyökuormien tasapaino mielestäsi kehittyy?

Eräajojen ja reaaliaikaisten tekoälytyökuormien välinen tasapaino ei ole perustavasti muuttunut: kyse on edelleen liiketoiminnan vaatimuksista. Eräkäsittely on yleensä kustannustehokkaampaa ja helpompaa ylläpitää, joten se sopii moniin käyttötapauksiin. Reaaliaikaisia järjestelmiä taas tarvitaan, kun viive vaikuttaa suoraan käyttäjäkokemukseen tai liiketoiminnan tulokseen, kuten keskustelusovelluksissa tai petosten tunnistamisessa. Molemmat tavat säilyvät käytössä. Organisaatioiden on rakennettava alustat, jotka tukevat kumpaakin tehokkaasti. Valinta riippuu lopulta kustannusten, viiveen ja luotettavuuden välisistä kompromisseista.

Millainen on kypsä yrityksen tekoälyalusta 2–3 vuoden kuluttua, ja miten Rayn kaltaiset työkalut ja Anyscalen kaltaiset alustat sopivat tähän tulevaisuuteen?

Lähivuosina kypsät yritysten tekoälyalustat tunnistaa muutamasta keskeisestä piirteestä. Ne perustuvat yhtenäiseen infrastruktuuriin, joka tukee tekoälyn koko elinkaarta datankäsittelystä koulutukseen ja päättelyyn, eivät irrallisten työkalujen kokoelmaan. Käyttöönoton jälkeinen jatkuva operointi on vahvaa: siihen kuuluvat agenttien automatisoima havainnoitavuus, luotettavuus ja nopea vianetsintä. Kustannusten hallinta on ennakoitavaa ja ohjattua, joten organisaatiot voivat kasvaa kestävästi. Ehkä tärkeintä on, että alustat mahdollistavat nopean kehitystyön ja helpottavat tiimien etenemistä ideasta tuotantoon. Rayn ja Anyscalen kaltaiset alustat ovat tässä tulevaisuudessa keskeisiä. Ne tarjoavat tekoälyä varten rakennetun perustan, joka mahdollistaa tällaisen mittakaavan ja tehokkuuden.

Kiitos hyvästä haastattelusta. Lisätietoja haluavat lukijat voivat tutustua Anyscaleen.