Victor Thu, Datatronin johtaja – haastattelusarja

Victor Thu on Datatronin johtaja. Datatron on alusta, joka auttaa yrityksiä hyödyntämään koneoppimisen voimaa nopeuttamalla käyttöönottoja, havaitsemalla ongelmat aikaisin ja lisäämällä useiden mallien hallinnan tehokkuutta suuressa mittakaavassa.

Taustasi on tuotemarkkinoinnissa, markkinoillevientistrategiassa ja tuotehallinnassa. Kuinka tämä tausta johti sinut työskentelemään tekoäly- ja koneoppimisalueilla?

Rakastan teknologiaa, ja jotkut läheiset ystävät kutsuvat minua jopa “teknologiakuiskaajaksi”. Nautin siitä, kun otan monimutkaiset teknologia-aiheet ja käännän ne kieleksi, jota ihmiset voivat ymmärtää, ja opiskelen uusia teknologioita, jotta voin ymmärtää, miksi tietty teknologia on tärkeää ihmisille.

Ensimmäinen kosketukseni siihen, mitä kutsun ”moderniksi tekoälyksi”, oli katsoessani tunnetun Stanfordin tekoälyprofessorin, tohtori Fei-Fei Lin, pääpuheenvuoroa. Esitys oli niin kiehtova, että se muodostui urani käännekohdaksi ja vakuutti minut siitä, että halusin seuraavaksi työskennellä tällä alalla. Halusin olla mukana seuraavassa teknologia-aallossa, jossa tekoälyllä ja koneoppimisella ratkaistaan liiketoiminnan haasteita.

Sitä lähtien olen työskennellyt useiden tekoäly- ja koneoppimisstartuppien parissa soveltaen teknologiaa todellisiin liiketoimintatarpeisiin. Olen työskennellyt läheisesti tohtoritasoisten koneoppimistutkijoiden kanssa, jotka ovat antaneet minulle valtavasti tietoa tekoäly- ja koneoppimisalueilla. Ja edelleen opiskelen, koska ala kehittyy nopeasti.

Niin, se oli todella intohimoni teknologiaa kohtaan ja sen hyödyntäminen muiden auttamiseksi, joka johti minun työskentelemiseeni tekoäly- ja koneoppimisalueilla.

Datatron keskittyy MLOpsiin. Lukijoille, jotka eivät ole tuttuja tähän termiin, voitko selittää, mitä se tarkoittaa?

MLOps tarkoittaa käytännössä tekoäly- ja koneoppimismallien prototyypistä tuotantoon viemisen hyvin käsityövaltaisen prosessin järjestelmällistämistä ja yksinkertaistamista.

Yksi suurimmista harhaluuloista on, että kun datatieteilijät ovat luoneet mallejaan, ne voidaan saada nopeasti tuotantoon. Todellisuudessa voi kestää jopa vuoden, ennen kuin malli voidaan ottaa käyttöön.

Tärkein syy tälle viivästymiselle on, että ihmiset, joilla on osaamista mallien kehittämisessä, eivät välttämättä ole myös ohjelmistosuunnittelijoita. Hyvä vertaus on arkkitehdit, jotka suunnittelevat pilvenpiirtäjiä – he eivät myöskään ole niiden rakentajia.

MLOps on silta mallikehittäjien ja ohjelmistosuunnittelijoiden välillä. Sen sijaan, että mallien käyttöönotto kestäisi yli 12 kuukautta, MLOps voi lyhentää tämän prosessin muutamaksi päiväksi.

Artikkelissa, jonka kirjoitit meille syyskuussa 2021, keskustelit siitä, kuinka “Suurin este ratkaisujen viemiselle tuotantoon ei ole mallien laatu, vaan sellaisen infrastruktuurin puute, jonka avulla yritykset voisivat tehdä sen.” Miksi tämä on este yrityksille?

On useita syitä tähän.

• “Ilmaisen” avoimen lähdekoodin yliromantisointi. Haluan korostaa, että arvostamme avoimen lähdekoodin ohjelmistoja ja uskomme, että se on edistänyt alan kehitystä. Mutta monet eivät ymmärrä avoimen lähdekoodin monimutkaisuutta tekoäly- ja koneoppimisalueilla. Tänään on vakava pula tekoäly- ja koneoppimisosaamisesta. Kun yhdistät tämän siihen, että etsit ohjelmistosuunnittelijoita (tekoäly- tai MLOps-suunnittelijoita), jotka osaavat käsitellä tekoäly- ja koneoppimiskoodin ainutlaatuisia ominaisuuksia, ja odotat, että voit palkata ja rakentaa yrityksen laajuisen MLOps-alustan sisäisesti, ymmärtämällä 300+ avoimen lähdekoodin MLOps-projektia, tämä on resepti epäonnistumiselle.
• Infrastruktuurin puute, joka tukee insinööritiimien toimintaa. Yrityksillä on oltava parempi ympäristö, jossa insinöörit voivat menestyä. On oltava riittävästi resursseja ja budjettia voidakseen tarjota tiimille oikeat työkalut. Tekoäly on melko uusi teknologia. Yritykset, jotka tekevät tekoälyä, eivät aina tiedä, mitä heidän on tehtävä, jotta mallit voidaan saada nopeasti tuotantoon, ja siksi MLOps on niin tärkeä työkalu.

Miten MLOps ratkaisee infrastruktuurin puutteen?

MLOps ratkaisee infrastruktuurin puutteen neljällä tavalla:

1. Ei muutoksia omaan koodiin: Data-analyytikot haluavat joustavuutta rakentaa malleja, jotka sopivat liiketoimintatarpeisiin heidän ympäristöissään, ja siksi mikä tahansa MLOps-prosessi, joka vaatii koodin muutoksia, vaikeuttaa mallien eheyden säilyttämistä.
2. Automaatio ja skriptaus: Monet tiimit skriptaa malleja kovakoodatulla tavalla, mikä vie paljon aikaa. MLOps automatisoi koko prosessin, säästäen paljon aikaa ja energiaa.
3. Päivitysten sujuvoittaminen: Tekoälymallit muuttuvat säännöllisesti sopeutuakseen ympäristöönsä. Joskus datatieteilijät joutuvat palaamaan päivittämään malleja usein. Ilman MLOpsia ei ole tapaa välttää tätä toistuvaa päivittämistä.
4. Alustan hallinta: Jotta mallit voidaan saada tuotantoon, on oltava laskentaa, verkkoa ja tallennustilaa, joiden mitoituksessa on huomioitava tekoäly- ja koneoppimismallien erityisvaatimukset. MLOps-työkalut pystyvät käyttämään oikeita resursseja skaalautumaan niiden mukaan.

On myös yrityskohtaisia vaatimuksia, jotka usein jätetään huomiotta, kun rakennetaan omaa MLOps-työkalua, kuten roolipohjainen käyttöoikeuksien hallinta (RBAC), integrointi ja yhteensopivuus, tuki eri ML-työkaluille, turvallisuusongelmien korjaus ja avainhenkilöstön odottamaton poistuminen.

Mitkä ovat sinun henkilökohtaiset näkemyksesi tekoälyn hallinnasta?

On ollut lukuisia kauheita tarinoita tekoälymallien toimimattomuudesta, kuten vääränlainen merkintä tiettyjen ryhmien ihmisille tai aiheuttamalla suuria taloudellisia tappioita pörssiyhtiöille.

Tekoälyn hallinta on äärimmäisen tärkeää liiketoiminnalle, kun tekoälymallit ovat tuotannossa. Tämä ei kuitenkaan ole erilainen kuin muu IT- tai liiketoimintahallinta. Nykyään, kun IT-suorittaa sovelluksia pilvessä tai omassa datakeskuksessa, on sarja työkaluja, joiden avulla voidaan varmistaa, että sovellukset toimivat oikein.

Kun tekoälymallit ovat tuotannossa, on oltava mekanismeja ja työkaluja, jotka antavat liiketoiminnalle ja data-analyytikoille näkyvyyden siitä, mitä mallit tekevät.

Erityisesti tässä tekoäly- ja koneoppimisen alkuvaiheessa ei ole “aseta ja unohda” -vaihtoehtoa. Aluksi on oltava valvontamekanismeja, jotka voivat hälyttää, kun mallit poikkeavat toivottujen rajojen ulkopuolelle. On tärkeää, että on oikea valvonta, jotta voidaan tehdä tarvittavat säätötoimet.

Malliriskin hallinta (MRM) on myös otettava huomioon eri henkilöiden osallistumisesta mallien kehittämiseen ja käyttöönottoon. Mitä pääsykontrollia on asetettu mallien eheyden varmistamiseksi? Tai miten voidaan varmistaa, ettei eri ryhmien henkilöt käytä malleja vahingossa sellaisiin tarkoituksiin, joihin ne eivät ole tarkoitettu? Kaikki kysymykset, joita tiimit on otettava huomioon.

Miten Datatron auttaa malliriskin hallinnassa?

MLOps mahdollistaa nopean mallien päivittämisen ja muutoksen. Esimerkiksi, jos malli hylkää ihmisten lainahakemuksia perusteettomasti, MLOps mahdollistaa mallin poistamisen ja uuden mallin käyttöönoton, jolloin riski voidaan hallita yksinkertaisesti.

Se suojaa malleja vinoumien muuttumiselta tuotannossa ja seuraa keskeisiä mittareita yksinkertaisella hallintanäkymällä. Näkymä yhdistää yksityiskohtaiset tiedot yleiskuvaan, jonka myös liiketoimintapäätösten tekijät voivat ymmärtää helposti.

Datatron-alustan tekoälyn hallinta menee yleistä valvontaa pidemmälle: se lisää kontekstia ja logiikkaa, jotta mallien toiminnasta saadaan selkeä, asiakkaan käyttötapauksiin paremmin liittyvä näkyvyys.

Datatronin blogissa kirjoitit siitä, kuinka Datatron omaksui “Luotettavan tekoälyn” (Reliable AI) -mantran. Voitko selittää, mitä se tarkoittaa sinun mielestäsi?

Kun keksimme tämän, ajattelimme, kuinka olemme niin tyytyväisiä lentämään kaupallisilla lentokoneilla tänään, koska ne ovat erittäin luotettavia.

Vaikka puhutaan eettisestä tekoälystä, vastuullisesta tekoälystä jne., avainasia on, että liiketoiminta voi käyttää tekoälyä luotettavasti – aivan kuten jos heidän työntekijänsä menisivät kaupalliselle lentokoneelle.

Tekoälyn eettisyydestä ja vastuullisuudesta on puhuttu paljon, koska nykyiset tekoälymallit eivät tee sitä, minkä heidän on tarkoitus tehdä, ja siksi ne ovat epäluotettavia. Liiketoiminta ei ole valmis käyttämään tekoälyä, koska he eivät ole varmoja, etteivät heidän mallinsa ole vinoutuneita. Tämä tarkoittaa, että heidän mallinsa ovat epäluotettavia, ja Datatron on päättänyt muuttaa tämän.

Onko mitään muuta, mitä haluaisit jakaa Datatronista?

Olemme yksi harvoista MLOps-pelaajista, jotka ovat Super Bowl -testattuja – toimimme menestyksekkäästi korkean stressin tilanteessa, joka ei ole tyypillinen start-up- tai avoimen lähdekoodin työkalu. Asiakkaamme, Domino’s Pizza , työskentelee Datatronin kanssa helposti ja nopeasti ottaakseen tekoälymallit tuotantoon, jotka sitten asetettiin koetukselle Super Bowlissa.

MLOps on todella tapa, jolla voidaan auttaa tekoäly- ja koneoppimismalleja tuotantoon säästäen resursseja ja laskemalla kustannuksia. Olemme kestävä lähde onnistuneille tekoäly- ja koneoppimismalleille ja toimimme liikevaihdon kasvun vauhdittajana. Yritykset voivat lopulta saada tuoton tekoäly- ja koneoppimishankkeistaan. Riippumatta voittomarginaalista, voit tuottaa tuloksia käyttämällä MLOpsia.

Kiitos haastattelusta, lukijoille, jotka haluavat oppia lisää, suosittelemme vierailemaan Datatronissa.