Victor Thu, Datatronin Presidentti – Haastattelusarja

Victor Thu on Datatronin presidentti, joka on alusta, joka auttaa yrityksiä hyödyntämään koneoppimisen voimaa nopeuttamalla käyttöönottoja, havaitsemalla ongelmat aikaisin ja lisäämällä useiden mallien hallinnan tehokkuutta suuressa mittakaavassa.

Taustasi on tuotemarkkinoinnissa, markkinointistrategiassa ja tuotehallinnassa. Kuinka tämä tausta johti sinut työskentelemään tekoäly- ja koneoppimisalueilla?

Rakastan teknologiaa, ja jotkut läheiset ystävät kutsuvat minua jopa “teknologiavalmentajaksi”. Nautin siitä, kun otan monimutkaiset teknologia-aiheet ja käännän ne kieleksi, jota ihmiset voivat ymmärtää, ja opiskelen uusia teknologioita, jotta voin ymmärtää, miksi tietty teknologia on tärkeää ihmisille.

Ensimmäinen kosketukseni “moderniin” tekoälyyn oli, kun kuulin Stanfordin yliopiston tekoälyprofessori Dr. Fei-Fei Lin luennoitsijana. Dr. Lin luennoitsijan esitys oli niin mielenkiintoinen, että se toimi käännekohtana urallani. Halusin olla osa seuraavaa teknologian aaltoa, jossa käytetään tekoälyä ja koneoppimista liiketoiminnan haasteiden ratkaisemiseen.

Sitä lähtien olen työskennellyt useiden tekoäly- ja koneoppimisstartuppien parissa, joissa olen työskennellyt läheisesti Ph.D.-tutkijoiden kanssa, jotka ovat antaneet minulle valtavasti tietoa tekoäly- ja koneoppimisalueilla. Ja edelleen opiskelen, koska ala kehittyy nopeasti.

Niin, se oli todella intohimoni teknologiaa kohtaan ja sen hyödyntäminen muiden auttamiseksi, joka johti minun työskentelemiseeni tekoäly- ja koneoppimisalueilla.

Datatron keskittyy MLOpsiin. Lukijoille, jotka eivät ole tuttuja tähän termiin, voitko selittää, mitä se tarkoittaa?

MLOps on käytännössä koodin ja yksinkertaisen prosessin, jolla siirretään tekoäly- ja koneoppimismalleja prototyyppivaiheesta tuotantoon.

Yksi suurimmista harhaluuloista on, että kun data-analyytikot ovat luoneet mallejaan, ne voidaan saada nopeasti tuotantoon. Todellisuudessa voi kestää jopa vuoden, ennen kuin malli voidaan ottaa käyttöön.

Tärkein syy tälle viivästymiselle on, että ihmiset, joilla on osaamista mallien kehittämisessä, eivät välttämättä ole myös ohjelmistosuunnittelijoita. Hyvä vertaus on arkkitehdit, jotka suunnittelevat pilvenpiirtäjiä – he eivät myöskään ole niiden rakentajia.

MLOps on silta mallikehittäjien ja ohjelmistosuunnittelijoiden välillä. Sen sijaan, että mallien käyttöönotto kestäisi yli 12 kuukautta, MLOps voi lyhentää tämän prosessin muutamaksi päiväksi.

Artikkelissa, jonka kirjoitit meidän puolesta syyskuussa 2021, keskustelit siitä, kuinka “Pääeste ratkaisujen tuottamisessa on ei ole mallien laatu, vaan puuttuvan infrastruktuurin puute, joka estää yrityksiä tekemästä niin.” Miksi tämä on este yrityksille?

On useita syitä tähän.

• “Ilmaisen” avoimen lähdekoodin yliromantisointi. Haluan korostaa, että rakastamme avoimen lähdekoodin ja uskomme, että se on edistänyt alan kehitystä. Mutta monet eivät ymmärrä avoimen lähdekoodin monimutkaisuutta tekoäly- ja koneoppimisalueilla. Tänään on vakava pula tekoäly- ja koneoppimisosaamisesta. Kun yhdistät tämän siihen, että etsit ohjelmistosuunnittelijoita (tekoäly- tai MLOps-suunnittelijoita), jotka osaavat käsitellä tekoäly- ja koneoppimiskoodin ainutlaatuisia ominaisuuksia, ja odotat, että voit palkata ja rakentaa yrityksen laajuisen MLOps-alustan sisäisesti, ymmärtämällä 300+ avoimen lähdekoodin MLOps-projektia, tämä on resepti epäonnistumiselle.
• Infrastruktuurin puute, joka tukee insinööritiimien toimintaa. Yrityksillä on oltava parempi ympäristö, jossa insinöörit voivat menestyä. On oltava oikea kaista ja budjetti voidakseen tarjota tiimille oikeat työkalut. Tekoäly on melko uusi teknologia. Yritykset, jotka tekevät tekoälyä, eivät aina tiedä, mitä heidän on tehtävä, jotta mallit voidaan saada nopeasti tuotantoon, ja siksi MLOps on niin tärkeä työkalu.

Miten MLOps ratkaisee infrastruktuurin puutteen?

MLOps ratkaisee infrastruktuurin puutteen neljällä tavalla:

1. Ei ole tarpeen muuttaa koodia: Data-analyytikot haluavat joustavuutta rakentaa malleja, jotka sopivat liiketoimintatarpeisiin heidän ympäristöissään, ja siksi mikä tahansa MLOps-prosessi, joka vaatii koodin muutoksia, monimutkaistaa mallien eheys.
2. Automaatio ja skriptaus: Monet tiimit skriptaa malleja kovakoodatulla tavalla, mikä vie paljon aikaa. MLOps automatisoi koko prosessin, säästäen paljon aikaa ja energiaa.
3. Päivittäisten muutosten sujuvuus: Tekoälymallit muuttuvat säännöllisesti sopeutuakseen ympäristöönsä. Joskus data-analyytikot joutuvat palaamaan päivittämään malleja usein. Ilman MLOpsia ei ole tapaa välttää tätä toistuvaa päivittämistä.
4. Alustan hallinta: Jotta mallit voidaan saada tuotantoon, on oltava laskentaa, verkkoa ja tallennustilaa, mikä vaatii tekoäly- ja koneoppimismallien ainutlaatuisia ominaisuuksia. MLOps-työkalut pystyvät käyttämään oikeita resursseja skaalautumaan niiden mukaan.

On myös yrityskohtaisia vaatimuksia, jotka usein jätetään huomiotta, kun rakennetaan omaa MLOps-työkalua, kuten roolipohjainen pääsy, integrointi ja yhteensopivuus, tuki eri ML-työkaluille, turvallisuusongelmien korjaus ja avainhenkilöstön odottamaton poistuminen.

Mitkä ovat sinun henkilökohtaiset näkemyksesi tekoälyn hallinnasta?

On ollut lukuisia kauheita tarinoita tekoälymallien toimimattomuudesta, kuten vääränlainen merkintä tiettyjen ryhmien ihmisille tai aiheuttamalla suuria taloudellisia tappioita julkaistuille yrityksille.

Tekoälyn hallinta on äärimmäisen tärkeää liiketoiminnalle, kun tekoälymallit ovat tuotannossa. Tämä ei kuitenkaan ole erilainen kuin muu IT- tai liiketoimintahallinta. Nykyään, kun IT-suorittaa sovelluksia pilvessä tai omassa datakeskuksessa, on sarja työkaluja, joiden avulla voidaan varmistaa, että sovellukset toimivat oikein.

Kun tekoälymallit ovat tuotannossa, on oltava mekanismeja ja työkaluja, jotka antavat liiketoiminnalle ja data-analyytikoille näkyvyyden siitä, mitä mallit tekevät.

Erityisesti tässä tekoäly- ja koneoppimisen alkuvaiheessa ei ole “aseta ja unohda” -vaihtoehtoa. Aluksi on oltava valvontamekanismeja, jotka voivat hälyttää, kun mallit poikkeavat toivottujen rajojen ulkopuolelle. On tärkeää, että on oikea valvonta, jotta voidaan tehdä tarvittavat säätötoimet.

Malliriskin hallinta (MRM) on myös otettava huomioon eri henkilöiden osallistumisesta mallien kehittämiseen ja käyttöönottoon. Mitä pääsykontrollia on asetettu mallien eheyden varmistamiseksi? Tai miten voidaan varmistaa, ettei eri ryhmien henkilöt käytä malleja vahingossa sellaisiin tarkoituksiin, joihin ne eivät ole tarkoitettu? Kaikki kysymykset, joita tiimit on otettava huomioon.

Miten Datatron auttaa malliriskin hallinnassa?

MLOps mahdollistaa nopean mallien päivittämisen ja muutoksen. Esimerkiksi, jos malli hylkää henkilön lainahakemuksen, MLOps mahdollistaa mallin poistamisen ja uuden mallin käyttöönoton, jolloin riski voidaan hallita yksinkertaisesti.

Se suojaa malleja harhaanjohtavan muutoksen vaikutuksilta ja ylläpitää tärkeitä mittareita tuotannossa yksinkertaisen dashboardin avulla, joka esittää nämä mittarit syvällisellä ja yksityiskohtaisella tavalla, joka on helppo ymmärtää liiketoimintapäätösten tekijöille.

Datatronin alusta tarjoaa tekoälyn hallinnan, joka antaa lisää kontekstia ja logiikkaa, joka tarjoaa selkeän näkyvyyden malleista, jotka ovat asiakkaiden käyttötapauksiin liittyviä.

Datatronin blogissa kirjoitit siitä, kuinka Datatron omaksui “Luotettavan tekoälyn” (Reliable AI) -mantran. Voitko selittää, mitä se tarkoittaa sinun mielestäsi?

Kun keksimme tämän, ajattelimme, kuinka olemme niin tyytyväisiä lentämään kaupallisilla lentokoneilla tänään, koska ne ovat erittäin luotettavia.

Vaikka puhutaan eettisestä tekoälystä, vastuullisesta tekoälystä jne., avainasia on, että liiketoiminta voi käyttää tekoälyä luotettavasti – aivan kuten jos heidän työntekijänsä menisivät kaupalliselle lentokoneelle.

Tekoälyn eettisyydestä ja vastuullisuudesta on puhuttu paljon, koska nykyiset tekoälymallit eivät tee sitä, minkä heidän on tarkoitus tehdä, ja siksi ne ovat epäluotettavia. Liiketoiminta ei ole valmis käyttämään tekoälyä, koska he eivät ole varmoja, etteivät heidän mallinsa ole harhaanjohtavia. Tämä tarkoittaa, että heidän mallinsa ovat epäluotettavia, ja Datatron on päättänyt muuttaa tämän.

Onko mitään muuta, mitä haluaisit jakaa Datatronista?

Olemme yksi harvoista MLOps-pelaajista, jotka ovat Super Bowl -testattuja – toimimme menestyksekkäästi korkean stressin tilanteessa, joka ei ole tyypillinen start-up- tai avoimen lähdekoodin työkalu. Asiakkaamme, Domino’s Pizza , työskentelee Datatronin kanssa helposti ja nopeasti ottaakseen tekoälymallit tuotantoon, jotka sitten asetettiin koetukselle Super Bowlissa.

MLOps on todella tapa, jolla voidaan auttaa tekoäly- ja koneoppimismalleja tuotantoon säästäen resursseja ja laskemalla kustannuksia. Olemme kestävä lähde onnistuneille tekoäly- ja koneoppimismalleille ja toimimme katalysaattorina tuloksen saavuttamiseksi. Yritykset voivat lopulta saada tuoton tekoäly- ja koneoppimishankkeistaan. Riippumatta voittomarginaalista, voit tuottaa tuloksia käyttämällä MLOpsia.

Kiitos haastattelusta, lukijoille, jotka haluavat oppia lisää, suosittelemme vierailemaan Datatronissa.