Victor Thu, President i Datatron – Intervju-serie

Victor Thu er president i Datatron, en plattform som hjelper bedrifter med å utnytte kraften i maskinlæring, ved å påskynde utrullinger, oppdage problemer tidlig og øke effektiviteten i å håndtere flere modeller på en gang.

Din bakgrunn er i produktmarkedsføring, go-to-market og produktledelse. Hvordan ledet denne bakgrunnen deg til å jobbe med maskinlæring og AI?

Jeg elsker teknologi og noen av mine nære venner refererer til meg som “teknologi-whisperer”. Jeg liker å ta komplekse teknologispørsmål og oversette dem til et språk som folk kan relatere til, og å utdanne meg selv på nye teknologier for å komme til “hvorfor” bak teknologier som betyr mest for folk.

Mitt første møte med det jeg kaller “moderne AI” var da jeg så en keynote-presentasjon av en berømt Stanford AI-professor, Dr. Fei-Fei Li. Dr. Lis keynote-presentasjon var så fengende at det var et vendepunkt for meg i min karriere. Den presentasjonen overbeviste meg om at dette er hvor jeg ville være neste. Jeg ville være en del av den neste bølgen av teknologi hvor vi bruker AI og ML til å løse forretningsutfordringer.

Siden da har jeg vært med en rekke AI/ML-startups, og jobbet for å bruke teknologien til å løse virkelige forretningsbehov. Jeg har jobbet svært nært med ph.d.-nivå ML-vitenskapsmenn, som har gitt meg enorm kunnskap i AI/ML. Og jeg lærer fortsatt i dag, ettersom rommet utvikler seg så raskt.

Så, det var virkelig min lidenskap for teknologi og hvordan man kan utnytte den til å hjelpe andre som førte meg til å jobbe nært med AI/ML.

Datron fokuserer på MLOps. For lesere som er ukyndige i denne betegnelsen, kunne du beskrive spesifikt hva det er?

MLOps er essensielt å kodifisere og forenkle den svært håndverksmessige prosessen med å få AI- og ML-modeller fra prototype til produksjon.

En av de største misforståelsene er at når dataeksperter har bygget sine AI-modeller, kan de få dem ut i produksjon raskt. Men, virkeligheten er at det kan ta opp til ett år før en modell kan deployes.

Hovedårsaken til denne forsinkelsen er at personer som har ekspertise i å utvikle modeller, ikke nødvendigvis har softwareingeniør-ekspertise også. En god sammenligning er arkitekter som designer skyskrapere – de er ikke også utviklerne som konstruerer dem.

MLOps er essensielt broen mellom modellutviklere og softwareingeniører. I stedet for å bruke mer enn 12 måneder for å få modeller i produksjon, kan MLOps kutte denne lange prosessen ned til bare noen få dager.

I en artikkel som du skrev for oss i september 2021, diskuterte du hvordan “Hovedhindringen for å bringe løsninger i produksjon ikke er kvaliteten på modellene, men mangelen på infrastruktur for å tillate bedrifter å gjøre det.” Hvorfor er dette en så stor hindring for de fleste bedrifter?

Det er flere bidragende faktorer til dette.

• Over-romantiseringen av “gratis” åpen kildekode-software. Jeg vil først understreke at vi elsker åpen kildekode-software og sterkt tror at det har hjulpet industrien å flytte fremover med store skritt. Men, mange forstår ikke kompleksiteten i åpen kildekode i forhold til AI og ML. I dag er det en alvorlig mangel på AI/ML-talenter. Når du kombinerer dette med å finne softwareingeniører (ML-ingeniører eller MLOps-ingeniører) som kan håndtere de unike egenskapene til AI/ML-koder, forventer du å bygge en bedrifts-skala MLOps-plattform internasjonalt ved å finne ut av de 300+ åpne kildekode MLOps-prosjektene, er du på vei til å mislykkes.
• Mangel på infrastruktur for å støtte ingeniørteam. Bedrifter trenger en bedre miljø for å sette opp ingeniører for å lykkes. Det må være riktig båndbredde og budsjett for å gi teamene riktige verktøy. AI er en ganske ny teknologi. Bedrifter som gjør AI, vet ikke alltid hva de må gjøre for å få modeller ut raskt, og det er hvorfor MLOps er så viktig.

Hvordan løser MLOps mangelen på infrastruktur-problemet?

MLOps løser mangelen på infrastruktur-problemet på fire måter:

1. Ingen proprietære kodeendringer: Dataeksperter ønsker fleksibilitet til å bygge modeller som passer forretningsbrukstilfeller i deres miljøer, derfor vil noen MLOps-prosesser som krever kodeendringer komplisere integriteten til deres modeller.
2. Automatisering/skripting: Mange team skripter modeller på en hardkodet måte som tar mye tid. MLOps automatiserer hele prosessen, og sparer mye tid og energi.
3. Strømlinje oppdateringer: AI-modeller endres jevnlig for å tilpasse seg deres miljø. Noen ganger må dataeksperter gå tilbake og oppdatere modeller ofte. Uten MLOps, er det ingen måte å unngå denne gjentakende oppdateringen.
4. Håndtering av underliggende infrastruktur: For å få modeller ut, må du beregne nettverk og lagring som krever unike egenskaper til AI/ML-modeller. MLOps-verktøy har evnen til å trekke inn i riktige ressurser for å skala dem etter behov.

Det er også bedriftskrav som ofte ikke blir vurdert når du bygger din egen MLOps-verktøy, som: rollebasert tilgangskontroll (RBAC), integrasjon og interoperabilitet, støtte for forskjellige ML-verktøy, å håndtere sikkerhetsproblemer og den uventede avgangen til core team-medlemmer.

Hva er dine personlige synspunkter på viktigheten av AI-styring?

Det har vært talløse skrekkhistorier om AI-modeller som ikke fungerer riktig, fra å feilmerke bestemte grupper av mennesker til å forårsake store finansielle tap for børsnoterte selskaper.

AI-styring er kritisk viktig for bedrifter når de har AI-modeller i produksjon. Med det sagt, er det ikke forskjellig fra andre IT- eller forretningsstyring. I dag, når din IT kjører applikasjoner i skyen eller selv i deres egne datasentre, har de en rekke verktøy for å sikre at applikasjonene fungerer riktig.

Når du har AI-modeller i drift, må du ha mekanismer og verktøy på plass for å gi bedriften og dataeksperter synlighet på hva modellene gjør.

Spesielt på dette tidlige stadiet av AI/ML, er det ingen “sett det og glem det”-alternativ. I begynnelsen må du overvåke hvordan din modell oppfører seg og gjøre nødvendige justeringer. Å ha riktige overvåkingsmuligheter så det kan varsle deg når dine modeller oppfører seg utenfor de ønskede grensene, er nøkkel.

Modellrisikostyring (MRM) må også ta hensyn til de forskjellige personene som er involvert i modellutvikling og -distribusjon. Hva slags tilgangskontroll har du satt i verk for å sikre integriteten til modellene? Eller hvordan sikrer du at personer fra forskjellige grupper ikke utilsiktet bruker dine modeller for brukstilfeller dine modeller ikke er designet for? Alle spørsmål team må stille seg selv.

Hvordan hjelper Datatron med modellrisikostyring?

MLOps tillater rask modelloppdatering og -endring. For eksempel, hvis en modell uriktig avviser mennesker på en låneansøkningsprosess, tillater MLOps deg å trekke modellen tilbake og innføre en ny, og håndtere den risikoen på en enkel måte.

Det beskytter modeller fra en bias-drift og opprettholder nøkkelmetricer mens i produksjon gjennom en enkel dashboard som presenterer disse metricene ved hjelp av dypt detaljert data fra en høynivå-oversikt som kan lett forstås av forretningsbeslutningstakere.

Datron-plattformens AI-styring gir en oppgradering fra en generisk overvåkingsfunksjon – og gir ekstra kontekst og logikk som viser tydelig synlighet av modellene som er mer relevante for kundens brukstilfeller.

I en blogginnlegg på Datatron beskrev du hvordan Datatron tok opp mantraet “Pålitelig AI”. Kan du beskrive hva dette er i ditt syn?

Når vi kom opp med dette, tenkte vi på hvordan vi er så komfortable med å fly i kommersielle fly i dag fordi de er svært pålitelige.

Til tross for alle disse snakkene om etisk AI, ansvarlig AI osv., er det viktigste behovet for bedrifter å kunne bruke AI/ML på en pålitelig måte – akkurat som hvis deres ansatte skulle hoppe på et kommersielt fly.

Å bruke termer som etisk AI, ansvarlig AI, har virkelig kommet fra problemet med at nåværende AI-modeller ikke gjør hva de skal, og derfor blir ansett som upålitelige. Bedrifter er ikke villige til å bruke AI fordi de ikke har tillit til at deres modeller ikke er forvrengt. Dette betyr at deres modeller er upålitelige, og Datatron er fast bestemt på å endre dette.

Er det noe annet du ville like å dele om Datatron?

Vi er en av de få MLOps-aktørene som er Super Bowl-bevist – og jobber suksessfullt i en høy-stress-situasjon, som ikke er typisk for en startup eller åpen kildekode-verktøy. Klienten, Domino’s Pizza , samarbeider med Datatron for å lett og raskt operationalisere AI-modeller i produksjon, som deretter ble satt til den ultimate prøven under Super Bowl.

MLOps er virkelig måten å hjelpe AI/ML-modeller i produksjon samtidig som du bevare ressurser og skalerer ned på kostnader. Vi er en bærekraftig kilde for suksessfulle AI/ML-modeller og fungerer som en katalysator for inntekt. Bedrifter kan endelig få sin avkastning fra sine AI- og ML-prosjekter. Uansett dine marginer, kan du produsere resultater ved hjelp av MLOps.

Takk for det flotte intervjuet, lesere som ønsker å lære mer, bør besøke Datatron.