Victor Thu, præsident for Datatron – Interviewserie

Victor Thu er præsident for Datatron, en platform, der hjælper virksomheder med at udnytte kraften fra maskinlæring, ved at accelerere implementeringer, opdage problemer tidligt og øge effektiviteten af at styre multiple modeller i stor skala.

Dit baggrund er i produktmarkedsføring, go-to-market og produktledelse. Hvordan førte denne baggrund dig til at arbejde med maskinlæring og AI?

Jeg elsker teknologi, og nogle af mine nære venner kalder mig endda “teknologi-whisperer”. Jeg nyder at tage komplekse teknologiske emner og oversætte dem til et sprog, som folk kan relatere til, og uddanne mig selv i nye teknologier for at komme til “hvorfor” bag teknologierne, der betyder mest for folk.

Mit første møde med, hvad jeg kalder “moderne AI”, var, da jeg så en keynote-præsentation af en berømt Stanford AI-professor, Dr. Fei-Fei Li. Dr. Lis keynote-præsentation var så fængende, at det fungerede som et vendepunkt for mig i min karriere. Den præsentation overbeviste mig om, at dette er, hvor jeg ville være næste. Jeg ville være en del af den næste bølge af teknologi, hvor vi bruger AI og ML til at løse forretningsudfordringer.

Siden da har jeg været med i en række AI/ML-startups, hvor jeg har arbejdet med at bruge teknologien til at løse virkelige forretningsbehov. Jeg har arbejdet meget tæt med Ph.D.-niveau ML-videnskabsmænd, der har givet mig en enorm viden i AI/ML. Og jeg lærer stadig i dag, da området udvikler sig så hurtigt.

Så det var virkelig min passion for teknologi og hvordan man kan udnytte den til at hjælpe andre, der førte mig til at arbejde tæt med AI/ML.

Datatron fokuserer på MLOps. For læsere, der ikke er bekendt med dette begreb, kunne du beskrive, hvad det specifikt er?

MLOps er essentielt at kodificere og simplificere den meget håndværksmæssige proces med at få AI- og ML-modeller fra prototype til produktion.

En af de største misforståelser er, at når datavidenskabsmænd har bygget deres AI-modeller, kan de få dem ud i produktion hurtigt. Men virkeligheden er, at det kan tage op til et år, før en model kan implementeres.

Hovedårsagen til denne forsinkelse er, at personer med ekspertise i udvikling af modeller ikke nødvendigvis har software-ingeniør-ekspertise. En god sammenligning er arkitekter, der designer skyskrabere – de er ikke også udviklerne, der bygger dem.

MLOps er essentielt broen mellem modeludviklere og software-ingeniører. I stedet for at skulle bruge mere end 12 måneder på at få modeller i produktion, kan MLOps reducere denne lange proces til bare få dage.

I en artikel, du skrev for os i september 2021, diskuterede du, hvordan “Hovedhinderet for at bringe løsninger i produktion ikke er kvaliteten af modellerne, men snarere manglen på infrastruktur til at tillade virksomheder at gøre det.” Hvorfor er dette sådan et hinder for de fleste virksomheder?

Der er flere bidragende faktorer til dette.

• Overromantiseringen af “gratis” open-source-software. Jeg vil først understrege, at vi elsker open-source-software og stærkt tror på, at det har hjulpet industrien med at fremme udviklingen med store skridt. Men mange forstår ikke kompleksiteten af open-source i forhold til AI og ML. I dag er der en alvorlig mangel på AI/ML-talenter. Når du kombinerer dette med at finde software-ingeniører (ML-ingeniører eller MLOps-ingeniører), der kan håndtere de unikke egenskaber af AI/ML-koder, og derefter forventer at hyre og bygge en virksomheds-skala MLOps-platform internt ved at finde ud af de 300+ open-source MLOps-projekter, er det at sætte sig selv op for fiasko.
• Mangel på infrastruktur til at støtte ingeniørhold. Virksomheder har brug for en bedre omgang til at sætte ingeniører op for at lykkes. Der skal være ordentlig båndbredde og budget til at give holdene de rigtige værktøjer. AI er en ret ny teknologi. Virksomheder, der laver AI, ved ikke altid, hvad de skal gøre for at få modeller ud hurtigt, og det er derfor, MLOps er så vigtigt.

Hvordan løser brugen af MLOps manglen på infrastruktur-problemet?

MLOps løser manglen på infrastruktur-problemet på fire måder:

1. Ingen proprietære kodeændringer: Datavidenskabsmænd vil have fleksibilitet til at bygge modeller, der passer til forretningsbrugstilfælde i deres miljø, og derfor vil enhver MLOps-proces, der kræver kodeændringer, komplicere integriteten af deres modeller.
2. Automatisering/skriptning: Mange hold skripter modeller på en hårdkodet måde, hvilket tager meget tid. MLOps automatiserer hele processen og sparer meget tid og energi.
3. Strømline-opdateringer: AI-modeller ændrer sig regelmæssigt for at tilpasse sig deres omgang. Nogle gange skal datavidenskabsmænd gå tilbage og opdatere modeller hyppigt. Uden MLOps er der ingen måde at undgå denne gentagne opdatering på.
4. Styring af den underliggende infrastruktur: For at få modeller ud, skal du beregne netværk og lagring, hvilket kræver unikke egenskaber af AI/ML-modeller. MLOps-værktøjer har evnen til at tilgå de rigtige ressourcer til at skala dem efter behov.

Der er også virksomhedskrav, der ofte ikke bliver overvejet, når du bygger din egen MLOps-værktøj, såsom rollebaseret adgangskontrol (RBAC), integration og interoperabilitet, støtte til forskellige ML-værktøjer, løsning af sikkerheds-sårbarheder og den uventede afgang af kerneholdmedlemmer.

Hvad er dine personlige synspunkter på vigtigheden af AI-styring?

Der har været utallige rædselsberetninger om AI-modeller, der ikke fungerer korrekt, fra mislabeling af bestemte grupper af mennesker til at forårsage massive finansielle tab for børsnoterede virksomheder.

AI-styring er kritisk vigtig for virksomheder, når de har AI-modeller i produktion. Med det sagt er det ikke anderledes end andre IT- eller forretningsstyring. I dag, når din IT-kører programmer i skyen eller selv i deres egne datacentre, har de en række værktøjer til at sikre, at programmerne fungerer korrekt.

Når du har AI-modeller i drift, skal du have mekanismer og værktøjer på plads til at give forretnings- og datavidenskabsfolk indsigt i, hvad modellerne gør.

Især på dette tidlige stadium af AI/ML er der ingen “sæt og glem”-mulighed. I begyndelsen skal du overvåge, hvordan din model opfører sig, og foretage passende justeringer. At have ordentlig overvågningskapacitet, så det kan advare dig, når dine modeller opfører sig uden for de ønskede grænser, er afgørende.

Model-risikostyring (MRM) skal også tage hensyn til de forskellige personer, der er involveret i modeludvikling og -implementering. Hvad adgangskontrol har du sat på plads for at sikre integriteten af modellerne? Eller hvordan sikrer du, at personer fra forskellige grupper ikke utilsigtet bruger dine modeller til formål, dine modeller ikke er designet til? Alt sammen spørgsmål, hold skal stille sig selv.

Hvordan hjælper Datatron med model-risikostyring?

MLOps tillader hurtige modelopdateringer og -ændringer. For eksempel, hvis en model urimeligt afviser mennesker på en låneansøgning, tillader MLOps dig at trække modellen tilbage og genindføre en ny, hvilket reducerer risikoen på en enkel måde.

Det beskytter modeller mod bias-drift og opretholder nøglemetrikker, mens de er i produktion, gennem et enkelt dashboard, der præsenterer disse metrikker ved hjælp af dyb detaljeret data fra en højt niveauoversigt, der kan let forstås af forretningsbeslutningstagere.

Datatron-platformens AI-styring giver en niveauopgradering fra en generisk overvågningsfunktion – giver yderligere kontekst og logik, der viser klar indsigt i modellen, der er mere relevant for kundens brugstilfælde.

I en blog-indlæg på Datatron beskrev du, hvordan Datatron tog op mantraet om Reliable AI™. Kunne du beskrive, hvad det er i din mening?

Når vi kom op med dette, tænkte vi på, hvordan vi er så komfortable med at flyve i kommercielle fly i dag, fordi de er meget pålidelige.

Trods alle disse taler om etisk AI, ansvarlig AI osv. er det centrale behov for virksomheder at kunne bruge AI/ML pålideligt – ligesom hvis deres medarbejdere skulle springe på et kommercielt fly.

At bruge termer som etisk AI, ansvarlig AI har virkelig udsprunget fra problemet med, at nuværende AI-modeller ikke gør, hvad de skal, og derfor er upålidelige. Virksomheder er ikke villige til at bruge AI, fordi de ikke har tillid til, at deres modeller ikke er forvrængede. Det betyder, at deres modeller er upålidelige, og Datatron er fast besluttet på at ændre det.

Er der noget andet, du gerne vil dele om Datatron?

Vi er en af de få MLOps-spillere, der er Super Bowl-bevisede – arbejder succesfuldt i en højstress-scenario, hvilket ikke er typisk for en startup eller open-source-værktøj. Klienten, Domino’s Pizza , arbejder med Datatron for at let og hurtigt operationalisere AI-modeller i produktion, som derefter blev testet i den ultimative test under Super Bowl.

MLOps er virkelig vejen til at hjælpe AI/ML-modeller i produktion, mens du bevare ressourcer og skalerer ned på omkostninger. Vi er en bæredygtig kilde til succesfulde AI/ML-modeller og fungerer som en katalysator for indtjening. Virksomheder kan endelig få deres ROI fra deres AI- og ML-projekter. Uanset dine margener kan du producere resultater ved hjælp af MLOps.

Tak for det gode interview. Læsere, der ønsker at lære mere, skal besøge Datatron.