Victor Thu, President för Datatron – Intervju-serie

Victor Thu är president för Datatron, en plattform som hjälper företag att utnyttja kraften i maskinlärning, genom att påskynda distributioner, upptäcka problem i tid och öka effektiviteten i hanteringen av flera modeller i stor skala.

Din bakgrund är inom produktmarknadsföring, lansering och produktledning, hur ledde denna bakgrund dig till att arbeta med maskinlärning och AI?

Jag älskar teknologi och några av mina nära vänner kallar mig till och med “teknologivisslaren”. Jag tycker om att ta komplexa teknologiska ämnen och översätta dem till ett språk som människor kan relatera till, och utbilda mig själv på nya teknologier för att förstå “varför” bakom teknologier som betyder mest för människor.

Mitt första möte med vad jag kallar “modern AI” var när jag såg en keynote-presentation av en berömd Stanford AI-professor, Dr. Fei-Fei Li. Dr Lis keynote-presentation var så fascinerande att den fungerade som en vändpunkt för mig i min karriär. Den presentationen övertygade mig om att detta var där jag ville vara härnäst. Jag ville vara en del av den nästa vågen av teknologi där vi använder AI och ML för att lösa affärsutmaningar.

Sedan dess har jag varit med i flera AI/ML-startups, som arbetar för att använda teknologin för att tillgodose verkliga affärsbehov. Jag har arbetat mycket nära Ph.D.-nivå ML-forskare, som har gett mig en enorm kunskap inom AI/ML. Och jag lär mig fortfarande idag eftersom området utvecklas så snabbt.

Så, det var verkligen min passion för teknologi och hur man kan utnyttja den för att hjälpa andra som ledde mig till att arbeta nära AI/ML.

Datatron fokuserar på MLOps, för läsare som är ovanliga med denna term, kan du beskriva specifikt vad det är?

MLOps är i princip kodifiering och förenkling av den mycket hantverksmässiga processen att få AI- och ML-modeller från prototyp till produktion.

En av de största missuppfattningarna är att när dataforskare har byggt sina AI-modeller, kan de få dem ut i produktion snabbt. Men verkligheten är att det kan ta upp till ett år innan en modell kan distribueras.

Huvudanledningen till denna försening är att personer som har expertis inom modellutveckling inte nödvändigtvis har mjukvaruutvecklingskunskaper också. En bra jämförelse är arkitekter som designar skyskrapor – de är inte också de utvecklare som bygger dem.

MLOps är i princip bron mellan modellutvecklare och mjukvaruutveckling. Istället för att behöva spendera mer än 12 månader för att få modeller i produktion, kan MLOps korta ner den långa processen till bara några dagar.

I en artikel som du skrev för oss i september 2021, diskuterade du hur “Huvudhinder för att få lösningar i produktion inte är kvaliteten på modellerna, utan snarare bristen på infrastruktur för att tillåta företag att göra det.” Varför är detta sådant hinder för de flesta företag?

Det finns flera bidragande faktorer till detta.

• Överromantiseringen av “gratis” öppen källkod. Jag vill först betona att vi älskar öppen källkod och starkt tror att det har hjälpt branschen att utvecklas med stora steg. Men många förstår inte komplexiteten i öppen källkod i förhållande till AI och ML. Idag finns det en allvarlig brist på AI/ML-talanger. När du kombinerar detta med att hitta mjukvaruutvecklare (ML-ingenjörer eller MLOps-ingenjörer) som kan hantera de unika egenskaperna hos AI/ML-kod, förväntar du dig att bygga en företagsklass MLOps-plattform internt genom att ta reda på de 300+ öppna MLOps-projekten, är du inställd på att misslyckas.
• Brist på infrastruktur för att stödja utvecklingsteam. Företag behöver en bättre miljö för att ställa in utvecklare för att lyckas. Det måste finnas ordentlig bandbredd och budget för att tillhandahålla teamen rätt verktyg. AI är en ganska ny teknik. Företag som gör AI vet inte alltid vad de behöver göra för att få modeller ut snabbt, vilket är varför MLOps är ett sådant viktigt verktyg.

Hur löser användningen av MLOps bristen på infrastrukturproblem?

MLOps löser bristen på infrastrukturproblem på fyra sätt:

1. Inga proprietära kodändringar: Dataforskare vill ha flexibilitet att bygga modeller som passar affärsanvändningsfall i deras miljöer, därför komplicerar alla MLOps-processer som kräver kodändringar integriteten hos deras modeller.
2. Automatisering/skriptning: Många team skriptar modeller på ett hårdkodat sätt, vilket tar mycket tid. MLOps automatiserar hela processen, vilket sparar mycket tid och energi.
3. Strömlinjeforma uppdateringar: AI-modeller ändras regelbundet för att anpassa sig till sin miljö. Ibland måste dataforskare gå tillbaka och uppdatera modeller ofta. Utan MLOps finns det inget sätt att undvika denna upprepade uppdatering.
4. Hantera den underliggande infrastrukturen: För att få modeller ut behöver du beräkna nätverk och lagring, vilket kräver unika egenskaper hos AI/ML-modeller. MLOps-verktyg har förmågan att komma åt rätt resurser för att skala dem enligt behov.

Det finns också företagskrav som ofta inte beaktas när man bygger sin egen MLOps-verktyg, såsom: rollbaserad åtkomstkontroll (RBAC), integration och samverkan, stöd för olika ML-verktyg, hantering av säkerhetsrisker och den oväntade avresan av kärnteammedlemmar.

Vad är dina personliga åsikter om vikten av AI-styrning?

Det har funnits otaliga skräckhistorier om AI-modeller som inte fungerar som de ska, från felmärkning av vissa grupper av människor till att orsaka stora ekonomiska förluster för noterade företag.

AI-styrning är kritiskt viktigt för företag när de har AI-modeller som körs i produktion. Med det sagt är det inte annorlunda än annan IT- eller affärsstyrning. Idag när ditt IT-kör program i molnet eller till och med i deras egna datacenter, har de en serie verktyg för att säkerställa att programmen fungerar som de ska.

När du har AI-modeller som körs, behöver du ha mekanismer och verktyg på plats för att ge företaget och dataforskarna insikt i vad modellerna gör.

Särskilt på denna tidiga stadium av AI/ML, finns det ingen “sätt det och glöm det”-alternativ. I början måste du övervaka hur din modell beter sig och göra lämpliga justeringar. Att ha ordentlig övervakningsförmåga så att den kan varna dig när dina modeller beter sig utanför de önskade gränserna är nyckeln.

Modellriskhantering (MRM) måste också ta hänsyn till de olika personer som är involverade i modellutveckling och distribution. Vilken åtkomstkontroll har du infört för att säkerställa integriteten hos modellerna? Eller hur säkerställer du att personer från olika grupper inte oavsiktligt använder dina modeller för användningsfall som dina modeller inte är utformade för att göra? Alla frågor som team behöver ställa sig själva.

Hur hjälper Datatron med modellriskhantering?

MLOps tillåter snabba modelluppdateringar och ändringar. Till exempel, om en modell felaktigt avvisar människor på en låneansökan, tillåter MLOps att du drar tillbaka modellen och introducerar en ny, hanterar den risken på ett enkelt sätt.

Det skyddar modeller från bias och upprätthåller nyckeltal medan de är i produktion genom en enkel instrumentpanel som presenterar dessa mått med hjälp av djup detaljerad data från en högnivåöversikt som kan förstås av affärsbeslutsfattare.

Den Datatron-plattformen för AI-styrning ger en nivå upp från en generisk övervakningsfunktion – ger ytterligare sammanhang och logik som visar tydlig insikt i modellerna som är mer relevanta för kundens användningsfall.

I en bloggpost på Datatron beskrev du hur Datatron tog upp mantorn för Reliable AI ™. Kan du beskriva vad detta är enligt din åsikt?

När vi kom på detta, tänkte vi på hur vi är så bekväma med att flyga i kommersiella flygplan idag eftersom de är mycket tillförlitliga.

Trots allt tal om etisk AI, ansvarsfull AI etc. är det viktigaste behovet för företag att kunna använda AI/ML på ett tillförlitligt sätt – precis som om deras anställda skulle kliva på ett kommersiellt flygplan.

Användning av termer som etisk AI, ansvarsfull AI har verkligen lett till problemet med att nuvarande AI-modeller inte fungerar som de ska, och därför anses vara otillförlitliga. Företag är inte villiga att använda AI eftersom de inte har förtroende för att deras modeller inte är fördomsfulla. Detta innebär att deras modeller är otillförlitliga och Datatron är fast beslutna att ändra på det.

Finns det något annat du vill dela om Datatron?

Vi är en av de få MLOps-spelarna som är Super Bowl-bevisade – som arbetar framgångsrikt i en hög stress-scenario, vilket inte är typiskt för en startup eller öppen källkodsverktyg. Klienten, Domino’s Pizza , arbetar med Datatron för att enkelt och snabbt operationalisera AI-modeller i produktion, som sedan sattes på prov under Super Bowl.

MLOps är verkligen sättet att hjälpa AI/ML-modeller i produktion samtidigt som man bevarar resurser och skalar ner på kostnad. Vi är en hållbar källa för framgångsrika AI/ML-modeller och fungerar som en katalysator för intäkter. Företag kan slutligen få sin avkastning från sina AI- och ML-projekt. Oavsett din marginal kan du producera resultat med hjälp av MLOps.

Tack för den underbara intervjun, läsare som vill lära sig mer bör besöka Datatron.