Victor Thu, President van Datatron – Interviewreeks

Victor Thu is de President van Datatron, een platform dat bedrijven helpt om de kracht van machine learning te benutten, door implementaties te versnellen, problemen vroegtijdig te detecteren en de efficiëntie van het beheer van meerdere modellen op grote schaal te verhogen.

Uw achtergrond ligt in Product Marketing, Go-to-market, & Product Management, hoe heeft deze achtergrond u geholpen om in machine learning en AI te werken?

Ik hou van technologie en sommige van mijn nauwe vrienden noemen me zelfs de “technologie-whisperer.” Ik geniet ervan om complexe technologie-onderwerpen te nemen en ze te vertalen in een taal die mensen kunnen begrijpen, en mezelf te onderwijzen over nieuwe technologieën om te begrijpen waarom technologieën die het meest belangrijk zijn voor mensen.

Mijn eerste ontmoeting met wat ik “moderne AI” noem, was toen ik een keynote-presentatie van een beroemde Stanford AI-professor, Dr. Fei-Fei Li, zag. Dr. Li’s keynote-presentatie was zo boeiend dat het een keerpunt in mijn carrière markeerde. Die presentatie overtuigde me ervan dat dit waar ik naartoe wilde, dat ik deel wilde uitmaken van de volgende golf van technologie waarin we AI en ML gebruiken om bedrijfsuitdagingen op te lossen.

Sindsdien ben ik bij een aantal AI/ML-startups geweest, waar ik heb gewerkt aan het gebruik van technologie om echte bedrijfsbehoeften aan te pakken. Ik heb heel nauw samengewerkt met Ph.D.-niveau ML-wetenschappers, die me enorm veel kennis over AI/ML hebben gegeven. En ik leer nog steeds vandaag, omdat de ruimte zo snel evolueert.

Dus, het was echt mijn passie voor technologie en hoe ik die kan gebruiken om anderen te helpen, die me naar het werken met AI/ML heeft gebracht.

Datatron richt zich op MLOps, voor lezers die niet bekend zijn met deze term, kunt u specifiek uitleggen wat het is?

MLOps is in wezen het codificeren en vereenvoudigen van het zeer ambachtelijke proces van het krijgen van AI- en ML-modellen van prototype naar productie.

Een van de grootste misverstanden is dat, zodra datawetenschappers hun AI-modellen hebben gebouwd, ze ze snel in productie kunnen krijgen. Echter, de realiteit is dat het tot een jaar kan duren voordat een model kan worden geïmplementeerd.

De belangrijkste reden voor deze vertraging is dat de mensen die expertise hebben in het ontwikkelen van modellen, niet noodzakelijkerwijs software-ontwikkelingskennis hebben. Een goede vergelijking is de architecten die wolkenkrabbers ontwerpen – ze zijn niet ook de ontwikkelaars die ze bouwen.

MLOps is in wezen de brug tussen modelontwikkelaars en software-ontwikkeling. In plaats van meer dan 12 maanden te moeten besteden aan het krijgen van modellen in productie, kan MLOps dat proces terugbrengen tot slechts een paar dagen.

In een artikel dat u schreef voor ons in september 2021, besprak u hoe “De belangrijkste hindernis bij het brengen van oplossingen naar productie niet de kwaliteit van de modellen is, maar eerder het gebrek aan infrastructuur om bedrijven in staat te stellen dit te doen.” Waarom is dit zo’n hindernis voor de meeste bedrijven?

Er zijn een paar bijdragende factoren tot dit.

• De overromantiserende kijk op “gratis” open-source software. Ik wil eerst benadrukken dat we van open-source software houden en sterk geloven dat het de industrie heeft geholpen om vooruit te komen. Echter, veel mensen begrijpen niet de complexiteit van open-source in relatie tot AI en ML. Vandaag de dag is er een ernstig tekort aan AI/ML-talent. Wanneer u dit combineert met het vinden van software-ontwikkelaars (ML-ingenieurs of MLOps-ingenieurs) die weten hoe ze de unieke eigenschappen van AI/ML-code moeten behandelen, en dan verwacht dat u een enterprise-schaal MLOps-platform intern kunt bouwen door uit te zoeken hoe u de 300+ open-source MLOps-projecten moet gebruiken, dan zet u uzelf op voor falen.
• Gebrek aan infrastructuur om ontwikkelteams te ondersteunen. Bedrijven hebben een betere omgeving nodig om ontwikkelaars in staat te stellen om te slagen. Er moet voldoende bandbreedte en budget zijn om teams de juiste tools te geven. AI is een relatief nieuwe technologie. Bedrijven die AI gebruiken, weten niet altijd wat ze moeten doen om modellen snel te implementeren, en dat is waarom MLOps zo’n belangrijk instrument is.

Hoe lost het gebruik van MLOps het probleem van het gebrek aan infrastructuur op?

MLOps lost het probleem van het gebrek aan infrastructuur op op vier manieren:

1. Geen propriëtaire code-wijzigingen: Datawetenschappers willen flexibiliteit om modellen te bouwen die passen bij bedrijfsgevallen in hun omgeving, dus elk MLOps-proces dat code-wijzigingen vereist, compliceert de integriteit van hun modellen.
2. Automatisering/scripting: Veel teams schrijven modellen in een harde, gecodeerde manier, wat veel tijd kost. MLOps automatiseert dat hele proces, waardoor veel tijd en energie wordt bespaard.
3. Stroomlijnen van updates: AI-modellen veranderen regelmatig om zich aan te passen aan hun omgeving. Soms moeten datawetenschappers terugkeren om modellen regelmatig bij te werken. Zonder MLOps is er geen manier om deze herhaalde updates te vermijden.
4. Beheer van de onderliggende infrastructuur: Om modellen te implementeren, moet u netwerk- en opslagberekeningen uitvoeren, wat unieke eigenschappen van AI/ML-modellen vereist. MLOps-tools hebben de mogelijkheid om toegang te krijgen tot de juiste resources om ze dienovereenkomstig te schalen.

Er zijn ook enterprise-eisen die vaak niet worden overwogen bij het bouwen van uw eigen MLOps-tool, zoals: rolgebaseerde toegangscontrole (RBAC), integratie en interoperabiliteit, ondersteuning voor verschillende ML-tools, het aanpakken van beveiligingskwetsbaarheden en het onverwachte vertrek van kernteamleden.

Wat zijn uw persoonlijke meningen over de belangrijkheid van AI-governance?

Er zijn talloze horrorverhalen over AI-modellen die niet goed werken, van het verkeerd labelen van bepaalde groepen mensen tot het veroorzaken van enorme financiële verliezen voor beursgenoteerde bedrijven.

AI-governance is kritisch belangrijk voor bedrijven wanneer ze AI-modellen in productie hebben. Met dat gezegd, het is niet anders dan andere IT- of bedrijfs governance. Vandaag, wanneer uw IT-toepassingen in de cloud of zelfs in hun eigen datacenters draait, hebben ze een reeks tools om ervoor te zorgen dat de toepassingen goed werken.

Zodra u AI-modellen in productie heeft, moet u mechanismen en tools hebben om de business en de datawetenschappers zichtbaarheid te geven over wat de modellen doen.

Vooral in deze embryonale fase van AI/ML, is er geen ‘zet het en vergeet het’-optie. Aanvankelijk moet u controleren hoe uw model zich gedraagt en passende aanpassingen maken. Het hebben van een goede monitoring-capaciteit zodat het u kan waarschuwen wanneer uw modellen zich buiten de gewenste grenzen gedragen, is cruciaal.

Model-risicobeheer (MRM) moet ook rekening houden met de verschillende individuen die betrokken zijn bij de modelontwikkeling en -implementatie. Wat voor toegangscontrole heeft u ingesteld om de integriteit van de modellen te waarborgen? Of hoe zorgt u ervoor dat individuen uit verschillende groepen niet per ongeluk uw modellen gebruiken voor use cases waarvoor uw modellen niet zijn ontworpen? Dit zijn allemaal vragen die teams zichzelf moeten stellen.

Hoe helpt Datatron bij model-risicobeheer?

MLOps maakt het mogelijk om modellen snel bij te werken en te veranderen. Als een model bijvoorbeeld ongepast mensen op een leningaanvraag afwijst, maakt MLOps het mogelijk om het model terug te trekken en een nieuw model in te voeren, waardoor het risico op een eenvoudige manier wordt beheerd.

Het beschermt modellen tegen een bias-afwijking en behoudt belangrijke metrics terwijl ze in productie zijn, via een eenvoudig dashboard dat deze metrics weergeeft met diepe, gedetailleerde gegevens van een hoog niveau-overzicht dat gemakkelijk kan worden begrepen door beslissingsmakers.

De Datatron-platform AI-governance biedt een niveau hoger dan een generieke monitoring-capaciteit – het geeft extra context en logica die duidelijke zichtbaarheid van het model biedt dat meer relevant is voor de use cases van de klant.

In een blogpost op Datatron beschreef u hoe Datatron het mantra van Reliable AI™ had aangenomen. Kunt u in uw mening uitleggen wat dit is?

Toen we dit bedachten, dachten we aan hoe we zo comfortabel zijn met vliegen in commerciële vliegtuigen vandaag, omdat ze zo betrouwbaar zijn.

Ondanks al deze gesprekken over ethische AI, verantwoordelijke AI, enz., is de sleutelbehoefte voor bedrijven om AI/ML betrouwbaar te kunnen gebruiken – net zoals wanneer hun werknemers in een commercieel vliegtuig zouden stappen.

Het gebruik van termen als ethische AI, verantwoordelijke AI, is eigenlijk voortgekomen uit het feit dat de huidige AI-modellen niet doen wat ze zouden moeten doen, en dus onbetrouwbaar zijn. Bedrijven zijn niet bereid om AI te gebruiken omdat ze niet vertrouwen dat hun modellen niet zijn bevooroordeeld. Dit betekent dat hun modellen onbetrouwbaar zijn en Datatron is vastbesloten om dat te veranderen.

Is er nog iets anders dat u zou willen delen over Datatron?

We zijn een van de weinige MLOps-spelers die Super Bowl-bewezen zijn – werkend in een high-stress scenario, wat niet typisch is voor een startup of open-source tool. De klant, Domino’s Pizza , werkt met Datatron om AI-modellen gemakkelijk en snel in productie te brengen, die vervolgens getest werden tijdens de Super Bowl.

MLOps is echt de manier om AI/ML-modellen in productie te brengen, terwijl u middelen bespaart en de kosten verlaagt. We zijn een duurzame bron voor succesvolle AI/ML-modellen en dienen als een katalysator voor omzet. Bedrijven kunnen eindelijk hun ROI van hun AI- en ML-projecten krijgen. Ongeacht uw marges, kunt u resultaten behalen met MLOps.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Datatron bezoeken.