Victor Thu, President van Datatron – Interviewreeks

Victor Thu is de President van Datatron, een platform dat ondernemingen helpt om de kracht van machine learning te benutten, door implementaties te versnellen, problemen vroegtijdig te detecteren en de efficiëntie van het beheer van meerdere modellen op grote schaal te vergroten.

Uw achtergrond ligt in Product Marketing, Go-to-market, & Product Management, hoe heeft deze achtergrond u geleid tot het werken in machine learning en AI?

Ik hou van technologie en sommige van mijn nauwe vrienden noemen me zelfs de “technologie-whisperer.” Ik geniet ervan om complexe technologie-onderwerpen te nemen en ze te vertalen naar een taal die mensen kunnen begrijpen, en mezelf te onderwijzen over nieuwe technologieën om te komen tot “de waarom” achter technologieën die het meest belangrijk zijn voor mensen.

Mijn eerste ontmoeting met wat ik “moderne AI” noem, was toen ik een keynote-presentatie van een beroemde Stanford AI-professor, Dr. Fei-Fei Li, aan het kijken was. Dr. Li’s keynote-presentatie was zo boeiend dat het een keerpunt in mijn carrière markeerde. Die presentatie overtuigde me ervan dat dit waar ik naartoe wilde. Ik wilde deel uitmaken van de volgende golf van technologie waarin we AI en ML gebruiken om bedrijfsuitdagingen op te lossen.

Sindsdien ben ik bij een aantal AI/ML-startups geweest, waar ik heb gewerkt aan het gebruik van de technologie om echte bedrijfsbehoeften aan te pakken. Ik heb zeer nauw samengewerkt met Ph.D.-niveau ML-wetenschappers, die me enorm veel kennis over AI/ML hebben gegeven. En ik leer nog steeds vandaag, omdat de ruimte zo snel evolueert.

Dus, het was echt mijn passie voor technologie en hoe ik die kan gebruiken om anderen te helpen, die me heeft gebracht tot het werken met AI/ML.

Wat is MLOps, voor lezers die niet bekend zijn met deze term, kunt u specifiek uitleggen wat het is?

MLOps is in wezen het codificeren en vereenvoudigen van het zeer ambachtelijke proces van het krijgen van AI- en ML-modellen van prototype naar productie.

Een van de grootste misverstanden is dat, zodra datawetenschappers hun AI-modellen hebben gebouwd, ze deze snel in productie kunnen krijgen. Echter, de realiteit is dat het tot een jaar kan duren voordat een model kan worden geïmplementeerd.

De belangrijkste reden voor deze vertraging is dat mensen die expertise hebben in het ontwikkelen van modellen, niet noodzakelijkerwijs software-ontwikkelingskennis hebben. Een goede vergelijking is de architecten die wolkenkrabbers ontwerpen – ze zijn niet ook de ontwikkelaars die ze bouwen.

MLOps is in wezen de brug tussen modelontwikkelaars en software-ontwikkeling. In plaats van meer dan 12 maanden te moeten besteden aan het krijgen van modellen in productie, kan MLOps dit langdurige proces terugbrengen tot slechts een kwestie van dagen.

In een artikel dat u schreef voor ons in september 2021, bespraken u hoe “De belangrijkste hindernis bij het brengen van oplossingen naar productie niet de kwaliteit van de modellen is, maar eerder het gebrek aan infrastructuur om bedrijven in staat te stellen dit te doen.” Waarom is dit zo’n hindernis voor de meeste bedrijven?

Er zijn een aantal bijdragende factoren tot dit.

• De overromantiserende van “gratis” open-source software. Ik wil eerst benadrukken dat we van open-source software houden en sterk geloven dat het de industrie heeft geholpen om vooruit te komen. Echter, veel mensen begrijpen niet de complexiteit van open-source in relatie tot AI en ML. Vandaag de dag is er een ernstig tekort aan AI/ML-talent. Wanneer u dit combineert met het vinden van software-ontwikkelaars (ML-ingenieurs of MLOps-ingenieurs) die weten hoe ze de unieke eigenschappen van AI/ML-codes kunnen hanteren, en vervolgens verwachten dat u een enterprise-schaal MLOps-platform intern kunt bouwen door uit te zoeken welke van de 300+ open-source MLOps-projecten, dan zet u uzelf op voor falen.
• Gebrek aan infrastructuur om engineering-teams te ondersteunen.Bedrijven hebben een betere omgeving nodig om engineers in staat te stellen om te slagen. Er moet een juiste bandbreedte en budget zijn om teams de juiste tools te geven. AI is een relatief nieuwe technologie. Ondernemingen die AI doen, weten niet altijd wat ze moeten doen om modellen snel uit te voeren, en dat is waarom MLOps zo’n essentieel instrument is.

Hoe lost het gebruik van MLOps het gebrek aan infrastructuur-probleem op?

MLOps lost het gebrek aan infrastructuur-probleem op vier manieren:

1. Geen proprietair code-wijzigingen: Datawetenschappers willen flexibiliteit om modellen te bouwen die passen bij bedrijfsgevallen in hun omgeving, dus elk MLOps-proces dat code-wijzigingen vereist, compliceert de integriteit van hun modellen.
2. Automatisering/scripting: Veel teams schrijven modellen in een harde, gecodeerde wijze, wat veel tijd kost. MLOps automatiseert dit hele proces, waardoor veel tijd en energie wordt bespaard.
3. Updates vereenvoudigen: AI-modellen veranderen regelmatig om zich aan te passen aan hun omgeving. Soms moeten datawetenschappers terugkeren om modellen regelmatig bij te werken. Zonder MLOps is er geen manier om deze herhaalde updates te vermijden.
4. Beheer van de onderliggende infrastructuur: Om modellen uit te voeren, moet u rekenen, netwerk en opslag berekenen, wat unieke eigenschappen van AI/ML-modellen vereist. MLOps-tools hebben de mogelijkheid om toegang te krijgen tot de juiste resources om ze dienovereenkomstig te schalen.

Er zijn ook enterprise-vereisten die vaak niet worden overwogen bij het bouwen van uw eigen MLOps-tool, zoals: rolgebaseerde toegangscontrole (RBAC), integratie en interoperabiliteit, ondersteuning voor verschillende ML-tools, het aanpakken van beveiligingskwetsbaarheden en het onverwachte vertrek van core-teamleden.

Wat zijn uw persoonlijke meningen over de belangrijkheid van AI-governance?

Er zijn talloze horrorverhalen over AI-modellen die niet goed werken, van het mislabelen van bepaalde groepen mensen tot het veroorzaken van enorme financiële verliezen voor beursgenoteerde bedrijven.

AI-governance is kritisch belangrijk voor bedrijven wanneer ze AI-modellen in productie hebben. Met dat gezegd, het is niet anders dan andere IT- of bedrijfs governance. Vandaag, wanneer uw IT-toepassingen in de cloud of zelfs in hun eigen datacenters draait, hebben ze een reeks tools om ervoor te zorgen dat de toepassingen goed werken.

Zodra u AI-modellen in productie hebt, moet u mechanismen en tools hebben om de business en de datawetenschappers zichtbaarheid te geven over wat de modellen doen.

Vooral in deze embryonale fase van AI/ML, is er geen ‘zet het en vergeet het’ optie. Aan het begin, moet u controleren hoe uw model zich gedraagt en passende aanpassingen maken. Het hebben van de juiste monitoring-mogelijkheden zodat het u kan waarschuwen wanneer uw modellen zich buiten de gewenste grenzen gedragen, is cruciaal.

Model-risicobeheer (MRM) moet ook rekening houden met de verschillende individuen die betrokken zijn bij de modelontwikkeling en -implementatie. Welke toegangscontrole heeft u ingesteld om de integriteit van de modellen te waarborgen? Of hoe zorgt u ervoor dat individuen uit verschillende groepen uw modellen niet per ongeluk gebruiken voor use-cases waarvoor uw modellen niet zijn ontworpen? Dit zijn allemaal vragen die teams zichzelf moeten stellen.

Hoe helpt Datatron bij model-risicobeheer?

MLOps maakt het mogelijk om snel model-updates en -wijzigingen door te voeren. Als een model bijvoorbeeld ongepast mensen op een leningaanvraag afwijst, maakt MLOps het mogelijk om het model terug te trekken en een nieuw model in te voeren, waardoor het risico op een eenvoudige manier wordt beheerd.

Het beschermt modellen tegen bias-drift en onderhoudt belangrijke metrics tijdens de productie via een eenvoudig dashboard dat deze metrics weergeeft met diepe, gedetailleerde gegevens vanuit een hoogoverzicht dat gemakkelijk kan worden begrepen door beslissers.

Het AI-governance-platform van Datatron biedt een niveau hoger dan een generieke monitoring-mogelijkheid – het geeft extra context en logica die duidelijke zichtbaarheid van de modellen biedt die meer relevant zijn voor de use-cases van de klant.

In een blogpost op Datatron beschreef u hoe Datatron het mantra van Reliable AI™ aanneemt. Kunt u uw visie op dit concept uitleggen?

Toen we dit bedachten, dachten we aan hoe comfortabel we ons voelen in commerciële vliegtuigen vandaag omdat ze zo betrouwbaar zijn.

Ondanks alle gesprekken over ethische AI, verantwoordelijke AI, enz., is de sleutelbehoefte voor bedrijven om AI/ML te kunnen gebruiken op een betrouwbare manier – net zoals als hun werknemers in een commercieel vliegtuig zouden stappen.

Het gebruik van termen als ethische AI, verantwoordelijke AI, is eigenlijk voortgekomen uit het feit dat de huidige AI-modellen niet doen wat ze zouden moeten doen, en dus onbetrouwbaar zijn. Bedrijven zijn niet bereid om AI te gebruiken omdat ze geen vertrouwen hebben dat hun modellen niet zijn voorzien van bias. Dit betekent dat hun modellen onbetrouwbaar zijn en Datatron is vastbesloten om dit te veranderen.

Is er nog iets anders dat u zou willen delen over Datatron?

We zijn een van de weinige MLOps-spelers die Super Bowl-bewezen zijn – succesvol werken in een hoge stress-situatie, wat niet typisch is voor een startup of open-source tool. De klant, Domino’s Pizza, werkt met Datatron om AI-modellen gemakkelijk en snel operationeel te maken in productie, die vervolgens werden getest tijdens de Super Bowl.

MLOps is echt de manier om AI/ML-modellen in productie te krijgen terwijl u resources bespaart en de kosten verlaagt. We zijn een duurzame bron voor succesvolle AI/ML-modellen en dienen als een katalysator voor omzet. Bedrijven kunnen eindelijk hun ROI van hun AI- en ML-projecten behalen. Ongeacht uw marges, kunt u resultaten behalen met MLOps.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten bezoeken Datatron.