Victor Thu, Președintele Datatron – Seria de Interviuri

Victor Thu este președintele Datatron, o platformă care ajută întreprinderile să valorifice puterea învățării automate, prin accelerarea implementărilor, detectarea problemelor la timp și creșterea eficienței gestionării multiplelor modele la scară.

Fundalul dvs. este în marketing de produs, strategie de lansare și management de produs, cum v-a condus această experiență să lucrați în domeniul inteligenței artificiale și al învățării automate?

Îmi place tehnologia și unii dintre prietenii mei apropiați mă numesc chiar “șoptitor de tehnologie”. Îmi place să iau subiecte complexe de tehnologie și să le traduc într-un limbaj pe care oamenii îl pot înțelege, și să mă educ pe mine însumi despre noi tehnologii pentru a ajunge la “de ce” din spatele tehnologiilor care contează cel mai mult pentru oameni.

Prima mea întâlnire cu ceea ce numesc “inteligență artificială modernă” a fost atunci când am urmărit o prezentare a unui profesor de inteligență artificială de la Stanford, Dr. Fei-Fei Li. Prezentarea Dr. Li a fost atât de captivantă încât a reprezentat un punct de cotitură pentru mine în carieră. Acea prezentare m-a convins că acesta este locul unde vreau să fiu următorul. Voiam să fiu parte a următoarei valuri de tehnologie în care vom folosi inteligența artificială și învățarea automată pentru a rezolva provocări de business.

De atunci, am lucrat cu mai multe startup-uri de inteligență artificială și învățare automată, lucrând pentru a folosi tehnologia pentru a aborda nevoi reale de business. Am lucrat foarte strâns cu oameni de știință în domeniul inteligenței artificiale, care mi-au oferit o cunoaștere enormă în domeniul inteligenței artificiale și al învățării automate. Și încă învăț astăzi, deoarece spațiul se dezvoltă atât de rapid.

Deci, cu adevărat, pasiunea mea pentru tehnologie și modul în care o pot folosi pentru a ajuta pe alții m-a adus să lucrez îndeaproape cu inteligența artificială și învățarea automată.

Datatron se axează pe MLOps, pentru cititorii care nu sunt familiari cu acest termen, ați putea descrie în mod specific ce este?

MLOps este esențialmente codificarea și simplificarea procesului foarte artisanal de a trece de la modele de inteligență artificială și învățare automată de la prototip la producție.

Una dintre cele mai mari concepții greșite este că, odată ce oamenii de știință au construit modelele lor de inteligență artificială, pot să le pună rapid în producție. Cu toate acestea, realitatea este că poate dura până la un an înainte ca un model să poată fi implementat.

Principalul motiv pentru această întârziere este că persoanele care au expertiză în dezvoltarea de modele nu au neapărat și expertiză în inginerie software. O comparație bună este arhitecții care proiectează clădiri înalte – ei nu sunt și constructorii care le construiesc.

MLOps este esențialmente podul dintre dezvoltatorii de modele și ingineria software. În loc să petreci mai mult de 12 luni pentru a pune modelele în producție, MLOps poate reduce acest proces lung la doar câteva zile.

Într-un articol pe care l-ați scris pentru noi în septembrie 2021, ați discutat despre cum “Principalul obstacol în a aduce soluții în producție nu este calitatea modelelor, ci mai degrabă lipsa de infrastructură pentru a permite companiilor să o facă.” De ce este acesta un obstacol pentru majoritatea companiilor?

Există câteva factori care contribuie la aceasta.

• Romantizarea excesivă a “software-ului open-source gratuit”. Vreau să subliniez mai întâi că îndrăgim software-ul open-source și credem cu tărie că a ajutat industria să progreseze cu salturi uriașe. Cu toate acestea, mulți nu înțeleg complexitatea software-ului open-source în relație cu inteligența artificială și învățarea automată. Astăzi, există o penurie severă de talente în inteligența artificială și învățarea automată. Când cuplați acest lucru cu găsirea de ingineri software (ingineri de inteligență artificială sau MLOps) care știu cum să gestioneze proprietățile unice ale codurilor de inteligență artificială și învățare automată, pentru a construi apoi o platformă de MLOps la scară întreprindere, prin descoperirea a peste 300 de proiecte open-source MLOps, este un drum spre eșec.
• Lipsa de infrastructură pentru a sprijini echipele de ingineri. Companiile au nevoie de un mediu mai bun pentru a pune inginerii în condiții de a reuși. Trebuie să existe o bandă largă de comunicații și un buget adecvat pentru a oferi echipele instrumentele corecte. Inteligența artificială este o tehnologie relativ nouă. Întreprinderile care fac inteligență artificială nu știu întotdeauna ce trebuie să facă pentru a pune modelele în producție rapid, ceea ce face ca MLOps să fie un instrument atât de vital.

Cum rezolvă utilizarea MLOps lipsa de infrastructură?

MLOps rezolvă lipsa de infrastructură în patru moduri:

1. Fără modificări de cod proprietar: Oamenii de știință vor flexibilitatea de a construi modele care se potrivesc cu cazurile de utilizare ale afacerilor în mediile lor, prin urmare orice procese MLOps care necesită modificări de cod complică integritatea modelelor lor.
2. Automatizare și scriptare: Multe echipe scriptează modele într-un mod codat dur, ceea ce necesită mult timp. MLOps automatizează întregul proces, economisind mult timp și energie.
3. Actualizări simplificate: Modelele de inteligență artificială se schimbă în mod regulat pentru a se adapta la mediu. Uneori, oamenii de știință trebuie să se întoarcă pentru a actualiza modelele frecvent. Fără MLOps, nu există nicio modalitate de a evita această actualizare repetitivă.
4. Gestionarea infrastructurii subiacente: Pentru a pune modelele în producție, trebuie să calculați rețeaua și stocarea, care necesită proprietăți unice ale modelelor de inteligență artificială și învățare automată. Uneltele MLOps au capacitatea de a accesa resursele corecte pentru a le scala în consecință.

Există și cerințe de întreprindere care nu sunt luate în considerare atunci când se construiește o unealtă MLOps, cum ar fi controlul accesului bazat pe rol (RBAC), integrare și interoperabilitate, suport pentru diferite unelte de inteligență artificială, abordarea vulnerabilităților de securitate și plecarea neașteptată a membrilor cheie ai echipei.

Care sunt punctele dvs. de vedere personale cu privire la importanța guvernanței inteligenței artificiale?

Au existat nenumărate povești de groază despre modele de inteligență artificială care nu funcționează corect, de la etichetarea greșită a anumitor grupuri de oameni până la provocarea de pierderi financiare masive pentru companii cotate la bursă.

Guvernanța inteligenței artificiale este extrem de importantă pentru afaceri atunci când au modele de inteligență artificială în producție. Cu toate acestea, nu este diferită de alte guvernanțe IT sau de afaceri. Astăzi, atunci când aplicațiile dvs. rulează în cloud sau chiar în centrele de date proprii, aveți o serie de unelte pentru a asigura că aplicațiile funcționează corect.

În momentul în care aveți modele de inteligență artificială în producție, trebuie să aveți mecanisme și unelte în loc pentru a oferi afacerilor și oamenilor de știință vizibilitate asupra a ceea ce fac modelele.

În special în această etapă incipientă a inteligenței artificiale și a învățării automate, nu există o opțiune “setează și uită”. La început, trebuie să monitorizați cum se comportă modelul și să faceți ajustări adecvate. Având capacități de monitorizare corespunzătoare, astfel încât să vă alerteze atunci când modelele se comportă în afara limitelor dorite, este cheia.

Managementul riscului modelului (MRM) trebuie, de asemenea, să ia în considerare diversele persoane implicate în dezvoltarea și implementarea modelului. Ce control al accesului ați pus în loc pentru a asigura integritatea modelelor? Sau cum asigurați că persoanele din diferite grupuri nu folosesc accidental modelele pentru cazuri de utilizare pentru care modelele nu sunt proiectate să le facă? Toate întrebările pe care echipele trebuie să și le pună.

Cum ajută Datatron la gestionarea riscului modelului?

MLOps permite actualizări și modificări rapide ale modelului. De exemplu, dacă un model respinge în mod necorespunzător oameni pe o cerere de împrumut, MLOps vă permite să retrageți modelul și să reintroduceți unul nou, gestionând astfel riscul într-un mod simplu.

Protejează modelele de la o derivă a bias-ului și menține metrici cheie în timp ce se află în producție, prin intermediul unui dashboard simplu care prezintă aceste metrici utilizând date detaliate și profunde de la o vedere de ansamblu care poate fi ușor înțeleasă de către factorii de decizie din business.

Platforma Datatron oferă o guvernanță a inteligenței artificiale care oferă un nivel superior față de o capacitate de monitorizare generică, oferind context și logică care prezintă o vizibilitate clară a modelului care este mai relevantă pentru cazurile de utilizare ale clientului.

Într-o postare pe blog de pe Datatron, ați descris cum Datatron a adoptat deviza Reliable AI. Ați putea descrie, din punctul dvs. de vedere, ce este aceasta?

Când am venit cu aceasta, am gândit la modul în care suntem atât de confortabili să zburăm cu avioanele comerciale astăzi, deoarece sunt foarte fiabile.

În ciuda tuturor discuțiilor despre inteligență artificială etică, inteligență artificială responsabilă etc., nevoia cheie este ca afacerile să poată utiliza inteligența artificială și învățarea automată în mod fiabil – exact ca și cum angajații lor ar urca într-un avion comercial.

Folosirea de termeni precum inteligență artificială etică, inteligență artificială responsabilă a provenit cu adevărat din problema modelelor actuale de inteligență artificială care nu fac ceea ce sunt menite să facă și, prin urmare, sunt considerate nefiabile. Afacerile nu sunt dispuse să utilizeze inteligența artificială deoarece nu au încredere că modelele lor nu sunt biasate. Acest lucru înseamnă că modelele lor sunt nefiabile și Datatron este hotărât să schimbe acest lucru.

Există ceva altceva pe care ați dori să îl împărtășiți despre Datatron?

Suntem unul dintre puținii jucători MLOps care sunt dovediți la Super Bowl – lucrând cu succes într-un scenariu de stres ridicat, ceea ce nu este tipic pentru o companie de startup sau o unealtă open-source. Clientul nostru, Domino’s Pizza , lucrează cu Datatron pentru a operaționaliza rapid și ușor modelele de inteligență artificială în producție, care au fost apoi supuse testului final în timpul Super Bowl.

MLOps este, într-adevăr, modalitatea de a ajuta modelele de inteligență artificială și învățare automată să intre în producție, conservând resurse și reducând costurile. Suntem o sursă durabilă pentru modele de inteligență artificială și învățare automată de succes și servim ca un catalizator pentru venituri. Companiile pot obține, în sfârșit, rentabilitatea investițiilor din proiectele lor de inteligență artificială și învățare automată. Indiferent de marjele dvs., puteți produce rezultate utilizând MLOps.

Mulțumim pentru acest interviu minunat; cititorii care doresc să afle mai multe despre Datatron ar trebui să viziteze Datatron.