Wilson Pang, Co-Autor al cărții Real World AI – Seria de interviuri

Wilson Pang s-a alăturat Appen în noiembrie 2018 în calitate de CTO și este responsabil pentru produsele și tehnologia companiei. Wilson are peste nouăsprezece ani de experiență în inginerie software și știință a datelor. Înainte de a se alătura Appen, Wilson a fost director de date al companiei Ctrip în China, a doua cea mai mare companie de agenții de turism online din lume, unde a condus ingineri de date, analiști, manageri de produse de date și oameni de știință pentru a îmbunătăți experiența utilizatorilor și a crește eficiența operațională care a făcut să crească afacerea. Înainte de aceasta, el a fost director senior de inginerie la eBay în California și a oferit conducere în diverse domenii, inclusiv servicii de date și soluții, știință de căutare, tehnologie de marketing și sisteme de facturare. A lucrat ca arhitect la IBM înainte de eBay, construind soluții tehnologice pentru diverse clienți. Wilson a obținut masteratul și licența în inginerie electrică de la Universitatea Zhejiang din China.

Discutăm despre noua lui carte: Lumea Reală a Inteligenței Artificiale: Un Ghid Practic pentru Învățarea Mașinilor Responsabile

Descrieți cum, atunci când conducea echipele de știință de căutare ale eBay, una dintre primele lecții cu învățarea mașinilor a fost înțelegerea importanței cunoașterii metricilor de măsurat. Exemplul dat a fost modul în care metrica “cumpărături pe sesiune” nu a ținut cont de valoarea monetară a unui articol. Cum pot companiile să înțeleagă cel mai bine care sunt metricile care trebuie măsurate pentru a evita astfel de probleme?

Începeți cu obiectivele pe care le atribuiți modelului de inteligență artificială – în cazul nostru, am vrut să creștem veniturile cu învățarea mașinilor. Când atașați metrici la obiective, gândiți-vă la ce mecanisme vor produce aceste metrici, odată ce lansați modelul și oamenii încep să interacționeze cu el, dar luați și notă de ipotezele dumneavoastră. În cazul nostru, am presupus că modelul va optimiza veniturile, dar numărul de cumpărături pe sesiune nu s-a translat în asta, deoarece modelul a optimizat pentru vânzări de valoare mică și, la sfârșitul zilei, nu am făcut mai mulți bani. Odată ce am realizat asta, am putut să schimbăm metricile și să îndreptăm modelul în direcția corectă. Așadar, determinarea metricilor granulare, precum și notarea ipotezelor, sunt cruciale pentru succesul unui proiect.

Ce ați învățat personal din cercetarea și scrierea acestei cărți?

Avem multe probleme diferite care pot fi rezolvate de inteligența artificială de la diverse companii și industrii. Cazurile de utilizare pot fi foarte diferite, soluția de inteligență artificială poate fi diferită, datele pentru a antrena acea soluție de inteligență artificială pot fi diferite. Cu toate acestea, indiferent de toate aceste diferențe, greșelile pe care oamenii le fac în timpul călătoriei lor cu inteligența artificială sunt destul de asemănătoare. Aceste greșeli s-au întâmplat din nou și din nou în toate felurile de companii din toate felurile de industrii.

Am împărtășit unele practici comune de bună practică atunci când se implementează proiecte de inteligență artificială, cu speranța de a ajuta mai multe persoane și companii să evite aceste greșeli și să le dea încrederea de a implementa inteligența artificială responsabilă.

Ce sunt unele dintre cele mai importante lecții pe care sperați că oamenii le vor învăța din citirea acestei cărți?

Credem cu fermitate că utilizările gândite, responsabile și etice ale tehnologiei de învățare a mașinilor pot face lumea un loc mai just, mai corect și mai incluziv. Tehnologia de învățare a mașinilor promite să restructureze totul în lumea afacerilor, dar nu trebuie să fie greu. Există metode și procese testate și verificate pe care echipele le pot urma și pot obține încrederea de a implementa în producție.

O altă lecție cheie este că proprietarii de afaceri (precum managerii de produs) și membrii echipei din partea mai tehnică (precum inginerii și oamenii de știință) au nevoie să vorbească o limbă comună. Pentru a implementa cu succes inteligența artificială, liderii trebuie să acopere gap-ul dintre echipe, oferind specialiștilor în afaceri și nivelului C suficient context pentru a conversa eficient cu implementatorii tehnici.

Mulți oameni se gândesc mai întâi la cod atunci când se gândesc la inteligența artificială. Una dintre lecțiile cheie din carte este că datele sunt critice pentru succesul unui model de inteligență artificială. Există multe lucruri care se întâmplă cu datele, de la colectare la etichetare, stocare și fiecare pas va influența succesul modelului. Implementările de inteligență artificială cele mai de succes sunt cele care pun un accent deosebit pe date și se străduie să îmbunătățească în mod continuu acest aspect al modelului lor de învățare a mașinilor.

Toate implementările de inteligență artificială din lumea reală necesită o echipă transversală și un spirit inovator.

Se discută despre determinarea momentului în care acuratețea unui model de inteligență artificială este suficient de mare pentru a susține utilizarea inteligenței artificiale. Care este cel mai ușor mod de a evalua tipul de acuratețe care este necesar?

Depinde de cazurile de utilizare și de toleranța la risc. Echipele care dezvoltă inteligență artificială ar trebui să aibă întotdeauna o fază de testare în care să determine nivelurile de acuratețe și pragurile acceptabile pentru organizațiile și stakeholderii lor. Pentru cazurile de utilizare cu risc de viață sau de moarte – unde există un potențial de rău dacă inteligența artificială dă greș, cum ar fi în cazul software-ului de sentință, mașinilor autonome, cazurilor medicale, pragul este foarte, foarte ridicat – și echipele trebuie să pună în aplicare măsuri de siguranță în cazul în care modelele sunt greșite. Pentru cazurile de utilizare mai tolerante la greșeli – unde există multă subiectivitate, cum ar fi conținutul, căutarea sau publicitatea, echipele pot să se bazeze pe feedback-ul utilizatorilor pentru a continua să ajusteze modelele lor chiar și în timpul producției. Desigur, există și cazuri de utilizare cu risc ridicat aici, unde materialul ilegal sau imoral ar putea fi afișat utilizatorilor, astfel încât măsurile de siguranță și mecanismele de feedback trebuie să fie puse în aplicare și aici.

Puteți defini importanța definirii succesului unui proiect de la început?

Este la fel de important să începeți cu o problemă de afaceri, precum și să definiți succesul de la început, deoarece cele două merg mână în mână. Urmând exemplul din carte despre dealerul auto care utilizează inteligența artificială pentru a eticheta imagini, nu au determinat ce înseamnă succesul, deoarece nu au definit o problemă de afaceri de rezolvat. Succesul pentru ei ar fi putut fi o mulțime de lucruri diferite, ceea ce face dificilă rezolvarea unei probleme, chiar și pentru echipe de oameni, și cu atât mai mult pentru un model de învățare a mașinilor cu un scop fix. Dacă ar fi stabilit să eticheteze toate vehiculele cu defecte pentru a crea o listă de vehicule care necesită reparații și au definit succesul ca etichetarea corectă a 80% din toate vehiculele cu defecte din stocul de mașini second-hand, atunci, când ar fi etichetat corect 85%, echipa ar fi considerat-o un succes. Dar dacă acel succes nu este legat de problema de afaceri și de impactul direct asupra afacerii, este greu de evaluat proiectul în afara definiției focalizate a acurateței de etichetare în acest exemplu. Aici, problema de afaceri a fost mai complexă, și etichetarea defectelor a fost doar o componentă a acesteia. În cazul lor, ar fi fost mai bine să definească succesul ca economisirea timpului/banilor în procesul de solicitare a despăgubirilor sau optimizarea procesului de reparații cu X% și apoi să traducă impactul etichetării în rezultate reale de afaceri.

Cât de important este să se asigure că exemplele de date de antrenare acoperă toate cazurile de utilizare care vor apărea în timpul implementării în producție?

Este extrem de important ca modelul să fie antrenat pe toate cazurile de utilizare pentru a evita prejudecățile. Dar este important de remarcat că, deși este imposibil să se acopere absolut toate cazurile de utilizare în producție, echipele care construiesc inteligență artificială trebuie să înțeleagă datele lor de producție, precum și datele lor de antrenare, astfel încât să antreneze inteligența artificială pentru ceea ce va întâlni în producție. Accesul la date de antrenare care provin din grupuri mari și diverse, cu diverse cazuri de utilizare, va fi critic pentru succesul modelului. De exemplu, un model care este antrenat pentru a recunoaște animalele de companie ale oamenilor într-o imagine încărcată trebuie să fie antrenat pe toate tipurile de animale; câini, pisici, păsări, mamifere mici, reptile, etc. Dacă modelul este antrenat doar pe câini, pisici și păsări, atunci când cineva încarcă o imagine cu porcul său de guineea, modelul nu va putea să îl identifice. Deși acesta este un exemplu foarte simplu, el arată cum antrenarea pe cât mai multe cazuri de utilizare posibile este critică pentru succesul unui model.

Se discută în carte despre nevoia de a dezvolta obiceiuri bune de igienă a datelor de sus în jos, care sunt unele dintre primii pași pentru a cultiva acest obicei?

Obiceiurile bune de igienă a datelor vor crește utilizabilitatea datelor interne și le vor pregăti pentru cazurile de utilizare ale învățării mașinilor. Întreaga companie trebuie să devină bună la organizarea și urmărirea seturilor de date. Un mod sigur de a realiza acest lucru este să o facă o cerință de afaceri și să urmărească implementarea, astfel încât să existe foarte puține rapoarte care să ajungă la locuri de muncă personalizate, și echipele să lucreze din ce în ce mai mult cu conducte de date direcționate către un depozit central, cu o ontologie clară. O altă bună practică este păstrarea unei înregistrări a momentului și locului în care au fost colectate datele și a ceea ce s-a întâmplat cu ele înainte de a fi plasate în baza de date, precum și stabilirea unor procese pentru curățarea datelor nefolosite sau învechite periodic.

Vă mulțumim pentru acest interviu minunat, pentru cititorii care sunt interesați să învețe mai mult, vă recomandăm să citiți cartea Lumea Reală a Inteligenței Artificiale: Un Ghid Practic pentru Învățarea Mașinilor Responsabile.