Wilson Pang, medforfatter av Real World AI – Intervju-serie

Wilson Pang ble medlem av Appen i november 2018 som CTO og er ansvarlig for selskapets produkter og teknologi. Wilson har over nitten års erfaring innen programvareutvikling og datavitenskap. Før han ble medlem av Appen, var Wilson chief data officer i Ctrip i Kina, det nest største online reisebyråselskapet i verden, der han ledet dataingeniører, analytikere, dataproduktledere og forskere for å forbedre brukeropplevelsen og øke operasjonell effisiens som vokste forretningen. Før det var han senior direktør for ingeniørarbeid i eBay i California og ga ledelse i ulike domener, inkludert dataservice og løsninger, søkevitenskap, markedsførings-teknologi og faktureringssystemer. Han arbeidet som arkitekt i IBM før eBay, bygget teknologiløsninger for ulike kunder. Wilson fikk master- og bachelorgrader i elektroingeniør ved Zhejiang University i Kina.

Vi diskuterer hans nye bok: Den virkelige verden av AI: En praktisk guide for ansvarlig maskinlæring

Du beskriver hvordan da du ledet eBays søkevitenskapelige team, en av dine første lekser med maskinlæring var å forstå viktigheten av å vite hva metrikker å måle. Eksempelet som ble gitt var hvordan metrikken “kjøp per sesjon” ikke tok hensyn til den monetære verdien av en vare. Hvordan kan selskaper best forstå hva metrikker som må måles for å unngå lignende problemer?

Start med målene ditt team tilknytter AI-modellen – i vårt tilfelle ønsket vi å drive mer omsetning med maskinlæring. Når du kobler metrikker til målene, tenk på hva mekanismene disse metrikene vil produsere, når du slipper modellen fri og mennesker begynner å samhandle med den, men merk også dine antakelser. I vårt tilfelle antok vi at modellen ville optimalisere for omsetning, men antall kjøp per sesjon overså den monetære verdien, fordi modellen optimaliserte for høyt antall lav-verdi-salg, og til slutt tjente vi ikke mer penger. Når vi innser dette, kan vi endre metrikene og peke modellen i riktig retning. Så å bestemme granulære metrikker, samt å merke antakelser, er kritisk for prosjektets suksess.

Hva lærte du personlig av å forske og skrive denne boken?

Vi har mange forskjellige problemer som kan løses av AI fra forskjellige selskaper og industrier. Bruksene kan være svært forskjellige, AI-løsningen kan være forskjellig, dataene for å trene AI-løsningen kan være forskjellige. Likevel, uavhengig av alle disse forskjellene, feilene mennesker gjorde under sin AI-reise er ganske like. Disse feilene skjedde igjen og igjen i alle typer selskaper fra alle typer industrier.

Vi delte noen vanlige beste praksis når det gjelder å implementere AI-prosjekter med håp om å hjelpe flere mennesker og selskaper å unngå disse feilene og gi dem tillit til å deployere ansvarlig AI.

Hva er noen av de viktigste lekser du håper folk vil ta med seg fra å lese dette?

Vi tror sterkt på at tankefulle, ansvarlige og etiske bruk av maskinlæringsteknologi kan gjøre verden til et mer rettferdig, rettferdig og inkluderende sted. Maskinlæringsteknologi lover å omforme alt i forretningsverden, men det trenger ikke å være vanskelig. Det finnes prøvede og testede metoder og prosesser team kan følge og få tillit til å deployere til produksjon.

En annen viktig lekse er at linje-forretnings eiere (som produktledere) og teammedlemmer på den mer tekniske siden (som ingeniører og dataforskere) må snakke et felles språk. For å deployere AI suksessfullt, må ledere brobygge gapet mellom teamene, gi forretnings-spesialister og C-nivå nok kontekst til å kommunisere effektivt med tekniske implementatorer.

Mange mennesker tenker først på kode når de tenker på AI. En av de viktigste leksene i boken er at data er kritisk for suksessen av en AI-modell. Det er mye som følger med data fra innsamling til merking til lagring, og hver trinn vil påvirke suksessen av modellen. De mest suksessfulle AI-deployeringene er de som legger høy vekt på data og streber etter å forbedre denne aspekten av deres ML-modell.

Alt virkelige AI krever er et tverrfaglig team og en innovativ ånd.

Det diskuteres å bestemme når en AI-modells nøyaktighet er tilstrekkelig til å støtte bruk av AI. Hva er den enkleste måten å vurdere typen nøyaktighet som trengs?

Det avhenger av dine brukstilfeller og risikotoleranse. Team som utvikler AI må alltid ha en testfase hvor de bestemmer nøyaktighetsnivåer og akseptable terskler for deres organisasjon og interessenter. For liv-eller-død-brukstilfeller – der det er potensiell skade hvis AI går galt – som i tilfelle av domssoftware, selvkjørende biler, medisinske brukstilfeller, er terskelen svært høy – og team må sette i verk kontingenser i tilfelle modellene er feil. For mer feil-tolerante brukstilfeller – der det er mye subjektivitet i spill – som innhold, søk eller annonser, kan teamene stole på bruker-tilbakemelding for å justere modellene mens de er i produksjon. Selvfølgelig er det noen høyrisiko-brukstilfeller her, der ulovlig eller umoralsk materiale kan vises til brukerne, så sikrings- og tilbakemeldings-mekanismer må være på plass her også.

Kan du definere viktigheten av å definere suksess for et prosjekt på forhånd? 

Det er like viktig å starte med et forretningsproblem som det er å definere suksess på forhånd, da de to henger sammen. Følgende eksempel i boken om bilforhandleren som bruker AI til å merke bilder, de bestemte ikke hva suksess så ut som fordi de ikke hadde definert et forretningsproblem å løse. Suksess for dem kunne ha vært en rekke forskjellige ting, noe som gjør det vanskelig å løse et problem, selv for team av mennesker, ikke til å snakke om en maskinlæring-modell med et fast omfang. Hvis de hadde satt ut til å merke alle kjøretøy med skader for å lage en liste over kjøretøy som trengte reparasjon og definert suksess som å merke 80% av alle kjøretøy-skader i bruktbil-inventaret, da ville de ha kalt det en suksess når de hadde merket 85%. Men hvis denne suksessen ikke er knyttet til forretningsproblemet, og til direkte forretnings-påvirkning, er det vanskelig å vurdere prosjektet utenfor den fokuserte definisjonen av merking-nøyaktighet i dette eksempelet. Her var forretningsproblemet mer komplekst, og merking av skader er bare en komponent av det. I deres tilfelle kunne de ha vært bedre ved å definere suksess som å spare tid/penger på krav-prosessen eller å optimalisere reparasjons-prosessen med X% og så oversette merking-påvirkningen til reelle forretnings-resultater.

Hvor viktig er det å sikre at treningseksemplene dekker alle brukstilfellene som vil skje i produksjons-deployeringen?

Det er ekstremt viktig at modellen blir trent på alle brukstilfeller for å unngå bias. Men det er også viktig å merke at, selv om det er umulig å dekke absolutt alle brukstilfellene i produksjon, team som bygger AI må forstå sin produksjons-data, samt sin trening-data, så de kan trene AI for hva den vil møte i produksjon. Tilgang til trening-data som kommer fra store, diverse grupper med ulike brukstilfeller, vil være kritisk for modellens suksess. For eksempel, en modell som er trent til å gjenkjenne menneskers kjæledyr i et lastet opp bilde, må være trent på alle typer kjæledyr; hunder, katter, fugler, små pattedyr, reptiler, osv. Hvis modellen bare er trent på hunder, katter og fugler, da vil den ikke kunne gjenkjenne det når noen laster opp et bilde med sin marsvin. Mens dette er et svært enkelt eksempel, viser det hvordan trening på så mange sannsynlige brukstilfeller som mulig er kritisk for modellens suksess.

Det diskuteres i boken behovet for å utvikle gode data-hygiene-vaner fra toppen og ned. Hva er noen vanlige første skritt for å nære denne vanen?

Gode data-hygiene-vaner vil øke brukbarheten av intern data og gjøre den klar for ML-brukstilfeller. Hele selskapet må bli godt på å organisere og holde orden på sine datasamlinger. En sikker måte å oppnå dette på er å gjøre det til en forretnings-krav og spore implementering, så det blir svært få rapporter som ender opp som spesialjobber, og team arbeider mer og mer med data-pipelines som ledes til et sentralt repository, med en tydelig ontologi. En annen god praksis er å holde en rekord over når og hvor dataene ble samlet inn og hva som skjedde med dem før de ble plassert i databasen, samt å etablere prosesser for å rydde ut ubrukte eller stille data periodisk.

Takk for det flotte intervjuet, for lesere som er interessert i å lære mer, anbefaler jeg at de leser boken Den virkelige verden av AI: En praktisk guide for ansvarlig maskinlæring.