Wilson Pang, medforfatter af Real World AI – Interviewserie

Wilson Pang sluttede sig til Appen i november 2018 som teknisk direktør og er ansvarlig for virksomhedens produkter og teknologi. Wilson har mere end 19 års erfaring inden for software-udvikling og datavidenskab. Før han sluttede sig til Appen, var Wilson chief data officer i Ctrip i Kina, verdens næststørste online rejsebureau, hvor han ledede dataingeniører, analytikere, dataproduktchefer og videnskabsmænd til at forbedre brugeroplevelsen og øge den operationelle effektivitet, der fik virksomheden til at vokse. Før det var han senior direktør for teknologi i eBay i Californien og gav ledelse i forskellige områder, herunder dataservice og -løsninger, søgningsvidenskab, markedsførings-teknologi og faktureringsystemer. Han arbejdede som arkitekt hos IBM før eBay, hvor han udviklede teknologiløsninger for forskellige kunder. Wilson har en master- og bachelorgrad i elektroteknik fra Zhejiang Universitet i Kina.

Vi diskuterer hans nye bog: Den virkelige verden af AI: En praktisk vejledning til ansvarlig maskinlæring

Du beskriver, hvordan da du ledede eBays søgningsvidenskabs-hold, en af dine første lærdomme med maskinlæring var at forstå vigtigheden af at vide, hvilke målinger der skal måles. Eksemplet var, hvordan målingen “køb per session” ikke tog hensyn til den monetære værdi af en vare. Hvordan kan virksomheder bedst forstå, hvilke målinger der skal måles for at undgå lignende problemer?

Start med de mål, dit hold tilknytter til AI-modellen – i vores tilfælde ville vi drive mere omsætning med maskinlæring. Når du tilknytter målinger til målene, tænk over, hvilke mekanismer disse målinger vil producere, når du frigør modellen og folk begynder at interagere med den, men tag også noter af dine antagelser. I vores tilfælde antog vi, at modellen ville optimere for omsætning, men antallet af køb per session oversættede ikke til det, fordi modellen optimerede for et højt antal lavværdi-salg, og til sidst gjorde vi ikke mere penge. Når vi fik indsigt i det, kunne vi ændre målinger og pege modellen i den rette retning. Så bestemmelse af detaljerede målinger samt notering af antagelser er afgørende for projektets succes.

Hvad lærte du personligt af at forskere og skrive denne bog?

Vi har mange forskellige problemer, der kan løses af AI fra forskellige virksomheder og brancher. Anvendelsesmulighederne kan være meget forskellige, AI-løsningen kan være forskellig, data til at træne AI-løsningen kan være forskellig. Men uanset alle disse forskelle er fejl, mennesker har begået under deres AI-rejse, meget ens. Disse fejl sker igen og igen i alle slags virksomheder fra alle slags brancher.

Vi deler nogle almindelige bedste praksis, når det kommer til implementering af AI-projekter, med håb om at hjælpe flere mennesker og virksomheder med at undgå disse fejl og give dem tillid til at implementere ansvarlig AI.

Hvad er nogle af de vigtigste lærdomme, du håber, folk vil tage med fra at læse denne bog?

Vi tror stærkt på, at omhyggelige, ansvarlige og etiske brug af maskinlærings-teknologi kan gøre verden til et mere retfærdigt, rimeligt og inklusivt sted. Maskinlærings-teknologi lover at omforme alt i forretningsverdenen, men det behøver ikke at være svært. Der er afprøvede metoder og processer, hold kan følge og få tillid til at implementere i produktion.

En anden vigtig lærdom er, at ejere af forretningslinjer (som produktchefer) og teammedlemmer på den mere tekniske side (som ingeniører og datavidenskabsmænd) skal tale et fælles sprog. For at implementere AI med succes skal ledere brobygge mellem holdene og give forretnings_specialister og C-niveau nok kontekst til at kommunikere effektivt med tekniske implementeringshold.

Mange mennesker tænker først på kode, når de tænker på AI. En af de vigtigste lærdomme i bogen er, at data er afgørende for AI-modellens succes. Der er meget, der følger med data fra indsamling til mærkning til lagring, og hvert trin vil påvirke modellens succes. De mest succesfulde AI-implementeringer er dem, der lægger stor vægt på data og stræber efter at forbedre dette aspekt af deres ML-model.

Alt, der kræves til rigtig verden af AI, er et tværfagligt hold og en innovativ ånd.

Det diskuteres, hvordan man bedst kan afgøre, hvornår en AI-modells nøjagtighed er tilstrækkelig høj til at understøtte brug af AI. Hvad er den nemmeste måde at vurdere den type nøjagtighed, der er nødvendig?

Det afhænger af dine anvendelsesmuligheder og risikotolerance. Hold, der udvikler AI, skal altid have en testfase, hvor de bestemmer nøjagtighedsniveauer og acceptable grænser for deres organisationer og interessenter. For liv eller død-anvendelsesmuligheder – hvor der er potentiel skade, hvis AI går galt, som i tilfælde af domssystemer, selv kørende biler, medicinske anvendelsesmuligheder, er grænsen meget, meget høj – og hold skal implementere kontingenser i tilfælde af, at modellerne er forkerte. For mere fejltolerante anvendelsesmuligheder, hvor der er meget subjektivitet på spil – som indhold, søgning eller annoncerelevans, kan hold stole på brugerfeedback til at justere deres modeller, selv mens de er i produktion. Naturligvis er der nogle højrisiko-anvendelsesmuligheder her, hvor ulovligt eller umoralsk materiale kan blive vist til brugere, så sikkerheds- og feedback-mekanismer skal være på plads her, også.

Kan du definere vigtigheden af at definere succes for et projekt fra starten? 

Det er lige så vigtigt at starte med et forretningsproblem som det er at definere succes fra starten, da de to hænger sammen. Følgende eksempel i bogen om bilforhandleren, der bruger AI til at mærke billeder, havde de ikke defineret, hvad succes så ud som, fordi de ikke havde defineret et forretningsproblem at løse. Succes for dem kunne have været mange forskellige ting, hvilket gør det svært at løse et problem, selv for hold af mennesker, endsige en maskinlæringsmodel med et fast omfang. Hvis de havde sat sig for at mærke alle køretøjer med buler for at oprette en liste over køretøjer, der havde brug for reparation, og havde defineret succes som at mærke 80% af alle køretøjer med buler i brugt bil-lageret, så ville holdet have kaldt det en succes, når de havde mærket 85% korrekt. Men hvis succes ikke er knyttet til forretningsproblemet og til direkte forretningsvirkning, er det svært at evaluere projektet uden for den fokuserede definition af mærkningsnøjagtighed i dette eksempel. Her var forretningsproblemet mere komplekst, og mærkning af buler er kun en del af det. I deres tilfælde kunne de have været bedre stillet, hvis de havde defineret succes som at spare tid/penge på kravprocessen eller optimere reparationer med X% og derefter oversætte mærkningsvirkningen til reelle forretningsresultater.

Hvor vigtigt er det at sikre, at træningsdata-eksempler dækker alle anvendelsesmuligheder, der vil opstå under produktion?

Det er ekstremt vigtigt, at modellen trænes på alle anvendelsesmuligheder for at undgå bias. Men det er også vigtigt at bemærke, at det er umuligt at dække absolut alle anvendelsesmuligheder i produktion, og hold, der bygger AI, skal forstå deres produktionsdata såvel som deres træningsdata, så de kan træne AI til det, de vil møde i produktion. Adgang til træningsdata, der kommer fra store, diverse grupper med forskellige anvendelsesmuligheder, vil være afgørende for modellens succes. For eksempel skal en model, der er trænet til at genkende menneskers kæledyr på et uploadet billede, trænes på alle slags kæledyr; hunde, katte, fugle, små pattedyr, øgler osv. Hvis modellen kun er trænet på hunde, katte og fugle, vil den ikke være i stand til at identificere det, hvis nogen uploader et billede med deres marsvin. Selv om dette er et meget enkelt eksempel, viser det, hvor vigtigt det er at træne på så mange sandsynlige anvendelsesmuligheder som muligt for modellens succes.

Det diskuteres i bogen, behovet for at udvikle gode datahygiejne-vaner fra toppen og ned, hvad er nogle almindelige første skridt til at nære denne vane?

Gode datahygiejne-vaner vil øge brugbarheden af interne data og gøre dem klar til ML-anvendelsesmuligheder. Hele virksomheden skal blive god til at organisere og holde styr på deres datasæt. En sikker måde at opnå dette på er at gøre det til en forretningskrav og spore implementering, så der er meget få rapporter, der ender som specialjob, og hold arbejder mere og mere med datapipelines, der ledes til en central repository med en klar ontologi. En anden god praksis er at holde en optegnelse over, hvornår og hvor data blev indsamlet, og hvad der skete med det, før det blev placeret i databasen, samt etablering af processer til at rydde ubrugt eller stagneret data periodisk.

Tak for det gode interview, for læsere, der er interesserede i at lære mere, anbefaler jeg, at de læser bogen Den virkelige verden af AI: En praktisk vejledning til ansvarlig maskinlæring.