Wilson Pang, medforfatter af Real World AI – Interviewserie

Wilson Pang tiltrådte Appen i november 2018 som CTO og er ansvarlig for virksomhedens produkter og teknologi. Wilson har mere end nitten års erfaring inden for software-engineering og datavidenskab. Før han tiltrådte Appen, var Wilson chief data officer i Ctrip i Kina, verdens næststørste online rejsebureau, hvor han ledede dataingeniører, analytikere, dataproduktchefer og videnskabsmænd til at forbedre brugeroplevelsen og øge driftseffektiviteten, der voksede forretningen. Før det var han senior direktør for ingeniørarbejde hos eBay i Californien og leverede ledelse på forskellige områder, herunder dataservice og -løsninger, søgevidenskab, markedsførings-teknologi og faktureringsystemer. Han arbejdede som arkitekt hos IBM før eBay, hvor han byggede teknologiløsninger for forskellige kunder. Wilson erhvervede sin master- og bacheloruddannelse i elektroteknik fra Zhejiang University i Kina.

Vi diskuterer hans nye bog: Den virkelige verden af AI: En praktisk vejledning til ansvarlig maskinlæring

I beskriver, hvordan da du ledede eBays søgevidenskabsteams, en af dine første lektioner med maskinlæring var at forstå vigtigheden af at vide, hvilke målinger der skal måles. Eksemplet var, hvordan målet “køb per session” ikke tog højde for den monetære værdi af en vare. Hvordan kan virksomheder bedst forstå, hvilke målinger der skal måles for at undgå lignende problemer?

Start med målene, dit team tilskriver AI-modellen – i vores tilfælde ønskede vi at drive mere omsætning med maskinlæring. Når du tilknytter målinger til målene, tænk over, hvilke mekanismer disse målinger vil producere, når du frigør modellen og folk begynder at interagere med den, men tag også notis af dine antagelser. I vores tilfælde antog vi, at modellen ville optimere for omsætning, men antallet af køb per session overså den monetære værdi, fordi modellen optimerede for et højt antal lavværdikøb, og til sidst gjorde vi ikke mere penge. Når vi først indså det, kunne vi ændre målinger og pege modellen i den rette retning. Så fastlæggelse af detaljerede målinger samt notering af antagelser er afgørende for projektets succes.

Hvad lærte du personligt af at forskere og skrive denne bog?

Vi har mange forskellige problemer, der kan løses af AI fra forskellige virksomheder og brancher. Anvendelseseksemplerne kan være meget forskellige, AI-løsningen kan være forskellig, data til at træne AI-løsningen kan være forskellig. Men uanset alle disse forskelle er fejlene, folk begår under deres AI-rejse, ret ens. Disse fejl sker igen og igen i alle slags virksomheder fra alle slags brancher.

Vi deler nogle almindelige bedste praksisser, når det kommer til implementering af AI-projekter, med håb om at hjælpe flere mennesker og virksomheder med at undgå disse fejl og give dem tillid til at implementere ansvarlig AI.

Hvad er nogle af de vigtigste lektioner, du håber, folk vil tage med fra at læse denne bog?

Vi tror stærkt på, at tankefulde, ansvarlige og etiske anvendelser af maskinlærings-teknologi kan gøre verden til et mere retfærdigt, fair og inklusivt sted. Maskinlærings-teknologi lover at omforme alt i forretningsverdenen, men det behøver ikke at være svært. Der er afprøvede og testede metoder og processer, teams kan følge og få tillid til at implementere i produktion.

En anden vigtig lektion er, at linje-forretnings ejere (som produktchefer) og teammedlemmer på den mere tekniske side (som ingeniører og datavidenskabsmænd) behøver at tale et fælles sprog. For at implementere AI med succes skal ledere brobygge mellem teams, give forretnings-specialister og C-niveau nok kontekst til at kommunikere effektivt med tekniske implementeringshold.

Mange mennesker tænker først på kode, når de tænker på AI. En af de vigtigste lektioner i bogen er, at data er afgørende for AI-modellens succes. Der er meget, der følger med data fra indsamling til mærkning til lagring, og hvert skridt vil påvirke modellens succes. De mest succesfulde AI-implementeringer er dem, der lægger stor vægt på data og stræber efter at forbedre dette aspekt af deres ML-model.

Alt, der kræves til virkeligt AI, er et tværfagligt hold og en innovativ ånd.

Der diskuteres, hvordan man afgør, hvornår en AI-modells nøjagtighed er tilstrækkelig høj til at understøtte brug af AI. Hvad er den nemmeste måde at vurderer, hvilken type nøjagtighed der er nødvendig?

Det afhænger af dine anvendelsesscenarier og risikotolerance. Teams, der udvikler AI, skal altid have en testfase, hvor de fastlægger nøjagtighedsniveauer ogacceptable grænseværdier for deres organisation og interessenter. For liv- eller død-scenarier – hvor der er potentiel skade, hvis AI går galt, som i tilfældet med domssystem, selv kørende biler, medicinske tilfælde, er grænsen meget, meget høj – og teams skal etablere kontingenser, hvis modellerne er forkerte. For mere fejl-tolerante scenarier – hvor der er meget subjektivitet på spil – som indhold, søgning eller annoncerelevans, kan teams stole på brugerfeedback til at justere deres modeller, selv mens de er i produktion. Selvfølgelig er der nogle højrisikoscenarier her, hvor ulovligt eller umoralsk materiale kan vises for brugere, så sikkerheds- og feedback-mekanismer skal være på plads her også.

Kan du definere vigtigheden af at definere succes for et projekt fra starten?

Det er lige så vigtigt at starte med et forretningsproblem som det er at definere succes fra starten, da de to hænger sammen. Følgende eksempel i bogen om bilforhandleren, der bruger AI til at mærke billeder, de definerede ikke, hvad succes så ud som, fordi de ikke havde defineret et forretningsproblem at løse. Succes for dem kunne have været mange forskellige ting, hvilket gør det svært at løse et problem, selv for hold af mennesker, endsige en maskinlæringsmodel med et fast omfang. Hvis de havde sat sig for at mærke alle køretøjer med buler for at oprette en liste over køretøjer, der havde brug for reparation, og defineret succes som korrekt mærkning af 80% af alle køretøjs buler i brugt bil-lager, så ville holdet have betragtet det som en succes, når de havde mærket 85% korrekt. Men hvis denne succes ikke er knyttet til forretningsproblemet og til direkte forretningsimpact, er det svært at evaluere projektet ud over den fokuserede definition af mærkningsnøjagtighed i dette eksempel. Her var forretningsproblemet mere komplekst, og mærkning af buler er kun en komponent heraf. I deres tilfælde kunne de have været bedre stillet, hvis de havde defineret succes som at spare tid/penge på kravprocessen eller optimere reparationer med X% og derefter oversætte mærkningsimpact til reelle forretningsresultater.

Hvor vigtigt er det at sikre, at træningsdataeksempler dækker alle de scenarier, der vil opstå under produktion?

Det er ekstremt vigtigt, at modellen trænes på alle scenarier for at undgå bias. Men det er også vigtigt at bemærke, at det er umuligt at dække absolut alle scenarier i produktion, teams, der bygger AI, behøver at forstå deres produktionsdata såvel som deres træningsdata, så de kan træne AI til det, de vil møde i produktion. Adgang til træningsdata, der kommer fra store, diverse grupper med forskellige scenarier, vil være afgørende for modellens succes. For eksempel skal en model, der er trænet til at genkende menneskers kæledyr på et uploadet billede, trænes på alle slags kæledyr; hunde, katte, fugle, små pattedyr, krybdyr osv. Hvis modellen kun er trænet på hunde, katte og fugle, vil den ikke være i stand til at genkende det, når nogen uploader et billede med deres marsvin. Selv om dette er et meget enkelt eksempel, viser det, hvor vigtigt det er at træne på så mange sandsynlige scenarier som muligt for modellens succes.

Der diskuteres i bogen behovet for at udvikle gode datahygiejnevaner fra toppen og ned. Hvad er nogle almindelige første skridt til at nære denne vane?

Gode datahygiejnevaner vil øge brugbarheden af interne data og gøre dem klar til ML-anvendelser. Hele virksomheden skal blive god til at organisere og holde styr på deres datasæt. En sikker måde at opnå dette på er at gøre det til en forretningskrav og spore implementering, så der er meget få rapporter, der ender med at blive tilpassede arbejdsopgaver, og teams arbejder mere og mere med datapipelines, der føres til en central repository med en klar ontologi. En anden god praksis er at holde en optegnelse over, hvornår og hvor data blev indsamlet og hvad der skete med det, før det blev placeret i databasen, samt at etablere processer til at rydde ubrugt eller forældet data periodisk.

Tak for det gode interview, for læsere, der er interesseret i at lære mere, anbefaler jeg, at de læser bogen Den virkelige verden af AI: En praktisk vejledning til ansvarlig maskinlæring.