Wilson Pang, medförfattare till Real World AI – Intervjuserie

Wilson Pang anslöt till Appen i november 2018 som CTO och ansvarar för företagets produkter och teknik. Wilson har över nitton års erfarenhet av programvaruteknik och datavetenskap. Innan han anslöt till Appen var Wilson chef för data på Ctrip i Kina, världens näst största online resebyrå, där han ledde dataingenjörer, analytiker, dataproduktchefer och forskare för att förbättra användarupplevelsen och öka den operativa effektiviteten som växte företaget. Innan dess var han senior direktör för teknik på eBay i Kalifornien och tillhandahöll ledarskap inom olika områden, inklusive dataservice och lösningar, sökvetenskap, marknadsföringsteknik och faktureringsystem. Han arbetade som arkitekt på IBM innan eBay, byggde tekniska lösningar för olika kunder. Wilson avlade sin master- och kandidatexamen i elektroteknik från Zhejiang University i Kina.

Vi diskuterar hans nya bok: Den riktiga världen av AI: En praktisk guide för ansvarsfull maskinlärning

När du ledde eBays sökvetenskapliga team var en av dina första lektioner med maskinlärning att förstå vikten av att veta vilka mått som ska mätas. Exemplet som gavs var hur måttet “köp per session” inte tog hänsyn till den monetära värdet av en artikel. Hur kan företag på bästa sätt förstå vilka mått som behöver mätas för att undvika liknande problem?

Börja med de mål som ditt team tilldelar AI-modellen – i vårt fall ville vi driva mer intäkter med maskinlärning. När du kopplar mått till målen, tänk på vilka mekanismer som dessa mått kommer att producera, när du släpper modellen och människor börjar interagera med den, men anteckna också dina antaganden. I vårt fall antog vi att modellen skulle optimera för intäkter, men antalet köp per session översattes inte till det, eftersom modellen optimerade för ett stort antal lågbiljettförsäljningar, och till slut tjänade vi inte mer pengar. När vi insåg det kunde vi ändra måtten och peka modellen i rätt riktning. Att bestämma de detaljerade måtten, samt anteckna antaganden, är avgörande för ett projekts framgång.

Vad lärde du dig personligen av att forska och skriva den här boken?

Vi har många olika problem som kan lösas av AI från olika företag och industrier. Användningsfallen kan vara mycket olika, AI-lösningen kan vara annorlunda, data för att träna AI-lösningen kan vara annorlunda. Men oavsett alla dessa skillnader är misstagen som människor gör under sin AI-resa ganska lika. Dessa misstag har hänt om och om igen i alla typer av företag från alla typer av industrier.

Vi delade några gemensamma bästa praxis för att implementera AI-projekt med förhoppningen att hjälpa fler människor och företag att undvika dessa misstag och ge dem förtroendet att distribuera ansvarsfull AI.

Vilka är några av de viktigaste lärdomarna som du hoppas att människor kommer att ta från att läsa den här boken?

Vi tror starkt på att genomtänkta, ansvarsfulla och etiska användningar av maskinlärningsteknik kan göra världen till en mer rättvis, rättvis och inkluderande plats. Maskinlärningstekniken lovar att omforma allt i näringslivet, men det behöver inte vara svårt. Det finns beprövade metoder och processer som team kan följa och få förtroendet att distribuera till produktion.

En annan viktig lärdom är att ägare av linjeaffärer (som produktchefer) och teammedlemmar på den mer tekniska sidan (som ingenjörer och dataforskare) måste tala ett gemensamt språk. För att framgångsrikt distribuera AI måste ledare överbrygga gapet mellan teamen, ge affärsspecialister och C-nivån tillräckligt med sammanhang för att konversera effektivt med tekniska implementerare.

Många människor tänker först på kod när de tänker på AI. En av de viktigaste lärdomarna i boken är att data är avgörande för AI-modellens framgång. Det finns mycket som hänger samman med data, från insamling till märkning till lagring, och varje steg kommer att påverka modellens framgång. De mest framgångsrika AI-distributionerna är de som lägger stor vikt vid data och strävar efter att kontinuerligt förbättra detta aspekt av sin ML-modell.

Alla verkliga AI kräver är ett tvärfunktionellt team och en innovativ anda.

Det diskuteras hur man bestämmer när en AI-modells noggrannhet är tillräckligt hög för att stödja användning av AI. Vad är det enklaste sättet att bedöma den typ av noggrannhet som behövs?

Det beror på dina användningsfall och risktolerans. Team som utvecklar AI bör alltid ha en testfas där de bestämmer noggrannhetsnivåer och acceptabla trösklar för sina organisationer och intressenter. För livsavgörande användningsfall – där det finns potential för skada om AI går fel, som i fallet med domstolsprogramvara, självkörande bilar, medicinska användningsfall, är ribban mycket, mycket hög – och team måste införa åtgärder i händelse av att modellerna är fel. För mer fel toleranta användningsfall, där det finns mycket subjektivitet i spelet – som innehåll, sök- eller annonsrelevans, kan team förlita sig på användarfeedback för att fortsätta justera sina modeller, även under produktion. Naturligtvis finns det vissa högriskanvändningsfall här också, där olagligt eller omoraliskt material kan visas för användare, så skydds- och återkopplingsmekanismer måste finnas på plats här också.

Kan du definiera vikten av att definiera framgång för ett projekt i förväg?

Det är lika viktigt att börja med ett affärsproblem som att definiera framgång i förväg, eftersom de två hänger samman. Följ exemplet i boken om den bilåterförsäljare som använder AI för att märka bilder, de bestämde inte vad framgång såg ut som, eftersom de inte hade definierat ett affärsproblem att lösa. Framgång för dem kunde ha varit en mängd olika saker, vilket gör det svårt att lösa ett problem, även för team av människor, än för en maskinlärningsmodell med ett fast omfång. Om de hade bestämt sig för att märka alla fordon med bucklor för att skapa en lista över fordon som behövde repareras och definierat framgång som att korrekt märka 80% av alla fordon med bucklor i den begagnade bilen, då skulle de ha kallat det en framgång när de korrekt märkt 85%. Men om den framgången inte är knuten till affärsproblemet och den direkta affärspåverkan, är det svårt att utvärdera projektet utanför den fokuserade definitionen av märkningsnoggrannhet i det här fallet. Här var affärsproblemet mer komplext, och märkning av bucklor är bara en del av det. I deras fall kunde de ha varit bättre på att definiera framgång som att spara tid/pengar på anspråksprocessen eller optimera reparationerna genom X% och sedan översätta märkningspåverkan till verkliga affärsresultat.

Hur viktigt är det att säkerställa att utbildningsdataexempel täcker alla användningsfall som kommer att hända i produktionen?

Det är extremt viktigt att modellen tränas på alla användningsfall för att undvika bias. Men det är också viktigt att notera att, medan det är omöjligt att täcka absolut alla användningsfall i produktionen, team som bygger AI behöver förstå sin produktionsdata, såväl som sin utbildningsdata, så att de tränar AI för vad den kommer att möta i produktionen. Tillgång till utbildningsdata som kommer från stora, diversifierade grupper med olika användningsfall kommer att vara avgörande för modellens framgång. Till exempel, en modell som tränas för att känna igen människors husdjur i en uppladdad bild måste tränas på alla typer av husdjur; hundar, katter, fåglar, små däggdjur, ödlor, etc. Om modellen endast tränas på hundar, katter och fåglar, kommer den inte att kunna identifiera det när någon laddar upp en bild med sitt marsvin. Medan detta är ett mycket enkelt exempel, visar det hur träning på så många sannolika användningsfall som möjligt är avgörande för modellens framgång.

I boken diskuteras behovet av att utveckla goda datahygienvanor från toppen och ned. Vilka är några vanliga första steg för att odla den här vanan?

Goda datahygienvanor kommer att öka användbarheten av intern data och förbereda den för ML-användningsfall. Hela företaget måste bli bra på att organisera och hålla reda på sina datamängder. Ett säkert sätt att uppnå detta är att göra det till en affärskrav och spåra implementeringen så att det finns mycket få rapporter som slutar med att bli anpassade jobb, och team arbetar mer och mer med datapipeliner som dirigeras till ett centralt repository, med en tydlig ontologi. En annan bra praxis är att hålla en post om när och var data samlades in och vad som hände med den innan den placerades i databasen, samt etablera processer för att rensa bort outnyttjad eller föråldrad data periodvis.

Tack för den underbara intervjun, för läsare som är intresserade av att lära sig mer, rekommenderar jag att de läser boken Den riktiga världen av AI: En praktisk guide för ansvarsfull maskinlärning.