Wilson Pang, Co-Auteur van Real World AI – Interview Serie

Wilson Pang sloot zich in november 2018 aan bij Appen als CTO en is verantwoordelijk voor de producten en technologie van het bedrijf. Wilson heeft meer dan negentien jaar ervaring in software-engineering en datawetenschap. Voordat hij bij Appen kwam, was Wilson chief data officer van Ctrip in China, het op een na grootste online reisbureau ter wereld, waar hij data-engineers, analisten, data-productmanagers en wetenschappers leidde om de gebruikerservaring te verbeteren en de operationele efficiëntie te verhogen, waardoor het bedrijf groeide. Daarvoor was hij senior director of engineering bij eBay in Californië en bood hij leiderschap in verschillende domeinen, waaronder data-service en -oplossingen, zoekwetenschap, marketingtechnologie en factureringssystemen. Hij werkte als architect bij IBM voordat hij bij eBay kwam en bouwde technologieoplossingen voor verschillende klanten. Wilson behaalde zijn master- en bachelordiploma in elektrotechniek aan de Zhejiang Universiteit in China.

We bespreken zijn nieuwe boek: De echte wereld van AI: een praktische gids voor verantwoordelijke machine learning

U beschrijft hoe, toen u de zoekwetenschapsteams van eBay leidde, een van uw eerste lessen met machine learning was het begrijpen van de belangrijkheid van het weten welke metrics te meten. Het voorbeeld dat werd gegeven was hoe de metric “aankopen per sessie” niet rekende met de monetaire waarde van een item. Hoe kunnen bedrijven het beste begrijpen welke metrics moeten worden gemeten om soortgelijke problemen te voorkomen?

Begin met de doelen die uw team toekent aan het AI-model – in ons geval wilden we meer omzet genereren met machine learning. Wanneer u metrics koppelt aan de doelen, denk dan na over welke mechanismen die metrics zullen produceren, zodra u het model vrijgeeft en mensen beginnen te interactie met het, maar noteer ook uw aannamen. In ons geval namen we aan dat het model zou optimaliseren voor omzet, maar het aantal aankopen per sessie vertaalde zich niet naar dat, omdat het model optimaliseerde voor een hoog aantal lage waarde-verkopen, en aan het eind van de dag maakten we niet meer geld. Zodra we ons dat realiseerden, konden we de metrics veranderen en het model in de juiste richting wijzen. Dus het bepalen van de gedetailleerde metrics, evenals het noteren van aannamen, zijn cruciaal voor het succes van een project.

Wat hebt u persoonlijk geleerd van het onderzoek en schrijven van dit boek?

We hebben veel verschillende problemen die kunnen worden opgelost door AI vanuit verschillende bedrijven en industrieën. De use cases kunnen heel verschillend zijn, de AI-oplossing kan verschillend zijn, de data om die AI-oplossing te trainen kan verschillend zijn. Echter, ondanks al die verschillen, zijn de fouten die mensen maken tijdens hun AI-reis heel gelijkaardig. Die fouten gebeuren keer op keer in alle soorten bedrijven uit alle soorten industrieën.

We deelden enkele gemeenschappelijke best practices bij het implementeren van AI-projecten met de hoop om meer mensen en bedrijven te helpen die fouten te voorkomen en hen het vertrouwen te geven om verantwoordelijke AI te implementeren.

Wat zijn enkele van de belangrijkste lessen die u hoopt dat mensen zullen trekken uit het lezen van dit boek?

We geloven fel dat doordachte, verantwoordelijke en ethische gebruiken van machine learning-technologie de wereld een rechtvaardiger, eerlijker en inclusievere plek kunnen maken. Machine learning-technologie belooft alles in de zakenwereld te herschikken, maar het hoeft niet moeilijk te zijn. Er zijn bewezen methoden en processen die teams kunnen volgen en het vertrouwen kunnen krijgen om in productie te brengen.

Een andere belangrijke les is dat line-of-business-eigenaren (zoals productmanagers) en teamleden aan de meer technische kant (zoals engineers en datawetenschappers) een gemeenschappelijke taal moeten spreken. Om AI met succes te implementeren, moeten leiders de kloof tussen teams overbruggen, zodat zaken- en C-niveau genoeg context hebben om efficiënt te communiceren met technische implementatoren.

Veel mensen denken eerst aan code wanneer ze aan AI denken. Een van de belangrijkste lessen in het boek is dat data cruciaal is voor het succes van een AI-model. Er is veel dat te maken heeft met data, van verzamelen tot labelen tot opslaan en elke stap zal de succes van het model beïnvloeden. De meest succesvolle AI-implementaties zijn diegenen die een hoge nadruk leggen op data en streven ernaar om deze aspecten van hun ML-model voortdurend te verbeteren.

Alle real-world AI vereist is een cross-functioneel team en een innovatieve geest.

Er wordt gesproken over het bepalen wanneer de nauwkeurigheid van een AI-model hoog genoeg is om AI te ondersteunen. Wat is de eenvoudigste manier om het type nauwkeurigheid te beoordelen dat nodig is?

Het hangt af van uw use cases en risicotolerantie. Teams die AI ontwikkelen, moeten altijd een testfase hebben waarin ze de nauwkeurigheidsniveaus en acceptabele drempels voor hun organisaties en stakeholders bepalen. Voor levensbedreigende use cases – waarbij er potentieel gevaar is als de AI verkeerd gaat, zoals in het geval van vonnissensoftware, zelfrijdende auto’s, medische use cases, is de lat heel hoog – en teams moeten voorzorgsmaatregelen nemen in geval van fouten in de modellen. Voor meer fout-tolerante use cases, waarbij er veel subjectiviteit in het spel is – zoals inhoud, zoek- of advertentie-relevantie, kunnen teams vertrouwen op gebruikersfeedback om hun modellen voortdurend aan te passen, zelfs tijdens de productie. Natuurlijk zijn er enkele hoge-risicouse cases hier, waarbij illegale of immorele materialen aan gebruikers kunnen worden getoond, dus moeten voorzorgsmaatregelen en feedbackmechanismen op hun plaats zijn.

Kunt u de belangrijkheid van het definiëren van succes voor een project van tevoren uitleggen?

Het is even belangrijk om te beginnen met een zakenprobleem als het definiëren van succes van tevoren, omdat de twee hand in hand gaan. Volg het voorbeeld in het boek over de automotive dealer die AI gebruikt om afbeeldingen te labelen, ze hebben niet bepaald wat succes leek, omdat ze geen zakenprobleem hadden gedefinieerd om op te lossen. Succes voor hen had verschillende dingen kunnen zijn, wat het moeilijk maakt om een probleem op te lossen, zelfs voor teams van mensen, laat staan een machine learning-model met een vaste reikwijdte. Als ze hadden bepaald dat ze alle voertuigen met deuken wilden labelen om een lijst te maken van voertuigen die reparatie nodig hadden en succes hadden gedefinieerd als het nauwkeurig labelen van 80% van alle voertuigdeuken in de gebruikte auto-inventaris, dan zouden ze succes hebben genoemd toen ze 85% nauwkeurig hadden gelabeld. Maar als dat succes niet is gekoppeld aan het zakenprobleem en aan de directe zakenimpact, is het moeilijk om het project te evalueren buiten de gefocuste definitie van labelnauwkeurigheid in dit voorbeeld. Hier was het zakenprobleem complexer en was het labelen van deuken slechts een onderdeel ervan. In hun geval zouden ze beter af zijn geweest door succes te definiëren als het besparen van tijd/geld op het claimsproces of het optimaliseren van het reparatieproces met X% en vervolgens de impact van het labelen te vertalen in echte zakenresultaten.

Hoe belangrijk is het om ervoor te zorgen dat de trainingsdata-examples alle use cases dekken die in de productie-implementatie zullen gebeuren?

Het is extreem belangrijk dat het model wordt getraind op alle use cases om bias te voorkomen. Maar het is ook belangrijk om op te merken dat het onmogelijk is om alle use cases in productie te dekken, teams die AI bouwen, moeten hun productiedata en trainingsdata begrijpen, zodat ze de AI trainen voor wat ze in productie tegenkomen. Toegang tot trainingsdata die afkomstig is van grote, diverse groepen met verschillende use cases, zal cruciaal zijn voor het succes van het model. Bijvoorbeeld, een model dat is getraind om mensen hun huisdier in een geüpload beeld te herkennen, moet worden getraind op alle soorten huisdieren; honden, katten, vogels, kleine zoogdieren, hagedissen, enz. Als het model alleen wordt getraind op honden, katten en vogels, dan zal het model het niet kunnen herkennen wanneer iemand een beeld uploadt met hun cavia. Terwijl dit een heel eenvoudig voorbeeld is, toont het hoe trainen op zoveel mogelijke use cases cruciaal is voor het succes van een model.

Er wordt in het boek gesproken over de noodzaak om goede data-hygiëne-gewoonten van bovenaf te ontwikkelen, wat zijn enkele eerste stappen om deze gewoonte te koesteren?

Goede data-hygiëne-gewoonten zullen de bruikbaarheid van interne data verhogen en deze voorbereiden voor ML-use cases. Het hele bedrijf moet goed worden in het organiseren en bijhouden van zijn datasets. Een zekere manier om dit te bereiken is door het een zakenvereiste te maken en de implementatie te volgen, zodat er weinig rapporten zijn die eindigen als aangepaste klussen, en teams meer en meer werken met datapipelines die worden doorgestuurd naar een centraal repository, met een duidelijke ontologie. Een andere goede praktijk is het bijhouden van een record van wanneer en waar de data is verzameld en wat er mee is gebeurd voordat het in de database werd geplaatst, evenals het instellen van processen voor het schoonmaken van ongebruikte of verouderde data periodiek.

Bedankt voor het geweldige interview, voor lezers die meer willen leren, beveel ik aan dat ze het boek De echte wereld van AI: een praktische gids voor verantwoordelijke machine learning lezen.