Wilson Pang, yhteiskirjailija teoksesta Real World AI – Haastattelusarja

Wilson Pang liittyi Appen:iin marraskuussa 2018 teknisen johtajana ja on vastuussa yhtiön tuotteista ja teknologiasta. Wilsonilla on yli 19 vuoden kokemus ohjelmistokehityksestä ja datasta. Ennen Appeniin liittymistään Wilson toimi Ctripin päädataupseerina Kiinassa, joka on maailman toiseksi suurin online-matkanjärjestäjä, ja johti data-insinöörejä, analyytikkoja, data-tuotepäälliköitä ja tutkijoita parantaakseen käyttökokemusta ja lisätäkseen liiketoiminnan tehokkuutta. Aikaisemmin hän toimi eBayn johtavana insinöörinä Kaliforniassa ja tarjosi johtajuutta eri aloilla, kuten data-palveluissa ja ratkaisuissa, hakutieteessä, markkinointiteknologiassa ja laskujärjestelmissä. Hän työskenteli IBM:llä ennen eBayta ja rakensi teknologiaratkaisuja eri asiakkaille. Wilson suoritti maisterin ja kandidaatin tutkinnot sähkötekniikasta Zhejiangin yliopistossa Kiinassa.

Keskustelemme hänen uudesta kirjastaan: Real World of AI: A Practical Guide for Responsible Machine Learning

Kerroit, kuinka johtajana eBayn hakutieteellisissä tiimeissä yksi ensimmäisistä koneoppimiseen liittyvistä oppeista oli ymmärtää, mitkä mittarit on mitattava. Esimerkkinä mainittiin, kuinka “ostokset istunnossa” -mittari ei ottaa huomioon tuotteen rahallista arvoa. Miten yritykset voivat parhaiten ymmärtää, mitkä mittarit on mitattava, jotta voidaan välttää samanlaisia ongelmia?

Aloita tiimisi asettamilla tavoitteilla AI-mallille – tapauksessamme halusimme lisätä myyntiä koneoppimisen avulla. Kun liität mittareita tavoitteisiin, mieti, mitkä mekanismit nämä mittarit tuottavat, kun malli on julkaistu ja ihmiset alkavat käyttää sitä, mutta myös huomioi oletuksesi. Tapauksessamme oletimme, että malli optimoi myyntiä, mutta “ostokset istunnossa” -mittari ei kääntynyt rahaksi, koska malli optimoi suuren määrän matalan arvon myyntejä, ja lopulta emme tehneet enemmän rahaa. Kun tajusimme tämän, pystyimme muuttaa mittareita ja ohjata mallia oikeaan suuntaan. Määrittämällä tarkat mittarit sekä huomioimalla oletukset ovat kriittisiä projektin onnistumiselle.

Mitä opit itse kirjan tutkimisesta ja kirjoittamisesta?

Meillä on paljon erilaisia ongelmia, joita voidaan ratkaista AI:n avulla eri yrityksistä ja eri aloilta. Käyttötapaukset voivat olla hyvin erilaisia, AI-ratkaisu voi olla erilainen, data, jolla AI-ratkaisu koulutetaan, voi olla erilainen. Vaikka nämä erot, virheet, joita ihmiset tekevät AI-matkan aikana, ovat hyvin samanlaisia. Nämä virheet toistuvat useissa yrityksissä useilta aloilta.

Jakamme joitain yleisiä parhaita käytäntöjä AI-hankkeiden toteuttamiseksi toivoen, että ne auttavat enemmän ihmisiä ja yrityksiä välttämään näitä virheitä ja antavat heille rohkeutta toteuttaa vastuullista AI:ta.

Mitä tärkeimpiä oppeja toivot, että ihmiset ottavat kirjasta?

Uskomme vahvasti, että tarkoituksenmukainen, vastuullinen ja eettinen koneoppimisen käyttö voi tehdä maailmasta oikeudenmukaisemman, reilumman ja inklusiivisemman paikan. Koneoppimisen teknologia lupaa muuttaa kaikkea liiketoiminnan maailmassa, mutta se ei ole vaikeaa. On olemassa kokeiltuja menetelmiä ja prosesseja, joita tiimit voivat seurata ja saada rohkeuden toteuttaa tuotantoon.

Toinen tärkeä opetus on, että liiketoiminnan omistajat (kuten tuotejohtajat) ja tiimin jäsenet teknisemmällä puolella (kuten insinöörit ja data-tutkijat) tarvitsevat yhteisen kielen. Onnistuneen AI:n toteuttamiseksi johtajien on siltauduttava tiimien välinen kuilu, tarjoten liiketoimintaspesialisteille ja C-tasolle riittävästi kontekstia keskustella tehokkaasti teknisten toteuttajien kanssa.

Monet ajattelevat koodia, kun ajattelevat AI:ta. Yksi kirjan tärkeimmistä opetuksista on, että data on kriittinen AI-mallin onnistumiselle. On paljon dataan liittyvää työtä keräämisestä etikettien lisäämiseen, tallentamiseen ja jokaiseen vaiheeseen, joka vaikuttaa mallin onnistumiseen. Menestyneimmät AI-toteutukset ovat niitä, jotka panostavat dataan ja pyrkivät jatkuvasti parantamaan tätä osa-aluetta.

Kaikki todellisen maailman AI:lle vaaditaan on monialainen tiimi ja innovatiivinen henki.

Kirjassa keskustellaan siitä, miten määritetään, onko AI-mallin tarkkuus tarpeeksi hyvä sen käyttämiseen. Mikä on helpoin tapa arvioida tarvittavaa tarkkuutta?

Se riippuu käyttötapauksesta ja riskitoleranssista. AI:ta kehittävien tiimien on aina oltava testivaihe, jossa he määrittävät tarkkuustasot ja hyväksyttyjä kynnyksiä organisaatiolleen ja sidosryhmilleen. Elämän ja kuoleman käyttötapauksissa – joissa on potentiaalista vahinkoa, jos AI menee väärin, kuten lauseiden määräävän ohjelmisto, itseohjautuvat autot, lääketieteelliset käyttötapaukset, taso on hyvin korkea – ja tiimien on asetettava varatoimia tapauksiin, joissa mallit ovat väärin. Viallisempien käyttötapauksissa, joissa on paljon subjektiivisuutta – kuten sisällön, haun tai mainosten merkityksessä, tiimit voivat luottaa käyttäjien palautteeseen jatkuvasti mallien mukauttamiseen tuotannossa. Tietysti on joitakin korkean riskin käyttötapauksia, joissa laitonta tai epämoraalista materiaalia voidaan näyttää käyttäjille, joten varotoimia ja palautemekanismeja on oltava paikallaan.

Voi kuvailla, miten tärkeää on määritellä onnistumisen kriteerit hankkeelle etukäteen?

On yhtä tärkeää aloittaa liiketoimintavirheen määrittelyllä kuin määritellä onnistumisen kriteerit etukäteen, koska ne kulkevat käsi kädessä. Esimerkiksi kirjassa mainittu autoliike, joka käytti AI:ta kuvien merkintään, ei määritellyt, mitä onnistuminen tarkoitti, koska he eivät määritelleet liiketoimintavirhettä, jota ratkaista. Onnistuminen olisi voinut olla monia eri asioita, mikä tekee sen vaikeaksi ratkaista ongelmaa, jopa koneoppimismallille, jolla on kiinteä laajuus. Jos he olisivat määritelleet onnistumisen 80 prosentin tarkkuuden saavuttamiseksi kaikkien ajoneuvojen vaurioiden merkinnässä, he olisivat kutsuneet sitä menestykseksi, kun he olisivat saavuttaneet 85 prosentin tarkkuuden. Mutta jos onnistuminen ei ole sidottu liiketoimintavirheeseen ja suoraan liiketoiminnan vaikutukseen, on vaikea arvioida hanketta ulkopuolelta määriteltyä määrittelyä.

Kuinka tärkeää on varmistaa, että koulutusdatakset kattavat kaikki käyttötapaukset, jotka tapahtuvat tuotannon aikana?

On äärimmäisen tärkeää, että malli on koulutettu kaikilla käyttötapauksilla välttääkseen harhan. On kuitenkin tärkeää huomata, että on mahdotonta kattaa absoluuttisesti kaikki käyttötapaukset tuotannossa, tiimien on ymmärrettävä tuotantodataa ja koulutusdataa, jotta he voivat kouluttaa AI:ta sille, mitä se kohtaa tuotannossa. Pääsy koulutusdataan, joka tulee suurista ja monipuolisista ryhmistä, on kriittinen mallin onnistumiselle. Esimerkiksi malli, joka on koulutettu tunnistamaan ihmisten lemmikkejä ladatasta kuvasta, on koulutettava kaikilla lemmikkityypeillä; koirilla, kissoilla, linnuilla, pikkumammaleilla, matelijoilla jne. Jos malli on koulutettu vain koirilla, kissoilla ja linnuilla, se ei pysty tunnistamaan kuvaa, jossa on guinea-pig. Vaikka tämä on hyvin yksinkertainen esimerkki, se osoittaa, kuinka kouluttaminen mahdollisimman monilla todennäköisillä käyttötapauksilla on kriittistä mallin onnistumiselle.

Kirjassa keskustellaan hyvien datahygienian tapojen kehittämisestä alhaalta ylöspäin, mitkä ovat yleisiä ensimmäisiä askelia kehittää tämä tapa?

Hyvät datahygienian tapa parantavat sisäisen datan käytettävyyttä ja valmistelevat sitä koneoppimisen käyttöön. Koko yrityksen on tultava hyvksi järjestää ja seurata tietokantojaan. Yksi varma tapa saavuttaa tämä on tekemällä siitä liiketoimintavaatimus ja seuraamalla sen toteutusta, jotta raportit eivät jää vain mukautettaviksi töiksi, ja tiimit työskentelevät yhä enemmän data-putkien kautta keskusvarastoon, jossa on selkeä ontologia. Hyvä käytäntö on myös pitää kirjaa siitä, milloin ja missä data on kerätty ja mitä sille on tehty ennen kuin se on sijoitettu tietokantaan, sekä perustaa prosessit poistamaan käyttämättömät tai vanhentuneet tiedot säännöllisesti.

Kiitos haastattelusta, lukijoille, jotka ovat kiinnostuneita oppimasta enemmän, suosittelen, että he lukevat kirjan The Real World of AI: A Practical Guide for Responsible Machine Learning.