Wilson Pang, Real World AI -haastattelusarjan toinen kirjoittaja

Wilson Pang liittyi Appen marraskuussa 2018 teknologiajohtajana ja vastaa yhtiön tuotteista ja teknologiasta. Wilsonilla on yli XNUMX vuoden kokemus ohjelmistosuunnittelusta ja datatieteestä. Ennen Appeniin tuloaan Wilson oli Ctripin tietopäällikkö Kiinassa, joka on maailman toiseksi suurin online-matkatoimistoyritys, jossa hän johti datainsinöörejä, analyytikoita, datatuotepäälliköitä ja tutkijoita parantamaan käyttökokemusta ja lisäämään toiminnan tehokkuutta. kasvatti liiketoimintaa. Sitä ennen hän toimi Kalifornian eBayn suunnittelujohtajana ja toimi johtajina useilla aloilla, mukaan lukien datapalvelut ja ratkaisut, hakutiede, markkinointitekniikka ja laskutusjärjestelmät. Hän työskenteli arkkitehtina IBM:llä ennen eBayta ja rakensi teknologiaratkaisuja eri asiakkaille. Wilson on suorittanut sähkötekniikan maisterin ja kandidaatin tutkinnon Zhejiangin yliopistossa Kiinassa.

Keskustelemme hänen uudesta kirjastaan: Tekoälyn todellinen maailma: Käytännön opas vastuulliseen koneoppimiseen

Kuvaat, kuinka kun johdit eBayn hakutiederyhmiä, yksi ensimmäisistä koneoppimisen oppitunneistasi oli sen ymmärtäminen, kuinka tärkeää on tietää, mitä mittareita mitataan. Annettu esimerkki oli, kuinka mittari "ostot istuntoa kohti" ei ottanut huomioon tuotteen rahallista arvoa. Miten yritykset voivat parhaiten ymmärtää, mitä mittareita on mitattava välttääkseen samanlaisia ​​ongelmia?

Aloita tavoitteista, jotka tiimisi asettaa tekoälymallille – meidän tapauksessamme halusimme kasvattaa tuloja koneoppimisen avulla. Kun liität mittareita tavoitteisiin, mieti, mitä mekaniikkaa ne tuottavat, kun julkaiset mallin ja ihmiset alkavat olla vuorovaikutuksessa sen kanssa, mutta pane myös merkille oletuksesi. Meidän tapauksessamme oletimme mallin optimoivan tuloja, mutta ostojen määrä istuntoa kohti ei käännetty siihen, koska malli optimoidaan suurelle määrälle alhaisten lippujen myyntiä, ja päivän päätteeksi emme olleet ei tienaa enempää rahaa. Kun tajusimme sen, pystyimme muuttamaan mittareita ja osoittamaan mallin oikeaan suuntaan. Niinpä yksityiskohtaisten mittareiden määrittäminen sekä oletusten huomioiminen ovat kriittisiä projektin onnistumisen kannalta.

Mitä opit henkilökohtaisesti tämän kirjan tutkimisesta ja kirjoittamisesta?

Meillä on paljon erilaisia ​​ongelmia, jotka eri yritysten ja eri toimialojen tekoäly voi ratkaista. Käyttötapaukset voivat olla hyvin erilaisia, tekoälyratkaisu voi olla erilainen, koulutukseen käytettävä data voi olla erilainen. Kaikista näistä eroista huolimatta ihmisten tekoälymatkansa aikana tekemät virheet ovat melko samanlaisia. Ne virheet tapahtuivat yhä uudelleen ja uudelleen kaikenlaisissa yrityksissä ja kaikenlaisilta toimialoilta.

Jaoimme joitain yleisiä parhaita käytäntöjä tekoälyprojektien toteuttamisessa toivoen auttavan useampia ihmisiä ja yrityksiä välttämään nuo virheet ja saamaan heille luottamusta vastuullisen tekoälyn käyttöön.

Mitkä ovat tärkeimmät opetukset, jotka toivot ihmisten ottavan tämän lukemisesta?

Uskomme kiivaasti, että koneoppimisteknologian harkittu, vastuullinen ja eettinen käyttö voi tehdä maailmasta oikeudenmukaisemman, oikeudenmukaisemman ja osallistavamman paikan. Koneoppimisteknologia lupaa muokata kaikkea yritysmaailmassa, mutta sen ei tarvitse olla vaikeaa. On olemassa kokeiltuja menetelmiä ja prosesseja, joita tiimit voivat seurata ja saada itseluottamusta tuotantoon.

Toinen keskeinen oppitunti on, että toimialojen omistajien (kuten tuotepäälliköiden) ja teknisemmän puolen tiimin jäsenten (kuten insinöörit ja datatieteilijät) on puhuttava yhteistä kieltä. Jotta tekoäly voidaan ottaa käyttöön onnistuneesti, johtajien on kurottava umpeen tiimien välinen kuilu tarjoamalla yritysasiantuntijoille ja C-tason tarpeeksi kontekstia tehokkaaseen keskusteluun teknisten toteuttajien kanssa.

Monet ihmiset ajattelevat ensin koodia, kun he ajattelevat tekoälyä. Yksi kirjan keskeisistä opetuksista on, että data on kriittinen tekijä tekoälymallin onnistumiselle. Tiedon keräämisestä merkitsemiseen ja varastointiin liittyy paljon, ja jokainen askel vaikuttaa mallin menestykseen. Menestyneimmät tekoälyn käyttöönotot ovat ne, jotka painottavat paljon dataa ja pyrkivät jatkuvasti parantamaan tätä ML-mallinsa osaa.

Reaalimaailman tekoäly vaatii vain monialaista tiimiä ja innovatiivista henkeä.

Keskusteltuna on sen määrittäminen, milloin tekoälymallin tarkkuus on riittävän korkea tukemaan tekoälyn käyttöä. Mikä on helpoin tapa arvioida tarvittava tarkkuus?

Se riippuu käyttötapauksistasi ja riskinsietokyvystäsi. Tekoälyä kehittävillä tiimeillä tulisi aina olla testausvaihe, jossa he määrittävät tarkkuustasot ja hyväksyttävät kynnysarvot organisaatioilleen ja sidosryhmilleen. Henkeen tai kuolemaan liittyvissä käyttötapauksissa – joissa tekoälyn epäonnistuminen voi aiheuttaa vahinkoa, kuten tuomioohjelmistojen, itseohjautuvien autojen ja lääketieteellisten käyttötapausten tapauksessa – rima on erittäin korkea – ja joukkueiden on panostettava. sijoittaa satunnaisia ​​tapauksia, jos mallit ovat vääriä. Vikasietoisemmissa käyttötapauksissa, joissa on paljon subjektiivisuutta pelissä – kuten sisällön, haun tai mainosten osuvuudessa, tiimit voivat luottaa käyttäjien palautteeseen jatkaakseen malliensa säätämistä myös tuotannon aikana. Tietysti myös täällä on joitain riskialttiita käyttötapauksia, joissa laitonta tai moraalitonta materiaalia saatetaan näyttää käyttäjille, joten suoja- ja palautemekanismit on oltava käytössä myös täällä. 

Voitko määritellä projektin onnistumisen määrittämisen tärkeyden etukäteen? 

On yhtä tärkeää aloittaa liiketoimintaongelmasta kuin määritellä menestys etukäteen, koska nämä kaksi kulkevat käsi kädessä. Seuraamalla kirjan esimerkkiä autokauppiasta, joka käyttää tekoälyä kuvien merkitsemiseen, he eivät päättäneet, miltä menestys näytti, koska he eivät olleet määrittäneet ratkaistavaksi liiketoimintaongelmaa. Heille menestys olisi voinut olla useita eri asioita, mikä vaikeuttaa ongelman ratkaisemista jopa ihmisryhmille, puhumattakaan kiinteän laajuisen koneoppimismallista. Jos he olisivat päättäneet merkitä kaikki ajoneuvot kolhuilla luodakseen luettelon korjausta vaativista ajoneuvoista ja määrittäneet menestyksen siten, että 80 % kaikista käytettyjen autojen luettelossa olevista lommoista on merkitty tarkasti, silloin kun he olisivat merkitseneet tarkasti 85 %, tiimi olisi kutsunut sitä menestykseksi. Mutta jos tämä menestys ei ole sidottu liiketoimintaongelmaan ja suoraan liiketoimintavaikutukseen, on vaikea arvioida projektia tämän esimerkin merkintätarkkuuden keskitetyn määritelmän ulkopuolella. Tässä liiketoimintaongelma oli monimutkaisempi, ja kolhujen merkitseminen on vain osa sitä. Heidän tapauksessaan he olisivat voineet olla parempia määrittämällä menestyksen ajan/rahojen säästämiseksi reklamaatioprosessissa tai optimoimalla korjausprosessin X %:lla ja muuttamalla sitten merkintöjen vaikutuksen todellisiksi liiketuloksiksi.

Kuinka tärkeää on varmistaa, että koulutusdataesimerkit kattavat kaikki tuotantokäytössä tapahtuvat käyttötapaukset?

On erittäin tärkeää, että mallia koulutetaan kaikissa käyttötapauksissa, jotta vältetään harha. Mutta on myös tärkeää huomata, että vaikka on mahdotonta kattaa täysin kaikkia käyttötapauksia tuotannossa, tekoälyä rakentavien tiimien on ymmärrettävä tuotantotietonsa sekä koulutusdatansa, jotta he kouluttavat tekoälyä siihen, mitä se kohtaa tuotannossa. . Mallin menestyksen kannalta on kriittistä pääsyä harjoitustietoihin, jotka tulevat suurilta erilaisilta ryhmiltä erilaisissa käyttötapauksissa. Esimerkiksi malli, joka on koulutettu tunnistamaan ihmisten lemmikki ladatusta kuvasta, on koulutettava kaikentyyppisille lemmikeille. koirat, kissat, linnut, pienet nisäkkäät, liskot jne. Jos malli on tarkoitettu vain koirille, kissoille ja linnuille, malli ei pysty tunnistamaan sitä, kun joku lataa kuvan marsunsa kanssa. Vaikka tämä on hyvin yksinkertainen esimerkki, se osoittaa, kuinka mahdollisimman monien todennäköisten käyttötapausten koulutus on kriittistä mallin menestyksen kannalta.

Kirjassa käsitellään tarvetta kehittää hyviä tietohygieniatottumuksia ylhäältä alaspäin. Mitkä ovat yleiset ensimmäiset askeleet tämän tavan vaalimiseksi?

Hyvät tietohygieniatavat lisäävät sisäisen tiedon käytettävyyttä ja soveltuvat ML-käyttötapauksiin. Koko yrityksen tulee olla hyvä järjestämään ja pitämään kirjaa tietojoukostaan. Yksi varma tapa saavuttaa tämä on tehdä siitä liiketoiminnan vaatimus ja seurata toteutusta niin, että on hyvin vähän raportteja, jotka lopulta ovat mukautettuja töitä, ja tiimit työskentelevät yhä enemmän tietoputkien kanssa, jotka on ohjattu keskustietovarastoon selkeällä ontologialla. Toinen hyvä käytäntö on pitää kirjaa siitä, milloin ja missä tiedot on kerätty ja mitä tapahtui ennen kuin ne sijoitettiin tietokantaan, sekä prosessien luominen käyttämättömien tai vanhentuneiden tietojen siivoamiseksi säännöllisesti.

Kiitos hienosta haastattelusta, lukijoille, jotka ovat kiinnostuneita oppimaan lisää, suosittelen kirjan lukemista Tekoälyn todellinen maailma: Käytännön opas vastuulliseen koneoppimiseen.