Kuinka siirrän tietämykseni AI-järjestelmiin, jotka voivat tehdä päätöksiä kuin ihmisasiantuntijat

Kun lähdin Microsoftilta ja jatkoin työtäni yritysten kanssa heidän AI-käyttöönsä liittyen, huomasin, että useimmat ihmiset olivat innostuneita AI-järjestelmistä, jotka eivät kuitenkaan kyenneet tekemään päätöksiä todellisen ihmisten arvostelukyvyn kanssa. Vaikka ne kykenivät kirjoittamaan, tiivistämään ja tuottamaan erittäin sujuvaa tekstiä, joka kuulosti päätökseltä, kun nämä järjestelmät laskettiin todelliseen toimintaympäristöön, jossa on kompromisseja, epävarmuutta, epätäydellisiä ohjeita ja todellisia seurauksia, ne kamppailivat nopeasti. Tämä vastaa MIT Project NANDAn tietoja, joiden mukaan vaikka 60 %:lla organisaatioista arvioitiin AI-työkaluja, vain 20 % pääsi koepilottiin ja vain 5 % tuotantoon. Toisin sanoen, teollisuus kamppailee rakentamaan järjestelmiä, jotka voivat toimia todellisissa työnkulussa.

Yritysympäristössä, erityisesti alueilla kuten toimitusketju, valmistus ja toiminta, saada vastaus ei ole vaikeaa; se on tietäminen, kukaan vastaus on luotettava, mitkä muuttujat ovat tärkeimpiä ja mitä todennäköisesti menee rikki alhaalla, jos teet virheen. Minun silmissäni tämä on sekä asiantuntijuus- että arvostelukykyongelma.

On selvää, AI on tehnyt erinomaisia edistysaskelia tuottamalla parempia tuloksia. Mutta parempi tuotos ei ole sama kuin paremmat päätökset. Nämä ovat kaksi erillistä merkittävää asiaa, ja luulen, että teollisuus on viettänyt paljon aikaa käsittelyssä niitä vaihdettavina.

Tietämättömyyden ja arvostelukyvyn puute on se, miksi aloin rakentaa AI:ta, jota ihmisasiantuntijat voivat opettaa tekemään monimutkaisia päätöksiä heidän tavallaan. AI ei pitäisi olla vain tehtävien automaatio, vaan myös ihmisten arvostelukyvyn siirtäminen AI:hen, joka kestää.

Laajat kielen mallit (LLM) puhuvat kuin päätöksentekijät, mutta eivät ole

Ei ole epäilystä siitä, että LLM:t ovat hyödyllisiä, mutta ne eivät ole luonnostaan päätöksentekijöitä. Ne ovat ennustemalleja, jotka on kietottu kielen ympärille. Ja kieli on vakuuttava, mikä on osa ongelmaa. Jos järjestelmä voi selittää itsensä sujuvasti, me yliarvioimme helposti, mitä se ymmärtää. Kysyt järjestelmältä liiketoimintakysymyksen, se antaa sinulle järjestelmällisen vastauksen, jossa on kompromisseja, varauksia ja siisti tiivistelmä lopussa, mikä tekee siitä älykkäämmän kuin se on. Kuulostaa järkevältä ja olla toiminnallisesti pätevä ei ole sama asia, ja tämä on se, missä moni yrityksen AI menee rikki. Mallit voivat kertoa sinulle, miltä hyvä päätös kuulostaa, ilman mitään ymmärrystä siitä, mitä tekee päätöksen hyvän paineen, ajan tai asiayhteyden alla. Tämä on yksi syy, miksi monet organisaatiot kamppailevat siirtymisessä kokeilusta.

Tieto ei ole sama kuin asiantuntijuus

Yksi helpoimmista ansaan AI:n kanssa on olettaa, että jos järjestelmällä on tarpeeksi tietoa, se pitäisi pystyä suoriutumaan asiantuntijana. Kuulostaa järkevältä, mutta kun ajattelet sitä arkipäiväisessä elämässä, tietämättömyyden lisääminen jostakin asiasta ei automaattisesti tee sinusta asiantuntijaa. Voit lukea jokaisen ilmailukäsikirjan ja silti olla valmis laskeutumaan lentokoneeseen. Voit muistaa jokaisen parhaimman käytännön toimitusketjussa ja silti jäätyä paikoilleen, kun kolme asiaa menevät pieleen kerran.

Voin jatkaa, mutta pointti on, että tieto ei ole sama kuin kyky. Kyky tulee kokemuksesta, erityisesti toistuvasta altistumisesta sekaville tilanteille, joissa vastaus ei ole ilmeinen.

Jokaisena päivänä näen, että useimmat nykyiset AI-järjestelmät on koulutettu staattisilla esimerkeillä. Tämä on kaikki hyödyllistä ennustamiseen, mutta se on vain pieni osa päätöksentekoa. Yritykset eivät ole puutteessa dataa, mutta he tarvitsevat rakenteellisia ympäristöjä harjoitteluun, mikä tarkoittaa antamista järjestelmille ympäristöjä, joissa ne voivat toistuvasti:

• Kohdata realistisia skenaarioita
• Tehdä valintoja
• Nähdä, mitä tapahtuu
• Saan vastaanottaa palautetta
• Parantaa ajan myötä

AI voidaan kouluttaa ennustusalgoritmeja käyttäen, mutta tämä lähestymistapa on rajoitettu. Mitä tarvitaan seuraavaksi on AI, jota voidaan kouluttaa simuloitussa ympäristössä ihmisten valvonnassa. Kutsun tätä koneen opettamiseksi, joka on menetelmä, joka jakaa monimutkaiset päätökset skenaarioihin ja taitoihin ja antaa opas ihmisasiantuntijoille opettaa AI:a simulaation kautta. Tuloksena oleva palaute ja koettu virhe mahdollistavat lopulta agenttien oppimisen ja toimimisen todellisella autonomialla suoraan niiden ihmisten kautta, jotka loivat nämä prosessit.

Lopeta AI:n käsittely monoliittina

Toinen virhe, jonka näen paljon, on oletus, että yksi suuri malli pitäisi jotenkin tehdä kaiken. Ei ole mitään koripallojoukkuetta, joka koostuu vain yhdestä henkilöstä. Ei ole mitään tehdasta, jota yksi henkilö pyörittää. Monimutkaiset järjestelmät toimivat, koska eri komponentit tekevät eri tehtäviä, ja on rakenteellinen ympäristö, joka pitää ne yhdessä.

AI pitäisi rakentaa samalla tavalla. En usko, että yritysten päätöksenteon tulevaisuus on yksi jättiläismalli, joka istuu yrityksen keskellä ja esittää olevansa yleisesti pätevä. On paljon todennäköisempää, että se näyttää tiimien erikoistuneista agenteista.

Toinen agentti voi olla asiantuntija datahaussa. Toinen on parempi skenaarioiden arvioinnissa. Toinen käsittelee suunnittelua. Yksi tarkistaa vaatimukset tai vastuuta. Toinen toimii esimiehenä, päättäen, milloin asioida tai milloin luottamus on liian alhainen jatkamiseen. Tiimin arkkitehtuuri on paljon järkevämpää minulle, koska se vastaa sitä, miten todelliset organisaatiot toimivat, ja se on linjassa laajempien markkinatrendien kanssa. McKinseyn löydökset vahvistavat, että organisaatiot saavat eniten arvoa AI:sta uudelleen suunnittelemalla työnkulkuja ja toimintarakenteita sen ympärille.

Kaikki päätökset eivät tehdä samalla tavalla, ja usein oletamme, että sama malli, sama data ja sama tyyppi päättelyä voi käsitellä kaikki. Todellisuudessa eri päätökset vaativat eri mekanismeja.

Neljä tapaa, joilla päätökset todella tehdään

Kokemukseni mukaan useimmat päätökset kuuluvat muutamaan ryhmään:

1. Ohjausjärjestelmät (säännöt ja kaavat): Päätökset tehdään soveltamalla ennalta määriteltyjä kaavoja tai sääntöjä tunnettuun syötteeseen. Jos X tapahtuu, tee Y.
2. Haku ja optimointi: Päätökset tehdään arvioimalla useita vaihtoehtoja ja valitsemalla paras vaihtoehto määritellyn kohteen perusteella.
3. Vahvistusoppiminen (kokeilu ja virhe): Päätökset opitaan ajan myötä tekemällä toimia, havainnoimalla tuloksia ja sopeuttamalla palkkion tai rangaistuksen perusteella.
4. Harjoittelu ja kokemus (ihmisen tyyppinen oppiminen): Päätökset muotoillaan toistuvan altistumisen, ohjatun palautteen ja kertyneen arvostelukyvyn kautta todellisissa skenaarioissa.

Useimmat yritysten AI:t pärjäävät hyvin kahdessa ensimmäisessä luokassa. Kolmas ja neljäs luokka ovat haasteellisempia AI:lle, koska siinä on ihmisenkaltaista arvostelukykyä.

Autonomia ilman rakennetta on riski

Aina kun ihmiset puhuvat autonomisesta AI:sta, keskustelu usein jakautuu kahteen ääripäähän. Toisella puolella ajatellaan, että järjestelmät ovat lähes maagisia ja valmiita hallitsemaan kaikkea. Toisella puolella toiminta on sellaista, että ne eivät pitäisi koskaan luottaa mihinkään merkittävään asiaan.

En usko, että kumpikaan näistä näkemyksistä on hyödyllinen. Pitäisi keskittyä autonomiaan rakenteen kanssa, koska autonomia ilman valvontaa, eskalaatiologiikkaa, rajoja tai vastuuta on pääasiallinen riskin lähde. Riskikysymykset ovat nyt myös esillä, mukaan lukien keskusteluissa, jotka on muotoiltu pyrkimyksillä, kuten National Institute of Standards and Technologyn AI-riskien hallintakehyksessä, joka heijastaa, miten vakavasti organisaatiot ottaa kysymykset valvontaa, vastuuta ja toiminnallista luottamusta.

Yritysten AI:n tulevaisuus on tiimien agenteissa. Organisaatiot, jotka saavat eniten arvoa AI:sta, eivät ole ne, jotka automatisoivat eniten sanoja. Ne ovat ne, jotka keksivät, miten siirtää todellista asiantuntijuutta järjestelmiin, jotka kestävät, kun ympäristö menee sekavaksi. Se on minun mielestäni ero AI:n välillä, joka näyttää vaikuttavalta ja AI:sta, josta tulee aidosti hyödyllistä, tuottaen todellista tuottoa.