AI ei ole valmis todelliseen työhön: Miksi mallit epäonnistuvat monimutkaisissa tehtävissä

AI-kuplan sijoittajat pyytävät valkokauluisia ammattilaisia luovuttamaan vaikeimmat ongelmansa ja lupaavat työntekijöille, että he saavat iltapäivänsä takaisin, jos he vain luovuttavat hieman enemmän dataa. Monimutkaista analyysiä, harkintapäätöksiä ja vuosia kehitettyjä työnkulkuja imee malli, jonka väitetään vapauttavan ihmiset parempiin tehtäviin. Tämä on tällä hetkellä hallitseva kertomus yritys-Amerikassa, ja se on ansa.

Kyvykkyysmyytti: Miksi mallit epäonnistuvat monimutkaisissa tehtävissä

Uusi tutkimus UC Berkeleystä testasi johtavia AI-agenseja todellisia ammatillisia tehtäviä vastaan 55 toimialalla, terveydenhuollosta rahoitukseen ja oikeuteen. Kokonaisuus jäi alle 25 prosenttiin. Sitten tutkijat eristivät kunkin alan vaikeimman tehtävän – työn, joka erottaa senioriprofessionaalin juniorista – ja jokainen malli epäonnistui. Tulokset eivät olleet vain alhaisia. Ne olivat nollassa.

Ajattelisit, että tällainen tulos olisi muuttanut kertomusta itsestään, mutta näin ei ole. Eri toimialoilla AI-sijoittajilla on liikaa panostettavaa vakuuttamalla ammattilaisia, että suurin osa nykyisistä AI-malleista on edistyneempiä kuin ne todellisuudessa ovat. Mutta mielenkiintoisin kysymys ei ole, voivatko AI:t tehdä työn vaikeimpia osia tänään, koska me ja kaikki AI:ta myyvät tiedämme jo vastauksen siihen.

Joten tämä johtaa toiseen kysymykseen. Mitä tapahtuu nuoren ammattilaisen harkinnalle, kun hän ostaa tähän datavaihtoon, ennen kuin hänen oma päättelynsä on täysin kehittynyt?

Minnesotan havainnot: Kuinka AI tasoittaa taitoa kohti keskitasoa

Uusi empiirinen tutkimus Minnesotan oikeustieteellisestä tiedekoulusta tarjoaa todellisen vastauksen, käyttäen oikeutta testitapauksena. Tutkijat antoivat noin satalle ylemmän tason oikeustieteen opiskelijoita sarjan realistisia tehtäviä: laativat oikeutta raakaluotaisesta lähdemateriaalista, vastasivat suljettuihin kysymyksiin testatakseen omaksumista, sovelsivat oikeutta faktapohjaiseen tilanteeseen ja sen jälkeen tarkistivat oman työnsä. Yksi ryhmä sai AI-pääsyn vain aivan ensimmäisessä ja viimeisessä vaiheessa. Toisella ei ollut AI:ta ennen loppua.

AI:ta käyttäneet opiskelijat tuottivat vahvempaa työtä ja tekivät sen nopeammin, mikä ei ole täysin merkittävää. Merkittävää on kuitenkin se, mitä sen jälkeen tapahtui. Tutkijat odottivat, että varhainen AI:n käyttö jättäisi ymmärrysaukkoa, joka ilmenisi myöhemmin, kun työkalu otettaisiin pois. Tämä ei kuitenkaan tapahtunut. AI:ta käyttäneet opiskelijat ymmärsivät oikeuden itse asiassa paremmin kuin ilman AI:ta opiskelleet, kun heitä testattiin kylmästi. Itsenäinen päättely ei heikentynyt. Se pysyi, ja joissakin tapauksissa se parani.

Käänne tuli viimeisessä vaiheessa, kun kaikilla opiskelijoilla oli AI käytettävissään työnsä tarkistamiseen. Heikomman muistiinpanon tehneet opiskelijat käyttivät tätä pääsyä parantaakseen sen aidosti. Vahvemman muistiinpanon tehneet opiskelijat heikkenivät. Kun heitä jätettiin yksin kyvykkään työkalun kanssa ilman lisärakennetta siitä, miten sitä käytetään, taito ei kertautunut vaan tasoittui kohti keskitasoa.

Nämä kaksi tutkimusta yhdessä tarjoavat karun totuuden: AI ei ole korvaus ammatilliselle harkinnalle, ja Berkeleyn numerot pitäisi lopettaa tämä keskustelu lopullisesti. Mutta AI ei myöskään ole jokin syövyttävä voima, joka syö päättelyn kosketuksessa. Sen vaikutus riippuu täysin siitä, missä se ilmenee prosessissa.

Järjestys korvauksen sijaan: Pidä harkinta ytimessä

Tämä pätee myös lainharjoittelun ulkopuolella. Jokainen tiedon ammattilaisala toteuttaa omaa versiota tästä kokeesta juuri nyt: lääkäri päättää, sallitaanko mallin laatia differentiaalidiagnostiikka, analyytikko päättää, sallitaanko mallin tehdä ensimmäinen versio mallista, ja assistentti päättää, sallitaanko mallin jäsentää argumentti ennen kuin he ovat itse käyneet sen läpi. Minnesotan tulokset viittaavat siihen, että vastaus ei ole yksiselitteinen kyllä tai ei kaikille AI:n muodoille. Kyse on järjestyksestä. AI kuuluu rutiinitehtävien ja työn osien etupäässä, jotka aiheuttavat kitkaa, mutta ei harkintaan. Se ei kuulu tehtävän keskelle, josta asiakas oikeasti maksaa, eikä se juuri nyt pääse sinne edes yrittäessään.

Yritykset, jotka edelleen lupaavat muuta, myyvät AI-versiota, jonka tiedot osoittavat olevan olematon. Ne, jotka rakentavat tuotteensa ja asiakassuhteensa sen linjan ympärille, jonka tutkimus todellisuudessa piirtää, ovat ne, joihin ammattilaiset luottavat vielä viiden vuoden kuluttua. Kaikki muut käyttävät sen ajan selittääkseen erittäin kallista väärinkäsitystä.