Tekoälynhän epäluotettavuuden ongelma, josta kukaan ei halua puhua

Tekoälynhän luotettavuudesta käytävä keskustelu on yksinkertainen: mallit luovat harhaluuloja. Siksi yritysten on parannettava malleja, jotta ne voisivat hyödyntää niitä paremmin. Enemmän parametreja. Parempaa koulutusdataa. Enemmän vahvistavaa oppimista. Enemmän suuntautumista.

Ja silti, vaikka edelläkävijämallit kehittyvät yhä kykenevämmiksi, luotettavuuskeskustelu ei häviä. Yritysjohtajat epäröivät edelleen antaa agenttien tehdä merkittäviä toimia keskeisissä järjestelmissä. Hallitukset kysyvät edelleen: “Voimmeko luottaa siihen?”

Mutta harhaluulot eivät ole ensisijaisesti malliongelma. Ne ovat kontekstiongelma. Pyydämme tekoälyjärjestelmiä toimimaan yritysinfrastruktuurissa ilman tarjoamatta niille rakenteellista näkyvyyttä, jota tarvitaan turvalliseen päätöksentekoon. Sitten syytämme mallia, kun se arvailee.

Todellinen luotettavuuskuilu ei ole niinkään painoissa vaan informaatiokerroksessa.

Kirurgi ilman kuvantamista

Kuvitelkaa kirurgi, joka toimii ilman kuvantamista. Ei magneettikuvausta. Ei tietokonekuvausta. Ei todellista kuvantamista ympäröivästä kudoksesta. Vain yleinen ymmärrys anatomian ja veitsen kanssa. Jopa taitavin kirurgi joutuisi tekemään johtopäätöksiä. Arvaamaan. Luottamaan todennäköisyyspäättelyyn.

Näin toimivat yritysten tekoälyagentit tällä hetkellä.

Kun tekoälyjärjestelmältä pyydetään muutamaan työvirtaa, päivittämään ERP-sääntöä tai laukaistamaan automaatio työkalujen yli, se harvoin on täydellinen riippuvuuskaavio ympäristöstä. Se ei tiedä, mikä “käyttämätön” kenttä mahdollistaa alijärjestelmän. Se ei näe, mikä automaatio viittaa siihen validointisääntöön. Se ei voi luotettavasti simuloida toissijaisia vaikutuksia.

Se tekee sen, mihin suurten kielen mallit on koulutettu: se ennustaa. Ennustaminen ei ole ymmärrys. Ja ennustaminen ilman rakenteellista kontekstia näyttää harhaluulolta.

Vääränlainen keskustelu

Tekoälyyhteisö on ollut lukittu mallikeskeiseen luotettavuuskeskusteluun. Tutkimukset skaalautumislaeista. Tutkimukset ajatusketjun vihjauksesta. Haun parannustekniikoita. Arviointistandardeja.

Kaikki tarpeellisia. Kaikki arvokkaita. Mutta huomaa, mitä puuttuu: keskustelua yritysjärjestelmien topologiasta.

Luotettavuus yrityskontekstissa ei tarkoita pelkästään “malli tuottaa oikein muotoiltua tekstiä.” Se tarkoittaa “järjestelmä tekee muutoksia, jotka ovat turvallisia, jäljitettäviä ja ennustettavissa.”

Se on perustavanlaatuinen erilainen vaatimus.

Kun OpenAI ja Anthropic julkaisevat arvioita mallin suorituskyvystä, he mitataksesi tarkkuutta päättelytehtävissä, koodausbenchmarkeissa tai tietämyksen palauttamisessa. Nämä ovat hyödyllisiä signaaleja. Ne eivät kuitenkaan mitata tekoälyagentin kykyä muuttaa turvallisesti live-tilaan 15 vuoden verran kertynyttä automaatiovelkaa.

Ongelma ei ole siinä, voivatko mallit kirjoittaa syntaktisesti oikein. Se on siinä, ymmärtävätkö tekoälyt ympäristön, johon se on otettu.

Elävät järjestelmät kerryttävät entropiaa

Yritysjärjestelmät eivät ole staattisia tietokantoja. Ne ovat eläviä järjestelmiä. Jokainen uusi integraatio jättää jälkensä. Jokainen kampanja esittelee kentän. Jokainen “nopea korjaus” esittelee lisää automaatiota. Ajan myötä nämä kerrokset vuorovaikuttavat tapoja, joita kukaan ei täysin ymmärrä.

Tämä on kasvun seuraus. Monimutkaiset sopeutuvat järjestelmät kerryttävät luonnostaan entropiaa. MIT:n Sloan-koulun tutkimukset on pitkään korostanut, miten tietoasymmetria organisaatioissa lisää toiminnallista riskiä. Samaan aikaan Gartner arvioi, että huono datan laatu maksaa organisaatioille keskimäärin $12.9 miljoonaa vuodessa.

Kuvitelkaa nyt, että tekoälyagentit otetaan käyttöön tähän ympäristöön ilman, että siihen liittyvää rakenteellista läpinäkyvyyttä osoitetaan.

Emme pitäisi olla yllättyneitä, kun tulokset tuntuvat arvaamattomilta. Agentti ei ole pahantahtoinen tai tyhmä. Se on sokea. Se rakentaa pimeässä.

Haun parantaminen ei riitä

Jotkut väittävät, että haun parantaminen (RAG) ratkaisee ongelman. Anna mallille pääsy asiakirjoihin. Syötä sille skeemauskritiikkaa. Yhdistä se rajapintoihin.

Se auttaa.

Asiakirja, joka selittää, miten työvirta “pitäisi” toimia, ei ole sama kuin todellinen kaavio, joka kuvaa, miten se todella vuorovaikuttaa 17 muun automaation kanssa.

Yritysten todellisuus harvoin vastaa yritysten asiakirjoja.

Vuoden 2023 tutkimus, joka julkaistiin Communications of the ACM -julkaisussa, totesi, että vanhentunut asiakirja on yksi ohjelmistokehityksen epäonnistumisten tärkeimmistä tekijöistä. Järjestelmät kehittyvät nopeammin kuin niiden kertomukset.

Niinpä vaikka annamme tekoälyagenteille asiakirjoja, usein annamme niille osittaisen tai ihannetun kartan.

Osittaiset kartat tuottavat yhä varmat virheet.

Toiminnallinen kerros on todellinen turvallisuuskerros

Meillä on tapana ajatella turvallisuutta yhdenmukaisuuskoulutuksena, esteinä, punaisena tiimipelinä ja politiikkasuodattimina. Kaikki tärkeitä. Mutta yrityskontekstissa turvallisuus on kontekstuaalinen. Se tarkoittaa tietämistä:

• Mikä riippuu tästä kentästä?
• Mikä automaatio viittaa tähän objektiin?
• Mitkä alijärjestelmän raportit menevät rikki?
• Kuka omistaa tämän prosessin?
• Milloin se viimeksi muutettiin?
• Mitkä historialliset muutokset edelsivät nykyistä konfiguraatiota?

Ilman tätä kerrosta tekoälyagentti toimii tehokkaasti mustassa laatikossa. Tällä kerroksella se voi simuloida vaikutuksia ennen toimintaa. Ero harhaluulon ja luotettavuuden välillä on usein näkyvyys.

Miksi malli saa syyt

Miksi keskustelu keskittyy niin voimakkaasti malleihin? Koska mallit ovat lukukelpoisia. Voimme mitata hämmästystä. Voimme vertailla benchmark-tuloksia. Voimme julkaista skaalautumiskäyriä. Voimme keskustella koulutusaineiston laadusta.

Informaatiotopologia yrityksissä on paljon mutkikkaampaa. Se vaatii monialaista koordinaatiota. Se edellyttää hallintodiscipliiniä. Se pakottaa organisaatiot kohtaamaan oman järjestelmänsä kertyneen monimutkaisuuden.

On helpompi sanoa “malli ei ole valmis” kuin myöntää “infrastruktuurimme on epäselvä.”

Mutta kun tekoälyagentit siirtyvät sisällön luomisesta operatiiviseen toimintaan, tämä viitekehyksessä tulee vaaralliseksi.

Jos kohtelemme luotettavuutta ainoastaan malliongelmana, jatkamme agenttien käyttöönottoa ympäristöihin, joita ne eivät voi merkityksellisesti havainnoida.

Itseohjautuvuus vaatii kontekstia

Antrhopicin tuoreet kokeet moniagenttisella ohjelmistokehitystiimillä osoittavat, että tekoälyjärjestelmät voivat koordinoida monimutkaisia tehtäviä, kun niille annetaan rakenteellinen konteksti ja kestävä muisti. Kykyraja kehittyy nopeasti. Mutta tämä itseohjautuvuuden laji ilman ympäristötietoisuutta on hauras.

Itseohjautuva auto ei riipu ainoastaan voimakkaasta neuroverkosta. Se riippuu lidarista, kameroista, karttapalveluista ja reaaliaikaisesta ympäristön havainnosta. Malli on yksi kerros laajemmassa havainnokerroksessa.

Yritysten tekoälytarpeisiin on vastaavaa: ei pelkästään rajapintapääsyä. Ei pelkästään asiakirjoja. Vaan rakenteellinen, dynaaminen ymmärrys järjestelmäriippuvuuksista.

Kunnes tällainen on olemassa, keskustelu harhaluuloista jatkuu väärän diagnoosin antamista.

Piilotettu riski: Yli-itsevarmuus

On toinen hienovarainen riski nykyisessä viitekehyksessä.

Kun mallit paranevat, niiden tulokset tulevat sulavammiksi, vakuuttavammiksi, auktoritatiivisimmiksi.

Sulavuus lisää itsevarmuutta.

Kun agentti muuttaa järjestelmää itsevarmasti ilman täydellistä kontekstia, epäonnistuminen ei ole välittömästi ilmeistä. Se voi tulla ilmi viikkoja myöhemmin raportointipoikkeamana, noudattamisaukonaukseksi tai ennustevirheenä. Koska malli näyttää osaavalta, organisaatiot saattavat yliarvioida sen operatiivista turvallisuutta. Todellinen epäonnistumistapa on uskottava laskelma.

Ja uskottava laskelma kukoistaa pimeässä.

Luotettavuuskysymyksen uudelleenmuotoilu

Sen sijaan, että kysytään: “Onko malli tarpeeksi hyvä?” Pitäisi kysyä: “Onko agentilla tarpeeksi rakenteellista kontekstia toimia turvallisesti?” Sen sijaan, että mitataan benchmark-tarkkuutta, pitäisi mitata ympäristön näkyvyyttä. Sen sijaan, että keskustellaan parametrilaskureista, pitäisi tarkastella järjestelmän epäselvyyttä.

Tekoälynhän seuraava luotettavuusrintama ei ole yksinkertaisesti suurempia malleja. Se on rikkaampia kontekstikerroksia.

Tämä sisältää:

• Riippuvuuskaavioita yritysjärjestelmistä
• Reaaliaikaista muutosten seurantaa
• Omistajuuden kartoittamista
• Historiallista konfiguraatiotietoisuutta
• Vaikutuksen simulaatiota ennen suorittamista

Kukaan näistä ei ole glamouria. Kukaan ei ole somessa trendaava. Mutta tässä luotettavuus voitetaan.

Rakentaminen valojen alla

Yritysjohtajat ovat oikeutettuja vaatimaan luotettavuutta ennen kuin antavat agenteille operatiivisen valtuuden. Mutta eteenpäin vievä polku ei ole odottaminen myyttistä harhaluulotonta mallia.

Se on investointi näkyvyyden infrastruktuuriin, joka mahdollistaa älykkään toiminnan.

Emme sallisi nuoren hallinnon muuttaa tuotantojärjestelmiä ymmärtämättä riippuvuuksia. Emme pitäisi sallia tekoälyagenteille tehdä niin.

Tavoitteena on vähentää sokeita pisteitä.

Kun agentit toimivat rakenteellisella tietämyksellä, harhaluulojen määrä laskee ei siksi, että malli on muuttunut, vaan siksi, että arvaamisen pinta-ala on kutistunut.

Ennustaminen muuttuu päättelyksi. Päättely muuttuu simulaatioksi. Simulaatio muuttuu turvalliseksi suorittamiseksi.

Vääjäämätön siirtymä

Seuraavan viiden vuoden aikana tekoälypinot jakautuvat kahteen kerrokseen. Toinen keskittyy mallin kykyyn: päättelysyvyyteen, monimuotoiseen sulavuuteen ja kustannustehokkuuteen. Toinen keskittyy informaatio-/kontekstuaaliseen topologiaan: järjestelmäkaavioihin, metadata älykkyyteen ja hallintokehyksiin.

Organisaatiot, jotka kohtelevat luotettavuutta ainoastaan mallivalintana, kamppailevat.

Organisaatiot, jotka kohtelevat luotettavuutta arkkitehtuurin ominaisuutena, liikkuvat nopeammin vähemmän riskillä.

Harhaluulokeskustelu näyttää vanhanaikaiselta jälkeenpäin. Todellinen tarina kertoo näkyvyydestä. Tekoäly ei ole luonnostaan lailla.

Se toimii pimeässä huoneessa.

Kunnes osoitamme sille, emme rakenna älykkäitä järjestelmiä. Rakennamme voimakkaita ennustajia epäselvissä ympäristöissä. Ja se tarkoittaa, että kaiken edistymisen huolimatta tekoäly rakentaa edelleen pimeässä.