Automaattiset edustajat tarvitsevat enemmän kuin vain tekoälyn havainnollistamisen

Kun yritykset käyttävät tekoälyä ajattelemiseen, toimimiseen ja työnkulun käynnistämiseen, on kehitettävä suunnitelma niiden seuraamiseen ja hallitsemiseen.

Kun eri osat tekoälyjärjestelmästä alkavat tehdä omia päätöksiä, havainnollistaminen yksin ei riitä varmistamaan, että toiminta pysyy vakaana, turvallisena tai luotettavana.

Jotta voidaan tehokkaasti hallita tekoälyä yrityksissä, on suljettava kuilu ongelman tunnistamisen ja toiminnan välillä. Se vaatii enemmän kuin vain ongelmien havainnollistamisen; yritysten on estettävä ongelmia.

Automaattisten edustajien synty

Ensimmäinen aalto yritysten tekoälyä oli perustuu järjestelmiin; käyttäjä esitti kysymyksen, malli vastasi ja vaihto päättyi siihen. Vaikka nämä varhaiset teknologiat olivat olennaisesti reaktiivisia, ne olivat hyödyllisiä hakua, kopioita, sisällön luomista ja yhteenvetoa varten.

Seuraava aalto on erilainen. Automaattiset tekoälyedustajat eivät ainoastaan reagoi, vaan ne myös päättävät tavoitteista, valitsevat työkaluja, poimivat tietoa, tekevät toimia ja käynnistävät työnkulkuja. Ne voivat toimia yhdessä muiden edustajien tai järjestelmien kanssa ja toimivat yhä enemmän yrityksen operatiivisina toimijoina ihmisten ohjeiden käyttöliittymän sijaan.

Tämä muutos on merkittävä, koska se vaikuttaa tekoälyn operatiivisiin ominaisuuksiin. Tiimit eivät enää vain tarkkaile mallin tulostetta. Sen sijaan he hallinnoivat dynaamisia järjestelmiä, jotka voivat vaikuttaa asiakkaisiin, henkilöstöön, infrastruktuuriin, liiketoimintaprosesseihin ja muihin sovelluksiin.

Edustajien voimat tänään

Edustajien kyvyt kehittyvät yhdessä heidän kanssaan. Edustajat voivat valita, mitä seuraavaksi tehdä, jakaa tavoitteen askeliin ja suorittaa toimia eri tasoilla. Otaessaan yhteyttä API:ihin, kyselytietokantoihin, etsiessä sisäisiä järjestelmiä, päivittäessä tietoja ja käynnistäessä alihankkijoita, ne koordinoivat työnkulkuja. Yhdistämällä ohjelmat, muistin, liiketoimintasäännöt, haetun tiedon ja reaaliaikaiset operatiiviset signaalit edustajat voivat myös tehdä kontekstipohjaisia arvioita.

Monimutkaisemmat edustajat voivat tunnistaa, kun työnkulku epäonnistuu, yrittää uudelleen, eskaloivat ongelmia tai siirtävät työt ihmisen tarkastajalle. Asiakaspalvelun, tikettien, pilvi-infrastruktuurin, sisäisten tietokantojen, havainnollistamisalustojen ja liiketoimintasovellusten yhteydessä edustajat voivat toimia itsenäisesti. Odotamme, että nämä taidot jatkavat nopeaa laajenemistaan.

Liiketoiminnan integrointi autonomisten tekoälyedustajien kanssa

Edustajia integroidaan laajenevaan joukkoon organisaatioiden operatiivisiin toimintoihin, ja ne lähestyvät operatiivisia prosesseja, joissa nopeus, tarkkuus, turvallisuus ja hallinto ovat tärkeitä. Jotkut näistä toimista ovat: asiakaspalvelu ja tapausten käsittely, häiriöiden vastaanotto ja IT-toiminnot, DevOps- ja sivun luotettavuuden työnkulut, koodin korjaus ja ohjelmistokehitys, operatiivinen ja toimitusketjun suunnittelu ja lisää.

Uusia operatiivisia uhkia

Kuitenkin kun edustajat tulevat yhä itsenäisemmiksi, liiketoiminnan on vastattava uudenlaisiin operatiivisiin riskeihin.

• Huonot valinnat eivät ole ainoastaan suositeltuja; ne toteutetaan usein
• Pienet virheet voivat nopeasti leviä muihin liittyviin järjestelmiin
• Reaaliaikaiset toimet voivat käynnistyä harhaluuloista
• Edustajat voivat poiketa liiketoimintatarkoituksesta, käytännöstä tai määräyksistä
• Useiden komponenttien välinen vuorovaikutus voi johtaa epäonnistumisiin
• Automaattinen päätöksenteko voi tehdä päätöksiä nopeammin kuin ihmisen arviointi

Vaikka tiimit voivat havaita oireita, heidän on myös ymmärrettävä järjestelmän käyttäytymisen taustalla olevat syyt. Yritysten tekoälytarpeisiin kuuluu luotettavuusohjaus havainnollistamisen lisäksi.

Tekoälyjärjestelmien monimutkaisuus

Nykyiset tekoälyjärjestelmät ovat harvoin yksittäisiä malleja. Ne ovat hajautettuja, kerroksellisia järjestelmiä, jotka koostuvat monista vuorovaikutuksessa olevista komponenteista, jotka sisältävät:

• Perusmallit (LLM)
• Hienosäädettyjä tai tehtäväkohtaisia pieniä kielimalleja (SLM)
• Upottamismallit
• Vektortietokannat
• Hakuputkistot ja RAG-komponentit
• Ohjelmamallipohjat ja ohjelmien orkesterointikerrokset
• Koulutus- ja arviointidatavalit
• Varustelut ja käytäntökerrokset
• Edustajat ja työnkulut
• Työkalujen kutsujärjestelmät
• Telemetria (lokit, mittarit ja jäljitykset)
• Ihmisen toiminnan hyväksymisen tarkastuspisteet

Niihin liittyvät riskit

Jokainen komponentti lisää erilaisen virhetilan, ja niiden vuorovaikutus lisää monimutkaisuutta. Vaikka järjestelmä näyttää vahvalta infrastruktuuritasolla, se voi silti tehdä huonoja valintoja ja tuottaa tyydyttäviä tuloksia; kaiken aikaa kuitenkin koko operatiivinen riski kasvaa pinnan alla.

Jotkut niihin liittyvistä riskeistä ovat: huonojen tai viallisten syötteen esittely datavirtauksilla, infrastruktuurin pullonkaulat, jotka vähentävät luotettavuutta, haitallisia tai virheellisiä tuloksia ja operatiivisia pullonkauloja ihmisen tarkastuksen yhteydessä. Järjestelmien monimutkaisuus vaikeuttaa ongelmien nopeaa havaitsemista.

Tekoälyn havainnollistaminen

Perinteinen seuranta on riittämätön ymmärtämään ohjelmointikäyttäytymistä, hakutuloksia, mallin siirtymistä, edustajien suorituskanaaleja tai yhteyttä tekoälyn käyttäytymisen ja alihankkijoiden liiketoimintavaikutuksen välillä.

Siihen tulee tekoälyhavainnollistaminen. Tekoälyhavainnollistaminen mahdollistaa tiimien ymmärtämisen, miten tekoälyjärjestelmät toimivat tuotannossa keräämällä, korreloimalla ja arvioimalla syötteitä ja tulosteita, toivottuja käyttäytymisiä ja tekoälyjärjestelmistä syntyviä päätössignaaleja. Tämä on välttämätöntä, koska tekoälyjärjestelmät ovat hajautettuja, epädeterministisiä ja erittäin kontekstisensitiivisiä.

Tekoälyhavainnollistaminen tarjoaa loppupäähän näkyvyyden tekoälytyönkulkuun, joten tiimit, jotka käyttävät sitä, voivat ymmärtää, miten ohjelmat, mallit, hakukerrokset, työkalut ja alihankkijat vuorovaikuttavat suoritettaessa.

Tekoälyhavainnollistaminen mahdollistaa suorituskyvyn ja käyttäytymisen seuraamisen, mukaan lukien viive, kustannus, tokenin käyttö, läpäisy, virheiden määrä, mallin käyttäytyminen ja laadun osoittimet. Se jäljittää ja analysoi suorituspolut monimutkaisissa edustajatyönkulussa ja osoittaa, miten tulokset saavutetaan useiden askelten ja riippuvuuksien yli.

Tekoälyhavainnollistaminen löytää myös poikkeavuuksia operatiivisissa ja tekoälysignaaleissa paljastamalla poikkeavan käyttäytymisen malleissa, putkistossa, infrastruktuurissa tai käyttäjän näkymissä ennen kuin tiimit löytävät ne manuaalisesti. Se nopeuttaa diagnooseja, kun jotain menee pieleen, ja tekee juurisyyanalyysin helpommaksi sisällyttämällä tekoälyyn erityisiä toimintoja järjestelmän telemetriaan (lokit, mittarit, jäljitykset ja tapahtumat).

Havainnollistaminen yksin ei riitä

Vaikka tekoälyhavainnollistaminen on välttämätön liiketoimintakäytäntö, sillä on sisäänrakennettuja rajoituksia.

Havainnollistaminen on diagnostinen eikä ennaltaehkäisevä; tiimit voivat oppia, mitä meni pieleen, mutta eivät välttämättä sitä, miten estää sen uudelleen tapahtumisen. On tärkeää ymmärtää, että tieto edustajan menneisyydestä ei välttämättä käännä itsessään edustajan tulevan käyttäytymisen hallintaan.

Monimutkaisissa epädeterministisissä järjestelmissä havainnollistaminen voi usein hämmästyttää tiimejä datalla, joka johtaa epävarmuuteen. Sen sijaan, että se tarjoaisi operatiivisen vastauksen, havainnollistaminen usein päättyy selitykseen. Vaikka tiimit tietävät ongelmasta, he saattavat silti olla kyvyttömiä ottamaan korjaavia toimia, lieventämään vaikutuksia tai ylläpitämään autonomisia järjestelmiä turvallisissa toimintaparametreissa.

Tämä luo operatiivisen aukon. Liiketoiminnat voivat havaita siirtymisen, huonot tulokset, vaarallisen käyttäytymisen tai heikentyneen tuottavuuden, mutta ne eivät välttämättä pysty estämään niiden uudelleentapahtumista, lieventämään vaikutuksia tai ylläpitämään autonomisia järjestelmiä turvallisissa toimintaparametreissa.

Tämä tarkoittaa, että tiimit jatkavat toimintaa reaktiivisesti. Ne käyttävät manuaalista väliintuloa, kun jotain menee pieleen, tutkivat tapauksia jälkikäteen ja luottavat ihmistyöhön korvaamaan järjestelmiä, jotka tulevat nopeammaksi ja autonomisemmaksi.

Tekoälyn luotettavuuden yleiskatsaus

Tekoälyn luotettavuus ylittää pelkän ongelmien havainnollistamisen. Se on järjestelmän varmistamisen taito, jossa tekoälyjärjestelmät toimivat turvallisesti, johdonmukaisesti, ennustettavasti ja onnistuneesti tuotannon todellisissa ympäristöissä. Tekoälyn luotettavuus ymmärtää ja hallitsee koko tekoälyjärjestelmien ympärillä olevan järjestelmän. Se sulkee havainnollistamisen ja toiminnan silmukan.

Tekoälyn luotettavuus keskittyy siihen, voivatko koko tekoälyohjattu järjestelmä toimia kohtuullisissa operatiivisissa rajoissa ajan myötä, eikä ainoastaan siihen, onko malli antanut tarkan vastauksen. Laatu, turvallisuus, kestävyys, selittäminen, käytäntöjen noudattaminen, kustannustehokkuus ja operatiivinen vakaus ovat kaikki osa yhtälöä.

Siirtyminen havainnollistamisesta ennaltaehkäisyyn

Tekoälyn luotettavuus vähentää aikaa ongelman tunnistamisen ja korjaamisen välillä. Se siirtää keskustelun “mitä meni pieleen” -keskustelusta “miten nopeasti tekoäly paranee” -keskusteluun. Seuraavien tekniikoiden soveltaminen siirtää havainnollistamisen passiivisesta havainnosta proaktiiviseen ennaltaehkäisyyn:

• Signaaleja yhdistämällä malleissa, datasta ja infrastruktuurista ongelmien tunnistamiseksi
• Ennakkoon ongelmien havainnollistaminen ennen vaikutusta
• Kaikkien syötteiden ja tulosteiden vahvistaminen todennäköisissä tekoälyjärjestelmissä havaitsemaan hienot käyttäytymisen muutokset
• Palautekanavan luominen epätoivottavien tulosteiden havainnollistamiseen tuotannossa ja niiden käyttämiseen mallin tarkkuuden parantamiseen
• Moniedustajatyönkulun jäljittäminen varmistamaan, että voidaan yhdistää pisteet siitä, miksi ja miten data kehittyi monimutkaisten toimien informoimiseksi
• Määritellyn ihmisen osallistumisen agenteille turvallisen vastauksen ja automaattisen korjaamisen vuoksi

Sulkeaksesi kuilun valvonnan ja havainnollistamisen välillä

Liiketoiminnat hyötyvät kehyksistä, jotka yhdistävät näkyvyyden ja hallinnan ja vaativat enemmän kuin vain havainnollistamiskerros generatiivisen tekoälyn päällä. Molemmissa deterministisissä ja epädeterministisissä järjestelmissä luotettavuusjärjestelmä voi tunnistaa, ennakoida, selittää ja auttaa ongelmien hallinnassa.

Seuraavat asiat kuuluvat olennaiseen kehykseen luotettavasta tekoälytoiminnasta:

• Integroitu telemetria sekä IT-järjestelmiin että tekoälyjärjestelmiin
• Loppupään agenteille työnkulun ja järjestelmäriippuvuuksien seuranta
• Tekoälyyn erityisiä käyttäytymisen ja laadun seurantaa (ohjelmat ja arviot)
• Edistynyt poikkeamien havainnollistaminen riippumatta lähteestä
• Syy-seuraus-päättely ja juurisyyanalyysi
• Hälytys, joka mukautuu automaattisesti ympäristöösi ja joka ei vaadi manuaalista kynnysehtoa
• Käytäntöjen noudattaminen ja varustelut
• Ihmisen osallistuminen tarkastamaan herkkiä tai merkittäviä toimia
• Työnkulun automaatio ja korjaamisen koordinointi
• Ennustavan analyysin käyttäminen ongelmien estämiseen
• Palautekanavat, jotka yhdistävät poikkeamien havainnollistamisen parannettuun tekoälymallin laatuun

Tekoälytoimintojen helpottaminen

Tekoälyjärjestelmät riippuvat infrastruktuurista, palveluista, datavirtauksista ja operatiivisista toimintatavoista; ne eivät epäonnistu yksin. Tiimit saavat koko kuvan, kun sekä tekoäly- että IT-luotettavuus yhdistyvät.

Ohut LLM-kääre ei pitäisi olla luotettavan alustan perustana. Jotta voidaan tunnistaa ja korjata ongelmat, joita muut pelkästään tekoälyyn perustuvat työkalut eivät huomaa, on tarkasteltava useita tekoälytekniikoita, kuten unsupervised AI, prediktio AI, syy-seuraus AI ja generatiivinen AI. Tämä tekniikoiden yhdistelmä tunnetaan yleisesti “komposiittitekoälyna”.

Generatiivinen tekoäly on hyvä luonnollisen kielen yhteenvedon tekemiseen. Se sopii parhaiten tilanteisiin, joissa on tarpeen päättelyä epäjärjestäytyneistä tiedoista tai kun vuorovaikutetaan ihmisten kanssa. Mutta se ei sovi useimpien luotettavuusongelmien muotoa tuotannossa.

Prediktio AI keskittyy varhaisiin signaalien tunnistamiseen ennen kuin ne kehittyvät katkoksi, huonoiksi asiakaskokemuksiksi tai kalliiksi epäonnistumisiksi anomaalihavainnollistamisalgoritmeja käyttämällä.

Syy-seuraus AI auttaa määrittämään todelliset juurisyyt paljastaakseen, aiheuttiiko suorituskyvyn lasku hakutuloksen laatu, mallin käyttäytyminen, infrastruktuurin hitaus, ylätuotannon data-vaikutus vai alituotannon järjestelmän epäonnistuminen.

Unsupervised AI etsii itsestään piileviä rakenteita, rakenteita tai poikkeamia tiedoissa ilman ihmisen ohjausta. Se ylittää generatiivisen tekoälyn luotettavuudessa, koska se keskittyy löytämään piileviä rakenteita monimutkaisista, luokittelemattomista tiedoista ryhmitelläkseen samanlaisia kohteita tai löytääkseen suhteita.

Kun riski, epävarmuus tai liiketoimintavaikutus on merkittävää, operatiiviset tekoälyedustajat on kyettävä automaattiseen reagointiin ylläpitäen samalla ihmisten osallistumista luotettavissa toimissa.

Tekoälymallin ymmärrys tietystä liiketoimintakontekstista voidaan parantaa jokaisessa kohtaamisessa käyttämällä vahvistusoppimista todellisista käyttäjätiedoista tuotannossa.

Jopa edistyneimmät järjestelmät menevät hälytyksen yli; suljettu korjausjärjestelmä oppii jokaisesta tapauksesta, automatisoi tunnistetut reaktiot ja käynnistää turvallisia toimia.

Valmistautuminen autonomisiin tekoälyjärjestelmiin

Liiketoiminnat voivat valmistautua autonomisiin tekoälyjärjestelmiin usealla tavalla. Ensinnäkin edustajia on katsottava operatiivisina järjestelminä eikä ainoastaan tuottavuuden välineinä. Kun edustajalla on kyky toimia, se tulee olemaan olennainen osa liiketoiminnan operatiivista toimintaa ja sitä on säänneltävä asianmukaisesti.

Tiimit voivat tallentaa signaaleja malleista, ohjelmista, työkaluista, työnkulusta, infrastruktuurista ja käyttäjän tuloksista välittömästi edustajien instrumentoinnin avulla. Tämä perussuojaus ei pidä lykätä, kunnes edustajat tulevat olennaisiksi liiketoiminnalle.

Luotettavuusvaatimusten asettaminen ennen edustajien laajaa käyttöönottoa on myös tärkeää. Hyväksyttävien kynnysten asettaminen turvallisuudelle, viiveelle, virheiden määrälle, harhaluulon riskille, käytäntöjen noudattamiselle ja liiketoimintavaikutukselle on sisällyttävä niiden suunnitteluun eikä esitettyä jälkikäteen.

Linkittämällä tekoälykäyttäytymisen taustalla oleviin järjestelmiin ja prosesseihin, jotka sitä tukevat, liiketoiminnat voivat integroida tekoäly- ja IT-toiminnot. Erilaisten työkalujen käyttäminen infrastruktuurin ja mallin seurantaan luo sokeita pisteitä.

Alustan insinöörit, SRE, turvallisuus, datajoukkueet, tekoälytiimit ja liiketoimintayritykset on työskenneltävä yhdessä tarjotakseen luotettavan tekoälytoiminnan, ja autonomiset järjestelmät ylittävät perinteiset silot.

Jokainen tapaus, poikkeama ja lähesonni parantaa järjestelmää sisällyttämällä palautekanavat toimintaan, jolloin liiketoiminnat voivat jatkuvasti oppia tuotannon käyttäytymisestä.

Lopuksi on tärkeää valita alustoja, jotka on suunniteltu hallintaan eikä ainoastaan havainnollistamiseen. Liiketoiminnat hyötyvät järjestelmistä, jotka yhdistävät havainnollistamisen, ennustamisen, selittämisen ja toiminnan, kun tekoälyedustajat tulevat autonomisemmaksi. Organisaatiot, jotka onnistuvat siirtymään ongelman tunnistamisesta turvalliseen tuloksen hallintaan, ovat voittajia.

Yhteenveto

Tekoäly on liiketoiminnassa nyt operatiivinen järjestelmä yritysympäristöissä eikä ainoastaan työkalu. Tuotannon todellisissa ympäristöissä tekoälyjärjestelmien luotettavuuden lisääminen takaa turvallisen, johdonmukaisen, ennustettavan ja tehokkaan toiminnan.