Teknologia yksin ei takaa omaksumista: Oppimia sisäisen AI-keskustelubotin rakentamisesta

Kun tekoälysovellusten käyttöönotto kiihtyi eri aloilla, sisäisen sovelluksen tukemiseen tarkoitetun chatbotin käyttöönotto näytti loogiselta päätökseltä. Sovellus itsessään haastoi kuitenkin perinteisiä käyttäjäodotuksia. Se esitteli uusia työnkulkuja, jotka perustuivat uuteen, käyttäjille tuntemattomaan teknologiaan.

Jotta voidaan vähentää kitkaa ja parantaa omaksumista, chatbot suunniteltiin vastaamaan sovellukseen ja sen taustalla olevaan teknologiaan liittyviin kysymyksiin. Tavoitteena oli auttaa käyttäjiä ymmärtämään, mitä heidän tulisi tehdä, mutta myös miksi järjestelmä toimi tietyllä tavalla. Uskoimme, että kontekstuaalisten selitysten tarjoaminen kiihdyttäisi oppimista ja vähentäisi hämmennystä.

Alusta alkaen AI-väline suunniteltiin rajoitettuun tarkoitukseen. Se suunniteltiin tukemaan ainoastaan asiakirjoja ja tarjoamaan käyttäjien tueksi. Käytännössä chatbot tarkoitettiin toimimaan dynaamisena korvaajana perinteiselle Usein kysytyt kysymykset -dokumentille, tarjoten keskustelupohjaisen, hakukelpoisen ja jatkuvasti saatavilla olevan liittymän, jossa on laajennettu toiminnallisuus staattisen sisällön ulottuvilla.

Jotta voimme integroida agentin organisaation sisäiseen chat-ympäristöön, meidän piti ymmärtää, miten muotoillut viestit renderöitiin, miten keskusteluhistoria tallennettiin ja miten järjestelmä tunnisti osallistujia viestiketjuissa. Tämä mahdollisti meille määritellä ydinmuuttujat, joita tarvittiin käyttäjien kysymysten käsittelyyn.

Perustaa malli: Hallusinaatiosta luotettavaan kontekstiin

Suuret kielimallit ovat voimakkaita, mutta ilman kontekstuaalista ankkurointia ne ovat alttiita hallusinaatioille. Tätä varten toteutimme vektoriupottamistekniikan.

Käyttöohjeet, sisäinen asiakirja ja tuotteen visio muunnettiin numeeristen vektorien muotoon. Nämä upotukset tallensivat semanttisen merkityksen, jolloin järjestelmä voisi vastata käsitteitä vastaamalla yksinkertaisia avain sana -vastauksia.

Kun käyttäjä kysyi kysymyksen, järjestelmä muunsi kysymyksen vektori-esitykseksi ja vertasi sitä tallennettuihin upotuksiin. Se haki semanttisesti merkittävimmät asiakirjat ja syötti ne mallin ohjelmaan. Malli generoi vastauksen, joka perustui niihin tiettyihin asiakirjoihin, usein tiivistäen merkityksellistä tietoa.

Tämä lähestymistapa paransi merkittävästi vastausvirheitä. Sen sijaan, että se generoi vastauksia pelkästään yleisen tietämyksen perusteella, malli vastasi organisaatiomme oman asiakirjan kontekstissa.

Piilotettu monimutkaisuus: Kontekstin hallinta

Oli tärkeää sisällyttää keskusteluhistoria ohjelmaan, jotta botti voisi tulkita seuraavat kysymykset ja ylläpitää jatkuvuutta. Ilman historiaa vuorovaikutukset muodostuivat hajanaisiksi ja toistuviksi. Käyttäjät usein tarkistavat kysymyksiään asteittain, ja ilman kontekstia botti ei voinut tulkita viittauksia kuten “se vaihtoehto” tai “edellinen vaihe”.

On kuitenkin sisällyttäminen liian paljon historiaa loi toisen ongelman: token-rajoitukset. Nämä ilmenevät, kun kielimallit katkaisevat syötteitä, jotka ylittävät maksimin konteksti-ikkunan. Jos kysymys tai keskustelu oli liian pitkä, tärkeää tietoa voitiin menettää. Tämä ei tuottanut eksplisiittistä virhettä, vaan heikensi vastauslaatua tai vaikuttaa hakutarkkuuteen.

Tätä varten toteutimme strategioita ohjelman koon hallitsemiseksi, priorisoidaksemme merkityksellistä sisältöä ja seuraamaan kysymyksen pituutta. Kokeilimme vanhempien viestien tiivistämistä ja valikoivasti sisällyttämistä ainoastaan merkityksellisimpiä osia keskustelusta. Konteksti oli kriittinen, mutta se piti hallita tarkasti.

Kapasiteettien laajentaminen ja hämmennysten luominen

Sovelluksen asiakirjoihin perustuvien kysymysten vastaamisen lisäksi laajensimme botin kykyjä lisäämällä taustafunktiot, jotka voivat hakea tiettyä julkista tietoa suoraan sovelluksesta. Tämä mahdollisti käyttäjille haettavan tiedon chatista ilman sovelluksen kirjautumista. Ideana oli vähentää kitkaa ja vahvistaa chatbottiä hyödyllisenä liittymänä, ei ainoastaan staattisena tietokerroksena.

Tämä laajennus aiheutti kuitenkin hämmennystä joillekin käyttäjille. Kun botti alkoi hakea reaaliaikaisia tietoja, käyttäjät alkoivat pyytää sitä suorittamaan toimintoja, jotka vaativat suoraa vuorovaikutusta sovelluksessa. He olettivat, että chatbotti voisi korvata toiminnalliset vaiheet, mukaan lukien ne, jotka vaativat todennusta tai tietoista suorittamista sovelluksessa.

Botti ei ollut suunniteltu suorittamaan näitä toimintoja, mutta ero informaatiivisen avun ja toiminnallisen suorittamisen välillä ei aina ollut selvä.

Reaaliaikaisen tiedon integrointi toi myös uusia teknisiä huomioita. Meidän piti määritellä, milloin kysymys tulisi kulkea upottamisen kautta ja milloin se tulisi laukaista taustafunktiokutsu. Tämä päätöksenteko vaati tarkkaa suunnittelua. Lisäksi meidän piti säätää vastauksia käsittelemään tietokonevirheitä ja välttämään raakojen järjestelmävirheiden paljastamista käyttäjille.

Monikielinen kyky ei ole automaattinen

Testauksen aikana totesimme, että botti toimi johdonmukaisesti paremmin englanniksi kuin muilla kielillä, joita käytimme Jalasoftissa. Pääsyy oli rakenteellinen: suurin osa asiakirjoista, joita käytimme upotusten luomiseen, oli kirjoitettu englanniksi, ja upotusmalli, jonka valitsimme, oli optimoitu englannin kielen semanttista samankaltaisuutta varten.

Se ei tukenu cross-linguaalista hakua tai semanttista vertailua kielten välillä. Seurauksena oli, että ei-englanninkieliset kysymykset usein hakivat vähemmän merkityksellisiä asiakirjoja, johtuen heikommista vastauksista.

Tämä korosti tärkeää havaintoa: monikielinen kyky ei ole automaattinen.

Kun odotukset laajenevat ylittäen sovelluksen rajat

Käyttökustannusten hallitsemiseksi toteutimme päivittäisen rajoituksen siitä, montako kysymystä käyttäjät voivat esittää. Kuitenkaan emme rajoittaneet kysymysten aiheita. Käyttäjät olivat vapaita kysymään mitä tahansa.

Tämä avoimuus johti odottamattomiin käyttömalliin. Jotkut käyttäjät alkoivat käyttää bottia henkilökohtaisiin tai tutkimusperäisiin tarkoituksiin, jotka eivät liittyneet sovellukseen. Ajan myötä odotukset kasvoivat botin tarkoitettua roolia suuremmiksi, luoden kuilun siitä, mitä käyttäjät toivoivat sen tekevän, ja mitä se oli suunniteltu tukemaan.

Tämä epäsuhta vähensi vähitellen sen havaittua hyödyllisyyttä. Käyttö vähentyi, ja chatbotti lopulta poistettiin, ja ponnistelut ohjattiin sovelluksen uudelleensuunnitteluun, jotta se olisi helpompi ja intuitiivisempi käyttää.

Todellinen oppiminen: Keskustelun suunnittelu

Teknisen näkökulman mukaan järjestelmä toimi kohtuullisesti. Se haki asiakirjoja, sisällytti keskusteluhistorian, vähensi hallusinaatioita upotuksilla, käsiteli taustafunktiokutsuja ja hallitsi ohjelman kokoa. Arkkitehtuuri toimi aiotulla tavalla.

Se kuitenkaan puuttui tarkoituksellisesta keskustelun suunnittelusta.

Botti ei muokannut keskustelua selkeästi. Se ei vahvistanut johdonmukaisesti omaa rooliaan. Se ei ohjannut käyttäjiä rakenteellisilla esimerkeillä siitä, mitä se voisi ja mitä ei voisi tehdä. Se vastasi kysymyksiin, mutta se ei asettanut odotuksia.

Opimme, että keskustelutekoälyjärjestelmien vaatii enemmän kuin vahvat mallit ja järjestäytynyt data. Niiden vaatii huolellisesti suunniteltuja odotuksia. Käyttäjien on oltava selkeä kuva agentin roolista, sen rajoista ja sen vahvuuksista. Järjestelmän on proaktiivisesti tarjottava esimerkkipyynnöksiä, selventää rajoituksia ja ohjata pois sovelluksen ulkopuolisia kysymyksiä johdonmukaisesti.

Ilman tätä tarkoituksellista kehystä, jopa teknisesti terve toteutus voi kamppailla arvonsa ylläpitämiseksi. Käyttäjät voivat yliarvioida kykyjä tai irtautua, kun odotukset eivät täyty.

Ydinviesti on yksinkertainen mutta voimakas.

Keskustelutekoälyn rakentaminen ei ole ainoastaan tekninen haaste. Se on myös keskustelun suunnittelun haaste.

Vahva konteksti, tarkka hakeminen ja robusti arkkitehtuuri ovat välttämättömiä, mutta riittämättömiä. Järjestelmän tehokkuus riippuu yhtä lailla siitä, miten se määrittelee roolinsa, viestii rajojaan ja muotoilee käyttäjien odotuksia.

Teknologia yksin ei takaa omaksumista. Selkeä keskustelun suunnittelu tekee.