Teknologi alene garanterer ikke adoption: Lærdomme fra opbygning af en intern AI-chatbot

Da AI-adoption accelererede over industrier, syntes det logisk at deployere en chatbot til at støtte en nyligt lanceret intern applikation. Applikationen selv udfordrede imidlertid konventionelle brugerforventninger. Den introducerede nye arbejdsgange bygget på fremvoksende teknologi, som var ukendt for de fleste brugere.

For at reducere friktion og forbedre adoption var chatbotten designet til at besvare spørgsmål om applikationen og den underliggende teknologi. Målet var at hjælpe brugerne med at forstå ikke kun, hvad de skulle gøre, men også hvorfor systemet opførte sig på den måde, det gjorde. Vi troede, at ved at give kontekstuelle forklaringer ville vi kunne accelerere læring og reducere forvirring.

Fra begyndelsen var AI-agenten tænkt som en løsning med begrænset omfang. Den var designet strengt til at støtte dokumentation og give brugerhjælp. Konceptuelt var chatbotten tænkt til at fungere som en dynamisk erstatning for en traditionel ofte-stillede-spørgsmål-dokument, der tilbød en konversationel, søgbar og kontinuerligt tilgængelig grænseflade med udvidet funktionalitet ud over statisk indhold.

For at integrere agenten i organisationens interne chat-miljø havde vi brug for at forstå, hvordan strukturerede meddelelser blev visuelt fremstillet, hvordan samtalehistorik blev gemt og hvordan systemet identificerede deltagere i tråde. Dette gjorde det muligt for os at bestemme de centrale variabler, der var nødvendige for at starte behandlingen af brugerspørgsmål.

At grundlægge modellen: Fra hallucination til pålidelig kontekst

Store sprogmodeller er kraftfulde, men uden kontekstuel forankring er de tilbøjelige til hallucinationer. For at imødegå dette implementerede vi en vektor-embedding-teknik.

Brugervejledninger, interne dokumentationer og produktvisionen blev transformeret til numeriske vektorrepræsentationer af tekst. Disse indlejninger fik fat i semantisk betydning, hvilket gjorde det muligt for systemet at matche begreber i stedet for at afhænge af enkel keyword-matching.

Når en bruger stillede et spørgsmål, konverterede systemet spørgsmålet til en vektorrepræsentation og sammenlignede den med de gemte indlejninger. Det hentede de mest semantisk relevante dokumenter og indførte dem i modellens prompt. Modellen genererede herefter en respons, der var grundet i disse specifikke dokumenter, ofte sammenfattende den relevante information.

Denne tilgang forbedrede betydeligt svarets nøjagtighed. I stedet for at generere svar baseret på ren generel viden, svarede modellen ved hjælp af vores organisations egen dokumentation som kontekst.

Den skjulte kompleksitet af kontekststyring

Det var afgørende at inkludere samtalehistorik i promptet, så chatbotten kunne fortolke opfølgende spørgsmål og opretholde kontinuitet. Uden historik blev interaktioner fragmenterede og gentagne. Brugere udviklede ofte deres spørgsmål inkrementelt, og uden kontekst kunne chatbotten ikke fortolke henvisninger som “den mulighed” eller “det foregående trin”.

Men at inkludere for meget historik skabte et andet problem: token-grænser. Disse opstår, når sprogmodeller afkorter input, der overstiger deres maksimale kontekstvindue. Hvis et spørgsmål eller en samtale blev for lang, kunne vigtig information gå tabt. Dette producerede ikke en eksplisit fejl, men snarere en nedgradering af svarets kvalitet eller påvirkning af hentningsnøjagtigheden.

For at imødegå dette implementerede vi strategier til at styre prompt-størrelse, prioritere relevant indhold og overvåge spørgsmåls længde. Vi eksperimenterede med at sammenfatte ældre meddelelser og selektivt inkludere kun de mest relevante dele af samtalen. Kontekst var kritisk, men den skulle være omhyggeligt styret.

At udvide kapaciteter og skabe forvirring

Ud over at besvare dokumentationsbaserede spørgsmål, udvidede vi chatbottens kapaciteter ved at tilføje backend-funktioner, der kunne hente bestemt offentlig information direkte fra applikationen. Dette gjorde det muligt for brugere at hente data fra chatten uden at logge ind i applikationen selv. Idéen var at reducere friktion og styrke chatbotten som en nyttig grænseflade, ikke kun et statisk videnlag.

Denne udvidelse skabte imidlertid forvirring hos nogle brugere. Når chatbotten begyndte at hente live-data, begyndte brugerne at spørge den om at udføre handlinger, der krævede direkte interaktion inden for platformen. De antog, at chatbotten kunne erstatte operationelle trin, herunder dem, der krævede godkendelse eller bevidst udførelse inden for platformen.

Chatbotten var aldrig designet til at udføre disse handlinger, men forskellen mellem informationshjælp og operationel udførelse var ikke altid klar.

Integration af live-data introducerede også nye tekniske overvejelser. Vi havde brug for at definere, hvornår et spørgsmål skulle gå gennem indlejring-baseret henting og hvornår det skulle udløse en backend-opkald. Denne beslutningslogik krævede omhyggelig design. Derudover havde vi brug for at justere svarene for at håndtere tekniske undtagelser på en smuk måde og undgå at eksponere rå systemfejl for brugerne.

Multisproget kapacitet er ikke automatisk

Under testningen opdagede vi, at chatbotten konsekvent opførte sig bedre på engelsk end på andre sprog, der blev brugt inden for Jalasoft. Den primære årsag var strukturel: Det meste af dokumentationen, der blev brugt til at generere indlejninger, var skrevet på engelsk, og indlejningsmodellen, vi valgte, var optimeret til engelsk semantisk lighed.

Den understøttede ikke tværsproglig henting eller semantisk sammenligning på tværs af sprog. Som følge heraf hentede ikke-engelske forespørgsler ofte mindre relevante dokumenter, hvilket førte til svagere svar.

Dette fremhævede en vigtig indsigt: Multisproget kapacitet er ikke automatisk.

Når forventninger udvides ud over omfang

For at kontrollere brugsomkostningerne implementerede vi en daglig grænse for, hvor mange spørgsmål brugerne kunne stille. Imidlertid begrænsede vi ikke udtrykkeligt spørgsmålenes omfang. Brugerne var frie til at spørge om noget som helst.

Dette åbne spørgsmål ledte til uventede brugs mønstre. Nogle brugere begyndte at interagere med chatbotten til personlige eller eksplorerende formål, der ikke var relateret til applikationen. Over tid voksede forventningerne ud over chatbottens tænkte rolle, hvilket skabte en kløft mellem, hvad brugerne håbede, den kunne gøre, og hvad den var designet til at støtte.

Denne misalignering reducerede gradvist dens opfattede nyttighed. Brugen af chatbotten faldt, og den blev til sidst afviklet, med indsats rettet mod at redesigne applikationen selv for at gøre den mere intuitiv og nem at bruge.

Den virkelige lære: Interaktionsdesign

Fra et ingeniør-mæssigt synspunkt fungerede systemet rimeligt godt. Det hentede dokumenter, inkluderede samtalehistorik, reducerede hallucinationer gennem indlejninger, håndterede backend-opkald og styrede prompt-størrelse. Arkitekturen fungerede, som det var tænkt.

Men den manglede bevidst interaktionsdesign.

Chatbotten formulerede ikke tydeligt samtaler. Den forstærkede ikke konsekvent sin egen rolle. Den vejledte ikke brugerne med strukturerede eksempler på, hvad den kunne og ikke kunne gøre. Den besvarede spørgsmål, men den satte ikke forventninger.

Vi lærte, at konversational AI-systemer kræver mere end stærke modeller og struktureret data. De kræver omhyggeligt designet forventninger. Brugere har brug for klarhed om agentens rolle, dens grænser og dens styrker. Systemet skal proaktivt give eksempler på prompts, klargøre begrænsninger og omdirigere spørgsmål, der er uden for omfang, konsekvent.

Uden denne bevidste ramme kan selv en teknisk sund implementering have svært ved at opretholde værdi. Brugere kan overvurdere kapaciteter eller frakoble, når uudtalte forventninger ikke bliver opfyldt.

Kernepunktet er enkelt, men kraftfuldt.

Opbygning af konversational AI er ikke kun en teknisk udfordring. Det er også en interaktionsdesign-udfordring.

Stærk kontekst, præcis henting og robust arkitektur er nødvendige, men ikke tilstrækkelige. Systemets effektivitet afhænger lige så meget af, hvordan det definerer sin rolle, kommunikerer sine grænser og former brugerforventninger.

Teknologi alene garanterer ikke adoption. Klart interaktionsdesign gør.