Du kan ikke prøve‑teste et merke som snakker til alle på en annen måte

For noen dager siden havnet jeg i en ganske opphetet diskusjon med vennen min Faniprize. Hun er personen jeg forteller ferske arbeids‑historier til når jeg merker et større spørsmål i dem, men ennå ikke kan navngi det.

Denne gangen handlet det om AI‑agenter. Ikke om bedrifter trenger dem, det har blitt diskutert nok. Jeg var mer interessert i hva som skjer etter at et selskap implementerer en agent som begynner å utføre reelt arbeid, fordi det er der de mindre åpenbare problemene starter.

Jeg fortalte henne om et nylig prosjekt med et rekrutteringsbyrå. En AI‑agent håndterte en del av kommunikasjonen med potensielle kunder. Fra et markedsføringsperspektiv så det bra ut: den kjente produktet og målgruppen, tonen var riktig, og samtalene føltes personlige i stedet for malbaserte.

Enkeltstående samtaler virket greit. Så satte vi flere ved siden av hverandre.

I svært lignende situasjoner hadde agenten gitt litt forskjellige løfter. Den ga én person én tidslinje for å komme tilbake i kontakt og en annen person en annen. I noen samtaler sa den i bunn og grunn «vi kan være fleksible her» om individuelle vilkår, selv om selskapet aldri hadde gitt den frihet til å godta disse vilkårene.

Det var ingen dramatisk hallusinasjon, noe som gjorde problemet vanskeligere å oppdage.

Agenten hørtes helt normal ut.

Markedsføringsteam bruker naturligvis mye tid på tone og posisjonering. Et rekrutteringsfirma bør ikke høres ut som en kryptostartup, og en bank bør ikke kommunisere som et motemerke. Men under måten et merke snakker på, finnes det et annet lag: hva er agenten egentlig tillatt å love på selskapets vegne?

En vakkert formulert melding hjelper lite hvis kunden senere oppdager at vilkårene den diskuterte ikke eksisterer. På det tidspunktet er det ikke lenger et kommunikasjonsproblem. Det er et omdømmeproblem.

Vi har lært agenter å høres ut som selskapet. Nå må vi sjekke om de tar beslutninger som det.

Hvorfor den vanlige gjennomgangen går glipp av dette

Den vanlige sjekken er å lese et håndfull samtaler. Er produktinformasjonen korrekt? Følgte agenten instruksjonene? Sa den noe merkelig?

Men fem tilfeldige samtaler kan alle se bra ut og fortsatt skjule en alvorlig inkonsekvens. Personalisering gjør hver samtale forskjellig av design: én kunde spør direkte, en annen forklarer i detalj, noen forhandler, noen fortsetter å presse. Eksemplene er ikke sammenlignbare.

I rekrutteringscaset så ingenting galt før vi sluttet å spørre «Var dette et godt svar?», og begynte å spørre «Hvilken beslutning tok agenten her?»

Hva jeg begynte å gjøre i stedet

Hvis ekte samtaler ikke gir klare sammenligninger, lager vi dem selv.

Jeg tar én forretningssituasjon og kjører den gjennom agenten åtte til ti ganger. De viktige faktaene forblir de samme, men personen på den andre siden endrer seg: mykere, mer direkte, klar til å signere i dag, nevner en konkurrent.

Deretter ser jeg på forretningsbeslutningen. Tilbød agenten rabatt kun til personen som presset hardere? Endret en tidsforpliktelse seg fordi omstendighetene var forskjellige eller fordi samtalen rett og slett gikk et annet sted? Var det i det hele tatt tillatt å diskutere spesielle vilkår?

Jeg ville blitt bekymret dersom formuleringen forble den samme. Det som bør forbli stabilt er selskapets posisjon, og hvis den endrer seg, bør det finnes en forretningsmessig grunn.

Den endelige vurderingen må komme fra en person. Modellen bør ikke bedømme sitt eget arbeid. Den som eier den beslutningen – grunnleggeren, salgsleder eller kommersiell direktør – må si om den var akseptabel.

Hva jeg faktisk ser på

Jeg kommer stadig tilbake til fire spørsmål.

Først, hvis de viktige betingelsene forblir de samme, forblir beslutningen konsistent? Dette er akkurat der rekrutteringscaset falt fra hverandre.

For det andre, opererer agenten fortsatt innenfor selskapets faktiske regler? Jeg så en gang en menneskelig versjon av dette. En salgsleder begynte å tilby kunder en 20 % rabatt på egen hånd. Selskapet hadde ingen standard 20 % rabatt; slike måtte godkjennes av ledelsen. Han prøvde ikke å skade virksomheten. Han ville selge, og på et tidspunkt flyttet han grensene for hva han trodde han kunne bestemme. Agenter gjør det samme.

For det tredje, har en endret beslutning en reell begrunnelse bak seg? Kontext er viktig, men å forstå det og å bli overtalt til noe er forskjellige ting. Hvis den eneste endringen er at én kunde var mer pågående, vil jeg ikke at agenten stille blir mer generøs.

For det fjerde, vet agenten hvor myndigheten slutter? Noen ganger er det riktige trekket enkelt: Jeg må sjekke dette med en person. Det er et helt greit svar.

Testen avslører noen ganger selskapet i stedet

Du tar med de tvilsomme beslutningene tilbake til teamet, spør hva agenten skulle ha gjort, og folk gir forskjellige svar.

Salg har ett syn. Markedsføring har et annet. Grunnleggeren sier: «Vel, vanligvis gjør vi ikke det, men av og til gjør vi det.» En leder husker tre unntak fra i fjor.

Alt dette ender opp i materialet vi gir agenten. Hvis selskapet ikke har blitt enige om logikken, lærer modellen fra en rotete virkelighet. Noen ganger skapte den ikke selve motsetningen.

Det gjorde det bare synlig.

Dermed blir AI-testing nesten ved et uhell en forretningsrevisjon. Hvem kan godkjenne en rabatt? Hva kan en selger love uten å spørre? Hvilke regler er faktisk regler, og hvilke som bare er vaner? Og er et unntak fortsatt et unntak hvis folk gjør det hver uke?

Kanskje agenter trenger opplæring på samme måte som folk gjør

Vi behandler fortsatt AI-agenter som programvare: konfigurerer dem, setter prompten, og lar dem jobbe. Jo mer ansvar vi gir dem, jo mindre mening gir det for meg.

Vi gir ikke en ny salgsleder en merkevarebok på mandag og antar at de er klare for hver kunde. Noen lytter til samtalene deres, diskuterer vanskelige saker, korrigerer dem når de går for langt. Slik lærer de selskapets logikk.

Hvorfor forvente at en AI-agent skal lære det fra én prompt? Når den håndterer ekte samtaler, tror jeg vi må trene den gjennom saker og tilbakemeldinger, nesten på samme måte som vi coacher folk.

Det endrer hva merkevarekonsistens betyr for meg. En agent som snakker med ti personer på nøyaktig samme måte, ville vært en forferdelig agent. Den bør tilpasse seg personen, kulturen og situasjonen.

Det som ikke bør endres tilfeldig, er logikken under: hva selskapet vil love, hva det ikke vil, og hvor noen må stoppe og spørre.

Hvis agenten din i morgen hadde ti litt forskjellige versjoner av den samme vanskelige samtalen, ville den fortsatt oppføre seg som det samme selskapet?