Det værste første job, du kan give en agent, er det synlige

Virksomheder vælger ofte deres første agentjob på samme måde. Nogen spørger, hvad AI kan gøre for os, og rummet konvergerer på det arbejde, alle kan forestille sig: skrive vores blogindlæg, besvare vores kunder, håndtere indboksen. Det er det mest synlige arbejde i bygningen, så det er det arbejde, der kommer i tanke.

Seks måneder senere er pilotprojektet stille og stille parkeret, og konklusionen er, at teknologien ikke var klar. Teknologien var fin. Jobvalget var problemet, og synligheden var det, der gjorde det til et dårligt valg.

Tre ting, der gør et job svært, og de synlige har alle tre

Et job er let for en agent, når der er et kontrollerbart rigtigt svar, når et dårligt output er billigt, og når nogen i bygningen allerede gør jobbet og kan fortælle, hvad der er godt og skidt på sigt.

Kundefacaderet skrivning fejler den første test.

Der er ikke et rigtigt svar på “er dette blogindlæg godt”, kun en præference, der holdes af en person, der vil genkende den forkerte version øjeblikkeligt og kæmpe for at specificere den rigtige version i forvejen. Denne lukke er, hvor de fleste kvalitetsklager faktisk bor.

Kundefacaderet noget som helst fejler den anden test.

En dårlig intern samlet kostning nøjagtig fire minutter. En dårlig svar til en kunde kostede en relation, og lejlighedsvis en overholdelseskonversation. Omkostningerne ved en fejl bestemmer, hvor meget tilsyn jobbet behøver, og tilsyn er den dyre del af at køre agenter.

Og de synlige jobber fejler ofte den tredje test på en måde, som ingen bemærker, før det er for sent.

Personen, der ville dømme output, er en seniormedarbejder, hvis opmærksomhed er den sjældneste ting i virksomheden. At give dem en gennemgangskø indebærer at flytte arbejde til din dyreste kalender.

Hvad de succesfulde første jobber ser ud til

De er kedelige. Det er mønsteret, og det er konsistent nok til at planlægge omkring.

Da NTT DATA Group udvidede sin agentværktøj på tværs af organisationen, en af de tidlige sejre, der skiftede internt syn, var et internt ingeniørjob, ikke en kundeoplevelse. OpenAIs beskrivelse af udrulningen beskriver automatiseringen af en kompleks incidentanalyse for et kritisk system — arbejde, der tidligere havde krævet fem erfarne ingeniører og taget tre dage, færdigt i 30 minutter. Denne resultater, skriver beskrivelsen, “fandt hurtigt opmærksomhed fra seniorledere og blev en tidlig bevis for”.

Se på formen af det job i stedet for overskriften. Incidentanalyse har et rigtigt svar, og det er et svar, organisationen kan kontrollere, fordi arbejdet allerede eksisterede, og folk, der gjorde det, er stadig der.

Det gentager sig. Det sidder inde i virksomhedens egne systemer i stedet for foran en kunde. Og standarden for “færdig” er, om analysen holder op mod beviserne, som er et spørgsmål med et defensivt svar, ikke en sag om smag.

Sammenlign det med jobbet, de fleste virksomheder nominerer først. Et blogindlæg har ikke et rigtigt svar, ingen in-house-dommer, hvis tid er billig, og en publikum.

Sequencen betyder lige så meget som valget. NTT DATA rullede ChatGPT Enterprise ud på tværs af virksomheden først, og i en intern undersøgelse sagde mere end 96% af respondenten, at de var tilfredse med det, og mere end 95% rapporterede produktivitetsgevinster.

Gennem denne hverdagsbrug, skriver beskrivelsen, “byggede medarbejderne erfaring med at arbejde med AI til forskning, skrivning og indholdsskabelse” — og disse vaner “forberedte organisationen på næste skridt: at dele tydeligt definerede opgaver”.

Lederlæsningerne, der er offentliggjort med sagforslaget, starter med nøjagtig det: Gør AI en del af daglig arbejde, hjælp folk med at bygge vaner til at samarbejde med det. Virksomheden byggede en bred base af bekendtskab med AI-output, før incident-analysearbejdet landede.

Denne vanebygningsfase gør mere arbejde, end det ser ud til. Når generel AI-værktøj bliver almindeligt, begynder folk at anvende det langt uden for grænserne af deres jobtitler, og min læsning er, at dette er, hvor de gode jobkandidater dukker op — fra folk, der udfører arbejdet, ikke fra en planlægningsmøde. Det er også, hvor skepsis bliver arbejdet ud, og hvordan frontline-personale faktisk føler omkring værktøjerne er ikke noget, en enkelt højrisikoprojekt løser.

Undtagelsen beviser reglen, hvis du læser hele sagen

Den åbenlyse indvending er, at kundefacaderede agenter åbenbart fungerer. De gør. Det er værd at læse en tæt.

Det shoppingagent-avatar, der er bygget med Yamada Holdings, er omkring så synligt, et agentjob kan få — 24/7 multilingual support via tale og tekst, vejledning af kunder fra produktfindelse til købsbeslutninger. I en to-ugers offentlig kampagne på Yamada Denkis onlinebutik brugte cirka 30.000 mennesker det, og 92% af undersøgelsessvar var positive. Reelt resultat, reelle kunder, foran huset.

Værd at være lige om en ting: OpenAIs beskrivelse kalder dette “dens første store mulighed for at bringe disse lærdomme direkte til kunderne”. Så dette var avatarins første kundefacaderet agent, hvilket læser som et argument imod alt ovenfor.

Se på, hvad “disse lærdomme” henviser til. Avatarin er et AI-kundeservicefirma, der er udspaltet fra ANA Holdings, og beskrivelsen bemærker, at det havde arbejdet med OpenAI “langt før Yamada Denki-projektet, ved at bruge OpenAI-API’en til talegenkendelse, forespørgselanalyse og medarbejdertræning”.

Agentens svar er grundet i et system med forstærket generering, hvilket betyder, at svar er forankret i faktiske produktinformationer i stedet for modellens hukommelse. Detailhandlens kundeservicekendskab blev bevidst kodet i samtaleflader og promptning. Sikkerhedsforanstaltninger hjælper med at holde samtalen på shoppingoplevelsen. Og OpenAI arbejdede direkte med holdet for at strukturere promptning og reducere omkostningerne ved at køre en altid-tilgængelig talservice.

Så det var en første kundefacaderet job for et firma, hvis hele forretning er AI-kundeservice, ankommet efter tidligere arbejde med samme leverandørs værktøj, med en grundlagsskikt, kodet domæneekspertise, sikkerhedsforanstaltninger og leverandørens egne mennesker til at hjælpe. Det er den virkelige pris for det synlige job, og næsten ingen af det er synligt i resultaterne.

Læs de to beretninger sammen, og de er en sekvenslæsning i stedet for to succesberetninger. Den ene organisation tjente retten til at dele tydeligt definerede opgaver ved at gøre AI almindeligt først. Den anden nåede kundefacaderet job som specialist, på ryggen af komponentarbejde, det allerede havde gjort. Ingen af dem startede, hvor planlægningsmødet ønsker at starte.

Udvalgsreglen

Score hver jobkandidat på fire spørgsmål, før du vælger.

1. Er der et kontrollerbart rigtigt svar?

Ikke et godt svar, et rigtigt et. Reconciliation, klassificering, udtrækning og analyse med en konklusion kvalificerer. Alt, der bedømmes på smag, gør ikke, i hvert fald ikke først.

2. Hvad koster et dårligt output?

Hvis det ærlige svar indebærer en kunde, en regulator eller et tal i en indberetning, har jobbet brug for den slags arkitektur og gennemgangsspor, som du næsten helt sikkert ikke har bygget endnu.

3. Retfærdiggør volumen opsætningen?

Et job, der udføres to gange om måneden, vil aldrig afbetale ugerne med iteration. Økonomien kommer fra gentagelse, og gentagelse er også det, der lærer dig, hvor tingene fejler.

4. Hvem gør allerede dette og kan spotte et dårligt resultat øjeblikkeligt?

Den person er din gennemgangsmand, og de har brug for at have tiden. Hvis den eneste kvalificerede dommer er grundlæggeren, vælg et andet job.

Arbejdet, der scorer godt på alle fire, er næsten aldrig det arbejde, der kom op i mødet. Det er ofte noget, et hold har gjort manuelt i to år og har ophørt med at klage over, fordi de ikke længere bemærker det som arbejde.

Hvor dette efterlader dig

Tag listen over job, du overvejer, og score dem ærligt denne uge. Kandidaten, der vinder, vil føles som en skuffelse. Automatiser det alligevel.

Formålet med et første agentjob er ikke den værdi, det returnerer. Det er, at din organisation lærer, hvad disse systemer kan gøre godt, hvor de fejler, og hvad det faktisk koster at overvåge dem, på arbejde, hvor det er overlevende at være forkert. Denne viden er, hvad der gør det andet job til en reel beslutning i stedet for en gæt, og det tredje er normalt, hvor pengene er.

Vælg det kedelige job. Tjener det synlige.