Den sämsta första jobben du kan ge en agent är det synliga

Företag tenderar att välja sitt första agentjobb på samma sätt. Någon frågar vad AI kan göra för oss, och rummet konvergerar på arbetet som alla kan se: skriva våra blogginlägg, svara på våra kunder, hantera inkorgen. Det är det mest synliga arbetet i byggnaden, så det är det arbete som kommer till tankarna.

Sex månader senare parkeras piloten tyst och slutsatsen är att tekniken inte var redo. Tekniken var bra. Jobbvalet var problemet, och synligheten var det som gjorde det till ett dåligt val.

Tre saker som gör ett jobb svårt, och de synliga har alla tre

Ett jobb är lätt för en agent när det finns ett kontrollerbart rätt svar, när ett dåligt utdata är billigt, och när någon i byggnaden redan gör jobbet och kan säga om det är bra eller dåligt på sight.

Kundvändande skrivande misslyckas med den första testet.

Det finns inget rätt svar på “är det här blogginlägget bra”, bara en preferens som hålls av en person som kommer att känna igen den felaktiga versionen direkt och kämpa för att specificera den rätta versionen i förväg. Det gapet är där de flesta kvalitetsklagomål faktiskt bor.

Kundvändande allt misslyckas med det andra testet.

En dålig intern sammanfattning kostar någon fyra minuter. En dålig svar till en kund kostar en relation, och ibland en efterlevnadskonversation. Kostnaden för ett misslyckande bestämmer hur mycket tillsyn arbetet behöver, och tillsyn är den dyra delen av att köra agenter.

Och de synliga jobben misslyckas vanligtvis med det tredje testet på ett sätt som ingen märker förrän sent.

Den person som skulle bedöma utdata är en senior person vars uppmärksamhet är den knappaste resursen i företaget. Att ge dem en granskningskö innebär att flytta arbete till din dyraste kalender.

Vad de lyckade första jobben ser ut

De är tråkiga. Det är mönstret, och det är tillräckligt konsekvent för att planera runt.

När NTT DATA Group utvidgade sitt agentverktyg över hela organisationen, en av de tidiga vinsterna som förändrade den interna åsikten var ett internt ingenjörsjobb, inte en kundupplevelse. OpenAIs beskrivning av distributionen beskriver automatiseringen av en komplex incidentanalys för ett kritiskt system — arbete som tidigare krävde fem erfarna ingenjörer och tog tre dagar, slutfört på 30 minuter. Det resultatet, skriver beskrivningen, “fick snabbt uppmärksamhet från seniora ledare och blev en tidig bevispunkt.”

Titta på formen på det jobbet snarare än rubriksiffran. Incidentanalys har ett rätt svar, och det är ett svar som organisationen kan kontrollera, eftersom arbetet redan existerade och de som tidigare gjorde det fortfarande är där.

Det upprepar sig. Det sitter inne i företagets egna system snarare än framför en kund. Och standarden för “klart” är om analysen håller mot bevisen, vilket är en fråga med ett försvarbart svar, inte en fråga om smak.

Jämför det med jobbet som de flesta företag nominerar först. Ett blogginlägg har inget rätt svar, inget in-house domare vars tid är billig, och en publik.

Sequensen är lika viktig som valet. NTT DATA rullade ut ChatGPT Enterprise över hela företaget först och, i en intern undersökning, sa mer än 96% av respondenterna att de var nöjda med det och mer än 95% rapporterade produktivitetsvinster.

Genom den vardagliga användningen, skriver beskrivningen, “byggde anställda erfarenhet av att arbeta med AI för forskning, skrivande och innehållsskapande” — och dessa vanor “förberedde organisationen för nästa steg: att delegera tydligt definierade uppgifter.”

Ledarskapsläxorna som publicerades med fallstudien leder med exakt det: göra AI en del av dagligt arbete, hjälpa människor att bygga vanor för att samarbeta med det. Företaget byggde en bred bas av bekantskap med AI-utdata innan incidentanalysarbetet landade.

Den habitbildande fasen gör mer arbete än det ser ut som. När allmän AI-verktyg blir vanligt, människor börjar tillämpa det långt utanför gränserna för sina jobbtitlar, och min tolkning är att det är här de bra jobben dyker upp — från de som gör arbetet, inte från en planeringsmöte. Det är också där skepticismen arbetas ut, och hur frontlinepersonal faktiskt känner om verktygen är inte något som en enda högriskprojekt löser.

Undantaget bevisar regeln, om du läser hela fallet

Det uppenbara invändningen är att kundvändande agenter demonstrativt fungerar. De gör. Det är värt att läsa en nära.

Shoppingagenten avatarin byggd med Yamada Holdings är så synligt som ett agentjobb kan bli — 24/7 flerspråkig support via röst och text, som guidar shoppare från produktupptäckt till köpbeslut. I en tvåveckors offentlig kampanj på Yamada Denkis onlinebutik använde cirka 30 000 personer det och 92% av enkätsvaren var positiva. Verkligt resultat, verkliga kunder, framsida.

Värt att vara rak om en sak: OpenAIs beskrivning kallar detta “dess första stora möjlighet att ta med dessa lärdomar direkt till kunderna.” Så detta var avatarins första kundvändande agent, vilket låter som ett argument mot allt ovan.

Titta på vad “dessa lärdomar” hänvisar till. avatarin är ett AI-kundtjänstföretag som spinns ut från ANA Holdings, och beskrivningen noterar att det hade arbetat med OpenAI “länge innan Yamada Denki-projektet, med användning av OpenAI API för taligenkänning, förfrågananalys och personalutbildning.”

Agentens svar är grundade i ett system för förstärkt generering, vilket innebär att svar är förankrade i faktisk produktinformation snarare än modellens minne. Återförsäljarens kundtjänstekunskap var medvetet kodad i samtalflöden och uppmaningar. Skyddsräcken hjälper till att hålla samtalet på shoppingupplevelsen. Och OpenAI arbetade direkt med teamet för att strukturera uppmaningarna och minska kostnaden för att köra en alltid-på-rösttjänst.

Så det var ett första kundvändande jobb för ett företag som har AI-kundtjänst som sin hela verksamhet, som anlände efter tidigare arbete med samma leverantörs verktyg, med en grundläggande nivå, kodad domänkompetens, skyddsräcken och leverantörens egna personer som hjälper. Det är det verkliga priset för det synliga jobbet, och nästan ingenting av det är synligt i resultatet.

Läs de två kontona tillsammans och de är en sekvensläxa snarare än två framgångshistorier. En organisation tjänade rätten att delegera definierat arbete genom att göra AI vanligt först. Den andra nådde kundvändande jobb som specialist, på baksidan av komponentarbete som de redan hade gjort. Ingen av dem började där planeringsmötet vill börja.

Urvalregeln

Poängsätt varje kandidatjobb på fyra frågor innan du väljer.

1. Finns det ett kontrollerbart rätt svar?

Inte ett bra svar, ett rätt svar. Rekonciliation, klassificering, extraktion och analys med en slutsats kvalificerar. Allt som bedöms på smak kvalificerar inte, åtminstone inte först.

2. Vad kostar ett dåligt utdata?

Om det ärliga svaret involverar en kund, en regulator eller ett nummer i en fil, behöver jobbet den typen av arkitektur och granskningsräcken som du nästan säkert inte har byggt än.

3. Rättfärdigar volymen uppställningen?

Ett jobb som görs två gånger i månaden kommer aldrig att återbetala veckorna av iteration. Ekonomi kommer från upprepning, och upprepning är också vad som lär dig var saken misslyckas.

4. Vem gör redan detta och kan se en dålig resultat direkt?

Den personen är din granskare, och de behöver ha tiden. Om den enda kvalificerade domaren är grundaren, välj ett annat jobb.

Arbetet som poängsätter bra på alla fyra är nästan aldrig det arbete som kom upp i mötet. Det är vanligtvis något som ett team har gjort manuellt i två år och har slutat klaga på, eftersom de inte längre märker det som arbete.

Där detta lämnar dig

Ta listan över jobb du överväger och poängsätt dem ärligt den här veckan. Kandidaten som vinner kommer att kännas som en besvikelse. Automatisera det ändå.

Syftet med ett första agentjobb är inte det värde det returnerar. Det är att din organisation lär sig vad dessa system gör bra, var de bryter, och vad tillsyn av dem faktiskt kostar, på arbete där det är överlevbart att vara fel. Den kunskapen är vad som gör det andra jobbet till ett riktigt beslut snarare än en gissning, och det tredje är vanligtvis där pengarna är.

Välj det tråkiga jobbet. Tjäna det synliga.