Hvorfor AI sliter med å overta en halvferdig oppgave

Selv om AI-agenter kan løse komplekse oppgaver, tyder en ny studie på at de sliter med å fortsette arbeid som noen andre har startet. Det fører til dobbeltarbeid, langsommere fremdrift og høyere kostnader.

Noe av det mest utmattende, men nødvendige ved å bruke AI-agenter og grensesnitt er at AI-en nesten alltid må settes inn i situasjonen ved starten av en samtale.

Populære språkmodeller som ChatGPT gir riktignok en viss tilgang til ‘varige’ egendefinerte minner, men funksjonene virker ikke særlig pålitelig. Til slutt er det som regel tryggere å akseptere arbeidet med å forklare oppgavens sammenheng* for AI-en, i det minste for å hindre den i å gjette feil kontekst ut fra sitt innlærte latente rom.

Å overta arbeid i den virkelige verden

Utfordringen er selvsagt eldre enn AI. Mange selskaper krever allerede at ansatte dokumenterer prosessene de utvikler eller forbedrer. Det skal delvis gjøre det lettere å lære opp nye medarbeidere, men kan også være ment å hindre ansatte i å få et forhandlingsovertak.

I praksis er det ofte bare større og bedre finansierte organisasjoner som følger opp arbeidet med å lage, oppdatere og vedlikeholde dokumentasjon. Den som skal overta andres arbeid, får i stedet svært ofte en detektivoppgave og må møysommelig rekonstruere tidslinjen som førte frem til det avbrutte arbeidet vedkommende nå har fått ansvar for.

Grundig og oppdatert dokumentasjon ville selvsagt spart dager, uker eller til og med måneder med arbeid, hvis det bare var økonomisk fornuftig å utarbeide den.

Når det er AI-agenter som utfører arbeidet, kan mulighetene for å løse problemet likevel være større.

Overlevering

En ny amerikansk forskningsartikkel tallfester denne belastningen ved manglende dokumentasjon og kaller problemet overleveringsgjeld.

Hvis teknisk gjeld beskriver hvordan dagens raske, provisoriske og billige tekniske løsninger fører til skjøre eller tungvinte systemer å vedlikeholde i fremtiden, beskriver overleveringsgjeld kostnaden ved gjenoppdagelse – å rekonstruere en tidligere medarbeiders eller annen aktørs arbeidssteg ut fra sporene når vedkommende ikke kan rådspørres, for eksempel etter en konfliktfylt oppsigelse, på grunn av tidsmangel eller dødsfall. Aktøren kan også være ute av stand til å gi råd, som en språkmodell som for lengst har mistet konteksten som førte til arbeidets nåværende tilstand.

Den nye rapporten^† er et samarbeid mellom uavhengige forskere og forskere tilknyttet Georgia State University. Den tar for seg overleveringsgjeld hos kodeagenter som skal fortsette i en kodebase der en annen økt, person eller aktør stoppet.

Et av målene er å fastslå hvor mye dokumentasjon som trengs for å redusere overleveringsgjeld, og hvilke prosedyrer og protokoller som kan anbefales som fremtidig standardpraksis for å begrense problemet.

Budsjetthensyn

I en ideell verden kunne man sette loggingen til verbose, altså detaljert logging og ganske enkelt gi den nye agenten som skal overta oppgaven, loggene fra det uferdige arbeidet.

Det tar imidlertid tid å hente nyttig informasjon ut av så store datamengder. Det bruker også av tokenbudsjettet, og begrenset lagringsplass kan bli et problem.

Dette er et budsjettproblem: rå datadumper er krevende å håndtere, mens utvalgte og bearbeidede logger er mindre forvirrende, men krever at ressurser settes av på forhånd.

Gode notater skrevet spesielt for overleveringen ville effektivt satt den nye agenten inn i arbeidet. De krever imidlertid enda større innsats på forhånd. Denne innsatsen kan vise seg unødvendig hvis arbeidslogikken blir selvforklarende, arbeidet blir oppgitt eller det aldri endres igjen.

Forfatterne av den nye artikkelen, med tittelen Handoff Debt: The Rediscovery Cost When Coding Agents Take Over Interrupted Tasks, har vurdert alle disse situasjonene og tilpasset eksisterende oppgavemodeller til nye måter å måle og håndtere overleveringsgjeld på. Selv om studien gjelder kodeagenter, kan den også peke mot nyttige løsninger for bredere AI-bruk og organisering av dokumentasjonspraksis.

Forfatterne sier:

«Overleveringsgjeld oppstår når en agent gjør synlig fremgang, men etterlater en tilstand som en etterfølger ikke uten videre kan fortsette fra, for eksempel uforklarte endringer, midlertidige arbeidsfiler, skjulte forutsetninger eller manglende dokumentasjon på validering.

«Et mål som bare tar hensyn til om oppgaven til slutt blir løst, kan ikke skille mellom kostbar gjenoppdagelse og effektiv videreføring.

«To forgjengeragenter kan etterlate det samme kodearkivet lagret ved et kontrollpunkt, men etterfølgerne deres kan likevel møte svært forskjellige kostnader for å fortsette. Den ene kan fortsette med en gang, mens den andre må bruke verktøy mange ganger for å finne igjen hensikten i midlertidige arbeidsfiler og ufullstendig kommandohistorikk.»

Metode

Forfatterne definerer forgjenger som den forrige agenten (den som opprinnelig eller sist utførte arbeidet) og etterfølger som den nåværende agenten som skal fortsette arbeidet.

For å bygge en referansetest som måler kostnaden ved å overføre uferdige programutviklingsoppgaver mellom agenter, ble 75 oppgaver fra SWE-bench Verified konvertert til 181 overleveringsscenarioer. Hvert scenario representerte et punkt der arbeidet var avbrutt og gitt videre til en etterfølgeragent. Tre forskjellige etterfølgermodeller ble så testet i til sammen 2 172 overtakelsesforsøk.

Modellfamiliene som ble brukt i ulike kombinasjoner i overleveringstestene, var Qwen, Gemma og Devstral.

Eksperimentene undersøkte fire nivåer av informasjon som ble gitt videre. I den mest begrensede varianten fikk etterfølgeren bare kodearkivets tilstand, omtrent som å komme inn i et udokumentert katastrofeområde. De andre variantene ga stadig mer kontekst, fra aktivitets- og kommandohistorikk til korte oppsummeringer av hva som allerede var forsøkt og lært:

I stedet for å fokusere bare på om en oppgave ble fullført, var studien designet for å måle kostnaden ved selve videreføringen, med vekt på verktøybruk, tokenforbruk og arbeidet som trengs for å rekonstruere begrunnelsen for tidligere arbeid.

I eksperimentene ble det fastsatt tre definisjoner for identifisering av overleveringspunkterog tre overleveringstilstander.

Data og tester

For å lage realistiske overleveringsscenarioer bygde forskerne referansetesten med 75 programutviklingsoppgaver fra SWE-bench Verified. De la vekt på problemer som vanligvis tar mellom 15 minutter og fire timer å løse.

Forskerne vurderte ikke bare ferdige oppgaver, men lagret flere mellomliggende kontrollpunkter under arbeidet. Slik skapte de situasjoner der en AI-agent måtte overta fra en annen:

Slik ble referansetesten for overtakelse konstruert. Av 75 SWE-bench Verified-oppgaver ble det laget 181 overleveringspunkter i tre arbeidsfaser. De ble klassifisert etter kodearkivets tilstand ved overtakelsen og vurdert under fire vilkår for informasjonsdeling. Det ga totalt 2 172 kjøringer der en etterfølgeragent tok over. Kilde

Hver oppgave kunne gi flere overleveringspunkter, og hver overlevering ble testet med fire former for overført informasjon. Derfor vokste referansematerialet raskt. Det endelige datasettet besto av 181 ulike overleveringsoppgaver og 724 overtakelsesevalueringer per etterfølgermodell, totalt 2 172 kjøringer med de tre testede AI-systemene.

Et OpenHands-lignende kodeagentmiljø ble brukt i testene, med terminalhandlinger, frysing av kodearkivet ved overleveringspunktene, filredigering og offisiell validering etter SWE-bench.

I hovedstudien kom alle overleveringspunktene fra kjøringer med Qwen-baserte forgjengeragenter. Det ga et fast utgangspunkt for å sammenligne agentkombinasjoner og ulike scenarioer.

Overtakelsesparene som ble testet, var Qwen til Qwen, Qwen til Gemma og Qwen til Devstral.

Fullstendig aktivitetslogg ga størst reduksjon i etterfølgerens arbeid og reduserte antall agenthendelser med 57–59 %, mens oppsummeringsnotater og strukturerte notater reduserte antall hendelser med 20–46 %. Bruken av prompttokener falt også i alle de tre metodene, med 42–63 %:

Ved overleveringer med kun kodearkivet måtte etterfølgeragentene bruke ekstra interaksjoner for å rekonstruere forgjengerens hensikt, tidligere underlag og mislykkede metoder. Fullstendig aktivitetslogg, oppsummeringsnotater og strukturerte notater overførte noe av informasjonen direkte og reduserte behovet for gjenoppdagelse, men krevde større innledende prompter.

For å undersøke om gevinstene var reelle, ble hver kontekstrike overlevering sammenlignet med en tilsvarende overlevering med kun kodearkivet som startet fra samme punkt. I alle modellpar reduserte mer informative overleveringer konsekvent arbeidet etterfølgeragentene måtte gjøre.

Fullstendige hendelseslogger ga størst reduksjon, men oppsummeringer og strukturerte notater ga også betydelige besparelser. Effekten var synlig i hele referansematerialet og skyldtes ikke et fåtall avvikende tilfeller:

For å bekrefte at effekten ikke skyldtes noen få uvanlige tilfeller, sammenlignet forskerne hver overlevering med en tilsvarende overlevering med kun kodearkivet som startet fra samme punkt. Reduksjonene var gjennomgående i alle modellpar og tyder på et meningsfullt mønster, ikke bare noen få unntak.

Hva betyr dette?

Kort sagt^†, fant forfatterne at selv enkle notater hjelper den andre AI-en å fortsette mer effektivt når en AI gir en oppgave videre.

Fullstendige hendelseslogger fungerer best, men all overleveringsinformasjon er bedre enn å la etterfølgeren rekonstruere alt fra koden alene. Resultatene ovenfor viser også at metoden med fullstendige rålogger uunngåelig har en høyere tokenkostnad.

Konklusjon

Selv om artikkelen er skrevet strengt for forskerkolleger og har begrenset appell for en vanlig leser, tar den for seg et av de mest interessante og presserende problemene med dagens grensesnitt og protokoller mellom mennesker og AI.

Man kan håpe at arbeidsmåtene og innsiktene fra denne typen forskning etter hvert kan brukes i bredere AI-sammenhenger enn bare agentbasert koding.

Et annet spor for fremtidig forskning kan være å vurdere hvilket minimum av dokumentasjon et bestemt prosjekt trenger ut fra egenskapene og bruksområdet. Selv denne funksjonen, som skal bidra til å bruke tid og penger fornuftig, koster imidlertid tid og penger. Budsjettdilemmaet rundt dokumentasjon er derfor fortsatt vanskelig å komme unna.

* For min egen del har jeg i det siste, når ChatGPT-økter tynges av forsinkelser og for mye kontekst, med litt strev eksportert en ryddig PDF av samtalen. Den bruker jeg som utgangspunkt for en ny økt, som blir «del 2».

^† Dessverre er denne artikkelen ikke blant de mest lettleste jeg har lest i år. Derfor kan jeg ikke anbefale leseren å gå til originalstudien, selv om resultatene i bearbeidet form fortsatt er interessante.

Først publisert onsdag, 3. juni 2026