Hvorfor AI Struggler med å Plukke Opp en Halvferdig Oppgave

Selv om AI-agenter kan løse komplekse oppgaver, indikerer en ny studie at de sliter med å fortsette arbeidet startet av en annen, noe som fører til duplisert innsats, langsommere fremgang og større kostnader.

En av de mest slitende, men essensielle oppgavene i å håndtere AI-agenter og grensesnitt er at AI trenger å “få fart” fra starten av en utveksling, nesten hver gang.

Mens populære språkmodeller som ChatGPT tilbyr noen tilgang til ‘varige’ egendefinerte minner, er implementeringen vanligvis en hit-or-miss-sak; til slutt er det vanligvis tryggere å akseptere arbeidet med å kontekstualisere* oppgaven for AI – i alle fall, for å stoppe det fra å “gjette” en feil kontekst fra dens trente latente rom.

Plukke Opp Virkelige Utnyttelsesmuligheter

Utfordringen foregår AI; mange selskaper krever allerede at ansatte skal vedlikeholde dokumentasjon om prosesser som de utvikler eller finjusterer (delvis for en smidigere onboarding, men også for å unngå at ansatte får overtak).

Likevel er det i praksis ofte bare større og bedre finansierte organisasjoner som honorerer et løfte om å lage, oppdatere og vedlikeholde dokumentasjon. Veldig ofte, i stedet, blir ansatte som må plukke opp arbeidet til andre gitt en ‘detektiv’-lignende oppgave som krever at de painstakingly avdekke tidslinjen som ledet til det forkastede arbeidet de nå har fått.

Utvilsomt ville perfekt dokumentasjon spare dager, uker eller til og med måneder med arbeid – hvis bare det var en finansielt rasjonell proposisjon.

Men hvor AI-agenter er de operative i spørsmålet, kan det være større mulighet til å potensielt løse problemet.

Overlevering

Denne byrden av ‘udokumentasjon’ kvantifiseres i en ny forskningsrapport fra USA, som kaller problemet overleveringsgjeld.

Hvis teknisk gjeld er syndromet der hvor rask og billig teknisk løsning i dag fører til skjøre eller vanskelige å vedlikeholde løsninger i fremtiden, så definerer overleveringsgjeld kostnaden av gjenoppdagelse – den rettsmedisinske gjenoppdagelsen av skrittene til en arbeider eller enhet som enten ikke er tilgjengelig for å rådgive (fiendtlig avskjed, for travelt, død, osv.) eller ellers ikke i stand til å rådgive (for eksempel en LLM som har dumpet konteksten som ledet til den nåværende tilstanden av arbeidet).

Den nye rapporten^† – et samarbeid mellom uavhengige og Georgia State University-tilknyttede forskere – omhandler overleveringsgjeld som det gjelder for kodingagenter som er gitt i oppdrag å plukke opp der en annen sesjon, person eller enhet slapp av i en kodebase.

En av målene med arbeidet er å etablere nøyaktig hvor mye dokumentasjon som er nødvendig for å redusere overleveringsgjeld, og hva prosedyrer og protokoller som kan anbefales å adoptere som standard praksis i fremtiden, for å minimere problemet.

Budsjettmessige Bekymringer

I en ideell verden kunne en sette logging til verbose og bare mate den nyankomne agenten (den som plukker opp oppgaven) loggene relatert til den ufullstendige oppgaven.

Likevel ville parsere en slik mengde data til nyttig informasjon være både tidskrevende og ville også spise inn på token-budsjettet – samt bringe lagringsroms-begrensninger inn i spill.

Dette er et budsjettproblem, fordi bruk av rå dump er utmattende, mens bruk av kurerte logger er mindre forvirrende, men krever en forhåndsforpliktelse av ressurser.

Proper, dedikerte notater ville være svært effektive i å få en ‘pickup-artist’ opp til fart, men til en kostnad av en enda større forpliktelse av innsats – innsats som kanskje aldri vil være nødvendig, hvis arbeidets logikk skulle vise seg å være selvforklarende, eller hvis arbeidet blir forkastet, eller aldri revidert igjen.

Forfatterne av den nye rapporten, tittelen Overleveringsgjeld: Gjenoppdagelseskostnad når kodingagenter tar over avbrutte oppgaver, har vurdert alle disse scenariene, og har tilpasset eksisterende oppgavemodeller til nye måter å kvantifisere og håndtere overleveringsgjeld. Selv om arbeidet omhandler spesifikt kodingagenter, kan det likevel indikere nyttige ruter fremover i bredere AI-sammenhenger og i logistikken av dokumentasjonspolitikk.

Forfatterne sier:

‘Overleveringsgjeld oppstår når en agent gjør synlig fremgang, men etterlater seg en tilstand som en etterfølger ikke lett kan fortsette fra, slik som uforklarte endringer, skrapfiler, skjulte antagelser eller manglende valideringsbevis.

‘En metode basert bare på sluttløsning kan ikke skille mellom kostbar gjenoppdagelse og effektiv fortsettelse.

‘To forgjengeragenter kan etterlate seg samme kontrollpunkt, men deres etterfølgere kan møte svært forskjellige fortsettelseskostnader: en kan fortsette umiddelbart, mens en annen må bruke mange verktøyinteraksjoner til å gjenoppdage intensjonen fra skrapfiler og ufullstendig kommandohistorikk.’

Metode

Forfatterne definerer forgjenger som den forrige agenten (den som opprinnelig eller sist utførte arbeidet) og etterfølger som den nåværende agenten (den som er gitt i oppdrag å plukke opp arbeidet),

I støtte til en benchmark designet for å måle kostnaden av å overføre ufullstendige software-ingeniør-oppgaver over agenter, ble 75 oppgaver fra SWE-bench Verified konvertert til 181 overleverings-scenarier, hver representerte et punkt hvor arbeidet hadde blitt avbrutt og overført til en etterfølgeragent. Tre forskjellige etterfølgermodeller ble deretter testet over 2 172 overtakelsesforsøk.

Modellfamiliene som ble brukt, og som varierte i disse overleveringstestene, var Qwen, Gemma og Devstral.

Eksperimentene undersøkte fire nivåer av arvet informasjon: i den mest restriktive innstillingen, mottok etterfølgeren bare tilstanden av repository (effektivt, gå inn i en udokumentert ‘katastrofeområde’). Andre innstillinger ga stadig mer detaljert kontekst, fra aktivitetsspor og kommandohistorikk, til kompakte sammenfatninger som beskrev hva som allerede var forsøkt og lært:

I stedet for å fokusere bare på om en oppgave ble fullført, var studien designet for å måle kostnaden av fortsettelse selv, med oppmerksomhet på verktøybruk, token-forbruk og mengden innsats som kreves for å rekonstruere grunnlaget for tidligere arbeid.

Tre overleveringspunkt-deteksjon-definisjoner og tre overleveringstilstander ble definert for eksperimentene:

Data og Tester

For å skape realistiske overleveringsscenarioer, ble forfatternes benchmark bygget fra 75 software-ingeniør-oppgaver hentet fra SWE-Bench Verified, med fokus på problemer som vanligvis tar mellom 15 minutter og 4 timer å løse.

I stedet for å vurdere bare fullførte oppgaver, fanget forskerne flere mellomliggende kontrollpunkter under arbeidet, og skapte situasjoner hvor en AI-agent måtte overta fra en annen:

Konstruksjon av overtakelsesbenchmarked. 75 SWE-bench Verified-oppgaver ble utvidet til 181 overleveringspunkter som omfatter tre arbeidsfaser, merket etter repository-tilstand ved overtakelsestid, og evaluert under fire informasjonsdelingsbetingelser, og produserte 2 172 totale etterfølger-agent overtakelsesløp. Kilde

Fordi hver oppgave kunne generere flere overleveringspunkter, og hver overlevering ble testet ved hjelp av fire forskjellige former for overført informasjon, utvidet benchmarket raskt, med det endelige datasettet bestående av 181 distinkte overleveringsoppgaver, og 724 overtakelseevalueringer for hver etterfølgermodell, og produserte 2 172 overtakelsesløp over de tre AI-systemene som ble testet.

En OpenHands-liknende kodingagent-miljø ble brukt for testene, med terminalhandlinger, repository-frysning ved overleveringspunkter, filredigering og offisiell validering fra SWE-Bench-benchmarket.

I den primære studien, var alle overleveringspunkter fra Qwen-baserte forgjengerløp, for å gi et fast utgangspunkt for å vurdere forskjellen mellom ulike agentkombinasjoner og diverse scenarioer.

Overtakelsespar som ble testet, var Qwen-til-Qwen; Qwen-til-Gemma; og Qwen-til-Devstral.

Rå spor produserte de største reduksjonene i etterfølgerinnsats, og kutte agenthendlinger med 57-59%, mens sammenfattningsnotater og strukturerte notater reduserte hendlinger med 20-46%. Prompt-token-bruk falt også over alle tre tilnærmingene, med reduksjoner som varierte fra 42-63%:

Under Repository kun-overleveringer, måtte etterfølgeragenter bruke ekstra interaksjoner til å rekonstruere forgjengerens intensjon, tidligere bevis og feilede forsøk. Rå spor, sammenfattningsnotater og strukturerte notater overførte en del av denne informasjonen direkte, og reduserte mengden av gjenoppdagelse som kreves, selv om det var på bekostning av større innledende promter:

For å teste om gevinstene var ekte, ble hver kontekstrik overlevering sammenlignet med en tilsvarende repository kun-overlevering som startet fra samme punkt. Over alle modellpar, reduserte rikere overleveringer konsekvent arbeidet som kreves fra etterfølgeragenter.

Full hendelseshistorikk produserte de største reduksjonene, mens sammenfattningsnotater og strukturerte notater også leverte betydelige besparelser. Effekten viste seg over hele benchmarket, og ikke bare drevet av noen få unike tilfeller:

For å bekrefte at effekten ikke ble drevet av noen få unike tilfeller, sammenlignet forskerne hver overlevering med en tilsvarende repository kun-overlevering som startet fra samme punkt. Reduksjonene forble konsekvent over alle modellpar, og indikerte at fordelene reflekterer en meningsfull mønster, og ikke bare noen få eksepsjonelle eksempler.

Ta det med deg…

For å si det kort^†, fant forfatterne at når en AI overleverer en oppgave til en annen, hjelper selv enkle notater den andre AI å fortsette mer effektivt.

Fullstendige hendelseshistorikker fungerer best, men noen overleveringsinformasjon er bedre enn å la etterfølgeren rekonstruere alt fra koden alene; og resultater ovenfor viser at ‘full fat’-tilnærmingen til rå logger uunngåelig har en høyere token-kostnad.

Konklusjon

Selv om rapporten selv er rettet strengt mot peer-forskere, med begrenset appell for den vanlige leseren, omhandler den likevel ett av de mest interessante og presserende problemene i forhold til den nåværende tilstanden av kunst i menneske-AI-grensesnitt og protokoller.

En kunne håpe at paradigmer utviklet og innsikter vunnet i denne type utforsking skulle kunne utvides til en bredere kontekst av AI-bruk enn bare agentisk koding.

En ytterligere utforsking kunne være for fremtidige prosjekter å vurdere måter å evaluere hva nivå av dokumentasjon som kunne være minimum for et bestemt prosjekt, basert på dens karakteristika og brukstilfelle. Men selv denne funksjonaliteten, som ville hjelpe med å rasjonalisere utgift av tid og penger, koster selv tid og penger; og så forblir budsjett-konundrummet i dokumentasjonsscenarioer hardt å unngå.

* Personlig, for ChatGPT-sesjoner som blir belastet med forsinkelse og eksessiv kontekst, har jeg nylig begynt å eksportere (med noen vanskeligheter) en ren PDF av chatten og bruke den som utgangspunkt for en ny sesjon, som blir ‘del 2’.

^† Uheldigvis er dette ikke den mest tilgjengelige rapporten jeg har lest i år, og av denne grunn kan jeg ikke anbefale leseren til å gå til kildearbeidet, selv om de fordøyde resultater forblir av interesse.

Først publisert onsdag, 3. juni 2026