Waarom AI moeite heeft om een half afgemaakt taak over te nemen

Hoewel AI-agents complexe taken kunnen oplossen, geeft een nieuwe studie aan dat ze moeite hebben om werk dat door een ander is gestart voort te zetten, wat leidt tot gedupliceerde inspanningen, langzamere vooruitgang en hogere kosten.

Een van de meest uitputtende maar essentiële taken bij het omgaan met AI-agents en -interfaces is dat de AI ‘bijgebracht moet worden’ aan het begin van een uitwisseling, in bijna alle gevallen.

Terwijl populaire taalmodellen zoals ChatGPT enige toegang bieden tot ‘persistente’ aangepaste geheugens, is de implementatie meestal een kwestie van trial en error; uiteindelijk is het meestal veiliger om de inspanning te accepteren om de taak voor de AI te contextualiseren – tenminste, om te voorkomen dat het een verkeerde context ‘gokt’ uit zijn getrainde latentie-ruimte.

Opvangen van echte taken

De uitdaging bestond al voordat AI ontstond; veel bedrijven vereisen al dat personeel documentatie bijhoudt over processen die ze ontwikkelen of verfijnen (deels voor soepelere onboarding, maar ook om te voorkomen dat werknemers een voordeel behalen).

In de praktijk zijn het echter vaak alleen grotere en beter gefinancierde organisaties die zich verplichten om documentatie te creëren, bij te werken en te onderhouden. Meestal moeten werknemers die het werk van anderen overnemen een ‘detective’-achtige taak uitvoeren die hen ertoe dwingt om zorgvuldig de tijdslijn te ontwarren die leidde tot het achtergelaten werk dat ze nu hebben gekregen.

Het is duidelijk dat onberispelijke documentatie dagen, weken of zelfs maanden aan werk zou besparen – als het maar een financieel rationele optie was.

Echter, waar AI-agents de operatoren in kwestie zijn, kan er meer ruimte zijn om het probleem potentieel op te lossen.

Overdragen

Deze last van ‘ondocumentatie’ wordt gekwantificeerd in een nieuw onderzoeksrapport uit de VS, dat het probleem overdrachtschuld noemt.

Als technische schuld het syndroom is waarbij snelle en goedkope technische oplossingen vandaag leiden tot broze of moeilijk te onderhouden oplossingen in de toekomst, dan definieert overdrachtschuld de kosten van herontdekking – het forensisch reconstrueren van de stappen van een werknemer of entiteit die niet beschikbaar is om te adviseren (vijandige ontslag, te druk, overleden, enz.) of anderszins niet in staat is om te adviseren (bijvoorbeeld een LLM die de context die leidde tot de huidige staat van het werk allang heeft gedumpt).

Het nieuwe rapport^† – een samenwerking tussen onafhankelijke en aan de Georgia State University verbonden onderzoekers – gaat over overdrachtschuld zoals die van toepassing is op coderingsagents die zijn belast met het overnemen van waar een andere sessie, persoon of entiteit is gestopt in een codebase.

Een van de doelen van het werk is om vast te stellen hoeveel documentatie nodig is om overdrachtschuld te verminderen, en welke procedures en protocollen aanbevolen kunnen worden als standaardpraktijk in de toekomst om het probleem te minimaliseren.

Begrotingszorgen

In een ideale wereld zou men logging kunnen instellen op verbose en de nieuweling-agent (degene die de taak overneemt) de logs van de onvoltooide taak geven.

Het parseren van zo’n volume aan gegevens in bruikbare gegevens zou echter tijdrovend zijn en zou ook de tokenbegroting aantasten – evenals de opslagruimtebeperkingen.

Dit is een begrotingsprobleem, omdat het gebruik van onbewerkte dumps uitputtend is, terwijl het gebruik van gecureerde logs minder verwarrend is, maar een voorafgaande toewijding van middelen vereist.

Proper, toegewijde notities zouden zeer effectief zijn om een ‘opvangkunstenaar’ op gang te brengen, maar tegen de prijs van een nog grotere toewijding van inspanningen – inspanningen die mogelijk nooit nodig zullen zijn, als de logica van het werk uiteindelijk zelf-evident blijkt te zijn, of als het werk wordt stopgezet of nooit opnieuw wordt herzien.

De auteurs van het nieuwe werk, getiteld Overdrachtschuld: De herontdekkingskosten wanneer coderingsagents taken van onderbroken taken overnemen, hebben al deze scenario’s overwogen en hebben bestaande taakmodellen aangepast aan nieuwe manieren om overdrachtschuld te kwantificeren en aan te pakken. Hoewel het werk specifiek over coderingsagents gaat, kan het mogelijk nuttige routes naar de toekomst aangeven in bredere AI-contexten en in de logistiek van documentatiebeleid.

De auteurs stellen:

‘Overdrachtschuld ontstaat wanneer een agent zichtbare vooruitgang boekt, maar een staat achterlaat die een opvolger niet gemakkelijk kan voortzetten, zoals onverklaarde bewerkingen, scratch-bestanden, verborgen aannamen of ontbrekende validatiebewijs.

‘Een metrisch dat alleen gebaseerd is op de definitieve resolutie, kan niet onderscheiden tussen kostbare herontdekking en efficiënte voortzetting.

‘Twee voorgaande agents kunnen dezelfde gecontroleerde repository achterlaten, maar hun opvolgers kunnen zeer verschillende voortzettingkosten hebben: een kan onmiddellijk doorgaan, terwijl een ander veel toolinteracties moet uitvoeren om de intentie van scratch-bestanden en onvolledige opdrachtgeschiedenis te herontdekken.’

Methode

De auteurs definiëren voorganger als de vorige agent (degene die het werk is begonnen of voor het laatst heeft uitgevoerd) en opvolger als de huidige agent (degene die het werk overneemt),

Ter ondersteuning van een benchmark die is ontworpen om de kosten van het overdragen van onvoltooide software-engineeringtaken tussen agents te meten, werden 75 taken van SWE-bench Verified omgezet in 181 overdrachts-scenario’s, elk vertegenwoordigend een punt waarop het werk was onderbroken en overgedragen aan een opvolgeragent. Drie verschillende opvolgermodellen werden vervolgens getest in 2.172 overnamepogingen.

De modelgezinnen die werden gebruikt en op verschillende manieren gemengd in deze overdrachtstests, waren Qwen, Gemma en Devstral.

De experimenten onderzochten vier niveaus van overgeërfd informatie: in de meest beperkende instelling ontving de opvolger alleen de staat van de repository (effectief een ongedocumenteerd ‘rampgebied’). Andere instellingen boden steeds gedetailleerdere context, van activiteitssporen en opdrachtgeschiedenissen tot compacte samenvattingen die beschreven wat er al was geprobeerd en geleerd:

In plaats van zich alleen te concentreren op of een taak uiteindelijk is opgelost, was de studie ontworpen om de kosten van de voortzetting zelf te meten, met aandacht voor toolgebruik, tokenverbruik en de hoeveelheid inspanning die nodig is om de redenering achter eerdere werk te reconstrueren.

Drie overdrachtpuntdetectie-definities en drie overdrachtsstaten werden gedefinieerd voor de experimenten:

Gegevens en tests

Om realistische overdrachtsenario’s te creëren, werd de benchmark van de auteurs opgebouwd uit 75 software-engineeringtaken uit SWE-Bench Verified, met een focus op problemen die typisch tussen 15 minuten en 4 uur duren om op te lossen.

In plaats van alleen voltooide taken te evalueren, werden meerdere tussenliggende controlepunten tijdens het werk vastgelegd, waardoor situaties ontstonden waarin één AI-agent het werk van een andere moest overnemen:

Constructie van de overnamebenchmark. Vijfentachtig SWE-bench Verified-taken werden uitgebreid tot 181 overdrachtpunten die drie fasen van het werk bestreken, gelabeld volgens de repositorystatus op het tijdstip van overname, en geëvalueerd onder vier informatie-uitwisselingsvoorwaarden, waardoor 2.172 totale overnamepogingen van de opvolgeragent ontstonden. Bron

Omdat elke taak meerdere overdrachtpunten kon genereren en elke overdracht werd getest met vier verschillende vormen van overgedragen informatie, breidde de benchmark snel uit, met als resultaat 181 afzonderlijke overdrachttaken en 724 overnamebeoordelingen voor elk opvolgermodel, waardoor 2.172 overnamepogingen ontstonden over de drie geteste AI-systemen.

Een OpenHands-achtige coderingsagentomgeving werd gebruikt voor de tests, met terminalacties, repositorybevriezing op overdrachtpunten, bestandsbewerking en officiële validatie van de SWE-Bench-benchmark.

In de primaire studie kwamen alle overdrachtpunten voort uit Qwen-gebaseerde voorgaandereizen, om een vaste startpunt te bieden om het verschil te evalueren tussen de verschillende agentcombinaties en de diverse scenario’s.

De geteste overnameparen waren Qwen-naar-Qwen; Qwen-naar-Gemma; en Qwen-naar-Devstral.

Rauwe spoor produceerde de grootste reducties in de inspanningen van de opvolger, waarbij agentgebeurtenissen met 57-59% werden verminderd, terwijl samenvattingsnotities en gestructureerde notities gebeurtenissen met 20-46% verminderden. Prompt-tokengebruik daalde eveneens over alle drie de benaderingen, met reducties variërend van 42-63%:

Onder Repository alleen-overdrachten moesten de opvolgeragents extra interacties uitvoeren om de intentie van de voorganger, eerdere bewijs en mislukte benaderingen te reconstrueren. Rauwe spoor, samenvattingsnotities en gestructureerde notities droegen een deel van die informatie rechtstreeks over, waardoor de hoeveelheid herontdekking die nodig was, werd verminderd, hoewel tegen de prijs van grotere initiële prompts.

Om te testen of de winst echte was, werd elke contextrijke overdracht vergeleken met een equivalent repository alleen-overdracht die vanaf hetzelfde punt begon. Over alle modelcombinaties heen verminderden rijkere overdrachten consequent de hoeveelheid werk die nodig was van de opvolgeragenten.

Om te bevestigen dat het effect niet werd gedreven door een handvol ongebruikelijke gevallen, vergeleken de onderzoekers elke overdracht met een equivalent repository alleen-overdracht die vanaf hetzelfde punt begon. De reducties bleven consistent over alle modelcombinaties, wat aangeeft dat de voordelen een echte patroon weerspiegelen, in plaats van een paar uitzonderlijke voorbeelden.

Neem het mee…

Kortom^†, de auteurs ontdekten dat wanneer één AI een taak aan een andere overdraagt, zelfs eenvoudige notities de tweede AI helpen om efficiënter door te gaan.

Volledige records van wat er is gebeurd, werken het beste, maar elke overdrachtinformatie is beter dan de opvolger te laten reconstrueren van de code alleen; en de bovenstaande resultaten laten zien dat de ‘volle’ benadering van de rauwe log altijd een hogere tokenkost heeft.

Conclusie

Hoewel het rapport zelf strikt is gericht op peeronderzoekers, met beperkte aantrekkingskracht voor de gemiddelde lezer, adresseert het nieuwe werk niettemin een van de meest interessante en dringende problemen met betrekking tot de huidige stand van de techniek in mens>AI-interfaces en -protocollen.

Men zou hopen dat de paradigma’s die zijn ontwikkeld en de inzichten die zijn verkregen in dit soort onderzoek, uiteindelijk kunnen worden uitgebreid naar een bredere context van AI-gebruik dan alleen agentische codering.

Een aanvullende richting voor toekomstig onderzoek zou kunnen zijn om manieren te onderzoeken om te bepalen welk niveau van documentatie minimaal nodig is voor een bepaald project, op basis van zijn kenmerken en gebruiksscenario. Echter, zelfs deze functionaliteit, die zou helpen om de uitgaven van tijd en geld te rationaliseren, kost zelf tijd en geld; en zo blijft de budgettaire puzzel die betrokken is bij documentatie-scenario’s moeilijk te ontvluchten.

* Persoonlijk, voor ChatGPT-sessies die worden belast met vertraging en overmatige context, heb ik onlangs de neiging om (met enige moeite) een schone PDF van de chat te exporteren en deze te gebruiken als startpunt voor een nieuwe sessie, die ‘deel 2’ wordt.

^† Helaas is dit niet het meest toegankelijke artikel dat ik dit jaar heb gelezen, en om deze reden kan ik de lezer niet aanraden om naar het bronwerk te verwijzen, hoewel de vertaalde resultaten nog steeds interessant zijn.

Publicatie op woensdag 3 juni 2026