Waarom AI moeite heeft om een half afgemaakte taak over te nemen

Hoewel AI-agents complexe taken kunnen oplossen, wijst nieuw onderzoek erop dat zij moeite hebben om werk voort te zetten dat iemand anders is begonnen. Dat leidt tot dubbel werk, tragere voortgang en hogere kosten.

Een van de vermoeiendste maar onmisbare onderdelen van het werken met AI-agents en interfaces is dat de AI bij het begin van vrijwel elk gesprek op de hoogte moet worden gebracht van de situatie.

Populaire taalmodellen zoals ChatGPT bieden weliswaar enige toegang tot blijvende, op de gebruiker afgestemde herinneringen, maar de uitvoering werkt niet consequent goed. Uiteindelijk is het meestal veiliger om de moeite te nemen de achtergrond van de taak aan de AI uit te leggen*, al was het maar om te voorkomen dat het model een verkeerde context raadt vanuit zijn tijdens de training gevormde latente ruimte.

Andermans werk overnemen in de praktijk

De uitdaging is natuurlijk ouder dan AI. Veel bedrijven eisen al dat medewerkers de processen documenteren die zij ontwikkelen of verbeteren. Dat maakt het inwerken van nieuwe medewerkers deels gemakkelijker, maar kan ook bedoeld zijn om te voorkomen dat werknemers een sterkere onderhandelingspositie krijgen.

In de praktijk zijn het echter vaak alleen grotere en beter gefinancierde organisaties die daadwerkelijk documentatie opstellen, bijwerken en onderhouden. Werknemers die het werk van anderen moeten overnemen, krijgen in plaats daarvan heel vaak een soort detectiveopdracht: zij moeten nauwgezet het verloop van de gebeurtenissen reconstrueren dat leidde tot het onafgemaakte werk dat zij nu hebben gekregen.

Uitstekende documentatie zou vanzelfsprekend dagen, weken of zelfs maanden werk besparen, als het opstellen ervan maar financieel verantwoord was.

Wanneer AI-agents het werk uitvoeren, zijn er mogelijk meer kansen om dit probleem op te lossen.

Overdragen

Een nieuw Amerikaans onderzoeksartikel brengt deze last van ontbrekende documentatie in cijfers en noemt het probleem overdrachtschuld.

Als technische schuld beschrijft hoe snelle, provisorische en goedkope technische oplossingen van vandaag later tot kwetsbare of lastig te onderhouden systemen leiden, dan beschrijft overdrachtschuld de kosten van herontdekking – het aan de hand van sporen reconstrueren van de stappen van een eerdere medewerker of andere partij die niet beschikbaar is voor advies, bijvoorbeeld na een conflictueus ontslag, door tijdgebrek of overlijden. De partij kan ook niet meer in staat zijn advies te geven, zoals een taalmodel dat de context die tot de huidige werksituatie leidde allang kwijt is.

Het nieuwe rapport^† is een samenwerking tussen onafhankelijke onderzoekers en onderzoekers verbonden aan Georgia State University. Het behandelt overdrachtschuld bij programmeeragents die in een codebase verder moeten gaan waar een andere sessie, persoon of partij is gestopt.

Een van de doelen is vast te stellen hoeveel documentatie nodig is om overdrachtschuld te verminderen en welke procedures en afspraken in de toekomst als standaardwerkwijze kunnen worden aanbevolen om het probleem te beperken.

Budgetoverwegingen

In een ideale wereld zou men de logregistratie instellen op verbose, oftewel gedetailleerde uitvoer en de nieuwe agent die de taak overneemt simpelweg de logbestanden van het onvoltooide werk geven.

Het kost echter tijd om uit zo veel gegevens bruikbare informatie te halen. Het verbruikt ook het tokenbudget en kan tegen beperkingen van de opslagruimte aanlopen.

Dit is een budgetprobleem: onbewerkte gegevensdumps zijn zwaar om te verwerken, terwijl geselecteerde en bewerkte logbestanden minder verwarrend zijn maar vooraf inzet van middelen vragen.

Zorgvuldig opgestelde overdrachtsnotities zouden de opvolgende agent doeltreffend op de hoogte brengen. Ze vergen echter nog meer voorbereiding, die misschien nooit nodig blijkt als de werkwijze uiteindelijk voor zich spreekt, het werk wordt opgegeven of het nooit meer wordt aangepast.

De auteurs van het nieuwe werk, getiteld Handoff Debt: The Rediscovery Cost When Coding Agents Take Over Interrupted Tasks, hebben al deze situaties onderzocht en bestaande taakmodellen aangepast om overdrachtschuld op nieuwe manieren te meten en aan te pakken. Hoewel het onderzoek specifiek over programmeeragents gaat, kan het ook nuttige richtingen aangeven voor bredere AI-toepassingen en de organisatie van documentatiebeleid.

De auteurs stellen:

“Overdrachtschuld ontstaat wanneer een agent zichtbaar vooruitgang boekt maar een toestand achterlaat waarin een opvolger moeilijk verder kan, zoals onverklaarde wijzigingen, tijdelijke werkbestanden, verborgen aannames of ontbrekend bewijs van validatie.

“Een maatstaf die uitsluitend kijkt naar de uiteindelijke oplossing kan kostbare herontdekking niet onderscheiden van efficiënt voortzetten.

“Twee voorgangeragents kunnen dezelfde repository op een controlepunt achterlaten, terwijl hun opvolgers toch heel verschillende kosten maken om verder te gaan. De ene kan direct doorgaan; de andere moet vaak tools gebruiken om de bedoeling te reconstrueren uit tijdelijke werkbestanden en een onvolledige opdrachtgeschiedenis.”

Methode

De auteurs definiëren voorganger als de vorige agent (degene die het werk is begonnen of voor het laatst heeft uitgevoerd) en opvolger als de huidige agent die het werk moet voortzetten.

Voor een benchmark die de kosten meet van het overdragen van onafgemaakte softwareontwikkelingstaken tussen agents werden 75 taken uit SWE-bench Verified omgezet in 181 overdrachtsscenario’s. Elk scenario vertegenwoordigde een punt waarop het werk was onderbroken en aan een opvolgende agent was overgedragen. Vervolgens werden drie verschillende opvolgermodellen getest in 2.172 overnamepogingen.

De modelfamilies die in verschillende combinaties voor deze overdrachtstests werden gebruikt, waren Qwen, Gemma en Devstral.

De experimenten onderzochten vier niveaus van meegegeven informatie. In de meest beperkte variant kreeg de opvolger alleen de toestand van de repository, alsof hij een ongedocumenteerd rampgebied binnenstapte. Andere varianten gaven steeds meer context, van activiteiten- en opdrachtgeschiedenis tot korte samenvattingen van wat al was geprobeerd en geleerd:

In plaats van zich alleen te concentreren op of een taak uiteindelijk is opgelost, was de studie ontworpen om de kosten van de voortzetting zelf te meten, met aandacht voor toolgebruik, tokenverbruik en de inspanning die nodig is om de redenering achter eerder werk te reconstrueren.

Voor de experimenten werden drie definities voor het herkennen van overdrachtspuntenen drie overdrachtstoestanden vastgesteld:

Gegevens en tests

Voor realistische overdrachtsscenario’s bouwden de onderzoekers de benchmark met 75 softwareontwikkelingstaken uit SWE-bench Verified. De nadruk lag op problemen die doorgaans tussen 15 minuten en vier uur kosten om op te lossen.

De onderzoekers evalueerden niet alleen afgeronde taken, maar legden tijdens het werk meerdere tussenliggende controlepunten vast. Zo ontstonden situaties waarin een AI-agent het werk van een andere moest overnemen:

Opbouw van de benchmark voor werkovername. Uit 75 SWE-bench Verified-taken werden 181 overdrachtspunten in drie werkfasen gemaakt. Ze werden ingedeeld naar de toestand van de repository bij overname en beoordeeld onder vier voorwaarden voor informatiedeling. Dat leverde in totaal 2.172 uitvoeringen door opvolgende agents op. Bron

Elke taak kon meerdere overdrachtspunten opleveren en elke overdracht werd met vier vormen van overgedragen informatie getest. Daardoor groeide de benchmark snel. De uiteindelijke dataset bestond uit 181 afzonderlijke overdrachtstaken en 724 overnamebeoordelingen per opvolgermodel, in totaal 2.172 uitvoeringen met de drie geteste AI-systemen.

Een OpenHands-achtige omgeving voor programmeeragents werd gebruikt, met terminalacties, het vastzetten van de repository op overdrachtspunten, bestandsbewerking en officiële validatie volgens SWE-bench.

In het hoofdonderzoek kwamen alle overdrachtspunten uit uitvoeringen met Qwen-gebaseerde voorgangeragents. Zo hadden de onderzoekers een vast startpunt om agentcombinaties en verschillende situaties te vergelijken.

De geteste overnameparen waren Qwen-naar-Qwen; Qwen-naar-Gemma; en Qwen-naar-Devstral.

Volledig activiteitenlog gaf de grootste vermindering van de inspanning van de opvolger: het aantal agentgebeurtenissen nam met 57–59% af, terwijl samenvattingsnotities en gestructureerde notities het aantal gebeurtenissen met 20–46% verminderden. Het verbruik van prompttokens daalde ook bij alle drie de methoden, met 42–63%:

Bij overdrachten met alleen de repository moesten opvolgende agents extra interacties besteden aan het reconstrueren van de bedoeling van de voorganger, eerder bewijs en mislukte benaderingen. Volledig activiteitenlog, samenvattingsnotities en gestructureerde notities droegen een deel van die informatie direct over en verminderden het benodigde herontdekkingswerk, maar vergden grotere beginprompts.

Om te toetsen of de winst echt was, werd elke contextrijke overdracht vergeleken met een overeenkomstige overdracht met alleen de repository die op hetzelfde punt begon. Bij alle modelcombinaties verminderde een informatievere overdracht consequent het werk van de opvolgende agents.

Volledige gebeurtenislogs gaven de grootste vermindering, maar samenvattende en gestructureerde notities leverden ook aanzienlijke besparingen op. Het effect was zichtbaar in de hele benchmark en werd niet veroorzaakt door enkele uitschieters:

Om vast te stellen dat het effect niet op een handvol ongebruikelijke gevallen berustte, vergeleken de onderzoekers elke overdracht met een overeenkomstige overdracht met alleen de repository die op hetzelfde punt begon. De verminderingen waren consistent bij alle modelcombinaties en wijzen op een betekenisvol patroon, in plaats van enkele uitzonderingen.

Wat nemen we hiervan mee?

Kortom^†, de auteurs vonden dat zelfs eenvoudige notities de tweede AI helpen efficiënter verder te gaan wanneer een AI een taak overdraagt.

Volledige gebeurtenislogs werken het best, maar alle overdrachtsinformatie is beter dan de opvolger alles opnieuw uit alleen de code te laten reconstrueren. De resultaten hierboven laten ook zien dat de aanpak met volledige onbewerkte logs onvermijdelijk hogere tokenkosten heeft.

Conclusie

Hoewel het artikel strikt op vakgenoten is gericht en de doorsneelezer minder zal aanspreken, behandelt het een van de interessantste en dringendste problemen rond de huidige interfaces en communicatieprotocollen tussen mensen en AI.

Hopelijk kunnen de werkwijzen en inzichten uit dit soort onderzoek uiteindelijk ook worden gebruikt in bredere AI-toepassingen dan alleen programmeren door agents.

Toekomstig onderzoek zou ook kunnen bekijken hoe de minimaal benodigde documentatie voor een project kan worden bepaald op basis van de kenmerken en het gebruik ervan. Zelfs zo’n functie, die de inzet van tijd en geld helpt verantwoorden, kost echter tijd en geld. Het budgetdilemma rond documentatie blijft daarom moeilijk te vermijden.

* Zelf ben ik de laatste tijd bij ChatGPT-sessies die traag worden en te veel context bevatten, met enige moeite een nette PDF van het gesprek gaan exporteren. Die gebruik ik als beginpunt van een nieuwe sessie, die “deel 2” wordt.

^† Helaas behoort dit artikel niet tot de toegankelijkste die ik dit jaar heb gelezen. Daarom kan ik de lezer niet aanraden de oorspronkelijke studie te lezen, al blijven de samengevatte resultaten interessant.

Voor het eerst gepubliceerd op woensdag 3 juni 2026