Wat betekent human-in-the-loop eigenlijk?

In het begin van de 20e eeuw bedacht de Britse filosoof Gilbert Ryle de term “ghost in the machine”. In zijn boek The Concept of Mind gebruikte Ryle deze metafoor om zich te verzetten tegen het dualisme van lichaam en geest, dat stelt dat lichaam en geest als afzonderlijke substanties bestaan. Volgens Ryle was deze scheiding een fout, omdat cognitie en fysieke actie onlosmakelijk met elkaar verbonden zijn en deel uitmaken van een enkel systeem in plaats van twee op elkaar inwerkende delen.

Met de opkomst van AI is een soortgelijke metafoor ontstaan bij het spreken over gebruikers van AI-hulpmiddelen om de productiviteit te verhogen: de vaak gebruikte “human-in-the-loop”. Als mensen en intelligente systemen nu meer dan ooit met elkaar verbonden zijn, bouwen we een naadloze fusie of creëren we een handige illusie van controle?

Startups steunen sterk op dit concept om het te hebben over hun tools. Terwijl het zowel innovatie als geruststelling belooft, is de realiteit vaak rommeliger. Verantwoordelijkheid kan gemakkelijk versnipperd raken en de verantwoordingsplicht moeilijker te traceren.

Terwijl AI-systemen dieper doordringen in gevoelige domeinen – van onderwijs tot oorlog – staat er niet langer alleen iets abstracts op het spel. Wat betekent human-in-the-loop eigenlijk en is dit alleen maar een eufemisme voor wanneer mensen helemaal verdwijnen?

1. Human-in-the-loop als schild voor verantwoordelijkheid

Als de term human-in-the-loop onzorgvuldig wordt gebruikt, kan het een gemakkelijke manier zijn om verantwoordelijkheid te verschuiven zonder er echt mee om te gaan. Zoals velen opmerken, garandeert een handtekening van een mens aan het einde van een proces niet noodzakelijkerwijs ethische integriteit, vooral als het onderliggende systeem slecht ontworpen of onvoldoende begrepen is.

Maysa Hawwash, oprichter en CEO van Scale X, heeft geschreven over de verschuiving van verantwoordelijkheid en is openhartig over de manier waarop het concept vaak wordt ingezet. “Het is eigenlijk niet veel anders dan andere manieren om de last af te schuiven”, zei Hawwash tegen Startup Beat, met als voorbeeld hoe HR-managers vaak een ondertekeningsbeleid gebruiken om aansprakelijkheid bij het bedrijf weg te halen. “Als je dit beleid hebt en mensen lezen het en ondertekenen, dan is het bedrijf technisch gezien niet aansprakelijk, toch?” zei ze.

Wat naar voren komt, is een patroon dat bekend is in corporate systemen waar verantwoordelijkheid wordt verplaatst in plaats van geëlimineerd. Hawwash ziet dit als de gemakkelijke uitweg die kritisch denken of het begrijpen van de gebieden waar het een invloed op mensen of gemeenschappen kan hebben, vermijdt. “Dus je verplaatst de last, en dan maakt het niet uit of mensen het beleid begrijpen, het maakt niet uit of het beleid zin heeft.”

In deze context riskeert “human-in-the-loop” minder te gaan over betekenisvolle interventie en meer over procedurele dekking. Het gevaar hier is niet alleen semantisch. Wanneer toezicht wordt teruggebracht tot een ondertekening, wordt de rol van de mens symbolisch in plaats van substantieel.

Hawwash verwees naar een recente militaire gruweldaad – de school in Minab, Iran – waar mensen een aanval goedkeurden, maar de aanwezigheid van een menselijke beslissingsnemer niet noodzakelijkerwijs ethische duidelijkheid of adequate overweging impliceerde. “Wanneer je in oorlog bent of een complexe operatie uitvoert, heb je niet de luxe van tijd om human-in-the-loop als schild te gebruiken.”

2. Ontwerpen voor verantwoordelijkheid, niet alleen toezicht

Het alternatief is niet om human-in-the-loop-systemen te verlaten, maar om ze serieus te nemen als ontwerpplichten. Dit betekent dat we verder gaan dan symbolisch toezicht naar doelgerichte verantwoordelijkheidsstructuren.

“Er is deze grote wedloop om meer AI rechtstreeks op de markt te brengen. Er is niet veel nagedacht over het ontwerp, zoals over de downstream-impact op gemeenschappen, mensen of eindgebruikers”, zei Hawwash.

Snelheid is het dominante concurrentie-element geworden. In die wedloop wordt verantwoordelijkheid vaak uitgesteld in plaats van ingebed. Het resultaat is een reactief model van ethiek waarbij problemen worden opgelost na implementatie in plaats van dat er tijdens de ontwikkeling op wordt geanticipeerd.

Toegankelijkheid kan de adoptie versnellen, maar het leidt ook tot ingrijpendere gevolgen. Systemen zijn niet langer beperkt tot technische gebruikers, omdat ze beslissingen kunnen beïnvloeden voor mensen met verschillende niveaus van begrip en context. In zo’n omgeving kan verantwoordelijkheid niet worden uitbesteed aan de eindgebruiker.

3. Human-in-the-loop als nauwkeurigheid en verantwoording

Abhay Gupta, medeoprichter van Frizzle, biedt een meer operationeel perspectief – een dat gebaseerd is op het bouwen van een systeem waarin menselijk toezicht zowel praktisch als noodzakelijk is.

Zijn bedrijf ontstond uit een specifiek probleem: overwerkte leraren. “In de stad hoor je over bankiers en consultants die 70 uur per week werken, maar je hoort niet over leraren die zo veel werken. Dus uit nieuwsgierigheid hebben we honderden leraren geïnterviewd en overal was het beoordelen van werk hun grootste tijdvreter.”

Het automatiseren van beoordelingen lijkt rechttoe rechtaan, maar de complexiteit van handgeschreven wiskunde introduceert echte beperkingen voor AI. “Er is het probleem van nauwkeurigheid. AI is niet perfect, dus we hebben een human-in-the-loop-systeem gebouwd. Als de AI niet zeker is – zoals bij rommelig handschrift – markeert het het voor de leraar om te controleren en goed te keuren of af te keuren.”

Hier is de rol van de mens niet alleen ornamentaal. Het systeem identificeert expliciet zijn eigen onzekerheid en routeert die gevallen naar een mens. “Voor ons gaat het om nauwkeurigheid. Er zullen altijd randgevallen zijn – misschien 1-3% – waar AI worstelt, dus een mens moet ingrijpen.”

Deze aanpak herschikt human-in-the-loop als een mechanisme voor kwaliteitscontrole. Maar Gupta gaat verder: “AI is in zijn kern niet 100% nauwkeurig – het kan hallucineren of verkeerde uitvoer produceren. Human-in-the-loop fungeert als de laatste kwaliteitscontrole voordat resultaten de eindgebruiker bereiken. Het gaat ook om verantwoordelijkheid. Iemand moet verantwoording afleggen over de uitvoer, en op dit moment moet dat nog steeds een mens zijn.”

Het is ook belangrijk dat de rol van de mens iets minder kwantificeerbaars bewaart: de relationele kant van lesgeven. “Het gaat ook om het behoud van de menselijke kant van lesgeven. Leraren hebben verschillende stijlen, dus laten we hen aanpassen hoe feedback wordt overgebracht”

Human-in-the-loop opnieuw definiëren

De term “human-in-the-loop” draagt een geruststellende eenvoud met zich mee. Het suggereert dat hoe geavanceerd onze systemen ook worden, een mens de controle houdt en we zijn niet gewoon “ghosts in the machine”. Maar terwijl startups AI in hoogrisico-omgevingen inzetten, vereist die geruststelling onderzoek.

Het diepere probleem is ontwerp. Als de risico’s van een systeem slecht worden begrepen of willens en wetens worden geminimaliseerd, doet het toevoegen van een mens aan het einde weinig om fundamentele fouten te corrigeren. Cruciaal is dat het ook betekent dat de rol van de mens niet als een back-up, maar als een integraal onderdeel van de systeemoperatie wordt gedefinieerd. Een mens in de loop moet de uitkomst niet alleen goedkeuren. Startups moeten hun medewerkers de bevoegdheid geven om die uitkomsten vorm te geven, ze ter discussie te stellen en ze zo nodig met gezag te overrulen.