Vad betyder Human-in-the-loop egentligen?

I början av 1900-talet myntade den brittiske filosofen Gilbert Ryle begreppet “ghost in the machine”. I sin bok The Concept of Mind använde Ryle metaforen för att motsätta sig dualismen mellan kropp och själ, som hävdar att kropp och själ existerar som separata substanser. För Ryle var denna uppdelning ett misstag, eftersom kognition och fysisk handling är oskiljaktiga och utgör en del av ett enda system snarare än två interagerande delar.

Med framväxten av AI har en liknande metafor uppstått när man talar om användare av AI-verktyg för att öka produktiviteten: det ofta använda “human-in-the-loop”. Om människor och intelligenta system nu är mer sammanflätade än någonsin, bygger vi då en sammanhängande fusion eller skapar vi en bekväm illusion av kontroll?

Startups litar tungt på detta begrepp för att tala om sina verktyg. Medan det lovar både innovation och trygghet är verkligheten ofta mer komplicerad. Ansvar kan lätt bli otydligt och ansvarsskyldighet svårare att spåra.

När AI-system går djupare in i känsliga områden – från utbildning till krig – är insatserna inte längre abstrakta. Vad betyder human-in-the-loop egentligen och är detta bara en eufemism för när de försvinner helt?

1. Human-in-the-loop som en sköld för ansvar

Om termen human-in-the-loop används slarvigt kan den bli ett enkelt sätt att skifta ansvar utan att verkligen engagera sig i det. Många har noterat att en mänsklig signatur i slutet av en process inte garanterar etisk integritet, särskilt om den underliggande systemet är dåligt utformat eller otillräckligt förstått.

Maysa Hawwash, grundare och VD för Scale X, har skrivit om glidningen bort från ansvar och är tydlig med hur begreppet ofta används. “Det är faktiskt inte så olikt andra sätt att föra över bördan.” Hawwash sa till Startup Beat och använde exemplet med hur HR-chefer ofta använder en signaturpolicy för att flytta företaget bort från ansvar. “Om du har denna policy och människor läser den och skriver under på den, då är företaget inte längre ansvarigt, eller hur?” sa hon.

Det som framträder är ett mönster som är bekant över hela företagssystem, där ansvar flyttas snarare än elimineras. Hawwash ser detta som en lat utväg som undviker kritiskt tänkande eller förståelse för de områden där det kan påverka människor eller samhällen. “Så du flyttar bördan, och sedan spelar det ingen roll om människor förstår policyn, det spelar ingen roll om policyn är meningsfull.”

I denna ram riskerar “human-in-the-loop” att bli mindre om meningsfull intervention och mer om proceduriell täckning. Faran här är inte bara semantisk. När tillsyn reduceras till en signatur, blir den mänskliga rollen symbolisk snarare än substantiell.

Hawwash hänvisade till en nylig militär illdåd – skolan i Minab, Iran – där människor godkände ett anfall, men närvaron av en mänsklig beslutsfattare innebar inte nödvändigtvis etisk tydlighet eller tillräcklig övervägning. “När du är i krig eller genomför en komplex operation, har du inte lyxen att använda human-in-the-loop som en sköld.”

2. Att utforma för ansvar, inte bara tillsyn

Alternativet är inte att överge human-in-the-loop-system, utan att ta dem på allvar som designåtaganden. Detta innebär att gå bortom symbolisk tillsyn mot medvetna ansvarsstrukturer.

“Det finns en stor tävling för att få mer AI rätt ut på marknaden. Det finns inte mycket tanke bakom från ett designperspektiv, som vad den nedströms effekten är på samhällen, på människor eller på slutanvändare”, sa Hawwash.

Hastighet har blivit den dominerande konkurrensfaktorn. I den tävlingen skjuts ansvar ofta upp snarare än integreras. Resultatet är en reaktiv modell för etik, där man åtgärdar problem efter distribution snarare än förutser dem under utvecklingen.

Tillgänglighet kan påskynda antagandet, men den leder också till mer förstärkta konsekvenser. System är inte längre begränsade till tekniska användare, eftersom de kan forma beslut för människor med varierande nivåer av förståelse och kontext. I en sådan miljö kan ansvar inte utkontrakteras till slutanvändaren.

3. Human-in-the-loop som noggrannhet och ansvarsskyldighet

Abhay Gupta, medgrundare av Frizzle, erbjuder ett mer operativt perspektiv – ett som grundar sig i att bygga ett system där mänsklig tillsyn är både praktisk och nödvändig.

Hans företag uppstod ur ett specifikt problem: överarbetade lärare. “I staden hör man talas om bankirer och konsulter som arbetar 70 timmar i veckan, men man hör inte talas om lärare som arbetar så mycket. Så av nyfikenhet intervjuade vi hundratals lärare och över hela linjen var betygsättning deras största tidsåtgång.”

Att automatisera betygsättning kan tyckas vara enkelt, men komplexiteten i handskrivna matematikproblem introducerar verkliga begränsningar för AI. “Det finns problemet med noggrannhet. AI är inte perfekt, så vi byggde ett human-in-the-loop-system. Om AI inte är säker – som med otydlig handstil – flaggar det för läraren att granska och godkänna eller avvisa.”

Här är den mänskliga rollen inte bara utsmyckning. Systemet identifierar explicit sin egen osäkerhet och skickar dessa fall till en människa. “För oss handlar det om noggrannhet. Det kommer alltid att finnas kanter – kanske 1-3% – där AI kämpar, så en människa måste träda in.”

Denna metod omformar human-in-the-loop till ett mekanism för kvalitetskontroll. Men Gupta driver det längre: “I sin kärna är AI inte 100% noggrant – det kan hallucinera eller producera felaktiga utdata. Human-in-the-loop fungerar som den slutliga kvalitetskontrollen innan resultaten når slutanvändaren. Det handlar också om ansvar. Någon måste vara ansvarig för utdata, och just nu måste det fortfarande vara en människa.”

Viktigt är att den mänskliga rollen också bevarar något mindre kvantifierbart: den relationella aspekten av undervisning. “Det handlar också om att bevara den mänskliga sidan av undervisning. Lärare har olika stilar, så vi låter dem anpassa hur feedback levereras”

Omdefiniera Human-in-the-loop

Uttrycket “human in the loop” bär en lugnande enkelhet. Det antyder att oavsett hur avancerade våra system blir, finns en människa kvar i kontrollen och vi är inte bara “spöken i maskinen”. Men när startups alltmer använder AI i högriskmiljöer kräver den lugnande känslan granskning.

Det djupare problemet är design. Om ett systems risker är dåligt förstådda eller medvetet minimiserade, gör det lite för att korrigera grundläggande fel genom att införa en människa i slutet. Det är också viktigt att definiera den mänskliga rollen, inte som en reserv, utan som en integrerad del av systemets drift. En människa i loopen bör inte bara godkänna resultatet. Startups bör sträva efter att ge sina anställda möjlighet att forma dem, utmana dem och, när det är nödvändigt, åsidosätta dem med myndighet.