Hva betyr egentlig Human-in-the-Loop?

I begynnelsen av det 20. århundre myntet den britiske filosofen Gilbert Ryle begrepet “ghost in the machine”. I boken The Concept of Mind brukte Ryle metaforen til å gå imot dualismen mellom kropp og sjel, som hevder at kropp og sjel eksisterer som separate substanser. For Ryle var denne skillet en feil, da kognisjon og fysisk handling var uatskillelige, en del av et enkelt system snarere enn to interagerende deler.

Med fremveksten av AI, oppstår en lignende metafor nå når man snakker om brukere av AI-verktøy for å øke produktiviteten: ofte brukt “human-in-the-loop”. Hvis mennesker og intelligente systemer nå er mer sammenflettet enn noensinne, bygger vi en sammenhengende fusjon eller skaper vi en praktisk illusjon av kontroll?

Startups hviler tungt på dette konseptet for å snakke om sine verktøy. Mens det lover både innovasjon og forsikring, er virkeligheten ofte mer komplisert. Ansvar kan lett bli diffust og ansvarlighet vanskeligere å spore.

Ettersom AI-systemer går dypere inn i følsomme domener – fra utdanning til krigføring – er innsatsen ikke lenger abstrakt. Hva betyr human-in-the-loop egentlig, og er dette bare en eufemisme for når de forsvinner helt?

1. Human-in-the-loop som skjold for ansvar

Brukt uten omsorg, kan begrepet human-in-the-loop være en enkel måte å flytte ansvar uten å engasjere seg ordentlig med det. Som mange har lagt merke til, garanterer en menneskelig signatur på slutten av en prosess ikke etisk integritet, særlig hvis det underliggende systemet er dårlig designet eller utilstrekkelig forstått.

Maysa Hawwash, grunnlegger og CEO av Scale X, har skrevet om glideveien fra ansvar og er blant annet åpen om måten konseptet ofte blir brukt på. “Det er faktisk ikke ulikt andre måter å flytte byrden.” Hawwash fortalte Startup Beat, og brukte eksempelet på hvordan HR-mestre ofte bruker en godkjenningspolicy for å flytte selskapet vekk fra ansvar. “Hvis du har denne politikken og folk leser den og godkjenner den, så er selskapet teknisk sett ikke ansvarlig, rett?” sa hun.

Hva som kommer frem, er et mønster som er kjent over hele det korporative systemet, der ansvar flyttes snarere enn elimineres. Hawwash ser på dette som en latveis ut av veien som unngår kritisk tenkning eller forståelse av områdene hvor det kan påvirke mennesker eller samfunn. “Så du flytter byrden, og så betyr det ikke om folk forstår politikken, det betyr ikke om politikken har mening.”

I denne rammen, risikerer “human-in-the-loop” å bli mindre om meningsfull inngripen og mer om prosedyredekning. Farene her er ikke bare semantiske. Når tilsyn blir redusert til en godkjenning, blir den menneskelige rollen symbolsk snarere enn substansiel.

Hawwash henviser til en nylig militær forbrytelse – skolen i Minab, Iran – hvor mennesker godkjente et angrep, men tilstedeværelsen av en menneskelig beslutningstaker ikke nødvendigvis tilsvarte etisk klarsyn eller tilstrekkelig overveielse. “Når du er i krig eller du utfører en kompleks operasjon, har du ikke luksusen av tid til å bruke human-in-the-loop som skjold.”

2. Design for ansvar, ikke bare tilsyn

Alternativet er ikke å forkaste human-in-the-loop-systemer, men å ta dem alvorlig som designforpliktelser. Dette betyr å gå beyond symbolsk tilsyn mot bevisst ansvarsstruktur.

“Det er denne store kappløpet for å få mer AI rett ut på markedet. Det er ikke mye tenkning gjennom fra et designperspektiv, som hva nedstrømsvirkningen er på samfunn, på mennesker eller på sluttbrukere,” sa Hawwash.

Hastighet er blitt den dominerende konkurransevariabelen. I denne kappløpet, blir ansvar ofte utsatt snarere enn innbygget. Resultatet er en reaktiv modell for etikk hvor løsning av problemer skjer etter distribusjon snarere enn under utvikling.

Tilgjengelighet kan akselerere adopsjon, men det fører også til mer forsterkede konsekvenser. Systemer er ikke lenger begrenset til tekniske brukere, da de kan forme beslutninger for mennesker med varierende nivåer av forståelse og kontekst. I en slik omgang, kan ansvar ikke utkontrakteres til sluttbrukeren.

3. Human-in-the-loop som nøyaktighet og ansvarlighet

Abhay Gupta, medgrunnlegger av Frizzle, tilbyr et mer operasjonelt perspektiv – ett som er grunnlagt i å bygge et system hvor menneskelig tilsyn er både praktisk og nødvendig.

Hans selskap oppstod fra et spesifikt problem: overarbeidete lærere. “I byen hører du om bankfolk og konsulenter som arbeider 70 timer i uken, men du hører ikke om lærere som arbeider like mye. Så av nysgjerrighet intervjuet vi hundrevis av lærere og over hele linjen var karaktergiving deres største tidsfordeling.”

Automatisering av karaktergiving kan synes enkelt, men kompleksiteten i håndskrevne matematiske problemer introduserer reelle begrensninger for AI. “Det er nøyaktighetsproblemet. AI er ikke perfekt, så vi bygget et human-in-the-loop-system. Hvis AI-en ikke er sikker – som med uleselige håndskrifter – markerer den det for læreren til å se over og godkjenne eller avvise.”

Her er den menneskelige rollen ikke bare dekorativ. Systemet identifiserer uttrykkelig sin egen usikkerhet og sender disse sakene til en menneskelig. “For oss handler det om nøyaktighet. Det vil alltid være randtilfeller – kanskje 1-3% – hvor AI-struggler, så en menneskelig må tre inn.”

Dette tilnærmingen omdefinierer human-in-the-loop som et mekanisme for kvalitetskontroll. Men Gupta går videre: “I kjernen er AI ikke 100% nøyaktig – det kan hallucinere eller produsere feil utdata. Human-in-the-loop fungerer som den endelige kvalitetskontrollen før resultater når sluttbrukeren. Det handler også om ansvar. Noen må være ansvarlig for utdata, og nå må det fortsatt være et menneske.”

Viktigere, den menneskelige rollen bevarer også noe mindre kvantifiserbart: den relasjonelle aspekten av undervisning. “Det handler også om å bevare den menneskelige siden av undervisning. Lærere har forskjellige stiler, så vi lar dem tilpasse hvordan tilbakemelding leveres”

Omdefinere Human-in-the-loop

Uttrykket “human in the loop” bærer en beroligende enkelhet. Det antyder at uansett hvor avanserte våre systemer blir, er et menneske fortsatt i kontroll, og vi er ikke bare “ghosts in the machine”. Men når startups deployerer AI i høyrisikomiljøer, krever denne beroligingen skarpsyn.

Det dypere problemet er design. Hvis systemets risikoer er dårlig forstått eller bevisst minimert, gjør det å sette et menneske på slutten lite for å korrigere grunnleggende feil. Kritisk, betyr det også å definere den menneskelige rollen ikke som en reserve, men som en integrert del av systemets drift. Et menneske i løkken bør ikke bare godkjenne resultatet. Startups bør søke å gi sine ansatte myndighet til å forme dem, utfordre dem og, når nødvendig, overstyre dem med myndighet.