Hva betyr egentlig human-in-the-loop?

I begynnelsen av det 20. århundre myntet den britiske filosofen Gilbert Ryle begrepet “ghost in the machine”. I boken The Concept of Mind brukte Ryle metaforen for å gå imot dualismen mellom kropp og sjel, som hevder at kropp og sjel er separate substanser. For Ryle var dette skillet en feil, da kognisjon og fysisk handling var uatskillelige, en del av et enkelt system og ikke to interagerende deler.

Med fremveksten av AI oppstår en lignende metafor når det snakkes om brukerne av AI-verktøy for å øke produktiviteten: det ofte brukte “human-in-the-loop”. Hvis mennesker og intelligente systemer nå er mer sammenflettet enn noen gang, bygger vi en sammenhengende fusjon eller skaper vi en praktisk illusjon av kontroll?

Oppstartsbedrifter støtter seg sterkt på dette konseptet for å snakke om sine verktøy. Mens det lover både innovasjon og trygghet, er virkeligheten ofte mer komplisert. Ansvar kan lett bli diffust og ansvarlighet vanskeligere å spore.

Da AI-systemer går dypere inn i følsomme domener – fra utdanning til krig – er innsatsen ikke lenger abstrakt. Hva betyr egentlig human-in-the-loop, og er dette bare en eufemisme for når menneskene forsvinner helt?

1. Human-in-the-loop som skjold for ansvar

Brukt uten omtanke, kan begrepet human-in-the-loop være en enkel måte å flytte ansvar uten å egentlig engasjere seg i det. Som mange har lagt merke til, garanterer en menneskelig signatur på slutten av en prosess ikke nødvendigvis etisk integritet, spesielt hvis det underliggende systemet er dårlig designet eller utilstrekkelig forstått.

Maysa Hawwash, grunnlegger og CEO av Scale X, har skrevet om veien bort fra ansvar og er blant annet åpen om hvordan konseptet ofte blir brukt. “Det er faktisk ikke så ulikt andre måter å flytte byrden på”, sa Hawwash til Startup Beat, og brukte eksempelet på hvordan HR-ledere ofte bruker en ordning med godkjenning ved underskrift for å flytte selskapet vekk fra ansvar. “Hvis du har denne politikken og folk leser den og signerer på den, så er selskapet teknisk sett ikke ansvarlig, rett?” sa hun.

Hva som kommer frem, er et mønster som er kjent over hele korporative systemer hvor ansvar blir flyttet på i stedet for å bli eliminert. Hawwash ser på dette som en lettvint utvei som unngår kritisk tenkning eller forståelse av områdene hvor det kan påvirke mennesker eller samfunn. “Så du flytter byrden, og så spiller det ingen rolle om folk forstår politikken, det spiller ingen rolle om politikken har mening.”

I denne rammen, risikerer “human-in-the-loop” å bli mindre om meningsfull inngripen og mer om prosedyredekning. Faren her er ikke bare semantisk. Når tilsyn blir redusert til en underskrift, blir den menneskelige rollen symbolsk i stedet for reell.

Hawwash henviser til en nylig militær ugjerning – skolen i Minab, Iran – hvor mennesker godkjente et angrep, men tilstedeværelsen av en menneskelig beslutningstaker ikke nødvendigvis innebar etisk klarhet eller tilstrekkelig overveielse. “Når du er i krig eller du utfører en kompleks operasjon, har du ikke luksusen av tid til å bruke human-in-the-loop som skjold.”

2. Design for ansvar, ikke bare tilsyn

Alternativet er ikke å forkaste human-in-the-loop-systemer, men å ta dem alvorlig som designforpliktelser. Dette betyr å gå utenfor symbolsk tilsyn mot bevisst ansvarlige strukturer.

“Det er dette store kappløpet for å få mer AI rett ut på markedet. Det tenkes ikke særlig grundig gjennom fra et designperspektiv, som hva nedstrømsvirkningen er på samfunn, på mennesker eller på sluttbrukere,” sa Hawwash.

Hastighet har blitt den dominerende konkurransevariabelen. I dette kappløpet, blir ansvar ofte utsatt i stedet for å bli bygget inn. Resultatet er en reaktiv modell for etikk hvor løsning av problemer skjer etter utrulling i stedet for at de forutses under utviklingen.

Tilgjengelighet kan akselerere adopsjon, men det fører også til sterkere konsekvenser. Systemer er ikke lenger begrenset til tekniske brukere, da de kan forme beslutninger for mennesker med varierende nivåer av forståelse og kontekst. I et slikt miljø, kan ansvar ikke bli outsourcet til sluttbrukeren.

3. Human-in-the-loop som nøyaktighet og ansvarlighet

Abhay Gupta, medgrunnlegger av Frizzle, tilbyr et mer operasjonelt perspektiv – ett som er grunnlagt i å bygge et system hvor menneskelig tilsyn er både praktisk og nødvendig.

Hans selskap oppstod fra et spesifikt problem: overarbeidete lærere. “I byen hører du om bankfolk og konsulenter som arbeider 70 timer i uken, men du hører ikke om lærere som arbeider like mye. Så av nysgjerrighet, intervjuet vi hundrevis av lærere og over hele linjen var vurdering deres største tidssluker.”

Automatisering av vurdering kan virke enkel, men kompleksiteten ved håndskrevne matematiske oppgaver introduserer reelle begrensninger for AI. “Det er nøyaktighetsproblemet. AI er ikke perfekt, så vi bygget et human-in-the-loop-system. Hvis AI-en ikke er sikker – som med uleselige håndskrifter – markerer den det for læreren til å se over og godkjenne eller avvise.”

Her er den menneskelige rollen ikke bare dekorativ. Systemet identifiserer uttrykkelig sin egen usikkerhet og sender disse tilfellene til et menneske. “For oss handler det om nøyaktighet. Det vil alltid være randtilfeller – kanskje 1-3% – hvor AI har vanskeligheter, så et menneske må gripe inn.”

Denne tilnærmingen omdefinerer human-in-the-loop som en mekanisme for kvalitetskontroll. Men Gupta går videre: “I kjernen er AI ikke 100% nøyaktig – det kan hallusinere eller produsere feilaktige utdata. Human-in-the-loop fungerer som den endelige kvalitetskontrollen før resultater når sluttbrukeren. Det handler også om ansvar. Noen må være ansvarlig for utdata, og nå må det fortsatt være et menneske.”

Det er også viktig å bevare noe mindre kvantifiserbart: det relasjonelle aspektet av undervisning. “Det handler også om å bevare den menneskelige siden av undervisning. Lærere har forskjellige stiler, så vi lar dem tilpasse hvordan tilbakemelding leveres”

Omdefinere Human-in-the-loop

Uttrykket “human-in-the-loop” bærer en beroligende enkelhet. Det antyder at uansett hvor avanserte våre systemer blir, er et menneske fortsatt i kontroll, og vi er ikke bare “gjengangere i maskinen”. Men når startups i økende grad tar i bruk AI i høyrisikomiljøer, krever denne forsikringen kritisk granskning.

Det dypere problemet er design. Hvis systemets risikoer er dårlig forstått eller bevisst minimert, gjør det lite å sette et menneske på slutten for å korrigere grunnleggende feil. Det betyr også å definere den menneskelige rollen ikke som en reserve, men som en integrert del av systemets drift. Et menneske i løkken bør ikke bare godkjenne resultatet. Startups bør søke å gi sine ansatte mulighet til å forme resultatene, utfordre dem og, når nødvendig, overstyre dem med reell beslutningsmyndighet.