Co vlastně znamená Human-in-the-Loop?

Na počátku 20. století vytvořil britský filozof Gilbert Ryle termín „ghost in the machine“. Ve své knize The Concept of Mind Ryle použil tuto metaforu, aby se vymezil proti dualismu mezi myslí a tělem, který tvrdí, že mysl a tělo existují jako samostatné substance. Pro Rylea byla tato dělící čára chybou, protože kognice a fyzické jednání jsou nezaměnitelné, jsou součástí jediného systému, nikoli dvou interagujících částí.

S příchodem umělé inteligence (AI) se podobná metafora objevuje, když mluvíme o uživatelích nástrojů AI pro zvýšení produktivity: často používaný termín „human-in-the-loop“. Pokud jsou lidé a inteligentní systémy nyní více propojeni než kdykoli předtím, vytváříme tak bezproblémové spojení nebo vytváříme výhodnou iluzi kontroly?

Startupy se silně spoléhají na tento koncept, aby mluvily o svých nástrojích. Zatímco slibuje inovace a ujištění, realita je často složitější. Odpovědnost se snadno stává rozptýlenou a obtížněji stopovatelnou.

Jak systémy AI pronikají do citlivých oblastí – od vzdělávání po válku – jsou sázky již nejsou abstraktní. Co vlastně znamená human-in-the-loop a není to pouze eufemismus pro případ, kdy úplně zmizí?

1. Human-in-the-loop jako štít pro odpovědnost

Používán bezstarostně, termín human-in-the-loop může být snadným způsobem, jak přenést odpovědnost, aniž by se skutečně zabýval odpovědností. Jak mnoho lidí zaznamenává, lidská podpis na konci procesu nezaručuje etickou integritu, zejména pokud je základní systém špatně navržen nebo nedostatečně pochopen.

Maysa Hawwash, zakladatelka a CEO společnosti Scale X, napsala o posunu od odpovědnosti a je přímá ve způsobu, jakým je tento koncept často nasazen. „Je to vlastně ne-li podobné jiným způsobem přenosu břemene.“ Hawwash řekla Startup Beat, používající příklad, jak manažeři HR často používají politiku schválení k přesunu společnosti od odpovědnosti. „Pokud máte tuto politiku a lidé ji čtou a schvalují, pak jako společnost technicky nejste odpovědní, že?“ řekla.

Co se objevuje, je vzorec známý napříč korporátními systémy, kde odpovědnost je přesunuta, nikoli eliminována. Hawwash vidí tuto cestu jako lenivý způsob, který se vyhýbá kritickému myšlení nebo pochopení oblastí, kde může ovlivnit lidi nebo komunity. „Takže přenášíte břemeno a pak už nezáleží, zda lidé rozumí politice, nezáleží, zda politika dává smysl.“

V tomto rámci „human-in-the-loop“ riskuje stát se méně o významnou intervenci a více o procedurální krytí. Nebezpečí zde není jen semantické. Když je dohled redukován na schválení, lidská role se stává symbolickou spíše než podstatnou.

Hawwash odkázala na nedávnou vojenskou brutalitu – školu v Minabu v Íránu – kde lidé schválili útok, ale přítomnost lidského rozhodce neznamenala nutně etickou jasnost nebo dostatečnou úvahu. „Když jste ve válce nebo provádíte komplexní operaci, nemáte luxus času, abyste použili human-in-the-loop jako štít.“

2. Navrhování pro odpovědnost, ne jen dohled

Alternativou není opustit systémy human-in-the-loop, ale brát je vážně jako návrhové závazky. To znamená jít za symbolický dohled směrem k úmyslným strukturám odpovědnosti.

„Je tu velká soutěž, aby se dostalo více AI na trh. Není mnoho myšlení z návrhového hlediska, jako je to, co je dolní dopad na komunity, na lidi nebo na koncové uživatele,“ řekla Hawwash.

Rychlost se stala dominantní soutěžní proměnnou. V této soutěži je odpovědnost často odkládána, nikoli vestavěna. Výsledkem je reaktivní model etiky, kde se problémy řeší po nasazení, nikoli během vývoje.

Přístupnost může urychlit přijetí, ale také vede k větším následkům. Systémy již nejsou omezeny na technické uživatele, protože mohou formovat rozhodnutí pro lidi s různými úrovněmi porozumění a kontextu. V takovém prostředí nemůže být odpovědnost outsourcována na koncového uživatele.

3. Human-in-the-loop jako přesnost a odpovědnost

Abhay Gupta, spoluzakladatel Frizzle, nabízí více operacionální perspektivu – jednu založenou na budování systému, kde lidský dohled je praktický a nezbytný.

Jeho společnost vznikla z konkrétního problému: přetížení učitelů. „Ve městě slyšíte o bankéřích a konzultantech, kteří pracují 70 hodin týdně, ale neslyšíte o učitelích, kteří pracují tolik. Takže z.curiosity jsme interviewovali stovky učitelů a napříč deskami bylo hodnocení jejich největší časovou propastí.“

Automatizace hodnocení může vypadat přímočaře, ale složitost ručně psané matematiky představuje skutečná omezení pro AI. „Je tu problém s přesností. AI není dokonalá, takže jsme vytvořili systém human-in-the-loop. Pokud AI není jistá – jako u špinavého písma – označí to pro učitele k přezkumu a schválení nebo odmítnutí.“

Zde lidská role není jen ozdobná. Systém explicitně identifikuje svou vlastní nejistotu a směruje tyto případy na člověka. „Pro nás je to o přesnosti. Vždy budou existovat edge případy – možná 1-3% – kde AI zápasí, takže člověk musí zasáhnout.“

Tento přístup předefinuje human-in-the-loop jako mechanismus pro kontrolu kvality. Ale Gupta jde dále: „V jádru AI není 100% přesná – může halucinovat nebo produkovat špatné výstupy. Human-in-the-loop funguje jako konečná kontrola kvality předtím, než výsledky dosáhnou koncového uživatele. Je to také o odpovědnosti. Někdo musí být odpovědný za výstup, a nyní to stále musí být člověk.“

Důležité je, že lidská role také zachovává něco méně kvantifikovatelného: vztahový aspekt učení. „Je to také o zachování lidské stránky učení. Učitelé mají různé styly, takže jim umožňujeme přizpůsobit, jak je zpětná vazba doručena“

Předefinování Human-in-the-loop

Fráze „human in the loop“ nese uklidňující jednoduchost. Naznačuje, že bez ohledu na to, jak pokročilé naše systémy jsou, člověk zůstává v kontrole a nejsme prostě „ghosts in the machine“. Ale když startupy stále více nasazují AI ve vysoce rizikových prostředích, toto ujištění vyžaduje zkoumání.

Hlubší problém je návrh. Pokud jsou rizika systému špatně pochopena nebo úmyslně minimalizována, vložení člověka na konci dělá málo pro opravu základních chyb. Zásadně to také znamená definovat roli člověka ne jako záložní, ale jako integrovanou část systému. Člověk v smyčce by neměl pouze schvalovat výsledek. Startupy by měly usilovat o to, aby své zaměstnance opravňovaly tvarovat je, zpochybňovat je a v případě potřeby je přepsat s autoritou.