Co vlastně znamená Human-in-the-loop?

V počátku 20. století vytvořil britský filozof Gilbert Ryle termín „ghost in the machine“. Ve svém díle The Concept of Mind Ryle použil tuto metaforu, aby se vyslovil proti dualismu mezi myslí a tělem, který tvrdí, že mysl a tělo existují jako samostatné substance. Podle Rylea tato dělící čára byla chyba, protože kognice a fyzické jednání jsou nezbytné a tvoří jeden systém, nikoli dvě interagující části.

S příchodem umělé inteligence se podobná metafora objevuje, když mluvíme o uživatelích nástrojů umělé inteligence pro zvýšení produktivity: často používaný termín „human-in-the-loop“. Pokud jsou lidé a inteligentní systémy nyní více propojeni než kdykoli předtím, vytváříme-li tak spojení, nebo vytváříme pouze iluzi kontroly?

Startupy se velmi silně opírají o tento koncept, aby mluvily o svých nástrojích. Přestože slibuje inovace a uklidnění, realita je často složitější. Odpovědnost se snadno rozptýlí a zodpovědnost je těžší vysledovat.

Jelikož se systémy umělé inteligence dostanou do citlivých oblastí – od vzdělávání po válku – jsou sázky již nejsou abstraktní. Co vlastně znamená human-in-the-loop a není to pouze eufemismus pro případ, kdy úplně zmizí?

1. Human-in-the-loop jako štít pro odpovědnost

Pokud se termín human-in-the-loop používá bezstarostně, může se snadno stát způsobem, jak přenést odpovědnost, aniž by se skutečně zabývalo. Mnozí si všimli, že lidská podpis na konci procesu nezaručuje etickou integritu, zejména pokud je základní systém špatně navržen nebo nedostatečně pochopen.

Maysa Hawwash, zakladatelka a CEO společnosti Scale X, napsala o posunu od odpovědnosti a je přímá ve způsobu, jakým je tento koncept často nasazen. „Je to vlastně podobné jako jiné způsoby přenosu břemene.“ Hawwash řekla serveru Startup Beat, používající jako příklad, jak manažeři lidských zdrojů často používají politiku schvalování, aby společnost přesunula břemeno odpovědnosti. „Pokud máte tuto politiku a lidé ji přečtou a schválí, pak jako společnost technicky nejste odpovědní, že?“ řekla.

Co vyplývá, je známý vzorec napříč korporátními systémy, kde se odpovědnost přesouvá, místo aby byla eliminována. Hawwash vidí tuto cestu jako línou cestu, která se vyhýbá kritickému myšlení nebo pochopení oblastí, kde to může ovlivnit lidi nebo komunity. „Takže přenášíte břemeno a potom už nezáleží na tom, zda lidé rozumějí politice, zda politika dává smysl.“

V tomto rámci „human-in-the-loop“ riskuje stát se méně o významnou intervenci a více o procedurální krytí. Nebezpečí zde není jen semantické. Když je dohled redukován na schvalování, lidská role se stává symbolickou spíše než podstatnou.

Hawwash odkázala na nedávnou vojenskou zvěrstvo – školu v Minabu v Íránu – kde lidé schválili útok, ale přítomnost lidského rozhodce nevyhnutelně neznamenala etickou jasnost nebo dostatečnou úvahu. „Když jste ve válce nebo provádíte složitou operaci, nemáte luxus času, abyste použili human-in-the-loop jako štít.“

2. Navrhování pro odpovědnost, ne jen dohled

Alternativou není opustit systémy human-in-the-loop, ale brát je vážně jako závazky návrhu. To znamená jít za symbolický dohled a směřovat k úmyslné odpovědnosti.

„Je tu velká soutěž, aby se dostalo více umělé inteligence na trh. Není mnoho přemýšlení z návrhového hlediska, jako je to, co je dolní dopad na komunity, lidi nebo koncové uživatele,“ řekla Hawwash.

Rychlost se stala dominantní soutěžní proměnnou. V této soutěži je odpovědnost často odkládána, místo aby byla zakotvena. Výsledkem je reaktivní model etiky, kde se problémy řeší po nasazení, místo aby se předvídaly během vývoje.

Přístupnost může urychlit přijetí, ale také vede k větším důsledkům. Systémy již nejsou omezeny na technické uživatele, protože mohou tvarovat rozhodnutí pro lidi s různými úrovněmi porozumění a kontextu. V takovém prostředí nemůže být odpovědnost outsourcována koncovému uživateli.

3. Human-in-the-loop jako přesnost a zodpovědnost

Abhay Gupta, spoluzakladatel společnosti Frizzle, nabízí více provozní perspektivu – jednu založenou na budování systému, kde lidský dohled je praktický a nezbytný.

Jeho společnost vznikla z konkrétního problému: přetížení učitelů. „Ve městě slyšíte o bankéřích a konzultantech, kteří pracují 70 hodin týdně, ale neslyšíte o učitelích, kteří pracují tolik. Takže z.curiosity jsme interviewovali stovky učitelů a napříč všemi byla největší časovou ztrátou klasifikace.“

Automatizace klasifikace může vypadat přímočaře, ale složitost ručně psané matematiky zavádí skutečná omezení pro umělou inteligenci. „Je tu problém s přesností. Umělá inteligence není dokonalá, takže jsme vytvořili systém human-in-the-loop. Pokud umělá inteligence není jistá – jako u špinavého písma – označuje to pro učitele k přezkumu a schválení nebo odmítnutí.“

Zde není lidská role pouze dekorativní. Systém explicitně identifikuje svou vlastní nejistotu a směruje tyto případy na člověka. „Pro nás je to o přesnosti. Vždy budou existovat edge případy – možná 1-3% – kde umělá inteligence zápasí, takže musí člověk zasáhnout.“

Tento přístup předefinuje human-in-the-loop jako mechanismus pro kontrolu kvality. Ale Gupta jde dále: „V jádru je umělá inteligence není 100% přesná – může halucinovat nebo produkovat špatné výstupy. Human-in-the-loop funguje jako konečná kontrola kvality, než výsledky dosáhnou koncového uživatele. Je to také o odpovědnosti. Někdo musí být zodpovědný za výstup, a zatím to musí být člověk.“

Důležitě, lidská role také zachovává něco méně kvantifikovatelného: vztahový aspekt učení. „Je to také o zachování lidské stránky učení. Učitelé mají různé styly, takže jim umožňujeme přizpůsobit, jak je zpětná vazba doručena“

Předefinování Human-in-the-loop

Fráze „human-in-the-loop“ nese uklidňující jednoduchost. Naznačuje, že bez ohledu na to, jak pokročilé jsou naše systémy, člověk zůstává v kontrolním centru a nejsme pouze „ghosts in the machine“. Ale jelikož startupy stále více nasazují umělou inteligenci ve vysoce rizikových prostředích, tato uklidňující jistota vyžaduje zkoumání.

Hlubší problém je design. Pokud jsou rizika systému špatně pochopena nebo úmyslně minimalizována, vkládání člověka na konci toho nedělá mnoho pro nápravu základních chyb. Kriticky, to také znamená definování role člověka ne jako záložní, ale jako integrovanou součást systému. Člověk v smyčce by neměl pouze schválit výsledek. Startupy by měly usilovat o to, aby zaměstnance opravňovaly tvarovat je, zpochybňovat je a v případě potřeby je přepsat s autoritou.