Myslitelé

Co human-in-the-loop skutečně znamená?

Arjun Harindranath
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyZapojení člověka do procesu často přesouvá odpovědnost na uživatele, aniž by…
Zobrazit více
  • Zapojení člověka do procesu často přesouvá odpovědnost na uživatele, aniž by zajišťovalo etický návrh systému.
  • Frizzle využívá lidský dohled pro přesnost hodnocení, když umělá inteligence nezvládá neupravené rukopisy.
  • Smysluplné lidské role vyžadují posílení pravomocí zaměstnanců, aby mohli zpochybňovat a přepisovat AI, ne jen schvalovat.

Na počátku 20. století vytvořil britský filozof Gilbert Ryle termín „ghost in the machine“. Ve svém díle The Concept of Mind Ryle použil tuto metaforu, aby se vyslovil proti dualismu mezi myslí a tělem, který tvrdí, že mysl a tělo existují jako samostatné substance. Podle Rylea tato dělící čára byla chyba, protože kognice a fyzické jednání jsou neoddělitelné a tvoří jeden systém, nikoli dvě interagující části.

S příchodem umělé inteligence se podobná metafora objevuje, když mluvíme o uživatelích nástrojů umělé inteligence pro zvýšení produktivity: často používaný termín „human-in-the-loop“. Pokud jsou lidé a inteligentní systémy nyní více propojeni než kdykoli předtím, budujeme plynulé propojení, nebo vytváříme pohodlnou iluzi kontroly?

Startupy se velmi silně opírají o tento koncept, aby mluvily o svých nástrojích. Přestože slibuje inovace a uklidnění, realita je často složitější. Odpovědnost se snadno rozptýlí a je těžší vysledovat, kdo se má z výsledků zodpovídat.

Jelikož se systémy umělé inteligence dostanou do citlivých oblastí – od vzdělávání po válku – to, co je v sázce, už není abstraktní. Co vlastně znamená human-in-the-loop a není to pouze eufemismus pro případ, kdy lidé úplně zmizí?

1. Human-in-the-loop jako štít pro odpovědnost

Pokud se termín human-in-the-loop používá bezstarostně, může se snadno stát způsobem, jak přenést odpovědnost, aniž by se jí někdo skutečně zabýval. Mnozí si všimli, že lidský podpis na konci procesu nezaručuje etickou integritu, zejména pokud je základní systém špatně navržen nebo nedostatečně pochopen.

Maysa Hawwash, zakladatelka a CEO společnosti Scale X, napsala o posunu od odpovědnosti a je přímá ve způsobu, jakým je tento koncept často nasazen. „Je to vlastně podobné jako jiné způsoby přenosu břemene,“ řekla Hawwash serveru Startup Beat a jako příklad uvedla, jak manažeři lidských zdrojů často používají pravidla potvrzování podpisem, aby odsunuli právní odpovědnost od společnosti. „Pokud máte tuto politiku a lidé ji přečtou a podepíšou, pak jako společnost technicky nejste odpovědní, že?“ řekla.

Co vyplývá, je známý vzorec napříč korporátními systémy, kde se odpovědnost přesouvá, místo aby byla eliminována. Hawwash vidí tuto cestu jako línou cestu, která se vyhýbá kritickému myšlení nebo pochopení oblastí, kde to může ovlivnit lidi nebo komunity. „Takže přenášíte břemeno a potom už nezáleží na tom, zda lidé rozumějí politice, zda politika dává smysl.“

V tomto rámci „human-in-the-loop“ může znamenat méně smysluplného zásahu a více procedurálního krytí. Nebezpečí zde není jen semantické. Když je dohled redukován na podpis, lidská role se stává symbolickou spíše než podstatnou.

Hawwash odkázala na nedávné vojenské zvěrstvo – školu v Minabu v Íránu – kde lidé schválili útok, ale přítomnost člověka rozhodujícího o útoku nutně neznamenala etickou jasnost nebo dostatečnou úvahu. „Když jste ve válce nebo provádíte složitou operaci, nemáte luxus času, abyste použili human-in-the-loop jako štít.“

2. Navrhování pro odpovědnost, ne jen dohled

Alternativou není opustit systémy human-in-the-loop, ale brát je vážně jako závazky návrhu. To znamená jít za symbolický dohled a směřovat k promyšleným strukturám odpovědnosti.

„Je tu velká soutěž, aby se dostalo více umělé inteligence na trh. Není mnoho přemýšlení z návrhového hlediska, jako je to, jaké jsou následné dopady na komunity, lidi nebo koncové uživatele,“ řekla Hawwash.

Rychlost se stala dominantní soutěžní proměnnou. V této soutěži je odpovědnost často odkládána, místo aby byla zakotvena. Výsledkem je reaktivní model etiky, kde se problémy řeší po nasazení, místo aby se předvídaly během vývoje.

Přístupnost může urychlit přijetí, ale také vede k větším důsledkům. Systémy již nejsou omezeny na technické uživatele, protože mohou tvarovat rozhodnutí pro lidi s různými úrovněmi porozumění a kontextu. V takovém prostředí nemůže být odpovědnost outsourcována koncovému uživateli.

3. Human-in-the-loop jako přesnost a zodpovědnost

Abhay Gupta, spoluzakladatel společnosti Frizzle, nabízí více provozní perspektivu – jednu založenou na budování systému, kde lidský dohled je praktický a nezbytný.

Jeho společnost vznikla z konkrétního problému: přetížení učitelů. „Ve městě slyšíte o bankéřích a konzultantech, kteří pracují 70 hodin týdně, ale neslyšíte o učitelích, kteří pracují tolik. Takže ze zvědavosti jsme vyzpovídali stovky učitelů a napříč všemi odpověďmi bylo největším žroutem času hodnocení prací.“

Automatizace klasifikace může vypadat přímočaře, ale složitost ručně psané matematiky zavádí skutečná omezení pro umělou inteligenci. „Je tu problém s přesností. Umělá inteligence není dokonalá, takže jsme vytvořili systém human-in-the-loop. Pokud si umělá inteligence není jistá – jako u nečitelného rukopisu – označuje to pro učitele k přezkumu a schválení nebo odmítnutí.“

Zde není lidská role pouze dekorativní. Systém explicitně identifikuje svou vlastní nejistotu a směruje tyto případy na člověka. „Pro nás je to o přesnosti. Vždy budou existovat okrajové případy – možná 1-3% – kde umělá inteligence zápasí, takže musí člověk zasáhnout.“

Tento přístup předefinuje human-in-the-loop jako mechanismus pro kontrolu kvality. Ale Gupta jde dále: „V jádru umělá inteligence není 100% přesná – může halucinovat nebo produkovat špatné výstupy. Human-in-the-loop funguje jako konečná kontrola kvality, než výsledky dosáhnou koncového uživatele. Je to také o odpovědnosti. Někdo musí být zodpovědný za výstup, a zatím to musí být člověk.“

Důležité je, že lidská role také zachovává něco méně kvantifikovatelného: vztahový aspekt výuky. „Je to také o zachování lidské stránky výuky. Učitelé mají různé styly, takže jim umožňujeme přizpůsobit, jak je zpětná vazba doručena“

Předefinování Human-in-the-loop

Fráze „human-in-the-loop“ nese uklidňující jednoduchost. Naznačuje, že bez ohledu na to, jak pokročilé jsou naše systémy, člověk si zachovává kontrolu a nejsme pouze „ghosts in the machine“. Ale jelikož startupy stále více nasazují umělou inteligenci ve vysoce rizikových prostředích, tato uklidňující jistota vyžaduje zkoumání.

Hlubší problém je design. Pokud jsou rizika systému špatně pochopena nebo úmyslně minimalizována, přidání člověka na konec procesu příliš nepomůže pro nápravu základních chyb. Kriticky, to také znamená definování role člověka ne jako záložní řešení, ale jako integrovanou součást systému. Člověk ve smyčce by neměl pouze schválit výsledek. Startupy by měly usilovat o to, aby dávaly zaměstnancům pravomoc výsledky utvářet, zpochybňovat a v případě potřeby je zrušit se skutečnou rozhodovací autoritou.

Arjun Harindranath je nezávislý novinář se sídlem v Medellínu, Kolumbii, který pokrývá příběhy o konfliktech, migraci a technologiích pro globální publikum. Jeho články dříve publikovaly Al Jazeera, TechCrunch, The Next Web a New York Times.