AI stále potřebuje kouče a lidský dohled potřebuje příručku

AI je všude, kam se podíváte, a profesionální fotbal není výjimkou.

NFL představila Digital Athlete, který využívá data a AI k tomu, aby týmům pomohl identifikovat situace, ve kterých mohou hráči čelit zvýšenému riziku zranění. Kombinuje video a data ze tréninků, cvičení a zápasů s miliony simulací a poskytuje všem 32 týmům přístup k informacím o trendech v celé lize. Trenéři a personál pak tyto informace používají k vytvoření individuálních programů prevence zranění, tréninku a regenerace.

Zatímco technologie čte hřiště, trenéři jsou stále zodpovědní za rozhodování. Jak organizace rozšiřují využití AI napříč obchodními procesy, včetně souladu a pracovních vyšetřování, potenciál automatizace se zdá být neomezený. Ale které úkoly by měla AI vykonávat, za jakých podmínek a s jakým lidským dohledem?

Právě zde může organizační příručka nastavit tón: poskytovat trenérům prostředky k využití AI nástrojů při zachování lidského dohledu tam, kde je to podstatné.

Dejte AI pozici místo celého hřiště

Vyšetřování zahrnují různé úrovně rizika. AI může pomoci uspořádat informace z úvodních zpráv a:

• Identifikovat chybějící údaje
• Shrnout informace do závěrečné zprávy
• Vytvořit časové osy
• Odhalit vzorce, které by vyšetřovatelé mohli chtít dále zkoumat

Tyto případy použití mohou snížit ruční třídění a uvolnit čas na práci, která vyžaduje lidský úsudek.

Uvědomte si, že AI může shrnout obvinění, ale nemůže rozhodnout, zda je věrohodné. AI může identifikovat nesrovnalost, ale nedokáže určit, proč existuje. Právě zde mohou organizace narazit na problémy, pokud používají AI bez omezení.

Aby byl dohled zachován, AI potřebuje definovanou roli. Organizace by měly rozhodnout:

• Úkoly, které má systém vykonávat
• Informace, ke kterým má přístup
• Hranice toho, co je povoleno dělat
• Situace, ve kterých musí člověk převzít kontrolu

Rámec řízení rizik AI National Institute of Standards and Technology’s AI Risk Management Framework poskytuje užitečný benchmark. NISTova cesta popisuje AI RMF profily jako způsob, jak ukázat, jak lze rámec aplikovat na konkrétní sektory, technologie, kontexty nebo jiné prostředí. Jinými slovy, odpovědné řízení AI se stává praktičtějším, když organizace přetaví široké principy do reality konkrétního případu použití.

AI příručka může na operační úrovni udělat něco podobného. Definuje role, situace a akce s konkrétností.

Lidský dohled je problém návrhu systému

Fráze „člověk v cyklu“ se stala běžnou v diskuzích o odpovědné AI. Avšak přítomnost osoby někde v pracovním postupu automaticky neznamená, že je systém AI dobře řízen.

NIST identifikoval human-AI teaming jako důležitou oblast výzkumu a směrnic pro řízení rizik AI. Mezi otázkami, které zdůrazňuje, jsou to, jak lidé interpretují výstupy vytvořené AI a jak lidé dohlížejí na systémy AI fungující v reálném prostředí.

Lidský dohled by neměl být považován za dočasné řešení, dokud AI nebude dostatečně vyspělá na samostatnou činnost. V mnoha vysoce rizikových prostředích je součástí potřebné architektury pro odpovědné používání AI v dlouhodobém horizontu.

Studie peer-reviewed examination of human oversight in AI governance uvádí, že od lidských dohlížíčů se očekává zvýšení přesnosti a bezpečnosti s cílem zachovat lidské hodnoty a vybudovat důvěru. Nicméně lidé nejsou vždy spolehliví dohlížíči. Efektivní dohled závisí na kompetenci, motivacích a návrhu role dohledu.

Pro vyšetřovatele není dostačující, když je požádán o schválení doporučení generovaného AI, pokud mu chybí informace nebo pravomoc k jeho zpochybnění. Příručka musí definovat nejen že je člověk zapojen, ale také jak a kdy může tato osoba zasáhnout.

Předání je stejně důležité jako model

Existuje další výzva: i když má člověk konečnou pravomoc, způsob, jakým AI prezentuje informace, může ovlivnit následné rozhodnutí.

Studie preprintová studie výzkumníků z University of California, Santa Barbara ukazuje, proč je design rozhraní důležitý. V kontrolovaném experimentu zahrnujícím 108 účastníků v scénáři rozhodování ve zdravotnictví výzkumníci testovali šest forem podpory rozhodování AI. Zjistili, že mechanismy, včetně informací o důvěře AI, textových vysvětlení a vizualizací výkonu, zlepšily přesnost rozhodování člověk‑AI v jejich experimentu.

Studie také upozorňuje na riziko automatizačního zkreslení: lidé mohou přehnaně spoléhat na návrhy AI, včetně nesprávných.

Tento experiment ukazuje, proč předání mezi strojem a člověkem vyžaduje úmyslný design a testování.

Když toto dále extrapolujeme a zavádíme pojem vyšetřování, vyvstává několik otázek:

• Vidí vyšetřovatel pouze AI‑generovaný závěr, nebo může prozkoumat informace, které jsou za ním?

• Může systém komunikovat nejistotu?

• Je jasné, kdy informace chybí?

• Mohou vyšetřovatelé odmítnout výstup a zdokumentovat důvod?

Jedná se o otázky správy stejně jako technické.

Pět otázek, na které by každá AI příručka měla odpovědět

Užitečná AI příručka by měla převést abstraktní principy jako „odpovědná AI“ a „lidský dohled“ na konkrétní provozní pravidla.

1. Co je AI povoleno dělat? Organizace by měly autorizovat konkrétní úkoly místo udělování široké povolení k používání AI v celém pracovním postupu.
2. Jaké informace může používat? Pro vyšetřování a oznamování potřebují organizace jasné hranice ohledně informací, které jsou AI systému dostupné, a způsobu, jakým jsou tyto informace zpracovávány.
3. Jak budou lidé hodnotit její výstup? Lidské recenzenti potřebují dostatek kontextu k pochopení toho, co systém vytvořil, jeho relevantních omezení a informací potřebných k zpochybnění výsledku.
4. Kdy musí člověk zasáhnout? Příručka by měla stanovit spouštěče eskalace místo spoléhání se na jednotlivé zaměstnance, aby rozhodovali, kdy AI překročila meze.
5. Kde končí pravomoc AI? Některá rozhodnutí by měla vyžadovat lidský úsudek a osoby odpovědné za tato rozhodnutí potřebují skutečnou pravomoc AI ignorovat, přebít nebo zastavit.

Tyto myšlenky jsou odraženy v jednom z nejvýznamnějších světových předpisů o AI. Article 14 of the EU AI Act stanoví požadavky na lidský dohled pro AI systémy, které spadají do kategorie vysokého rizika podle zákona. Říká, že opatření dohledu by měla být úměrná rizikům systému, jeho autonomii a kontextu použití. Také požaduje, aby dohlížející byli schopni pochopit relevantní schopnosti a omezení, správně interpretovat výstupy, být ostražití vůči automatizačnímu zkreslení, ignorovat nebo přebít výstupy a zasáhnout do systému nebo jej zastavit.

To neznamená, že každý AI nástroj používaný ve vyšetřování je automaticky systémem vysokého rizika. Rámec ilustruje důležitý princip pro řízení AI. Lidský dohled musí poskytovat lidem smysluplné schopnosti, nikoli jen místo v pracovním postupu.

AI nenahrazuje trenéra. Mění to, co trenér může vidět.

Digital Athlete NFL je přesvědčivý ne proto, že ukazuje, že AI může nahradit trenéry, ale protože ukazuje, jak sofistikovaná technologie může rozšířit informace dostupné zkušeným profesionálům.

AI může lidem pomoci zpracovávat informace, odhalovat to, co si zaslouží pozornost, a vytvářet větší konzistenci napříč opakovatelnými úkoly. Přesto nejdůležitější okamžiky ve vyšetřování často vyžadují něco jiného: kontext, skeptický přístup, interpretaci a odpovědnost.

Organizace, které jsou nejlépe připraveny využít AI, se proto budou ptát na více než jen to, co technologie může automatizovat. Definují, co by měla dělat, co by neměla dělat a jak mají lidé a AI spolupracovat.