Interakce mezi strojem a člověkem: „Poslední míli“ problém, který brání podnikovému AI

Dokud nedávno, diskuse v ředitelstvích o AI se soustředily na samotné modely. Je jejich výstup přesný? Jak čisté bylo trénovací data? Jak můžeme snížit zkreslení? Jsou halucinace pod kontrolou? Tyto otázky jsou stále důležité, ale výstup již není jedinou věcí, na kterou se ředitelství a akcionáři zaměřují. Místo toho se zajímají o něco, co je mnohem těžší měřit – zda AI systémy skutečně fungují s lidmi tak účinně, jak by mohli být v denních interakcích.

To je částečně důvod, proč IBM nedávno čelila návrhu akcionářů, který vyžadoval větší transparentnost ohledně toho, jak spravuje AI zkreslení a řízení. Návrh se zaměřil konkrétně na snížení zkreslení, ale širší závěr byl, že když se AI stává více zavedenou v rozhodovacích procesech, je hodnocena na základě své provozní odpovědnosti a měřitelných obchodních výsledků, spíše než na základě své základní schopnosti.

Co vidím v diskusích s podniky, je to, že velmi málo lidí stále debatuje o tom, zda samotné modely jsou schopné. Většina organizací již ví, že tyto systémy mohou generovat výstupy, automatizovat pracovní postupy a poskytovat informace na mimořádnou rychlost. Těžší otázka je, zda to vše skutečně zlepšuje výsledky uvnitř podniku. Používají zaměstnanci tyto systémy skutečně smysluplným způsobem? Důvěřují doporučení, která dostávají? Stávají se rozhodnutí jasnější, rychlejší nebo konzistentnější? Nebo organizace pouze generují více obsahu, více analýz a více hluku, aniž by změnily, jak lidé operují? Mezera mezi AI schopností a lidským přijetím je to, co považuji za „poslední míli“ podnikového AI. Je to místo, kde se setkávají ROI, důvěra, odpovědnost a provozní konzistence, a je to místo, kde mnoho nasazení začíná stagnovat.

Schopnost není úzkým místem – lidský kontext je

Návrh akcionářů IBM sám o sobě se soustředil na zkreslení, známou a rostoucí obavou v oboru. Rezoluce vyzvala IBM, aby poskytla další reporting o metodách, které používá k identifikaci a snížení zkreslení napříč svými AI modely, včetně potenciálních rizik spojených se těmito snižujícími úsilími. IBM argumentovala, že většina z této informace je již veřejně dostupná prostřednictvím modelových karet, dokumentace řízení, transparentního reportingu a příspěvků do Stanfordovy Foundation Model Transparency Index. Většina pozorovatelů uznala, že IBM udělala více než mnoho dodavatelů, aby operationalizovala odpovědné AI postupy, zatímco také uznala, že řízení a zkreslení zůstávají nevyřešenými výzvami v celém odvětví.

Co je pro mě zajímavé, není to, zda odpověď IBM byla správná nebo špatná. Je to to, co celá situace říká o tom, kam se podnikové AI diskuse ubírají. Ředitelství se již většinou přesunula do nové fáze AI hodnocení, zaměřené na kvalitu rozhodnutí, provozní dopad, důvěru zaměstnanců a dlouhodobé přijetí uvnitř podniku.

To je místo, kde mě neurovědní perspektiva vede k jinému závěru než většina současné podnikové AI diskuse. Lidé nejsou racionálními stroji pro vstup a výstup. Přístupujeme k rozhodnutím s konečným zaměřením, kolísavou důvěrou, kognitivní přetížením a neustále se měnícím záměrem. Když interakce vypadají pomalu, když předem připravené odpovědi postrádají to, co jsme skutečně mysleli, nebo když lidé musí bojovat se systémem, aby dostali něco užitečného, zapojení se zhroutí dlouho předtím, než metriky přijetí dorostou. Riziko halucinace, nekonzistence a zkreslení pouze zhoršují problém, vytvářejí tření uvnitř pracovních postupů, které byly původně určeny ke zlepšení produktivity a rozhodování. Tato „poslední míle“ je to, co většina organizací stále podceňuje: AI hodnota není vytvořena, když model generuje odpověď, ale když dodává správnou odpověď ve správný čas a lidé mohou důvěřovat jí natolik, aby jednali na základě toho, co produkuje.

Proč ignorujeme skutečného „člověka v smyčce“ – uživatele?

Slyšíme mnoho diskusí o „člověku v smyčce“ a o důležitosti mít člověka přítomného, aby schválil AI generovaný výstup. Ale co když je nejvýznamnější člověk – uživatel – není správně pochopen? Interakce mezi lidmi je komplexní a vícesměrná, ale důvod, proč přímá komunikace funguje tak dobře, je ten, že žádná nuance není ztracena. Pokud někdo váhá, ztrácí důvěru, stává se frustrovaným nebo zmateným, nebo jeho záměr se mění, to se projeví během interakce a konverzace se mění podle toho. Většina AI systémů stále zápasí s rozpoznáním těchto signálů, protože jsou více nebo méně „na kolejích“ v tom, že reagují pouze na poslední prompt od uživatele.

Z mého pohledu se to stává jednou z definujících limitací současných podnikových AI nasazení. Postavili jsme systémy, které jsou výjimečně dobré v generování informací, zatímco zůstávají omezené ve své schopnosti rozpoznat, zda tato informace pomáhá někomu učinit lepší rozhodnutí.

Organizace může nasadit podnikové AI nástroje pro tisíce zaměstnanců a přesto selhat v dosažení smysluplné shody v tom, jak tyto systémy jsou skutečně používány. Rámcové podmínky, jako je NIST AI Risk Management Framework, ISO/IEC 42001 a EU AI Act, tlačí organizace směrem k větší governance maturitě a provozní odpovědnosti. Ale governance na papíru jde pouze tak daleko, pokud zaměstnanec zapojení do AI zůstává fragmentované. Pokud různé týmy důvěřují a používají AI zcela odlišnými způsoby, měření ROI konzistentně se stává téměř nemožným, a to je problém, který žádný prompt nemůže vyřešit.

Náklady na AI přetížení

Teď vstupujeme do fáze, kde se AI stává zcela všudypřítomnou uvnitř AI pracovních postupů. Existují copiloti vložené do produktivních sad, AI generované meetingové souhrny přicházející po každém hovoru, dashboardy zobrazující prediktivní informace v reálném čase, doporučení motorů krmící zaměstnance konstantními návrhy, a automatizovaná analýza se objevující rychleji, než většina týmů může realisticky zpracovat. Na papíru to vypadá jako pokrok – podniky produkují více informací než kdykoli předtím. Ale kognitivní věda byla jasná o tomto po desetiletí: více informací automaticky nevytváří lepší rozhodnutí.

Lidé mohou absorbovat pouze tolik informací, než začne nastupovat přetížení. Příliš mnoho doporučení vytváří váhání. Příliš mnoho upozornění se stává pozadím. Příliš mnoho AI generovaných možností může nechat zaměstnance pochybovat, spíše než jednat s důvěrou. Co je zajímavé, je to, že AI systémy se stávají výjimečně dobrými v produkci informací, zatímco zůstávají relativně špatné v porozumění tomu, jak lidé přijímají, interpretují a reagují na tyto informace v kontextu. Ředitelství nakonec nezáleží na tom, kolik souhrnů, doporučení nebo generovaných informací systém může produkovat. Záleží na tom, zda se rozhodnutí stávají jasnější a spolehlivější napříč podnikem.

AI vstoupilo do fáze odpovědnosti

Návrh akcionářů IBM může pocházet z obav o zkreslení, ale myslím, že odráží něco mnohem širšího, co se děje napříč podnikovým AI. Novinka AI pominula, a podniky, které hledají solidní návratnost na své AI investice, již nemohou hledět pouze na schopnost modelu. Technologie sama o sobě se prokázala, ale nyní potřebuje míru odpovědnosti. Používají zaměstnanci tyto systémy konzistentně? Zlepšují se rozhodnutí? Zvyšuje se důvěra a zapojení s časem, nebo postupně eroduje? Když se AI stává více zavedenou v denních pracovních postupech, může být příští generace systémů povinna stát se mnohem více vědomou lidského chování, pozornosti, důvěry a záměru, pokud podniky chtějí udržitelné přijetí a měřitelné ROI. Dokud nebude, „poslední míle“ bude pravděpodobně jednou z největších výzev v podnikovém AI přijetí.