Umělá inteligence je stále chytřejší; dosáhnout soudržnosti je stále těžší

Celou svou profesní kariéru se snažím porozumět inteligenci. Studoval jsem neurovědu, protože mě zajímala umělá inteligence a říkal jsem si, že dobrým začátkem bude nejprve zjistit, jak funguje mozek. Nejdřív inteligence, teprve potom „umělá“ inteligence. Studium ve mně zanechalo určitý návyk. Když se objeví nová schopnost nebo technologie, nejprve se ptám na praktické využití. Co vlastně dokáže a pro jaké typy skutečných problémů?

Jako člověk z oboru umělé inteligence jen zřídka jásám nad titulky o AI. Snažím se proniknout pod povrch a pochopit nejen průlomy, ale také omezení nových schopností.

Od nudných nástrojů ke spolehlivosti, na které záleží

V roce 2020, kdy debatu o bezpečnosti umělé inteligence provázelo velké nadšení a přehnaná očekávání, jsem měl jednoduchou radu. Berte AI jako nástroj — mocný, ale pořád jen nástroj. Držte se nenápadných případů použití. Zaměřte se na úroveň jednotlivých úkolů, kde byla technologie dostatečně spolehlivá na to, aby pomáhala. Můj optimistický scénář počítal s nenápadnými, ale užitečnými nástroji.

Když se o pár let později začala zvedat vlna agentních systémů, díval jsem se na ni stejně a nepřesvědčila mě. Agentní systém je jen tak dobrý jako úkoly, na kterých stojí, a zatím jsem neviděl spolehlivost na úrovni jednotlivých úkolů, která by těmto systémům umožnila fungovat efektivně.

Nadšení však sílilo. Když jsem se začátkem loňského roku zúčastnil RSA, stále bylo těžké přehlédnout propast mezi řečmi a skutečným obsahem. Neexistovalo ani společné chápání toho, co znamená „agentní“ — každý měl vlastní definici a pohled. Znepokojovalo mě také něco systémového. Vezměte deset agentů, z nichž každý je přesný přibližně na 95 procent. Propojte je tak, aby se výstup jednoho stal vstupem dalšího. Na konci tohoto řetězce klesne přesnost přibližně na 60 procent. Spolehlivost se při vrstvení neudrží. Začal jsem tehdy uvažovat o systémech složených z agentů, stále jsem se však obával, zda jim lze důvěřovat, že budou fungovat a přinesou smysluplnou změnu.

Můj názor pak změnilo rychlé zlepšování programovacích agentů.

Během několika měsíců od vydání mého článku na toto téma mi neuvěřitelné tempo pokroku objasnilo jednu věc. U několika úkolů z reálného světa byla otázka spolehlivosti jen otázkou času. Lepší modely, obklopené kvalitněji navrženými nástroji a postupy, měly překlenout mezeru, která mě znepokojovala. Strop, z něhož jsem měl obavy, se měl zvednout.

Tehdy se ukázalo, v čem spočívá skutečný problém — a nebyl to ten, který jsem dosud sledoval. Jakmile můžete jednotlivým agentům důvěřovat, neskončíte po nasazení prvního. Nasadíte jich mnoho. Celé flotily napříč všemi oblastmi, přičemž každý agent je schopný a plní svou úlohu. Objevila se nová otázka, která se spolehlivostí nijak nesouvisela: Pokud každý agent ve flotile dělá to, k čemu byl vytvořen, odpovídá výsledek jako celek tomu, čeho chtěla organizace dosáhnout?

Proč organizace potřebují vlastní propriocepci

Tělo se schopnými končetinami se bez propriocepce nedokáže dobře pohybovat. Propriocepce je neustálé vnitřní vnímání toho, kde se nacházejí jednotlivé části těla a co právě dělají. Mozeček na tuto zpětnou vazbu nejen reaguje, ale také předvídá. Když mozek vyšle příkaz k pohybu, vytvoří si představu o pocitu, který by měl pohyb vyvolat, a pak ji porovná se skutečným vjemem. Rozdíl mezi nimi slouží jako signál, který upraví další pohyb. Dovedný pohyb je smyčka, v níž se předvídá výsledek a koriguje odchylka.

Organizace, která provozuje flotily agentů, potřebuje stejný smysl pro vlastní stav. Musí průběžně vědět, kde se její systémy nacházejí a jak moc se odchýlily od zamýšleného stavu. Bez tohoto vnitřního přehledu se ani schopné části nespojí v koordinované jednání. Nejde o snímací mechanismus, který se do těla přidá později, aby bylo bezpečnější. Je nezbytný k tomu, aby se tělo vůbec mohlo pohybovat.

Dobře prozkoumaný případ muže jménem Ian Waterman ukazuje, co se stane, když člověk tento smysl ztratí ve většině těla. Znovu se naučil pohybovat, ale pouze tak, že se neustále pozoroval a každý krok i pohyb rukou řídil zrakem. Funguje to. Je to však také vyčerpávající a křehké. Když zhasnou světla, nedokáže své pohyby vůbec koordinovat. Organizace, která své agenty řídí ručními audity a pravidelnými kontrolami, je na tom podobně. Neustálým úsilím nahrazuje smysl, který si nikdy nevytvořila, a tato náhrada stojí víc než to, co nahrazuje. Jakmile se podmínky změní, celý systém se zhroutí.

Za zmínku stojí ještě jeden, podivnější typ selhání, popsaný ve fascinující knize neurovědce V S Ramachandran. Když je člověku amputována končetina, mozek neztichne. Nadále vysílá signály do chybějící končetiny a člověk je živě vnímá. Stejně může selhat i dohled. Když restrukturalizace nebo zanedbání zbaví kontrolní funkci skutečného úsudku, tato funkce nezmlkne. Kontroly se dál dokončují a metriky se dál vytvářejí. Organizace má stále pocit, že nad ní někdo dohlíží, ačkoli úsudek, který za dohledem stojí, byl vyprázdněn. Tady se vrací moje rada z roku 2020: transparentnost. Bez transparentnosti není dohled a transparentnost neexistuje v systému, který pouze vytváří dojem, že je někdo pod kontrolou.

Soudržnost jako vzácný zdroj

Inteligence zlevňuje. Brzy bude součástí každého pracovního postupu a každého nástroje. V takovém světě bude vzácným zdrojem koherence, živé spojení mezi tím, co každý systém dělá samostatně, a tím, čeho se podnik snaží dosáhnout. Koherence je pojivová tkáň, která udržuje distribuovanou inteligenci v souladu s jediným cílem.

Roky jsem studoval, jak mozek udržuje své mnohé části v součinnosti. Éra agentů klade podniku stejnou otázku. Cíl se od roku 2020 nezměnil. Pořád je to nudné, ale užitečné. Nyní je tím nudným, užitečným prvkem, který je třeba vybudovat, samotná koherence.