Automatizace sebedůvěry: Jak vrátit lidi do smyčky

V dramatickém zvratu událostí byly nedávno v San Francisku spuštěny Robotaxi, samořídicí vozidla, která přepravují cestující bez lidského operátora. Po sporném 7hodinovém veřejném slyšení, bylo rozhodnutí potvrzeno Kalifornskou komisí pro veřejné služby. Navzdory protestům je ve vzduchu cítit pocit nevyhnutelnosti. Kalifornie postupně uvolňovala omezení od počátku roku 2022. Nová pravidla umožňují dvěma společnostem s povolením – Alphabet’s Waymo a GM’s Cruise – posílat tyto taxíky kamkoli v rámci 7 čtverečních mil města, kromě dálnic, a účtovat cestujícím poplatky.

Koncept samořídicích taxíků obvykle vyvolává dvě protichůdné emoce: Nadšení („taxíky za mnohem nižší cenu!“) a strach („zajedou mi nebo mým dětem?“). Regulátoři proto často vyžadují, aby vozy byly testovány s cestujícími, kteří mohou zasáhnout a řídit vozidlo předtím, než dojde k nehodě. Bohužel, mít lidi v pohotovosti, připravené přerušit systémy v reálném čase, nemusí být nejlepší způsob, jak zajistit bezpečnost.

Ve skutečnosti z 18 úmrtí v USA spojených se samořídicími vozidly (k únoru letošního roku), všechny měly nějakou formu lidského řízení, buď ve vozidle nebo na dálku. To zahrnuje jednu z nejznámějších, ke které došlo pozdě v noci na široké předměstské silnici v Tempe, Arizona, v roce 2018. Automatické testovací vozidlo Uber zabilo 49letou ženu jménem Elaine Herzberg, která běžela se svým kolem, aby přešla přes silnici. Lidský operátor na sedadle cestujícího se díval dolů a vozidlo ho nevarovalo, dokud nebyl méně než sekundu před nárazem. Zachytil volant příliš pozdě. Nehoda vedla k tomu, že Uber pozastavil testování samořídicích vozidel. Nakonec prodal divizi automatizovaných vozidel, která byla klíčovou součástí jeho obchodního plánu.

Operátor skončil ve vězení kvůli automatizované sebedůvěře, jevu, který byl objeven v nejranějších dnech pilotního výcviku. Přehnaná důvěra je častým jevem u systémů umělé inteligence. Čím je systém autonomnější, tím více se lidský operátor spoléhá na něj a nevěnuje plnou pozornost. Stáváme se nudnými, když sledujeme tyto technologie. Když nehoda skutečně hrozí, neočekáváme ji a nereagujeme včas.

Lidé jsou přirozeně schopni toho, co odborník na rizika Ron Dembo nazývá „rizikovým myšlením“ – způsobem myšlení, který ani nejsofistikovanější strojové učení dosud nedokáže napodobit. To je schopnost rozpoznat, kdy odpověď není zřejmá, že bychom měli zpomalit nebo zastavit. Rizikové myšlení je kritické pro automatizované systémy a vytváří dilema. Lidé chtějí být ve smyčce, ale umístění nás do řízení, když se tak spolehlivě spoléháme na automatizované systémy, může ve skutečnosti věci zhoršit.

Jak tedy mohou vývojáři automatizovaných systémů vyřešit toto dilema, aby experimenty, jako je ten, který probíhá v San Francisku, skončily pozitivně? Odpověď je extrémní důkladnost nejen v okamžiku nárazu, ale již ve fázi návrhu a vývoje. Všechny systémy umělé inteligence zahrnují rizika, pokud jsou ponechány bez kontroly. Samořídicí vozidla nebudou bez rizika, i když se ukážou být bezpečnější než vozidla řízená lidmi.

Nehoda Uberu ukazuje, co se stane, když nebudeme riskovat s úmyslem. K tomu potřebujeme kreativní tření: přivést do hry více lidských perspektiv dlouho předtím, než tyto systémy budou uvolněny. Jinými slovy, promýšlet důsledky systémů umělé inteligence, spíše než jen jejich aplikace, vyžaduje perspektivu komunit, které budou přímo ovlivněny touto technologií.

Waymo a Cruise obhajovaly bezpečnostní záznamy svých vozidel na základě statistické pravděpodobnosti. Přestože toto rozhodnutí promění San Francisco v živý experiment. Když budou vyhodnoceny výsledky, bude velmi důležité zachytit správná data, sdílet úspěchy a neúspěchy a umožnit postiženým komunitám vyjádřit se spolu se specialisty, politiky a obchodníky. Jinými slovy, udržet všechny lidi ve smyčce. Jinak riskujeme automatizovanou sebedůvěru – ochotu delegovat rozhodování na systémy umělé inteligence – ve velmi velké míře.

Juliette Powell a Art Kleiner jsou spoluautory nové knihy The AI Dilemma: 7 Principles for Responsible Technology.