Automatizovaná samozřejmost: Jak vrátit lidi do smyčky

V dramatickém obratu událostí byly nedávno v San Francisku spuštěny robotaxi, samořídicí vozidla, která převezmou cestující bez lidského operátora. Po kontroverzním 7hodinovém veřejném slyšení bylo rozhodnutí potvrzeno Kalifornskou komisí pro veřejné služby. Navzdory protestům je ve vzduchu pocit nevyhnutelnosti. Kalifornie postupně uvolňovala omezení od počátku roku 2022. Nová pravidla umožňují dvěma společnostem s povolením – Alphabet’s Waymo a GM’s Cruise – poslat tyto taxíky kamkoli v rámci 7mílového města, kromě dálnic, a účtovat cestujícím poplatky.

Nápad samořídicích taxíků obvykle vyvolává dvě protichůdné emoce: Nadšení („taxíky za mnohem nižší cenu!“) a strach („zajedou mě nebo mé děti?“) Regulátoři proto často vyžadují, aby vozy byly testovány s cestujícími, kteří mohou zasáhnout a ovládat systémy předtím, než dojde k nehodě. Bohužel, mít lidi v pohotovosti, připravené přerušit systémy v reálném čase, nemusí být nejlepší způsob, jak zajistit bezpečnost.

Ve skutečnosti z 18 úmrtí v USA spojených se samořídicími vozidly (k únoru tohoto roku) všechny měly nějakou formu lidského ovládání, buď v autě nebo na dálku. To zahrnuje jednu z nejznámějších, ke které došlo pozdě v noci na široké předměstské silnici v Tempe, Arizona, v roce 2018. Automatické testovací vozidlo Uber zabilo 49letou ženu jménem Elaine Herzberg, která běžela se svým kolem, aby přešla silnici. Lidský operátor v sedadle cestujících se díval dolů a auto ho neupozornilo, dokud nebyl méně než sekundu před nárazem. Zachytil volant příliš pozdě. Nehoda vedla k tomu, že Uber pozastavil testování samořídicích aut. Nakonec prodal divizi automatizovaných vozidel, která byla klíčovou součástí jeho obchodního plánu.

Operátor skončil ve vězení kvůli automatizované samozřejmosti, jevu, který byl objeven v nejranějších dnech pilotního výcviku. Překotná důvěra je častým dynamickým jevem u systémů umělé inteligence. Čím více autonomní je systém, tím více se lidský operátor spoléhá na něj a nevěnuje plnou pozornost. Stáváme se nudnými, když sledujeme tyto technologie. Když skutečně dojde k nehodě, neočekáváme ji a nereagujeme včas.

Lidé jsou přirozeně schopni toho, co odborník na rizika Ron Dembo nazývá „rizikovým myšlením“ – způsobem myšlení, který ještě nedokáže napodobit ani nejsofistikovanější strojové učení. To je schopnost rozpoznat, kdy odpověď není zřejmá, že bychom měli zpomalit nebo zastavit. Rizikové myšlení je kritické pro automatizované systémy a to vytváří dilema. Lidé chtějí být ve smyčce, ale umístění nás do kontroly, když se tak spolehlivě spoléháme na automatizované systémy, může ve skutečnosti věci zhoršit.

Jak tedy mohou vývojáři automatizovaných systémů vyřešit toto dilema, aby experimenty, jako je ten, který probíhá v San Francisku, skončily pozitivně? Odpověď spočívá v dodatečné pečlivosti nejen před okamžikem nárazu, ale i ve fázi návrhu a vývoje. Všechny systémy umělé inteligence zahrnují rizika, když jsou ponechány bez kontroly. Samořídicí auta nebudou bez rizika, i když se ukážou být bezpečnější než auta řízená lidmi.

Uber nehoda ukazuje, co se stane, když nebudeme myslet na rizika s úmyslem. K tomu potřebujeme kreativní tření: přivést do hry multiple lidské perspektivy dlouho předtím, než jsou tyto systémy uvolněny. Jinými slovy, musíme myslet na důsledky systémů umělé inteligence, a ne jen na jejich aplikace, a to z perspektivy komunit, které budou přímo ovlivněny touto technologií.

Waymo a Cruise obhajují bezpečnostní záznamy svých vozidel na základě statistické pravděpodobnosti. Přesto toto rozhodnutí promění San Francisco v živý experiment. Když budou výsledky sečteny, bude velmi důležité zachytit správná data, sdílet úspěchy a neúspěchy a umožnit postiženým komunitám vyjádřit se spolu se specialisty, politiky a obchodníky. Jinými slovy, držet všechny lidi ve smyčce. Jinak riskujeme automatizovanou samozřejmost – ochotu delegovat rozhodování systémům umělé inteligence – ve velmi velké míře.

Juliette Powell a Art Kleiner jsou spoluautory nové knihy Dilema umělé inteligence: 7 principů pro odpovědnou technologii.