Juliette Powell & Art Kleiner, autoři knihy The AI Dilemma – rozhovor

Kniha The AI Dilemma napsali Juliette Powell & Art Kleiner.

Juliette Powell je autorka, tvůrce televizních pořadů s 9 000 živými pořady a technolog a sociolog. Je také komentátorkou na Bloomberg TV/ Business News Networks a mluvčí na konferencích pořádaných Ekonomem a Mezinárodní finanční korporací. Její TED talk má 130 000 zhlédnutí na YouTube. Juliette identifikuje vzorce a postupy úspěšných lídrů podniků, kteří spoléhají na etický AI a data, aby uspěli. Je na fakultě NYU’s ITP, kde vyučuje čtyři kurzy, včetně Design Skills for Responsible Media, kurz založený na její knize.

Art Kleiner je spisovatel, editor a futurolog. Jeho knihy zahrnují The Age of Heretics, Who Really Matters, Privilege and Success a The Wise. Byl editorem strategy+business, oceněného časopisu vydávaného PwC. Art je také dlouholetým členem fakulty NYU-ITP a IMA, kde jeho kurzy zahrnují společné vyučování Responsible Technology a Future of Media.

“The AI Dilemma” je kniha, která se zaměřuje na nebezpečí AI technologií v nesprávných rukou, zatímco zároveň uznává výhody, které AI nabízí společnosti.

Problémy vznikají, protože základní technologie je tak složitá, že se stává nemožným pro koncového uživatele skutečně pochopit vnitřní fungování uzavřeného systému.

Jedním z nejvýznamnějších problémů, které jsou zdůrazněny, je, jak se definice zodpovědného AI neustále mění, protože společenské hodnoty často nezůstávají konzistentní v průběhu času.

Mne osobně se líbilo čtení “The AI Dilemma”. Je to kniha, která neSenzacionalizuje nebezpečí AI nebo se nezabývá hluboce potenciálními pastmi Umělé Obecné Inteligence (AGI). Místo toho se čtenáři dozvědí o překvapivých způsobech, jak je naše osobní data používáno bez našeho vědomí, stejně jako o některých současných omezeních AI a důvodech pro obavu.

Níže jsou einige otázky, které jsou navrženy tak, aby ukázaly našim čtenářům, co mohou očekávat od této průlomové knihy.

Co vás původně inspirovalo k napsání „The AI Dilemma“?

Juliette šla na Kolumbii, aby studovala limity a možnosti regulace AI. Slyšela přímo od přátel, kteří pracovali na projektech AI, o napětí, které je v nich obsaženo. Došla k závěru, že existuje AI dilema, mnohem větší problém než samo-regulace. Vyvinula model Apex benchmark — model, jak se rozhodnutí o AI sklánějí k nízké zodpovědnosti kvůli interakcím mezi společnostmi a skupinami uvnitř společností. To vedlo k její disertační práci.

Art pracoval s Juliette na několika psaných projektech. Přečetl její disertační práci a řekl: “Máte zde knihu.” Juliette ho pozvala, aby se stal spoluautorem. Při práci na ní společně zjistili, že mají velmi odlišné perspektivy, ale sdílejí silné přesvědčení, že tento komplexní, vysoce rizikový AI fenomén bude muset být lépe pochopen, aby lidé, kteří ho používají, mohli jednat zodpovědněji a efektivněji.

Jedním z fundamentálních problémů, které jsou zdůrazněny v The AI Dilemma, je, že je目前 nemožné pochopit, zda je AI systém zodpovědný nebo zda šíří sociální nerovnost pouze studováním jeho zdrojového kódu. Jak velký je tento problém?

Problém není primárně se zdrojovým kódem. Jak Cathy O’Neil uvádí, když je uzavřený systém, nejde pouze o kód. Jde o sociotechnický systém — lidské a technologické síly, které se navzájem ovlivňují — který musí být prozkoumán. Logika, která vytvořila a uvolnila AI systém, zahrnovala identifikaci účelu, identifikaci dat, stanovení priorit, vytvoření modelů, stanovení pravidel a ochranných opatření pro strojové učení a rozhodnutí, kdy a jak by měl člověk zasáhnout. To je část, která musí být transparentní — alespoň pro pozorovatele a auditory. Riziko sociální nerovnosti a dalších rizik je mnohem větší, když jsou tyto části procesu skryty. Nemůžete skutečně přepracovat logiku návrhu ze zdrojového kódu.

Může se zaměřením na Explainable AI (XAI) tento problém vyřešit?

Pro inženýry je explainable AI považována za skupinu technologických omezení a postupů, jejichž cílem je učinit modely transparentnějšími pro lidi, kteří na nich pracují. Pro někoho, kdo je falešně obviněn, má explainability úplně jiný význam a naléhavost. Potřebují explainability, aby mohli hájit své vlastní zájmy. Všichni potřebujeme explainability ve smyslu zajištění transparentnosti obchodních nebo vládních rozhodnutí, která jsou podkladem modelů. Přinejmenším ve Spojených státech bude vždy existovat napětí mezi explainability — lidským právem vědět – a právem organizace soutěžit a inovovat. Auditoři a regulátoři potřebují jinou úroveň explainability. To vše je podrobněji vysvětleno v The AI Dilemma.

Můžete stručně sdělit své názory na důležitost zodpovědnosti subjektů (společností AI) za kód, který uvolňují do světa?

Dosud, například v případě srážky samořízeného auta v Tempe, AZ, který zabil chodce, byl operátor držen zodpovědný. Jedinec šel do vězení. Nakonec to však byla organizační selhání.

Když se zhroutí most, je mechanický inženýr držen zodpovědný. To je proto, že mechanici jsou trénováni, neustále přeškolováni a drženi zodpovědnými svou profesi. Inženýři počítačů nejsou.

Měli by být subjekti, včetně společností AI, trénováni a přeškolováni, aby činili lepší rozhodnutí a měli více zodpovědnosti?

Kniha The AI Dilemma se hodně zaměřuje na to, jak společnosti jako Google (GOOGL ) a Meta mohou sklízet a zpeněžit naše osobní data. Můžete uvést příklad významného zneužití našich dat, které by mělo být na radaru každého?

Z The AI Dilemma, strana 67 a dále:

Nové případy systematického zneužití osobních dat pokračují vynikat do veřejného povědomí, mnohé zahrnující utajený gebruik obličeje. V prosinci 2022 publikoval MIT Technology Review účty dlouholeté praxe iRobot. Roboty Roomba zaznamenávají obrázky a videa pořízená v domech dobrovolných beta-testerů, což nevyhnutelně znamená shromažďování intimních osobních a rodinných obrázků. Tyto jsou sdíleny, bez vědomí testerů, se skupinami mimo zemi. V alespoň jednom případě byl obrázek člověka na toaletě zveřejněn na Facebooku. Zatímco v Íránu úřady začaly používat data z systémů rozpoznávání obličeje k sledování a zatýkání žen, které nenosí hidžáb.16

Není třeba tyto příběhy dále rozvádět. Je jich tolik. Je však důležité identifikovat kumulativní efekt života tímto způsobem. Ztrácíme pocit kontroly nad našimi životy, když cítíme, že naše soukromé informace mohou být použity proti nám, kdykoli, bez varování.

Jedním nebezpečným konceptem, který byl zmíněn, je, že náš celý svět je navržen tak, aby byl bez tření, s definicí tření jako “jakékoli místo v cestě zákazníka se společností, kde narazí na problém, který je zpomalí nebo způsobí nespokojenost.” Jak naše očekávání bezproblémového zážitku může vést k nebezpečnému AI?

V Novém Zélandu navrhl bot pro přípravu jídel Pak’n’Save recept, který by vytvořil chlorový plyn, pokud by byl použit. To bylo propagováno jako způsob, jak pro zákazníky využít zbytky a ušetřit peníze.

Bezproblémovost vytváří iluzi kontroly. Je rychlejší a snazší poslouchat aplikaci než hledat recept babičky. Lidé následují cestu nejmenšího odporu a neuvědomují si, kam je to vede.

Tření, na druhé straně, je tvořivé. Zapojíte se. To vede k skutečné kontrole. Skutečná kontrola vyžaduje pozornost a práci, a — v případě AI — provedení prodloužené analýzy nákladů a přínosů.

S iluzí kontroly se zdá, že žijeme ve světě, kde AI systémy.promptují lidi, místo aby lidé zůstali plně v kontrole. Můžete uvést některé příklady, kdy lidé kolektivně věří, že mají kontrolu, když ve skutečnosti ji nemají?

V San Francisku právě teď, s robotaxi. Nápad samořízených taxi vyvolává dvě protichůdné emoce: Nadšení (“taxi za mnohem nižší cenu!”) a strach (“zastaví mě?”). Proto mnoho regulátorů navrhuje, aby vozy byly testovány s lidmi uvnitř, kteří mohou řídit systémy. Bohužel, mít lidi v pohotovosti, připravené přerušit systémy v reálném čase, nemusí být dobrým testem veřejné bezpečnosti. Nadměrná důvěra je častým dynamickým jevem u AI systémů. Čím více autonomní je systém, tím více se lidský operátor spoléhá na něj a nevěnuje plnou pozornost. Stáváme se nudnými, když sledujeme tyto technologie. Když skutečně dojde k nehodě, neočekáváme to a často nereagujeme včas.

Velký výzkum byl vložen do této knihy, bylo něco, co vás překvapilo?

Jedna věc, která nás opravdu překvapila, byla, že lidé po celém světě nemohli souhlasit s tím, kdo by měl žít a kdo by měl zemřít v The Moral Machine’s simulaci srážky samořízeného auta. Pokud nemůžeme souhlasit s tím, pak je těžké si představit, že bychom mohli mít sjednocenou globální vládu nebo univerzální standardy pro AI systémy.

Oba se popisujete jako podnikatelé, jak to, co jste se naučili a napsali, ovlivní vaše budoucí úsilí?

Náš poradenský practice pro AI je zaměřen na pomoc organizacím růst zodpovědně s technologií. Právníci, inženýři, sociální vědci a obchodní myslitelé jsou všichni subjekty budoucnosti AI. V naší práci spojujeme všechny tyto perspektivy a praktikujeme tvořivé tření, abychom našli lepší řešení. Vyvinuli jsme rámce, jako je kalkul intentionalního rizika, abychom pomohli navigovat tyto problémy.

Děkuji za skvělé odpovědi, čtenáři, kteří chtějí se dozvědět více, by měli navštívit The AI Dilemma.