Juliette Powell & Art Kleiner, Författare till The AI Dilemma – Intervjuer

The AI Dilemma är skriven av Juliette Powell och Art Kleiner.

Juliette Powell är en författare, en TV-skapare med 9 000 direktsända shower under sin bälte, och en teknolog och sociolog. Hon är också en kommentator på Bloomberg TV / Business News Networks och en talare på konferenser organiserade av Economist och International Finance Corporation. Hennes TED-tal har 130 000 visningar på YouTube. Juliette identifierar mönster och metoder för framgångsrika företagsledare som satsar på etisk AI och data för att vinna. Hon är verksam vid NYU:s ITP, där hon undervisar i fyra kurser, inklusive Design Skills for Responsible Media, en kurs baserad på hennes bok.

Art Kleiner är en författare, redaktör och futurist. Hans böcker inkluderar The Age of Heretics, Who Really Matters, Privilege and Success och The Wise. Han var redaktör för strategy+business, det prisbelönta magasinet som publiceras av PwC. Art är också en långvarig medlem i NYU-ITP och IMA, där hans kurser inkluderar att undervisa i Responsible Technology and the Future of Media.

“The AI Dilemma” är en bok som fokuserar på farorna med AI-teknik i fel händer, samtidigt som den erkänner de fördelar som AI erbjuder samhället.

Problem uppstår eftersom den underliggande tekniken är så komplex att det blir omöjligt för slutanvändaren att verkligen förstå de inre mekanismerna i ett slutet system.

En av de mest betydande frågorna som lyfts fram är hur definitionen av ansvarsfull AI alltid förändras, eftersom samhällets värderingar ofta inte förblir konsekventa över tiden.

Jag tyckte mycket om att läsa “The AI Dilemma”. Det är en bok som inte sensationella farorna med AI eller dyker djupt i de potentiella fallgroparna för artificiell allmän intelligens (AGI). Istället lär sig läsarna om de överraskande sätten som vår personliga data används utan vår kännedom, samt några av de nuvarande begränsningarna för AI och orsakerna till oro.

Nedan följer några frågor som är utformade för att visa våra läsare vad de kan förvänta sig av den banbrytande boken.

Vad inspirerade er ursprungligen att skriva “The AI Dilemma”?

Juliette gick till Columbia för att studera begränsningarna och möjligheterna för reglering av AI. Hon hade hört första hand från vänner som arbetade med AI-projekt om spänningen som är inbyggd i dessa projekt. Hon kom till slutsatsen att det fanns en AI-dilemma, ett mycket större problem än självreglering. Hon utvecklade Apex-benchmark-modellen – en modell för hur beslut om AI tenderade mot låg ansvarighet på grund av interaktionerna mellan företag och grupper inom företag. Det ledde till hennes avhandling.

Art hade arbetat med Juliette på flera skrivarprojekt. Han läste hennes avhandling och sa: “Du har en bok här.” Juliette bjöd in honom att medförfattare den. När de arbetade med den tillsammans upptäckte de att de hade mycket olika perspektiv, men delade en stark uppfattning om att denna komplexa, högrisk fenomen skulle behöva förstås bättre så att människor som använder det kunde agera mer ansvarsfullt och effektivt.

En av de grundläggande problemen som lyfts fram i The AI Dilemma är hur det för närvarande är omöjligt att förstå om ett AI-system är ansvarsfullt eller om det förstärker social ojämlikhet genom att bara studera dess källkod. Hur stort är detta problem?

Problemet är inte primärt med källkoden. Som Cathy O’Neil påpekar, när det finns ett slutet system, är det inte bara koden. Det är det sociotekniska systemet – de mänskliga och tekniska krafter som formar varandra – som måste undersökas. Logiken som byggde och släppte AI-systemet innebar att identifiera ett syfte, identifiera data, ange prioriteringar, skapa modeller, ange riktlinjer och skydd för maskinlärande och bestämma när och hur en människa skulle ingripa. Det är den delen som måste göras transparent – åtminstone för observatörer och revisorer. Risken för social ojämlikhet och andra risker är mycket större när dessa delar av processen är dolda. Du kan inte verkligen omkonstruera designlogiken från källkoden.

Kan fokusering på Explainable AI (XAI) någonsin åtgärda detta?

För ingenjörer är explainable AI för närvarande tänkt som en grupp tekniska begränsningar och metoder, som syftar till att göra modellerna mer transparenta för människor som arbetar med dem. För någon som är falskt anklagad har förklarbarhet en helt annan betydelse och brådska. De behöver förklarbarhet för att kunna försvara sig. Vi behöver alla förklarbarhet i den mening att göra de underliggande affärs- eller regeringsbesluten tydliga. Åtminstone i USA kommer det alltid att finnas en spänning mellan förklarbarhet – mänskliga rättigheter att veta – och en organisations rätt att konkurrera och innovativa. Revisorer och tillsynsmyndigheter behöver en annan nivå av förklarbarhet. Vi går in på detta i mer detalj i The AI Dilemma.

Kan du kort dela dina synpunkter på vikten av att hålla intressenter (AI-företag) ansvariga för den kod de släpper till världen?

Hittills, till exempel i Tempe, AZ självkörande bilolycka som dödade en fotgängare, hölls operatören ansvarig. En person gick i fängelse. Ultimat, var det dock en organisatorisk misslyckande.

När en bro kollapsar, hålls den mekaniska ingenjören ansvarig. Det beror på att mekaniska ingenjörer är utbildade, kontinuerligt omutbildade och hålls ansvariga av sin profession. Datorsystemingenjörer är inte.

Bör intressenter, inklusive AI-företag, utbildas och omutbildas för att fatta bättre beslut och ha mer ansvar?

The AI Dilemma fokuserade mycket på hur företag som Google (GOOGL ) och Meta kan samla in och monetisera vår personliga data. Kan du dela ett exempel på betydande missbruk av vår data som bör vara på allas radar?

Från The AI Dilemma, sida 67ff:

Nya fall av systematisk personlig datamissbruk fortsätter att dyka upp i offentligheten, många som involverar dold användning av ansiktsigenkänning. I december 2022 publicerade MIT Technology Review berättelser om en långvarig iRobot-praxis. Roomba-hushållsrobotar spelar in bilder och videor tagna i volontär beta-testares hem, vilket oundvikligen innebär att samla in intima personliga och familjerelaterade bilder. Dessa delas, utan testarnas kännedom, med grupper utanför landet. I minst ett fall publicerades en bild av en person på en toalett på Facebook (META ). Samtidigt i Iran har myndigheterna börjat använda data från ansiktsigenkänningssystem för att spåra och arrestera kvinnor som inte bär hijab.16

Det finns ingen anledning att belabba dessa historier längre. Det finns så många av dem. Det är viktigt, dock, att identifiera den kumulativa effekten av att leva på detta sätt. Vi förlorar vår känsla av att ha kontroll över våra liv när vi känner att vår privata information kan användas mot oss, när som helst, utan varning.

En farlig koncept som togs upp är hur vår helhet värld är utformad för att vara friktionsfri, med definitionen av friktion som “varje punkt i kundens resa med ett företag där de träffar en hakning som bromsar dem eller orsakar missnöje.” Hur kan vår förväntan på en friktionsfri upplevelse potentiellt leda till farlig AI?

I Nya Zeeland föreslog en Pak’n’Save-smart matbot ett recept som skulle skapa klorvätegas om det användes. Detta marknadsfördes som ett sätt för kunder att använda upp rester och spara pengar.

Friktionslöshet skapar en illusion av kontroll. Det är snabbare och enklare att lyssna på appen än att leta upp mormors recept. Människor följer den lättaste vägen och inser inte vart den tar dem.

Friktion, å andra sidan, är kreativ. Du blir involverad. Detta leder till verklig kontroll. Verklig kontroll kräver uppmärksamhet och arbete, och – i fallet med AI – att göra en utökad kostnads-nyttoanalys.

Med illusionen av kontroll känns det som att vi lever i en värld där AI-system påminner människor, snarare än att människor förblir fullständigt i kontroll. Kan du ge några exempel på att människor kollektivt tror att de har kontroll, när de i själva verket inte har någon?

San Francisco just nu, med robotaxi. Idén om självkörande taxi tenderar att väcka två motsatta känslor: Upphetsning (“taxi till mycket lägre kostnad!”) och rädsla (“kommer de att träffa mig?”) Därför föreslår många regulatorer att bilarna testas med människor i dem, som kan hantera kontrollerna. Tyvärr kan det faktum att ha människor på vakt, redo att åsidosätta system i realtid, inte vara en bra test av allmän säkerhet. Överförtroende är en vanlig dynamik med AI-system. Ju mer autonomt systemet är, desto mer tenderar mänskliga operatörer att lita på det och inte ge full uppmärksamhet. Vi blir trötta på att titta på dessa teknologier. När en olycka faktiskt är på väg att hända, förväntar vi oss det inte och vi reagerar ofta inte i tid.

Mycket forskning gick in i den här boken, var det något som överraskade er?

En sak som verkligen överraskade oss var att människor runt om i världen inte kunde enas om vem som skulle leva och vem som skulle dö i The Moral Machine’s simulation av en självkörande bilolycka. Om vi inte kan enas om det, då är det svårt att föreställa sig att vi kunde ha en enhetlig global styrning eller universella standarder för AI-system.

Ni båda beskriver er själva som entreprenörer, hur kommer det ni lärde och rapporterade på att påverka era framtida ansträngningar?

Vår AI-rådgivningspraxis är inriktad på att hjälpa organisationer växa ansvarsfullt med tekniken. Jurister, ingenjörer, samhällsvetare och affärstänkare är alla intressenter i AI:s framtid. I vårt arbete bringar vi alla dessa perspektiv samman och praktiserar kreativ friktion för att hitta bättre lösningar. Vi har utvecklat ramverk som kalkylen för avsiktlig risk för att hjälpa till att navigera dessa frågor.

Tack för de bra svaren, läsare som vill lära sig mer bör besöka The AI Dilemma.