Juliette Powell og Art Kleiner, forfattere av The AI Dilemma – Intervju-serie

The AI Dilemma er skrevet av Juliette Powell og Art Kleiner.

Juliette Powell er en forfatter, en TV-skaper med 9 000 direktesendte programmer under beltet, og en teknolog og sosiolog. Hun er også en kommentator på Bloomberg TV/Business News Networks og en foredragsholder på konferanser organisert av Economist og International Finance Corporation. Hennes TED-tale har 130 000 visninger på YouTube. Juliette identifiserer mønster og praksis for suksessfulle forretningsledere som satser på etisk AI og data for å vinne. Hun er ansatt ved NYU’s ITP, der hun underviser i fire kurs, inkludert Design Skills for Responsible Media, et kurs basert på hennes bok.

Art Kleiner er en forfatter, redaktør og fremtidsforsker. Hans bøker inkluderer The Age of Heretics, Who Really Matters, Privilege and Success og The Wise. Han var redaktør for strategy+business, det prisvinnende magasinet utgitt av PwC. Art er også en langvarig ansatt ved NYU-ITP og IMA, der hans kurs inkluderer å undervise i Responsible Technology og the Future of Media.

“The AI Dilemma” er en bok som fokuserer på farene med AI-teknologi i feil hender, samtidig som den anerkjenner fordelen AI tilbyr samfunnet.

Problemer oppstår fordi den underliggende teknologien er så kompleks at det blir umulig for sluttbrukeren å virkelig forstå de indre mekanismene i et lukket system.

En av de mest betydelige problemene som blir fremhevet er hvordan definisjonen av ansvarlig AI alltid endrer seg, ettersom samfunnets verdier ofte ikke forblir konsistente over tid.

Jeg likte veldig å lese “The AI Dilemma”. Det er en bok som ikke sensasjonaliserer farene med AI eller dykker dypt inn i de potensielle fallgruvene med kunstig generell intelligens (AGI). I stedet lærer lesere om de overraskende måtene våre personlige data blir brukt uten vår kunnskap, samt noen av de nåværende begrensningene i AI og grunnene til bekymring.

Nedenfor er noen spørsmål som er designet for å vise våre lesere hva de kan forvente fra denne banebrytende boken.

Hva var det som opprinnelig inspirerte dere til å skrive “The AI Dilemma”?

Juliette gikk på Columbia for å studere grensene og mulighetene for regulering av AI. Hun hadde hørt førstehånds fra venner som arbeidet på AI-prosjekter om spenningen som lå i disse prosjektene. Hun kom til slutsatsen at det var en AI-dilemma, et mye større problem enn selvregulering. Hun utviklet Apex-benchmark-modellen – en modell for hvordan beslutninger om AI tenderte mot lavt ansvar på grunn av interaksjonene mellom selskaper og grupper innen selskaper. Dette ledet til hennes avhandling.

Art hadde arbeidet med Juliette på flere skriveprosjekter. Han leste hennes avhandling og sa: “Du har en bok her.” Juliette inviterte ham til å være medforfatter. I arbeidet med det sammen oppdaget de at de hadde svært forskjellige perspektiver, men delte en sterk oppfatning av at dette komplekse, høyrisk AI-fenomenet ville trenge å bli bedre forstått så at mennesker som brukte det kunne handle mer ansvarlig og effektivt.

En av de grunnleggende problemene som blir fremhevet i The AI Dilemma er hvordan det i øyeblikket er umulig å forstå om et AI-system er ansvarlig eller om det fremmer sosial ulikhet ved å studere bare kildekoden. Hvor stort er dette problemet?

Problemet ligger ikke primært med kildekoden. Som Cathy O’Neil påpeker, når det er et lukket system, er det ikke bare koden. Det er det sosiotekniske systemet – de menneskelige og tekniske kreftene som former hverandre – som må undersøkes. Logikken som bygde og slapp ut AI-systemet inkluderte å identifisere et formål, identifisere data, sette prioriteringer, lage modeller, sette opp retningslinjer og guardrails for maskinlæring og bestemme når og hvordan et menneske skulle gripe inn. Det er den delen som må gjøres transparent – i alle fall for observatører og revisorer. Risikoen for sosial ulikhet og andre risikoer er mye større når disse delene av prosessen er skjult. Du kan ikke virkelig omkonstruere designlogikken fra kildekoden.

Kan fokusering på Explainable AI (XAI) noen gang løse dette?

Til ingeniører er explainable AI nå sett på som en gruppe tekniske begrensninger og praksis, rettet mot å gjøre modellene mer åpne for mennesker som arbeider med dem. For noen som er falskt anklaget, har forklarbarhet en helt annen mening og急. De trenger forklarbarhet for å kunne motsette seg i sin egen forsvar. Vi alle trenger forklarbarhet i betydningen av å gjøre de underliggende forretnings- eller regjeringsbeslutningene klare. I alle fall i USA vil det alltid være en spenning mellom forklarbarhet – menneskers rett til å vite – og en organisasjons rett til å konkurrere og innovere. Revisorer og regulatorene trenger en annen nivå av forklarbarhet. Vi går inn i dette i mer detalj i The AI Dilemma.

Kan du kort dele dine synspunkter på viktigheten av å holde stakeholdere (AI-selskaper) ansvarlige for koden de slipper ut i verden?

Så langt, for eksempel i Tempe, AZ selvkjørende bil-ulykken som drepte en fotgjenger, ble operatøren holdt ansvarlig. En person gikk i fengsel. Til slutt var det likevel en organisatorisk feil.

Når en bro kollapser, holdes den mekaniske ingeniøren ansvarlig. Det er fordi mekaniske ingeniører er trent, kontinuerlig re-trent og holdt ansvarlig av sin profesjon. Datamaskiningeniører er ikke.

Bør stakeholdere, inkludert AI-selskaper, bli trent og re-trent for å ta bedre beslutninger og ha mer ansvar?

The AI Dilemma fokuserte mye på hvordan selskaper som Google (GOOGL ) og Meta kan høste og montere våre personlige data. Kan du dele et eksempel på betydelig misbruk av våre data som bør være på alle våre radar?

Fra The AI Dilemma, side 67 ff:

Nye tilfeller av systematisk personlig data-misbruk fortsetter å dukke opp i offentligheten, mange av dem involverer skjult bruk av ansiktsgjenkjenning. I desember 2022 publiserte MIT Technology Review beretninger om en langvarig iRobot-praksis. Roomba-husholdningsroboter tar bilder og videoer tatt i frivillige beta-testeres hjem, som uunngåelig innebærer å samle inn intime personlige og familiære bilder. Disse blir delt, uten testernes viten, med grupper utenfor landet. I minst ett tilfelle ble et bilde av en person på en toalett publisert på Facebook (META ). Samtidig i Iran har myndighetene begynt å bruke data fra ansiktsgjenkjenningssystemer til å spore og arrestere kvinner som ikke bærer hijab.16

Det er ingen grunn til å belaste disse historiene videre. Det er så mange av dem. Det er viktig, likevel, å identifisere den kumulative effekten av å leve på denne måten. Vi mister vår følelse av å ha kontroll over våre liv når vi føler at vår private informasjon kan bli brukt mot oss, når som helst, uten varsel.

En farlig konsept som ble tatt opp er hvordan hele vår verden er designet for å være friksjonsløs, med definisjonen av friksjon som “ethvert punkt i kundens reise med et selskap der de møter en hindring som saktar dem ned eller forårsaker misnøye.” Hvorledes vår forventning av en friksjonsløs opplevelse potensielt kan føre til farlig AI?

I New Zealand foreslo en Pak’n’Save-smart mat-robot en oppskrift som ville skape klor-gass hvis den ble brukt. Dette ble fremmet som en måte for kunder å bruke opp rester og spare penger.

Friksjonsløshet skaper en illusjon av kontroll. Det er raskere og enklere å lytte til appen enn å se opp bestemors oppskrift. Folk følger den letteste veien og innser ikke hvor den tar dem.

Friksjon, på den andre siden, er kreativ. Du blir involvert. Dette fører til faktisk kontroll. Faktisk kontroll krever oppmerksomhet og arbeid, og – i tilfelle AI – å gjøre en utvidet kost- og nytte-analyse.

Med illusjonen av kontroll føles det som om vi lever i en verden der AI-systemer promoterer mennesker, i stedet for at mennesker forblir fullstendig i kontroll. Hva er noen eksempler som du kan gi på at mennesker kollektivt tror de har kontroll, når de i virkeligheten ikke har noen?

San Francisco nå, med robot-takser. Idéen om selv-kjørende takser bringer opp to motsatte følelser: Begeistring (“takser til en mye lavere pris!”) og frykt (“vil de treffe meg?”). Derfor foreslår mange regulatorene at bilene blir testet med mennesker i dem, som kan håndtere kontrollene. Uheldigvis kan det å ha mennesker på vakt, klare til å overstyre systemene i sanntid, ikke være en god test av offentlig sikkerhet. Overmotivasjon er en hyppig dynamikk med AI-systemer. Jo mer autonomt systemet er, jo mer tenderer menneskelige operatører å stole på det og ikke gi full oppmerksomhet. Vi blir kjedelige av å se over disse teknologiene. Når en ulykke faktisk er på vei å skje, forventer vi det ikke og reagerer ofte ikke i tide.

Mye forskning gikk inn i denne boken, var det noe som overrasket dere?

En ting som virkelig overrasket oss var at mennesker over hele verden ikke kunne enes om hvem som skulle leve og hvem som skulle dø i The Moral Machine’s simulering av en selv-kjørende bil-ulykke. Hvis vi ikke kan enes om det, er det vanskelig å forestille seg at vi kunne ha en felles global styring eller universelle standarder for AI-systemer.

I begge beskriver dere dere selv som entreprenører, hvordan vil det dere lærte og rapporterte påvirke dine fremtidige bestrebelser?

Vårt AI-rådgivningspraksis er rettet mot å hjelpe organisasjoner å vokse ansvarlig med teknologien. Jurister, ingeniører, sosialvitenskapsfolk og forretningsfolk er alle interessenter i fremtiden for AI. I vårt arbeid bringer vi alle disse perspektivene sammen og praktiserer kreativ friksjon for å finne bedre løsninger. Vi har utviklet rammer som kalkulus for bevisst risiko for å hjelpe med å navigere disse problemene.

Takk for de flotte svarene, lesere som ønsker å lære mer bør besøke The AI Dilemma.