Juliette Powell & Art Kleiner, auteurs van The AI Dilemma – Interviewreeks

The AI Dilemma is geschreven door Juliette Powell & Art Kleiner.

Juliette Powell is een auteur, een televisiecreator met 9.000 live shows op haar naam, en een technoloog en socioloog. Ze is ook een commentator op Bloomberg TV/ Business News Networks en een spreker op conferenties georganiseerd door de Economist en de International Finance Corporation. Haar TED-talk heeft 130.000 views op YouTube. Juliette identificeert de patronen en praktijken van succesvolle zakelijke leiders die bankieren op ethische AI en data om te winnen. Ze is verbonden aan de faculteit van NYU’s ITP, waar ze vier cursussen geeft, waaronder Design Skills for Responsible Media, een cursus gebaseerd op haar boek.

Art Kleiner is een schrijver, redacteur en futuroloog. Zijn boeken zijn onder andere The Age of Heretics, Who Really Matters, Privilege and Success en The Wise. Hij was redacteur van strategy+business, het award-winning tijdschrift gepubliceerd door PwC. Art is ook een langdurig lid van de faculteit van NYU-ITP en IMA, waar zijn cursussen onder andere co-teaching Responsible Technology and the Future of Media omvatten.

“The AI Dilemma” is een boek dat zich richt op de gevaren van AI-technologie in de verkeerde handen, terwijl het tegelijkertijd de voordelen van AI voor de samenleving erkent.

Er ontstaan problemen omdat de onderliggende technologie zo complex is dat het voor de eindgebruiker onmogelijk wordt om de innerlijke werking van een gesloten systeem echt te begrijpen.

Een van de meest significante problemen die worden benadrukt, is hoe de definitie van verantwoorde AI altijd verandert, omdat sociale waarden vaak niet consistent over tijd blijven.

Ik vond het leuk om “The AI Dilemma” te lezen. Het is een boek dat de gevaren van AI niet sensationeel maakt of diep ingaat op de potentiële valkuilen van Artificial General Intelligence (AGI). In plaats daarvan leren lezers over de verrassende manieren waarop onze persoonlijke gegevens zonder onze kennis worden gebruikt, evenals enkele van de huidige beperkingen van AI en redenen voor bezorgdheid.

Hieronder staan enkele vragen die zijn ontworpen om onze lezers te laten zien wat ze kunnen verwachten van dit baanbrekende boek.

Wat inspireerde je om “The AI Dilemma” te schrijven?

Juliette ging naar Columbia om deels de grenzen en mogelijkheden van de regulering van AI te bestuderen. Ze had van vrienden die aan AI-projecten werkten, gehoord over de spanning die inherent was aan die projecten. Ze kwam tot de conclusie dat er een AI-dilemma was, een veel groter probleem dan zelfregulering. Ze ontwikkelde het Apex-benchmarkmodel – een model van hoe beslissingen over AI de neiging hadden naar lage verantwoordelijkheid vanwege de interacties tussen bedrijven en groepen binnen bedrijven. Dat leidde tot haar proefschrift.

Art had met Juliette samengewerkt aan een aantal schrijfprojecten. Hij las haar proefschrift en zei: “Je hebt een boek hier.” Juliette nodigde hem uit om het boek samen te schrijven. Terwijl ze samen aan het boek werkten, ontdekten ze dat ze heel verschillende perspectieven hadden, maar een sterke mening deelden dat dit complexe, risicovolle AI-fenomeen beter begrepen moest worden, zodat mensen die het gebruikten, verantwoordelijker en effectiever konden handelen.

Een van de fundamentele problemen die in The AI Dilemma worden benadrukt, is hoe het momenteel onmogelijk is om te begrijpen of een AI-systeem verantwoord is of sociale ongelijkheid in stand houdt door alleen de broncode te bestuderen. Hoe groot is dit probleem?

Het probleem ligt niet primair bij de broncode. Zoals Cathy O’Neil opmerkt, is het bij een gesloten systeem niet alleen de code, maar het sociotechnische systeem – de menselijke en technologische krachten die elkaar vormen – dat onderzocht moet worden. De logica die het AI-systeem heeft opgebouwd en vrijgegeven, omvatte het identificeren van een doel, het identificeren van gegevens, het prioriteren, het maken van modellen, het opzetten van richtlijnen en bewakingsmechanismen voor machine learning en het beslissen wanneer en hoe een mens moet ingrijpen. Dat is het deel dat transparant moet worden gemaakt – tenminste voor waarnemers en auditors. Het risico van sociale ongelijkheid en andere risico’s zijn veel groter wanneer deze delen van het proces verborgen zijn. Je kunt de ontwerplogica niet echt herontwerpen vanuit de broncode.

Kan het focussen op Explainable AI (XAI) dit probleem aanpakken?

Voor ingenieurs wordt explainable AI momenteel beschouwd als een groep technologische beperkingen en praktijken, gericht op het maken van de modellen transparanter voor de mensen die eraan werken. Voor iemand die ten onrechte wordt beschuldigd, heeft explainability een heel andere betekenis en urgentie. Ze hebben explainability nodig om in hun eigen verdediging terug te kunnen vechten. We hebben allemaal explainability nodig in de zin van het maken van de beslissingen van bedrijven en overheden die ten grondslag liggen aan de modellen, duidelijk. Tenminste in de Verenigde Staten, zal er altijd een spanning bestaan tussen explainability – het recht van de mens om te weten – en het recht van een organisatie om te concurreren en te innoveren. Auditors en regulators hebben een ander niveau van explainability nodig. We gaan hier dieper op in in The AI Dilemma.

Kunt u uw mening delen over het belang van het verantwoordelijk houden van stakeholders (AI-bedrijven) voor de code die ze de wereld in brengen?

Tot nu toe, bijvoorbeeld in de zelfrijdende auto-botsing in Tempe, AZ, die een voetganger doodde, werd de bestuurder verantwoordelijk gehouden. Een individu ging naar de gevangenis. Uiteindelijk was het echter een organisatorische fout.

Wanneer een brug instort, wordt de mechanische ingenieur verantwoordelijk gehouden. Dat is omdat mechanische ingenieurs getraind, voortdurend opnieuw getraind en verantwoordelijk gehouden worden door hun beroep. Computer-ingenieurs niet.

Zouden stakeholders, waaronder AI-bedrijven, getraind en opnieuw getraind moeten worden om betere beslissingen te nemen en meer verantwoordelijkheid te dragen?

The AI Dilemma richtte zich veel op hoe bedrijven als Google (GOOGL ) en Meta onze persoonlijke gegevens kunnen oogsten en monitoren. Kunt u een voorbeeld geven van een significante misbruik van onze gegevens dat ieders aandacht zou moeten trekken?

Uit The AI Dilemma, pagina 67 en verder:

Nieuwe gevallen van systematisch misbruik van persoonlijke gegevens komen voortdurend aan het licht, veelal met het gebruik van gezichtsherkenning. In december 2022 publiceerde MIT Technology Review verhalen over een langdurige praktijk van iRobot. Roomba-huishoudrobots nemen beelden en video’s op in de huizen van vrijwillige bètatesters, wat onvermijdelijk leidt tot het verzamelen van intieme persoonlijke en familiegerelateerde beelden. Deze worden, zonder dat de testers het weten, gedeeld met groepen buiten het land. In tenminste één geval werd een beeld van een persoon op een toilet op Facebook (META ) geplaatst. Ondertussen zijn de autoriteiten in Iran begonnen met het gebruik van gegevens van gezichtsherkenningssystemen om vrouwen te volgen en te arresteren die geen hoofddoek dragen.16

Er is geen behoefte om deze verhalen verder uit te werken. Er zijn er zo veel. Het is echter belangrijk om het cumulatieve effect van op deze manier leven te identificeren. We verliezen ons gevoel van controle over ons leven wanneer we het gevoel hebben dat onze privé-informatie tegen ons gebruikt kan worden, op elk moment, zonder waarschuwing.

Een gevaarlijk concept dat werd aangehaald, is hoe onze hele wereld is ontworpen om wrijvingsloos te zijn, met de definitie van wrijving als “elk punt in de klantreis met een bedrijf waar ze een hobbel tegenkomen die ze vertraagt of ontevredenheid veroorzaakt.” Hoe kan onze verwachting van een wrijvingsloze ervaring potentieel leiden tot gevaarlijke AI?

In Nieuw-Zeeland suggereerde een Pak’n’Save-savvy meal bot een recept dat chloorgas zou creëren als het werd gebruikt. Dit werd gepromoot als een manier voor klanten om restjes te gebruiken en geld te besparen.

Wrijvingsloosheid creëert een illusie van controle. Het is sneller en gemakkelijker om naar de app te luisteren dan naar oma’s recept. Mensen volgen het pad van de minste weerstand en realiseren zich niet waar het hen heen brengt.

Wrijving daarentegen is creatief. Je bent betrokken. Dit leidt tot echte controle. Echte controle vereist aandacht en werk, en – in het geval van AI – een uitgebreide kosten-batenanalyse.

Met de illusie van controle lijkt het alsof we in een wereld leven waarin AI-systemen mensen aansporen, in plaats van dat mensen volledig in controle blijven. Kunt u enkele voorbeelden geven van situaties waarin mensen collectief denken dat ze de controle hebben, terwijl ze die in werkelijkheid niet hebben?

San Francisco, op dit moment, met robotaxis. Het idee van zelfrijdende taxi’s roept twee conflicterende emoties op: opwinding (“taxi’s tegen een veel lagere prijs!”) en angst (“zullen ze me raken?”). Veel regulators suggereren dat de auto’s getest moeten worden met mensen erin, die de controle kunnen overnemen. Helaas kan het hebben van mensen die paraat staan om systemen in real-time te overrulen, niet noodzakelijkerwijs een goede test van openbare veiligheid zijn. Oververtrouwen is een frequente dynamiek met AI-systemen. Hoe autonomer het systeem, hoe meer menselijke operators het vertrouwen en niet volledig opletten. We worden verveeld door het toezien op deze technologieën. Wanneer een ongeluk echt op het punt staat te gebeuren, verwachten we het niet en reageren we vaak niet op tijd.

Er is veel onderzoek gedaan voor dit boek, was er iets dat u verraste?

Een ding dat ons echt verraste, was dat mensen over de hele wereld het niet eens konden worden over wie moest leven en wie moest sterven in The Moral Machine’s simulatie van een zelfrijdende auto-ongeluk. Als we het niet eens kunnen worden over dat, dan is het moeilijk om je voor te stellen dat we een uniform wereldwijd bestuur of universele normen voor AI-systemen zouden kunnen hebben.

Jullie beschrijven uzelf als ondernemers, hoe zal wat jullie hebben geleerd en gerapporteerd in dit boek jullie toekomstige inspanningen beïnvloeden?

Onze AI-adviespraktijk is gericht op het helpen van organisaties om verantwoordelijk te groeien met de technologie. Juristen, ingenieurs, sociaalwetenschappers en zakenlieden zijn allemaal stakeholders in de toekomst van AI. In ons werk brengen we al deze perspectieven samen en oefenen we creatieve wrijving om betere oplossingen te vinden. We hebben kaders ontwikkeld zoals de calculus van intentioneel risico om deze kwesties te helpen navigeren.

Bedankt voor de geweldige antwoorden, lezers die meer willen leren, kunnen The AI Dilemma bezoeken.