Juliette Powell i Art Kleiner, autors de la sèrie d'entrevistes The AI ​​Dilemma

The AI ​​Dilemma està escrit per Juliette Powell i Art Kleiner.

Juliete Powell és autora, creadora de televisió amb 9,000 espectacles en directe, i tecnòloga i sociòloga. També és comentarista a Bloomberg TV/Business News Networks i ponent en conferències organitzades per l'Economista i la Corporació Financera Internacional. La seva xerrada TED té 130 visualitzacions a YouTube. Juliette identifica els patrons i les pràctiques dels líders empresarials d'èxit que compten amb IA i dades ètiques per guanyar. És professora a l'ITP de la NYU, on imparteix quatre cursos, inclòs Design Skills for Responsible Media, un curs basat en el seu llibre.

Art Kleiner és escriptor, editor i futurista. Els seus llibres inclouen L'era dels heretges, Qui realment importa, Privilegi i èxiti El Savi. Va ser editor de strategy+business, la premiada revista publicada per PwC. Art també és un professor de llarga trajectòria a NYU-ITP i IMA, on els seus cursos inclouen la co-ensenyament de Tecnologia responsable i el futur dels mitjans.

"El dilema de la IA” és un llibre que se centra en els perills de la tecnologia d'IA en mans equivocades, tot i que reconeix els beneficis que l'IA ofereix a la societat.

Els problemes sorgeixen perquè la tecnologia subjacent és tan complexa que es fa impossible que l'usuari final entengui realment el funcionament intern d'un sistema de caixa tancada.

Una de les qüestions més significatives destacades és com la definició d'IA responsable està sempre canviant, ja que els valors socials sovint no es mantenen coherents al llarg del temps.

Em va agradar molt llegir "The AI ​​Dilemma". És un llibre que no sensacionalitza els perills de la IA ni aprofundeix en les possibles trampes de la Intel·ligència General Artificial (AGI). En canvi, els lectors aprenen sobre les sorprenents maneres en què s'utilitzen les nostres dades personals sense el nostre coneixement, així com algunes de les limitacions actuals de la IA i els motius de preocupació.

A continuació es mostren algunes preguntes dissenyades per mostrar als nostres lectors què poden esperar d'aquest llibre innovador.

Què et va inspirar inicialment a escriure "The AI ​​Dilemma"?

Juliette va anar a Columbia en part per estudiar els límits i les possibilitats de regulació de la IA. Havia escoltat de primera mà amics que treballaven en projectes d'IA sobre la tensió inherent a aquests projectes. Va arribar a la conclusió que hi havia un dilema de la IA, un problema molt més gran que l'autoregulació. Va desenvolupar el model de referència Apex: un model de com les decisions sobre IA tendeixen a una baixa responsabilitat a causa de les interaccions entre empreses i grups dins de les empreses. Això va portar a la seva tesi.

Art havia treballat amb Juliette en diversos projectes d'escriptura. Va llegir la seva tesi i va dir: "Tens un llibre aquí". Juliette el va convidar a fer-ne coautor. En treballar-hi junts, van descobrir que tenien perspectives molt diferents, però compartien una visió ferma que s'hauria d'entendre millor aquest fenomen d'IA complex i molt arriscat perquè les persones que l'utilitzin poguessin actuar de manera més responsable i eficaç.

Un dels problemes fonamentals que es destaquen a The AI ​​Dilemma és com actualment és impossible entendre si un sistema d'IA és responsable o si perpetua la desigualtat social simplement estudiant el seu codi font. Què tan gran és aquest problema?

El problema no és principalment amb el codi font. Com assenyala Cathy O'Neil, quan hi ha un sistema de caixa tancada, no és només el codi. És el sistema sociotècnic —les forces humanes i tecnològiques que es configuren mútuament— el que cal explorar. La lògica que va crear i va llançar el sistema d'IA va implicar identificar un propòsit, identificar dades, establir les prioritats, crear models, establir directrius i baranes per a l'aprenentatge automàtic i decidir quan i com hauria d'intervenir un humà. Aquesta és la part que s'ha de fer transparent, almenys per als observadors i auditors. El risc de desigualtat social i altres riscos són molt més grans quan s'amaguen aquestes parts del procés. Realment no podeu reinventar la lògica del disseny a partir del codi font.

Pot centrar-se IA explicable (XAI) mai va abordar això?

Per als enginyers, la intel·ligència artificial explicable es considera actualment un grup de restriccions i pràctiques tecnològiques, destinades a fer que els models siguin més transparents per a les persones que hi treballen. Per a algú que està sent acusat falsament, l'explicabilitat té un significat i una urgència completament diferents. Necessiten explicabilitat per poder retrocedir en la seva pròpia defensa. Tots necessitem explicabilitat en el sentit de fer clares les decisions empresarials o governamentals subjacents als models. Almenys als Estats Units, sempre hi haurà una tensió entre l'explicabilitat —el dret de la humanitat a saber— i el dret d'una organització a competir i innovar. Els auditors i els reguladors necessiten un nivell diferent d'explicabilitat. Entrem en això amb més detall a The AI ​​Dilemma.

Pots compartir breument les teves opinions sobre la importància de fer responsables les parts interessades (empreses d'IA) del codi que publiquen al món?

Fins ara, per exemple, en la col·lisió de cotxes autònoms de Tempe, AZ, que va matar un vianant, l'operador va ser considerat responsable. Un individu va anar a la presó. En definitiva, però, va ser un fracàs organitzatiu.

Quan un pont s'ensorra, l'enginyer mecànic és responsable. Això es deu al fet que els enginyers mecànics estan formats, es recapaciten contínuament i es fan responsables de la seva professió. Els enginyers informàtics no ho són.

Les parts interessades, incloses les empreses d'IA, s'han de formar i reciclar per prendre millors decisions i tenir més responsabilitat?

El dilema de l'IA es va centrar molt en com empreses com Google i Meta poden recollir i monetitzar les nostres dades personals. Podries compartir un exemple d'ús indegut significatiu de les nostres dades que hauria d'estar al radar de tothom?

De The AI ​​Dilemma, pàgina 67 i següents:

Nous casos d'ús sistemàtic de dades personals continuen sorgint a la vista del públic, molts d'ells que impliquen l'ús encobert del reconeixement facial. El desembre de 2022, MIT Technology Review va publicar relats d'una pràctica d'iRobot de llarga data. Els robots domèstics de Roomba enregistren imatges i vídeos fets a les cases dels beta-testers voluntaris, la qual cosa significa inevitablement recopilar imatges íntimes personals i familiars. Es comparteixen, sense la consciència dels provadors, amb grups de fora del país. En almenys un cas, es va penjar a Facebook una imatge d'una persona en un lavabo. Mentrestant, a l'Iran, les autoritats han començat a utilitzar dades dels sistemes de reconeixement facial per rastrejar i arrestar dones que no porten hijab.16

No cal aprofundir més en aquestes històries. N'hi ha tants. És important, però, identificar l'efecte acumulat de viure d'aquesta manera. Perdem la sensació de tenir control sobre les nostres vides quan sentim que la nostra informació privada es pot utilitzar contra nosaltres, en qualsevol moment, sense previ avís.

Un concepte perillós que es va plantejar és com el nostre món sencer està dissenyat per ser sense fricció, amb la definició de fricció com "qualsevol punt del viatge del client amb una empresa on s'enfronta a un problema que els frena o provoca insatisfacció". Com la nostra expectativa d'una experiència sense fricció pot conduir a una IA perillosa?

A Nova Zelanda, un robot expert en menjars de Pak'n'Save va suggerir una recepta que crearia gas clor si s'utilitzaria. Això es va promoure com una manera perquè els clients utilitzessin les restes i estalviessin diners.

La falta de fricció crea una il·lusió de control. És més ràpid i fàcil escoltar l'aplicació que buscar la recepta de l'àvia. La gent segueix el camí de menor resistència i no s'adona on els porta.

La fricció, en canvi, és creativa. T'hi impliques. Això condueix al control real. El control real requereix atenció i treball i, en el cas de la IA, fer una anàlisi de cost-benefici ampliada.

Amb la il·lusió de control, sembla que vivim en un món on els sistemes d'IA impulsen els humans, en comptes de mantenir-ne el control total. Quins són alguns exemples que podeu donar d'humans que creien col·lectivament que tenen control, quan realment no en tenen cap?

San Francisco ara mateix, amb robotaxis. La idea dels taxis autònoms acostuma a provocar dues emocions conflictives: l'emoció ("taxis a un cost molt més baix!") i la por ("em colpejaran?"). Així, molts reguladors suggereixen que els cotxes es facin proves amb la gent. en ells, qui pot gestionar els controls. Malauradament, tenir humans en alerta, preparats per anul·lar els sistemes en temps real, pot ser que no sigui una bona prova de seguretat pública. L'excés de confiança és una dinàmica freqüent amb els sistemes d'IA. Com més autònom és el sistema, més els operadors humans tendeixen a confiar-hi i no prestar-li tota l'atenció. Ens avorreix vigilant aquestes tecnologies. Quan realment està a punt de passar un accident, no ens ho esperem i sovint no reaccionem a temps.

Es va investigar molt en aquest llibre, hi va haver alguna cosa que us hagi sorprès?

Una cosa que ens va sorprendre realment va ser que la gent d'arreu del món no pogués posar-se d'acord sobre qui havia de viure i qui havia de morir. La simulació de la màquina moral d'una col·lisió amb un cotxe autònom. Si no podem estar d'acord en això, és difícil imaginar que podríem tenir una governança global unificada o estàndards universals per als sistemes d'IA.

Tots dos us descriu com a emprenedors, com influirà el que heu après i informat en els vostres esforços futurs?

La nostra pràctica d'assessorament en IA està orientada a ajudar les organitzacions a créixer de manera responsable amb la tecnologia. Advocats, enginyers, científics socials i pensadors empresarials són tots els interessats en el futur de la IA. En el nostre treball, ajuntem totes aquestes perspectives i practiquem la fricció creativa per trobar millors solucions. Hem desenvolupat marcs com el càlcul del risc intencionat per ajudar a navegar per aquests problemes.

Gràcies per les bones respostes, els lectors que vulguin aprendre més haurien de visitar El dilema de la IA.