Juliette Powell & Art Kleiner, auteurs de The AI Dilemma – Série d’entretiens

The AI Dilemma est écrit par Juliette Powell et Art Kleiner.

Juliette Powell est une auteure, une créatrice de télévision avec 9 000 émissions en direct à son actif, et une technologue et sociologue. Elle est également commentatrice sur Bloomberg TV / Business News Networks et conférencière lors de conférences organisées par The Economist et la Société financière internationale. Sa conférence TED a 130 000 vues sur YouTube. Juliette identifie les modèles et les pratiques des dirigeants d’entreprise qui s’appuient sur l’IA et les données éthiques pour réussir. Elle enseigne à la faculté de l’ITP de l’Université de New York, où elle enseigne quatre cours, dont Design Skills for Responsible Media, un cours basé sur son livre.

Art Kleiner est un écrivain, éditeur et futuriste. Ses livres comprennent The Age of Heretics, Who Really Matters, Privilege and Success, et The Wise. Il a été rédacteur en chef de strategy+business, la revue primée publiée par PwC. Art est également membre de longue date de la faculté de l’ITP de l’Université de New York et de l’IMA, où ses cours comprennent l’enseignement conjoint de la technologie responsable et de l’avenir des médias.

“The AI Dilemma” est un livre qui se concentre sur les dangers de la technologie de l’IA entre les mains erronées, tout en reconnaissant les avantages que l’IA offre à la société.

Des problèmes surviennent parce que la technologie sous-jacente est si complexe qu’il devient impossible pour l’utilisateur final de comprendre vraiment le fonctionnement interne d’un système en boîte fermée.

L’un des problèmes les plus importants mis en évidence est la façon dont la définition de l’IA responsable est toujours en évolution, car les valeurs sociétales ne restent souvent pas cohérentes au fil du temps.

J’ai vraiment apprécié la lecture de “The AI Dilemma”. Il s’agit d’un livre qui ne sensationnalise pas les dangers de l’IA ni ne plonge profondément dans les éventuels pièges de l’intelligence artificielle générale (AGI). Au lieu de cela, les lecteurs apprennent comment leurs données personnelles sont utilisées sans leur connaissance, ainsi que certaines des limites actuelles de l’IA et des raisons de s’inquiéter.

Voici quelques questions conçues pour montrer à nos lecteurs ce qu’ils peuvent attendre de ce livre révolutionnaire.

Qu’est-ce qui vous a initialement inspiré pour écrire “The AI Dilemma” ?

Juliette est allée à Columbia pour étudier les limites et les possibilités de régulation de l’IA. Elle avait entendu de première main des amis travaillant sur des projets d’IA parler de la tension inhérente à ces projets. Elle en est venue à la conclusion qu’il y avait un dilemme de l’IA, un problème beaucoup plus important que l’auto-régulation. Elle a développé le modèle de référence Apex – un modèle de la façon dont les décisions concernant l’IA tendent vers une faible responsabilité en raison des interactions entre les entreprises et les groupes au sein des entreprises. Cela a conduit à sa thèse.

Art avait travaillé avec Juliette sur plusieurs projets d’écriture. Il a lu sa thèse et a dit : “Vous avez un livre ici.” Juliette l’a invité à coécrire. En travaillant ensemble, ils ont découvert qu’ils avaient des perspectives très différentes, mais partageaient une forte conviction que ce phénomène d’IA complexe et très risqué devait être mieux compris afin que les personnes qui l’utilisent puissent agir de manière plus responsable et efficace.

L’un des problèmes fondamentaux mis en évidence dans The AI Dilemma est qu’il est actuellement impossible de comprendre si un système d’IA est responsable ou s’il perpétue l’inégalité sociale en étudiant simplement son code source. Quelle est l’ampleur de ce problème ?

Le problème ne réside pas principalement dans le code source. Comme le souligne Cathy O’Neil, lorsqu’il s’agit d’un système en boîte fermée, il ne s’agit pas seulement du code. C’est le système sociotechnique – les forces humaines et technologiques qui se façonnent mutuellement – qui doit être exploré. La logique qui a construit et publié le système d’IA impliquait l’identification d’un objectif, l’identification de données, la définition des priorités, la création de modèles, la définition de lignes directrices et de garde-fous pour l’apprentissage automatique, et la décision de savoir quand et comment un humain devrait intervenir. C’est cette partie qui doit être rendue transparente – au moins aux observateurs et aux auditeurs. Le risque d’inégalité sociale et d’autres risques est beaucoup plus grand lorsque ces parties du processus sont cachées. Vous ne pouvez pas vraiment réingénier la logique de conception à partir du code source.

Le fait de se concentrer sur l’IA explicative (XAI) peut-il résoudre ce problème ?

Pour les ingénieurs, l’IA explicative est actuellement considérée comme un ensemble de contraintes et de pratiques technologiques visant à rendre les modèles plus transparents pour les personnes qui y travaillent. Pour quelqu’un qui est faussement accusé, l’explicabilité a une tout autre signification et urgence. Ils ont besoin d’explicabilité pour pouvoir se défendre. Nous avons tous besoin d’explicabilité dans le sens de rendre les décisions commerciales ou gouvernementales sous-jacentes aux modèles claires. Aux États-Unis, il y aura toujours une tension entre l’explicabilité – le droit de l’homme de savoir – et le droit d’une organisation de concurrencer et d’innover. Les auditeurs et les régulateurs ont besoin d’un niveau d’explicabilité différent. Nous allons plus en détail dans The AI Dilemma.

Pouvez-vous partager vos points de vue sur l’importance de tenir les parties prenantes (les entreprises d’IA) responsables du code qu’elles publient dans le monde ?

Jusqu’à présent, par exemple, dans le cas de la collision d’une voiture autonome à Tempe, en Arizona, qui a tué un piéton, l’opérateur a été tenu responsable. Un individu est allé en prison. Cependant, en fin de compte, c’était une défaillance organisationnelle.

Quand un pont s’effondre, l’ingénieur mécanique est tenu responsable. C’est parce que les ingénieurs mécaniciens sont formés, constamment recyclés et tenus responsables par leur profession. Les ingénieurs en informatique ne le sont pas.

Les parties prenantes, y compris les entreprises d’IA, devraient-elles être formées et recyclées pour prendre de meilleures décisions et avoir plus de responsabilités ?

The AI Dilemma se concentre beaucoup sur la façon dont des entreprises comme Google (GOOGL ) et Meta peuvent récolter et monétiser nos données personnelles. Pouvez-vous partager un exemple de mauvaise utilisation significative de nos données qui devrait être sur le radar de tout le monde ?

À partir de The AI Dilemma, page 67 et suivantes :

De nouveaux cas de mauvaise utilisation systématique des données personnelles continuent d’émerger dans le domaine public, dont beaucoup impliquent une utilisation secrète de la reconnaissance faciale. En décembre 2022, MIT Technology Review a publié des comptes rendus d’une pratique de longue date d’iRobot. Les robots ménagers Roomba enregistrent des images et des vidéos prises dans les maisons de beta-testeurs volontaires, ce qui signifie inévitablement la collecte d’images personnelles et familiales intimes. Ces images sont partagées, sans que les testeurs en soient conscients, avec des groupes en dehors du pays. Dans au moins un cas, une image d’un individu sur une toilette a été publiée sur Facebook (META ). Pendant ce temps, en Iran, les autorités ont commencé à utiliser des données de systèmes de reconnaissance faciale pour suivre et arrêter les femmes qui ne portent pas de hijab.16

Il n’est pas nécessaire de prolonger ces histoires plus loin. Il y en a tellement. Il est important, cependant, d’identifier l’effet cumulatif de vivre de cette façon. Nous perdons notre sentiment de contrôle sur nos vies lorsque nous sentons que nos informations personnelles pourraient être utilisées contre nous à tout moment, sans avertissement.

Un concept dangereux qui a été abordé est la façon dont notre monde entier est conçu pour être sans friction, la définition de la friction étant “tout point du parcours client d’une entreprise où ils rencontrent un obstacle qui les ralentit ou les déçoit.” Comment notre attente d’une expérience sans friction peut-elle potentiellement conduire à une IA dangereuse ?

En Nouvelle-Zélande, un bot de repas Pak’n’Save a suggéré une recette qui aurait créé du gaz chloré si elle avait été utilisée. Cela a été promu comme un moyen pour les clients d’utiliser les restes et d’économiser de l’argent.

La frictionlessness crée une illusion de contrôle. C’est plus rapide et plus facile d’écouter l’application que de regarder la recette de grand-mère. Les gens suivent le chemin de la moindre résistance et ne réalisent pas où il les mène.

La friction, en revanche, est créative. Vous vous impliquez. Cela conduit à un contrôle réel. Un contrôle réel nécessite de l’attention et du travail, et – dans le cas de l’IA – une analyse coûts-avantages étendue.

Avec l’illusion de contrôle, il semble que nous vivons dans un monde où les systèmes d’IA donnent des instructions aux humains, plutôt que les humains restant pleinement en contrôle. Quels sont quelques exemples que vous pouvez donner d’humains qui croient collectivement avoir le contrôle, alors qu’en réalité, ils n’en ont aucun ?

San Francisco, en ce moment, avec les robotaxis. L’idée de taxis autonomes tend à susciter deux émotions contradictoires : l’excitation (“des taxis à un coût beaucoup plus faible !”) et la peur (“est-ce qu’ils vont me heurter ?”). Ainsi, de nombreux régulateurs suggèrent que les voitures soient testées avec des personnes à l’intérieur, qui peuvent gérer les commandes. Malheureusement, avoir des humains en alerte, prêts à outrepasser les systèmes en temps réel, peut ne pas être un bon test de sécurité publique. La confiance excessive est une dynamique fréquente avec les systèmes d’IA. Plus le système est autonome, plus les opérateurs humains ont tendance à lui faire confiance et à ne pas prêter attention. Nous nous ennuyons de surveiller ces technologies. Lorsqu’un accident est sur le point de se produire, nous ne nous y attendons pas et nous ne réagissons souvent pas à temps.

Beaucoup de recherches ont été effectuées pour ce livre, y a-t-il eu quelque chose qui vous a surpris ?

Une chose qui nous a vraiment surpris est que les gens du monde entier ne pouvaient pas s’accorder sur qui devrait vivre et qui devrait mourir dans la simulation de collision de voiture autonome de la Moral Machine. Si nous ne pouvons pas nous accorder sur cela, alors il est difficile d’imaginer que nous pourrions avoir une gouvernance mondiale unifiée ou des normes universelles pour les systèmes d’IA.

Vous vous décrivez tous les deux comme des entrepreneurs, comment ce que vous avez appris et rapporté influencera-t-il vos futurs efforts ?

Notre pratique de conseil en IA est axée sur l’aide aux organisations à grandir de manière responsable avec la technologie. Les avocats, les ingénieurs, les scientifiques sociaux et les penseurs commerciaux sont tous des parties prenantes dans l’avenir de l’IA. Dans notre travail, nous réunissons toutes ces perspectives et pratiquons la friction créative pour trouver de meilleures solutions. Nous avons développé des cadres tels que le calcul du risque intentionnel pour aider à naviguer ces questions.

Merci pour ces excellentes réponses, les lecteurs qui souhaitent en savoir plus peuvent visiter The AI Dilemma.