Жюльетта Пауэлл и Арт Клейнер, авторы книги “Дилемма ИИ” – Интервью-серия

Книга “Дилемма ИИ” написана Жюльеттой Пауэлл и Артом Клейнером.

Жюльеттт – автор, телевизионный создатель с 9000 прямых шоу, и технолог и социолог. Она также комментатор на Bloomberg TV/ Business News Networks и выступает на конференциях, организованных Экономистом и Международным финансовым корпусом. Ее TED-лекция имеет 130 тысяч просмотров на YouTube. Жюльетта определяет закономерности и практики успешных бизнес-лидеров, которые полагаются на этический ИИ и данные, чтобы выиграть. Она преподает в Нью-Йоркском университете, где читает четыре курса, включая “Навыки дизайна для ответственного медиа”, курс, основанный на ее книге.

Арт Клейнер – писатель, редактор и футуролог. Его книги включают Эпоху еретиков, Кто действительно имеет значение, Привилегия и успех, и Мудрые. Он был редактором strategy+business, награжденного журнала, издаваемого PwC. Арт также является давним членом факультета Нью-Йоркского университета и преподает курсы, включая совместное преподавание “Ответственная технология и будущее медиа”.
“Дилемма ИИ” – это книга, которая фокусируется на опасностях технологии ИИ в неправильных руках, при этом признавая выгоды, которые ИИ предлагает обществу.

Проблемы возникают, потому что основная технология так сложна, что становится невозможным для конечного пользователя действительно понять внутреннюю работу замкнутой системы.

Одной из наиболее значительных проблем, подчеркиваемых в книге, является то, что определение ответственного ИИ всегда меняется, поскольку социальные ценности часто не остаются последовательными во времени.

Мне очень понравилось читать “Дилемму ИИ”. Это книга, которая не сенсационизирует опасности ИИ или глубоко не погружается в потенциальные ловушки искусственного общего интеллекта (ИОИ). Вместо этого читатели узнают о удивительных способах, которыми наши личные данные используются без нашего знания, а также о некоторых текущих ограничениях ИИ и причинах беспокойства.

Ниже приведены некоторые вопросы, которые предназначены для того, чтобы показать нашим читателям, что они могут ожидать от этой новаторской книги.

Что изначально вдохновило вас написать “Дилемму ИИ”?

Жюльетта пошла в Колумбию, чтобы изучить пределы и возможности регулирования ИИ. Она слышала от друзей, работающих над проектами ИИ, о напряженности, присущей этим проектам. Она пришла к выводу, что существует дилемма ИИ, гораздо большая проблема, чем самоуправление. Она разработала модель Apex – модель того, как решения об ИИ склоняются к низкой ответственности из-за взаимодействия между компаниями и группами внутри компаний. Это привело к ее диссертации.

Арт работал с Жюльеттой над несколькими проектами. Он прочитал ее диссертацию и сказал: “У вас есть книга”. Жюльетта пригласила его стать соавтором. Работая над этим вместе, они обнаружили, что у них очень разные точки зрения, но они разделяют сильное мнение, что этот сложный, высокорискованный феномен ИИ потребует лучшего понимания, чтобы люди, использующие его, могли действовать более ответственно и эффективно.

Одной из фундаментальных проблем, подчеркиваемых в “Дилемме ИИ”, является то, что в настоящее время невозможно понять, является ли система ИИ ответственной или если она увековечивает социальное неравенство, просто изучая ее исходный код. Насколько велика эта проблема?

Проблема не заключается в основном в исходном коде. Как отмечает Кэти О’Нил, когда существует замкнутая система, это не только код. Это социотехническая система – человеческие и технологические силы, которые формируют друг друга – которая должна быть исследована. Логика, которая построила и выпустила систему ИИ, включала определение цели, определение данных, установление приоритетов, создание моделей, установление руководств и ограничений для машинного обучения и решение о том, когда и как человек должен вмешаться. Это та часть, которая должна быть сделана прозрачной – по крайней мере, для наблюдателей и аудиторов. Риск социального неравенства и других рисков намного выше, когда эти части процесса скрыты. Вы не можете действительно переработать логику дизайна из исходного кода.

Может ли сосредоточение внимания на объяснимом ИИ (XAI) решить эту проблему?

Для инженеров объяснимый ИИ в настоящее время считается группой технологических ограничений и практик, направленных на то, чтобы сделать модели более прозрачными для людей, работающих над ними. Для человека, который ложно обвинен, объяснимость имеет совершенно другое значение и срочность. Они нуждаются в объяснимости, чтобы иметь возможность защитить себя. Нам всем нужна объяснимость в смысле того, чтобы сделать бизнес- или государственные решения, лежащие в основе моделей, ясными. По крайней мере, в Соединенных Штатах всегда будет напряженность между объяснимостью – правом человека знать – и правом организации конкурировать и инновировать. Аудиторам и регулирующим органам нужен другой уровень объяснимости. Мы более подробно обсуждаем это в “Дилемме ИИ”.

Можете ли вы кратко поделиться своим мнением о важности привлечения заинтересованных сторон (компаний ИИ) к ответственности за код, который они выпускают в мир?

До сих пор, например, в случае с столкновением самоходного автомобиля в Темпе, Аризона, который убил пешехода, оператор был привлечен к ответственности. Человек был отправлен в тюрьму. Однако это была организационная неудача.

Когда мост обрушается, механический инженер привлекается к ответственности. Это потому, что механические инженеры обучены, постоянно проходят переподготовку и несут ответственность перед своей профессией. Инженеры-компьютерщики не несут.

Должны ли заинтересованные стороны, включая компании ИИ, быть обучены и переподготовлены, чтобы принимать лучшие решения и нести больше ответственности?

Книга “Дилемма ИИ” много внимания уделяет тому, как компании, такие как Google (GOOGL ) и Meta, могут собирать и монетизировать наши личные данные. Можете ли вы привести пример значительного злоупотребления нашими данными, который должен быть на радаре у всех?

Из “Дилеммы ИИ”, страница 67 и далее:

Новые случаи систематического злоупотребления личными данными продолжают появляться в общественном поле зрения, многие из которых связаны с тайным использованием распознавания лиц. В декабре 2022 года MIT Technology Review опубликовала отчеты о давней практике iRobot. Роботы Roomba для дома записывают изображения и видео, сделанные в домах добровольных бета-тестеров, что неизбежно означает сбор интимных личных и семейных изображений. Эти изображения делятся, без ведома тестеров, с группами вне страны. В至少 одном случае изображение человека на туалете было опубликовано на Facebook (META ). Тем временем в Иране власти начали использовать данные из систем распознавания лиц, чтобы отслеживать и арестовывать женщин, которые не носят хиджабов.16

Не нужно подробно рассказывать об этих историях. Их так много. Однако важно определить кумулятивный эффект жизни в таких условиях. Мы теряем чувство контроля над нашей жизнью, когда мы чувствуем, что наши личные данные могут быть использованы против нас в любой момент, без предупреждения.

Одна опасная концепция, которая была поднята, заключается в том, что наш весь мир предназначен для того, чтобы быть без трения, с определением трения как “любая точка в пути клиента с компанией, где он попадает в препятствие, которое замедляет его или вызывает недовольство”. Как наше ожидание без трения может потенциально привести к опасному ИИ?

В Новой Зеландии Pak’n’Save предложил рецепт, который создаст хлористый газ, если его использовать.

Без трения создает иллюзию контроля. Это быстрее и легче слушать приложение, чем смотреть рецепт бабушки.

Трение, с другой стороны, является творческим. Вы участвуете. Это приводит к реальному контролю. Реальный контроль требует внимания и работы, и – в случае ИИ – проведения расширенного анализа затрат и выгод.

С иллюзией контроля кажется, что мы живем в мире, где системы ИИ подталкивают людей, вместо того, чтобы люди полностью контролировали. Можете ли вы привести примеры того, как люди коллективно считают, что они имеют контроль, когда на самом деле они не имеют?

В Сан-Франциско сейчас, с роботакси. Идея самоходных такси вызывает два конфликтующих эмоции: волнение (“такси за гораздо более низкую цену!”) и страх (“будут ли они меня ударить?”). Таким образом, многие регулирующие органы предлагают, чтобы машины были протестированы с людьми внутри, которые могут управлять системами. К сожалению, наличие людей настороже, готовых переопределить системы в реальном времени, может не быть хорошим тестом общественной безопасности. Чрезмерная уверенность – это частая динамика с системами ИИ. Чем более автономна система, тем больше человеку доверяют ее и не обращают полного внимания. Мы скучаем, наблюдая за этими технологиями. Когда происходит авария, мы не ожидаем ее и часто не реагируем вовремя.

Было проведено много исследований для этой книги, было ли что-то, что удивило вас?

Одна вещь, которая действительно удивила нас, заключалась в том, что люди по всему миру не могли согласиться, кто должен жить и кто должен умереть в симуляции столкновения самоходного автомобиля. Если мы не можем согласиться с этим, то трудно представить, что мы могли бы иметь единое глобальное управление или универсальные стандарты для систем ИИ.

Вы оба описываете себя как предприниматели, как то, что вы узнали и сообщили, повлияет на ваши будущие усилия?

Наша практика консультирования по ИИ направлена на то, чтобы помочь организациям расти ответственно с технологией. Юристы, инженеры, социологи и бизнес-мыслители – все они являются заинтересованными сторонами в будущем ИИ. В нашей работе мы объединяем все эти точки зрения и практикуем творческое трение, чтобы найти лучшие решения. Мы разработали рамки, такие как исчисление намеренного риска, чтобы помочь ориентироваться в этих вопросах.

Спасибо за отличные ответы, читатели, которые хотят узнать больше, должны посетить Дилемму ИИ.