Джульетта Пауэлл и Арт Клейнер, авторы книги “Дилемма ИИ” – Интервью-серия

Книга “Дилемма ИИ” написана Джульеттой Пауэлл и Артом Клейнером.

Джульетта Пауэлл – автор, телевизионный создатель с 9000 прямыми шоу, и технолог и социолог. Она также является комментатором на Bloomberg TV/ Business News Networks и выступает на конференциях, организованных The Economist и Международным финансовым корпусом. Ее TED-доклад имеет 130 тысяч просмотров на YouTube. Джульетта определяет закономерности и практики успешных лидеров бизнеса, которые полагаются на этичный ИИ и данные, чтобы выиграть. Она преподает на факультете NYU’s ITP, где преподает четыре курса, включая “Навыки дизайна для ответственных СМИ”, курс, основанный на ее книге.

Арт Клейнер – писатель, редактор и футуролог. Его книги включают Эпоху еретиков, Кто действительно имеет значение, Привилегии и успех и Мудрые. Он был редактором strategy+business, награжденного журнала, опубликованного PwC. Арт также является давним членом факультета NYU-ITP и IMA, где его курсы включают совместное преподавание “Ответственная технология и будущее СМИ”.
“Дилемма ИИ” – это книга, которая фокусируется на опасностях технологии ИИ в неправильных руках, при этом признавая выгоды, которые ИИ приносит обществу.
Проблемы возникают, потому что лежащая в основе технология так сложна, что становится невозможным для конечного пользователя по-настоящему понять внутреннюю работу закрытой системы.
Одной из наиболее значительных проблем, подчеркиваемых в книге, является то, что определение ответственного ИИ всегда меняется, поскольку социальные ценности часто не остаются последовательными во времени.
Мне очень понравилось читать “Дилемму ИИ”. Это книга, которая не сенсационно описывает опасности ИИ или глубоко исследует потенциальные ловушки Искусственного общего интеллекта (ИОИ). Вместо этого читатели узнают о удивительных способах, которыми наши личные данные используются без нашего ведома, а также о некоторых текущих ограничениях ИИ и причинах беспокойства.
Ниже приведены некоторые вопросы, которые предназначены для того, чтобы показать нашим читателям, чего они могут ожидать от этой новаторской книги.
Что изначально вдохновило вас написать “Дилемму ИИ”?
Джульетта поступила в Колумбию, чтобы изучить пределы и возможности регулирования ИИ. Она слышала от друзей, работающих над проектами ИИ, о напряженности, присущей этим проектам. Она пришла к выводу, что существует дилемма ИИ, гораздо большая проблема, чем самоуправление. Она разработала модель Apex benchmark – модель того, как решения об ИИ склоняются к низкой ответственности из-за взаимодействия между компаниями и группами внутри компаний. Это привело к ее диссертации.
Арт работал с Джульеттой над несколькими проектами. Он прочитал ее диссертацию и сказал: “У вас есть книга”. Джульетта пригласила его стать соавтором. Работая над этим вместе, они обнаружили, что у них очень разные точки зрения, но они разделяют сильное мнение, что это сложное, высокорискованное явление ИИ потребует лучшего понимания, чтобы люди, использующие его, могли действовать более ответственно и эффективно.
Одной из фундаментальных проблем, подчеркиваемых в “Дилемме ИИ”, является то, что в настоящее время невозможно понять, является ли система ИИ ответственной или она увековечивает социальное неравенство, просто изучая ее исходный код. Насколько велика эта проблема?
Проблема не заключается в основном в исходном коде. Как отмечает Кэти О’Нил, когда есть закрытая система, это не только код. Это социотехническая система – человеческие и технологические силы, которые формируют друг друга – которая должна быть исследована. Логика, которая построила и выпустила систему ИИ, включала определение цели, определение данных, установку приоритетов, создание моделей, установку руководств и ограничений для машинного обучения и решение о том, когда и как человек должен вмешаться. Это та часть, которая должна быть прозрачной – по крайней мере, для наблюдателей и аудиторов. Риск социального неравенства и других рисков намного выше, когда эти части процесса скрыты. Вы не можете по-настоящему переработать логику дизайна из исходного кода.
Может ли сосредоточение внимания на Explainable AI (XAI) когда-либо решить эту проблему?
Для инженеров объяснимый ИИ в настоящее время рассматривается как группа технологических ограничений и практик, направленных на то, чтобы сделать модели более прозрачными для людей, работающих над ними. Для человека, который ложно обвинен, объяснимость имеет совершенно другое значение и срочность. Им нужна объяснимость, чтобы иметь возможность защитить себя. Нам всем нужна объяснимость в смысле того, чтобы сделать бизнес- или государственные решения, лежащие в основе моделей, ясными. По крайней мере, в США всегда будет напряженность между объяснимостью – правом человека знать – и правом организации конкурировать и инновировать. Аудиторы и регулирующие органы нуждаются в другом уровне объяснимости. Мы подробнее рассматриваем это в “Дилемме ИИ”.
Можете ли вы кратко поделиться своим мнением о важности привлечения заинтересованных сторон (компаний ИИ) к ответственности за код, который они выпускают в мир?
До сих пор, например, в случае с самоуправляемым автомобилем в Темпе, Аризона, который убил пешехода, оператор был привлечен к ответственности. Человек был посажен в тюрьму. В конечном итоге это была организационная неудача.
Когда мост обрушается, механический инженер привлекается к ответственности. Это потому, что механические инженеры обучены, постоянно переобучены и привлекаются к ответственности своей профессией. Инженеры-компьютерщики не привлекаются.
Должны ли заинтересованные стороны, включая компании ИИ, быть обучены и переобучены, чтобы принимать лучшие решения и нести больше ответственности?
Книга “Дилемма ИИ” много внимания уделяет тому, как компании, такие как Google и Meta, могут собирать и монетизировать наши личные данные. Можете ли вы поделиться примером значительного злоупотребления нашими данными, которое должно быть на виду у всех?
Из “Дилеммы ИИ”, страница 67 и далее:
Новые случаи систематического злоупотребления личными данными продолжают появляться в общественном поле зрения, многие из которых связаны с тайным использованием распознавания лиц. В декабре 2022 года MIT Technology Review опубликовал отчеты о давней практике iRobot. Роботы Roomba для дома записывают изображения и видео, сделанные в домах волонтеров-бета-тестеров, что неизбежно означает сбор интимных личных и семейных изображений. Эти изображения делятся без ведома тестеров с группами вне страны. В至少 одном случае изображение человека на туалете было опубликовано на Facebook. Тем временем в Иране власти начали использовать данные из систем распознавания лиц для отслеживания и ареста женщин, которые не носят хиджабов.
Не нужно больше рассказывать об этих историях. Их так много. Важно, однако, определить кумулятивный эффект жизни таким образом. Мы теряем чувство контроля над нашей жизнью, когда чувствуем, что наша частная информация может быть использована против нас в любой момент, без предупреждения.
Одна из опасных концепций, которая была поднята, заключается в том, что весь наш мир спроектирован так, чтобы быть без трения, с определением трения как “любая точка в пути клиента с компанией, где он сталкивается с препятствием, которое замедляет его или вызывает недовольство”. Как наше ожидание безтреневого опыта потенциально приводит к опасному ИИ?
В Новой Зеландии бот Pak’n’Save предложил рецепт, который создаст хлористый газ, если его использовать. Это было представлено как способ для клиентов использовать остатки и сэкономить деньги.
Безтрение создает иллюзию контроля. Это быстрее и легче слушать приложение, чем смотреть рецепт бабушки. Люди следуют пути наименьшего сопротивления и не понимают, куда это их ведет.
Трение, с другой стороны, творческое. Вы участвуете. Это приводит к реальному контролю. Реальный контроль требует внимания и работы, и – в случае ИИ – проведения расширенного анализа затрат и выгод.
С иллюзией контроля кажется, что мы живем в мире, где системы ИИ подталкивают людей, вместо того, чтобы люди оставались полностью под контролем. Можете ли вы привести примеры того, как люди коллективно верят, что они контролируют, когда на самом деле они не контролируют?
В Сан-Франциско сейчас, с роботакси. Идея самоуправляемых такси вызывает два противоречивых эмоций: волнение (“такси за гораздо более низкую цену!”) и страх (“будут ли они меня ударить?”). Таким образом, многие регулирующие органы предлагают, чтобы машины проходили тесты с людьми внутри, которые могут управлять системами. К сожалению, наличие людей настороже, готовых взять под контроль системы в режиме реального времени, может не быть хорошим тестом общественной безопасности. Чрезмерная уверенность – это частая динамика с системами ИИ. Чем более автономна система, тем больше человеческие операторы ей доверяют и не обращают полного внимания. Мы скучаем, наблюдая за этими технологиями. Когда происходит авария, мы не ожидаем этого и часто не реагируем вовремя.
Было проведено много исследований для этой книги, было ли что-то, что удивило вас?
Одним из вещей, которые действительно удивили нас, было то, что люди по всему миру не смогли согласиться, кто должен жить и кто должен умереть в симуляции Моральной машины о столкновении самоуправляемого автомобиля. Если мы не можем согласиться с этим, то трудно представить, что мы могли бы иметь единое глобальное управление или универсальные стандарты для систем ИИ.
Вы оба описываете себя как предпринимателей, как то, что вы узнали и сообщили, повлияет на ваши будущие усилия?
Наша практика консультирования по ИИ ориентирована на то, чтобы помочь организациям расти ответственно с технологией. Юристы, инженеры, социологи и бизнес-мыслители – все это заинтересованные стороны в будущем ИИ. В нашей работе мы объединяем все эти точки зрения и практикуем творческое трение, чтобы найти лучшие решения. Мы разработали такие рамки, как калькулятор намеренного риска, чтобы помочь ориентироваться в этих вопросах.
Спасибо за отличные ответы, читателям, которые хотят узнать больше, следует посетить Дилемму ИИ.