Мы больше не объединяем ИИ. Мы объединяем цивилизации.

На протяжении многих лет главным вопросом в области искусственного интеллекта (ИИ) было согласование моделей ИИ с человеческими ценностями. Исследователи пытались определить правила безопасности, этические принципы и механизмы контроля, определяющие решения ИИ. В этой работе был достигнут значительный прогресс. Но теперь, по мере того, как эти системы ИИ становятся всё более совершенными и распространёнными, фокус согласования начинает смещаться. То, что начиналось как задача согласования единой модели с единым набором инструкций, теперь превратилось в гораздо более масштабную задачу согласования целых цивилизаций, использующих эти системы в глобальном масштабе. ИИ — это уже не просто инструмент. Он превращается в среду, в которой общества работают, общаются, ведут переговоры и конкурируют. В результате согласование больше не остаётся технической проблемой. Оно стало проблемой цивилизационной. В этой статье я объясняю, почему согласование — это уже не просто модели, и почему мы должны мыслить категориями цивилизаций, а не машин. Я также рассматриваю, как этот сдвиг влияет на наши обязанности и что он означает для глобального сотрудничества.

Чьи ценности на самом деле представляет ИИ?

Если спросить ИИ о каком-то деликатном историческом событии, его ответ будет зависеть от изученных им данных. Если эти данные взяты в основном из западного интернета, ответ будет иметь западную предвзятость. В приоритете будут индивидуализм, открытость слова и демократические идеалы. Для многих это хорошие ценности. Но это не единственные ценности в мире.

Пользователь из Сингапура, пользователь из Эр-Рияда и пользователь из Сан-Франциско по-разному понимают, что «полезно», а что «вредно». В некоторых культурах социальная гармония важнее абсолютной свободы слова. В других — уважение к иерархии важнее, чем нарушение порядка.

Когда компания из Кремниевой долины использует «Обучение с подкреплением на основе отзывов людей(RLHF) они нанимают людей для оценки ответов ИИ. Но кто эти люди? Каковы их убеждения? Если они приведут модель в соответствие с американскими стандартами, они невольно создадут американский культурный экспорт. Они создадут цифрового дипломата, который будет навязывать правила одной конкретной цивилизации остальному миру.

Рост петель обратной связи

Проблема не только в том, что ИИ отражает убеждения одной культуры. Проблема в том, как эти убеждения могут изменить нас. Современные системы ИИ способны формировать поведение отдельных людей, организаций и даже целых народов. Они могут влиять на то, как мы думаем, работаем, доверяем и конкурируем. Это создаёт циклы обратной связи между системами ИИ и человеческим обществом: мы обучаем ИИ, а ИИ формирует наше мышление и действия. Эти циклы становятся всё сильнее по мере того, как ИИ становится всё более распространенным. Чтобы понять, как работает этот цикл обратной связи, приведём два примера:

• Масштабное внедрение ИИ меняет социальное поведение, а социальное поведение, в свою очередь, меняет данные, используемые для обучения новых систем. Например, рекомендательный алгоритм может определять, что люди смотрят, читают и во что верят. Инструменты повышения производительности меняют способы совместной работы команд и способы обучения студентов. Эти изменения в поведении изменяют шаблоны данных, формируя различные привычки просмотра, модели общения на рабочем месте или стили письма. Когда эти данные попадают в будущие наборы данных для обучения, модели соответствующим образом корректируют свои предположения и результаты. Человеческое поведение формирует модели, а модели, в свою очередь, формируют человеческое поведение.
• Автоматизированные инструменты принятия решений влияют на государственную политику, а государственная политика – на обучение будущих моделей. Например, многие правительства используют ИИ, чтобы подсказать, куда направить ресурсы, например, определить, каким районам требуется дополнительная медицинская поддержка или в каких районах может быть повышен риск преступности. Когда политики действуют в соответствии с этими рекомендациями, результаты этих решений впоследствии становятся частью новых наборов данных. Со временем политические решения, принимаемые с помощью ИИ, в конечном итоге формируют следующее поколение моделей ИИ.

Осознав эту обратную связь, становится ясно, что ИИ постепенно формирует и гармонизирует цивилизации. В результате страны начинают задаваться вопросом: как защитить свои ценности, интегрируя ИИ в свои общества и институты?

Появление суверенного ИИ

Эта проблема согласования вызвала бурную реакцию правительств по всему миру. Государства осознали, что опора на импортный ИИ — это риск для их суверенитета. Они не могут позволить себе, чтобы их граждан обучал, информировал и консультировал «чёрный ящик», мыслящий как иностранец.

Это осознание привело к росту «Суверенный ИИ». Франция — это инвестирование В значительной степени для создания моделей, говорящих по-французски и понимающих французское законодательство и культуру. Индия building Местные модели ИИ для обеспечения сохранения культурных ценностей. Объединённые Арабские Эмираты и Китай разрабатывают модели ИИ, соответствующие их национальному видению.

Это новая гонка вооружений. Это гонка за контроль над повествованием. Цивилизация, не имеющая собственного ИИ, в конечном итоге потеряет собственную память. Если ваши дети зададут машине вопрос, а машина ответит, используя логику другой культуры, ваша культура начнёт разрушаться. Однако это осознание может привести к формированию отдельных цифровых блоков. В конечном итоге мы можем получить западный ИИ, китайский ИИ, индийский ИИ и так далее. Эти системы будут оперировать разными фактами и разными моральными принципами. Эти разработки ясно показывают, что если мы хотим создать единую, действительно согласованную модель ИИ, мы должны сначала найти способ согласовать цивилизации.

Необходимость дипломатического ИИ

Традиционное согласование предполагает, что модель можно согласовать посредством тщательного обучения, подсказок и соблюдения ограничений. Этот подход исходит из технического мышления ранних исследований безопасности ИИ. Но даже идеальное согласование на уровне модели не может решить проблемы согласования цивилизаций. Согласование не может оставаться стабильным, когда общества тянут их в противоположные стороны. Если у стран, компаний и сообществ есть конфликтующие цели, они будут подталкивать системы ИИ к отражению этих конфликтов. Эти ограничения показывают, что согласование — это не только техническая проблема. Это проблема управления, культуры и координации. И эти проблемы требуют не только экспертов или разработчиков. Они затрагивают целые цивилизации.

Итак, как нам двигаться дальше? Если мы признаем, что всеобщее выравнивание невозможно, нам необходимо изменить стратегию. Нам нужно перестать искать техническое решение философской проблемы. Нам нужно начать мыслить как дипломаты. Нам нужно разработать протоколы для «цивилизационного выравнивания». Нам нужно понять, как ИИ может уважать убеждения и ценности общества, не навязывая ему убеждения других культур. Другими словами, нам нужна цифровая Организация Объединённых Наций для наших алгоритмов.

Это требует прозрачности. В настоящее время мы точно не знаем, какие значения скрыты в глубинных слоях нейронной сети. Мы видим только выходные данные. Чтобы согласовать цивилизации, нам необходимо чётко понимать «конституцию» каждой модели. Модель должна иметь возможность заявлять о своей предвзятости. Она должна иметь возможность сказать: «Я обучена на этих данных, с этими правилами безопасности, и эти значения имеют приоритет». Только когда предвзятость очевидна, мы можем доверять системе. Пользователь должен иметь возможность переключаться между точками зрения. У вас должна быть возможность задать вопрос и посмотреть, как отвечает «западная» модель, а не «восточная». Это превратит ИИ в инструмент понимания, а не в инструмент индоктринации.

Выводы

Мы слишком много времени потратили на переживания о Терминаторе. Реальный риск заключается не в том, что робот нас уничтожит. Реальный риск заключается в том, что робот заставит нас забыть, кто мы есть. Согласование — это не код, который можно написать один раз и забыть. Это постоянное взаимодействие с моделями ИИ, чтобы они соответствовали нашим убеждениям и ценностям. Это политический акт. Переходя в следующую фазу эпохи интеллекта, мы должны смотреть за пределы экрана. Мы должны учитывать, как ИИ интерпретирует нашу историю, наши границы и наши убеждения. Мы создаём разум, который поможет нам управлять миром. Мы должны убедиться, что этот разум уважает различия между цивилизациями.