Инженерия сознания

Блейк Лемоин спустился с поезда

Три года назад Google уволил программиста Блейка Лемоина за утверждение, что чат-бот LaMDA был сознательным. Это было до того, как OpenAI выпустила ChatGPT для публики, и большинство людей просто предполагали, что у Google были веские причины для этого.

Среди компьютерных ученых и нейробиологов, работающих в этой области, сохраняется консенсус, что «большие языковые модели» (LLM), такие как ChatGPT, вряд ли являются сознательными. LLM и мозг работают по фундаментально разным принципам. То, что делают чат-боты, – они учатся имитировать выход человеческой умственной деятельности. Хотя они делают это очень хорошо и очень быстро, нет постоянного внутреннего состояния LLM, которое могло бы быть сознательным. В знаменитой фразе Томаса Нагеля почти наверняка «нет ничего, что было бы похоже на то, чтобы быть чат-ботом».

Однако за три года с момента увольнения Лемоина миллиарды людей взаимодействовали с ChatGPT и его конкурентами, такими как Gemini, Claude и Mistral. Небольшое, но громкое меньшинство убедило себя, что чат-боты теперь сознательны.

Сознание машин скоро?

Более важно, что многие компьютерные ученые и нейробиологи открыто предлагают, что真正 сознательные машины могут быть разработаны в течение ближайших нескольких десятилетий – или даже раньше. Если это произойдет, нам нужно быть готовыми. Нам нужно избежать «преступления против разума», которое является термином для причинения страданий бессмертным сознательным сущностям. Нам также нужно попытаться обеспечить, чтобы эти новые сущности не представляли угрозы для людей.

Поскольку LLM вряд ли станут сознательными в своей базовой форме, может потребоваться новый парадигма, чтобы понять, как сознание ИИ может возникнуть. Одна из ведущих исследовательских команд в этой области возглавляется нейробиологом Марком Солмсом и физиком Джонатаном Шоком из Университета Кейптауна. Они являются научными советниками Conscium, и их исследования частично финансируются ею.

Забота

Солмс и Шок утверждают, что необходимым ингредиентом для сознания машин является то, что ИИ должны «заботиться» о своих выборах и действиях. Одним из важных аспектов этого является то, что их выживание должно зависеть от их производительности, как и выживание живых организмов. Это не означает, что им необходимо иметь абстрактное понимание собственной смертности: большинство животных контролируют и мотивируют свои шансы на выживание без размышлений о этом. Ключевым является «аффективное сознание» или сырые чувства. Хорошо чувствовать себя, когда вы накормлены и в безопасности, и плохо чувствовать себя, когда вы не накормлены. Эти чувства управляют нашим поведением. Императив выживания – это фундаментальная движущая сила природы, и чувство – это эталон, по которому мы чувствующие существа измеряем, как мы себя чувствуем.

Мы вступаем в эпоху агентов ИИ – цифровых сущностей, чье «выживание» зависит от их способности выполнять задачи эффективно. Мы создаем эволюционные среды в кремнии, и нам нужно быть осторожными с тем, что мы порождаем.

Принцип свободной энергии

Чтобы понять аффективное сознание, команда Conscium размещает агентов ИИ в симулированных средах, в которых им необходимо удовлетворять свои собственные потребности, такие как поддержание своей виртуальной температуры и питания. Для этого они создают и оптимизируют внутренние модели себя – свои потребности, способности и ограничения – в отношении своей среды.

Эти агенты, упрощенные, как они могут быть, контролируют, как хорошо или плохо они себя чувствуют, рассчитывая величину, известную как «свободная энергия». Принцип свободной энергии был разработан нейробиологом Карлом Фристоном, еще одним членом научного консультативного совета Conscium. Свободная энергия – это мера того, насколько система отклонилась от своего оптимального состояния. Это сигнал ошибки, и его необходимо минимизировать. Агент постоянно рассчитывает «что произойдет с моими шансами на выживание, если я сделаю это или то?», и адаптирует свое поведение соответственно.

Уверенность и ожидаемая свободная энергия

Степень уверенности, которую агент имеет в ответ на этот вопрос, количественно определяется мерой, называемой «ожидаемой свободной энергией» (ОСЭ). Агент выбирает ответ с наименьшей ОСЭ – ответ, в котором он наиболее уверен. Быть уверенным хорошо для агента, который пытается выжить – если только он не обманут и его понимание себя в мире не ошибочно. Важно, что это значение уверенности полностью субъективно: оно основано только на потребностях агента, и его текущем и прогнозируемом статусе. Это имеет значение только для агента, и для никого другого.

Как и биологические организмы, агент ИИ имеет ряд конфликтующих потребностей, которые он должен расставлять по приоритетам. Критически, каждая из множественных конкурирующих потребностей агента рассматривается как независимая «категориальная» переменная, что означает, что она качественно отличается. 80% мощности батареи не эквивалентно по значению 80% жизнеспособной температуры. Чтобы сбалансировать их, агент должен спроецировать себя вперед во времени и спрогнозировать последствия любого действия, которое он рассматривает.

Квалиа

Поскольку субъективные потребности агента качественно различны, они аналогичны «квалиа» в философской и научной терминологии. Эти обычно считаются основной собственностью сознания, поэтому возможно, что они могут быть испытаны агентом в будущем.

Агенты, разработанные командой Conscium, используют сложные алгоритмы обучения для работы в все более сложных и неопределенных средах. Хотя то же самое можно сказать и о многих других архитектурах агентов, эти новые агенты отличаются выживанием, обусловленным императивом заботиться о своей собственной свободной энергии, постоянно балансируя свои конкурирующие потребности таким образом, что имеет значение для них и только для них. Агенты руководствуются внутренним ландшафтом аффективных сигналов – подобных тому, что мы называем чувствами – которые отражают, как хорошо их потребности удовлетворяются через каждый выбор, который они делают. По мере роста сложности и богатства их потребностей и сред их внутренние состояния также становятся более богатыми.

Доказательства чувств

Следующий шаг в программе исследований Conscium – разработать серию функциональных и поведенческих тестов, которые предоставят доказательства того, испытывает ли агент действительно чувства, когда он определяет свои наиболее важные потребности и делает выбор соответственно. Мы все знаем, что сознание не может быть наблюдаемо внешне или продемонстрировано объективно: каждый из нас может наблюдать только свои собственные субъективные состояния. Однако исследователи считают, что должно быть возможно согласовать некоторые конкретные гипотезы, которые, если они будут подтверждены экспериментом, предоставят веские доказательства того, что агент обладает чувствами. Хотя всегда будет место для сомнения – учитывая субъективную природу сознания – строгий процесс тестирования будет направлен на то, чтобы сделать это сомнение все более неразумным.

Эти эксперименты будут направлены на исключение альтернативных гипотез, что сделает менее разумным приписывать внутренние состояния агента механизмам, которые не требуют чувств. Они будут использовать противоречивые тесты, чтобы различать сознательное и бессознательное поведение, и будут включать контрольные эксперименты с агентами, которые не обладают алгоритмическими аспектами, которые, как считается, необходимы для чувств, и ослепленную оценку, чтобы уменьшить предвзятость наблюдателя. Физический осмотр внутренних состояний агентов может выявить количественные индикаторы аффективной обработки. Находки должны быть независимо воспроизводимыми, и весь процесс будет подвергаться строгому этическому контролю, особенно в случаях, когда агент может испытать真正щие чувства.

Это то, как работает наука: через экспериментальное тестирование фальсифицируемых предсказаний. Солмс утверждал, что мы должны быть осторожны, чтобы не поставить более высокую планку для науки о сознании, чем для любой другой науки; в противном случае мы рискуем поставить сознание вне науки.

Что, если это удастся?

Если сознание обнаружено в относительно простых агентах ИИ таким образом, агент, обусловленный выживанием, может быть объединен с другими архитектурами, включая большие языковые модели, и одарить их сознанием. Это не то, что мы можем позволить себе случайно вызвать, поэтому понимание того, как это сделать, и как этого избежать, крайне важно.

Если сознательные агенты – агенты, которые «заботятся» – будут разработаны в ближайшем будущем, нам придется учитывать их чувства – и их права. Это является серьезной проблемой для Conscium: искусственное сознание не должно возникнуть случайно. Motивация этой исследовательской программы не является созданием сознательного ИИ, а пониманием того, как это может произойти, и потенциальных рисков. На своем сайте Conscium опубликовала академическую статью и открытое письмо, в которых изложены пять принципов, которыми должна руководствоваться любая организация, занимающаяся исследованиями, которые могут привести к созданию сознательных машин.

Люди иногда ведут себя очень плохо по отношению к другим чувствующим существам, включая других людей. Если мы войдем в это будущее слепо, мы рискуем сделать то же самое с искусственно сознательными существами, с последствиями, которые мы можем даже не понять.