Шумиха вокруг апокалипсиса ИИ и модные ИИ-кафе: вопросы управления, которые нельзя упускать

Мы обречены? Обладает ли ИИ сознанием? И зачем компании, занимающиеся ИИ, открывают кафе?

Эти вопросы яркие, тревожные и — особенно когда речь идёт о сознании — по-настоящему сложные. Кроме того, они затягивают нас в самые умозрительные или эмоционально захватывающие темы, связанные с ИИ. Между тем менее эффектные вопросы уже влияют на жизнь людей: кто несёт ответственность, если система ИИ причиняет вред? Какие данные и чей труд сделали её создание возможным? На какие решения ей следует позволить влиять? И кто может высказать своё мнение?

Я не считаю, что каждый, кто говорит об экзистенциальных рисках, обсуждает сознание машин или открывает кафе, обязательно делает это, чтобы уйти от этих вопросов. Каждая из этих тем сама по себе заслуживает внимания. Но наше внимание ограничено. Когда в центре внимания оказывается драматичный сюжет, стоит спросить, что ещё осталось за кадром.

Притягательность осязаемого ИИ

Индустрия ИИ начала давать физические адреса своим преимущественно нематериальным продуктам. Временная площадка Anthropic в Нью-Йорке под названием «Zero Slop Zone» приглашала посетителей замедлиться, выпить кофе, почитать книги и взять в руки бумагу и ручку; Perplexity открыла Cafe Curious — кафе в Сеуле, где ИИ компании стал частью впечатлений посетителей. Материалы о временной площадке Anthropic и сеульском кафе Perplexity описывают две разные попытки перенести абстрактную технологию в привычную общественную среду.

В этом есть определённый смысл. Большинство людей не могут увидеть языковую модель, изучить инфраструктуру, на которой она работает, или легко представить, что происходит между запросом и ответом. Кафе становится своеобразным осязаемым воплощением: помещение, чашка, разговор. Благодаря этому с компанией и её технологией проще познакомиться — и, возможно, лучше их понять.

Есть и ещё один аспект. Физическое пространство делает компанию заметной в местном сообществе. Оно как минимум говорит: «Мы здесь, в этом месте, сейчас». В отрасли, где продукты, правила и ожидания быстро меняются, это может внушать уверенность. Но заметность — не то же самое, что подотчётность. Гостеприимное пространство может сделать технологию привычнее, но не расскажет, как её обучали, в каких случаях на неё можно положиться и какие средства защиты доступны человеку, если она допускает серьёзную ошибку.

Это различие перекликается с мыслью, к которой я возвращаюсь уже много лет: цифровой опыт никогда не бывает только цифровым. Он связан с местами, отношениями и институтами, в которых оказываются люди. Вопрос дизайна заключается не только в том, как сделать систему ИИ более доступной и понятной. Важно и то, помогает ли взаимодействие с ней понять её ограничения и сохранить реальную возможность влиять на происходящее.

Споры о сознании — и люди, на которых ИИ уже влияет

Это же различие важно и в спорах о сознании ИИ. Нет единого мнения о том, возможно ли сознание у машин, какие свидетельства могли бы это подтвердить и как неопределённость должна влиять на наши обязанности. Аргумент Анила Сета в Noema состоит в том, что интеллект и сознание не следует считать взаимозаменяемыми понятиями; недавние материалы The Guardian также объясняют, почему этот вопрос остаётся открытым. На него не найти простого ответа.

Но неопределённость насчёт внутреннего мира машины не делает неопределёнными сегодняшние вопросы о последствиях для людей. Ответственность возникает не только после того, как мы определим, что такое сознание. Она возникает, когда организации создают, внедряют и используют системы, влияющие на людей, чтобы получать от них прибыль.

Вот вопросы, которые можно изучать уже сейчас. Какие данные использовали для обучения системы и на каких условиях? Кто готовит и проверяет её результаты? Насколько хорошо она работает с разными группами людей? Что происходит, когда систему применяют в здравоохранении, при найме, в образовании или государственных службах? Может ли человек оспорить автоматизированную рекомендацию, обратиться к тому, кто принимает решения, и получить содержательное объяснение?

Это не гипотетические опасения. В обзоре предвзятости медицинского ИИ описывается, как предвзятые данные и проектные решения могут приводить к несправедливым клиническим решениям. Исследования влияния ИИ на занятость тем временем продолжаются: анализ рынка труда Anthropic предлагает один из способов оценить подверженность влиянию ИИ, а обзор Hamilton Project предупреждает, что данных о масштабных последствиях для рынка труда пока недостаточно. Эти источники по-разному оценивают, какие выводы можно сделать сегодня, но оба подчёркивают: последствия нужно измерять, а не подменять доказательства уверенными рассуждениями.

То, как мы говорим о системах, тоже может быть сопряжено с риском. Человеческие имена, голоса и манера вести разговор могут создавать впечатление, что ИИ — скорее человек, чем продукт. Это может влиять на доверие и на то, насколько люди полагаются на его ответы. Вполне уместно спросить, не отвлекают ли разговоры о сознании или антропоморфный дизайн внимание от организаций, которые задают системе цели и ограничения. В одном из материалов MIT Technology Review утверждается, что рассуждения о сознании могут затуманивать вопрос корпоративной ответственности. Это утверждение о последствиях такого подхода, а не доказательство того, что у каждого, кто поднимает этот вопрос, есть скрытый мотив.

Апокалиптические прогнозы — не план управления

Экзистенциальный риск заслуживает самого серьёзного внимания. Катастрофические последствия не становятся менее важными из-за существования более близких по времени угроз, а угрозы ближайшего будущего не становятся менее важными из-за возможности катастрофы. Нам не нужно выбирать один временной горизонт и игнорировать другой.

Но когда весь разговор сводится к вопросу «Обречены ли мы?», долгосрочные риски вновь заслоняют собой нынешние угрозы. Обречённость может звучать как приговор, а не как призыв к действию: если исход неизбежен, зачем утруждать себя непростой работой по его изменению? В материале The New Yorker о курсе по экзистенциальным рискам рассказывается о вопросе студента, связанном со «строительством соборов»: зачем браться за создание чего-то, что может пережить тебя, если ты веришь, что мир может погибнуть? Ответ не в том, что риски исчезают. Дело в том, что неопределённость не лишает нас ни способности, ни ответственности решать, что важно дальше, и помогать определять, что произойдёт.

Именно это я имею в виду, говоря о своей философии «стратегического оптимизма». Это не легкомысленное «всё будет хорошо» и не отказ смотреть на факты. Она предполагает признание реальных рисков, работу над их снижением и одновременно серьёзные усилия ради будущего, к которому стоит стремиться. Надежда не противоположна строгости. Она может помочь строгости не терять связи с действием.

Вопросы управления, скрытые за внешним эффектом

Покупает ли организация инструмент ИИ, разрабатывает его или формирует политику в отношении него — практические вопросы менее эффектны, чем кафе или заявления о сознании, зато полезнее:

• Цель: Какую проблему должна решить система и подходит ли для этого ИИ?
• Доказательства: Как систему тестировали, в том числе с участием разных пользователей и на менее распространённых случаях?
• Ограничения: Какие решения должны оставаться за человеком и чего система не может делать?
• Ответственность: Кто отвечает, если система даёт сбой, и как люди, которых это затронуло, могут обжаловать решение?
• Прозрачность: Могут ли люди понять, когда используется ИИ и какая информация повлияла на его результат?
• Постоянный надзор: Кто после запуска отслеживает эффективность системы, изменения в данных и непреднамеренные последствия?

Такие рамки, как система управления рисками ИИ NIST, помогают организациям структурированно выявлять риски и управлять ими на протяжении всего жизненного цикла системы ИИ. Ни одна рамка не заменит здравого суждения или общественной дискуссии, но управление становится конкретнее, когда чётко определены обязанности, проверки и способы добиться возмещения ущерба.

Управлять нужно и физической инфраструктурой. Для работы ИИ нужны центры обработки данных, электричество, вода, земля и финансирование — не только интерфейсы. Материал о структуре финансирования крупного проекта центра обработки данных поднимает вопросы о том, как раскрываются инфраструктурные риски и на ком в конечном счёте лежит ответственность за них. Кафе может помочь людям познакомиться с ИИ, но само по себе не способно сделать понятной инфраструктуру, на которой он основан.

Так что наслаждайтесь кафе. Задавайте большие вопросы о сознании. Серьёзно относитесь к катастрофическим рискам. А затем вернитесь к решениям, которые мы можем изучить и на которые можем повлиять уже сейчас: что создаётся, кто получает выгоду, кто несёт издержки и какие меры защиты предусмотрены на случай сбоя.

Будущее — не приговор, вынесенный заголовком. Это совокупность решений, которые принимают компании, учреждения, правительства и сообщества и которые ещё можно оспорить и изменить. Важно спросить не только о том, обречены ли мы. Нужно также понять, какие условия позволят ИИ служить благополучию людей и что мы готовы сделать, чтобы эти условия стали реальностью.