Обзор книги: Машина бесконечности: Демис Хассабис, DeepMind и поиск сверхинтеллекта Себастьяна Маллаби

Прочитав ранее Закон силы, который я считаю лучшей книгой о венчурном капитале, я подошел к последней книге Себастьяна Маллаби с необычно высокими ожиданиями. Машина бесконечности: Демис Хассабис, DeepMind и поиск сверхинтеллекта не разочаровал.

Как и Закон силы, книга преуспевает потому, что Маллаби понимает, что трансформирующие компании нельзя объяснить только через технологии или финансовые результаты. Их необходимо понимать через амбиции, личности, соперничество и глубоко укоренившиеся убеждения людей, которые их строят.

Машина бесконечности частично является историей об предпринимателе, создающем одну из наиболее важных компаний искусственного интеллекта в истории. Более важно, однако, это история о ученом, который использует предпринимательство как средство для решения научных вопросов.

Демис Хассабис не кажется человеком, который основал DeepMind в первую очередь для того, чтобы стать богатым, знаменитым или признанным как технологический лидер. Он кажется человеком, который определил интеллект как наиболее значимую проблему, над которой он мог работать, и затем построил свою жизнь вокруг ее решения.

Эта разница является тем, что делает книгу такой привлекательной.

Ученый в первую очередь и предприниматель во вторую

Маллаби описывает путь Хассабиса от ребенка-шахматного вундеркинда и дизайнера видеоигр до нейробиолога, исследователя ИИ и сооснователя DeepMind. Книга основана на более чем 30 часах разговоров с Хассабисом, а также на более чем 100 интервью с коллегами, конкурентами, критиками и бывшими сотрудниками.

Такой доступ позволяет Маллаби представить Хассабиса не просто как публичное лицо Google DeepMind, а как человека, чьи интересы остались удивительно последовательными.

Шахматы научили его думать на несколько ходов вперед. Дизайн симуляционных игр научил его, как сложные миры могут возникнуть из относительно простых правил. Нейробиология побудила его задуматься о том, как память, воображение, планирование и интеллект работают внутри человеческого мозга.

Эти занятия не были разными стадиями его карьеры. Они были разными подходами к одному и тому же основному вопросу: можно ли понять интеллект достаточно хорошо, чтобы его воссоздать?

То, что выделяется на протяжении всей книги, – это склонность Хассабиса сводить проблемы к их основам. Вместо того, чтобы начинать с того, что могла бы достичь существующая технология, он повторно начинал с результата, который, по его мнению, должен быть возможным, и работал в обратном направлении.

Этот подход с первого принципа также объясняет его необычно долгосрочную перспективу. Хассабис был готов держать проблему в своем уме в течение лет – или даже десятилетий – пока наука и вычислительная техника не продвинутся достаточно, чтобы он мог ее решить должным образом.

Самый яркий пример – предсказание структуры белков.

Разговор, который посадил семя сворачивания белков

Во время изучения компьютерных наук в Кембридже в 1990-х годах Хассабис подружился с биологами. Один из них был особенно увлечен проблемой сворачивания белков и объяснил, что решение этой проблемы может изменить биологию.

Хассабис сразу же признал это как тип огромной проблемы поиска, которая может быть решена с помощью искусственного интеллекта. Он, как сообщается, хранил заметки о научных проблемах, которые могли бы стать подходящими для алгоритмов, которые он надеялся построить. Сворачивание белков оставалось среди них почти два десятилетия.

Это одна из наиболее увлекательных частей книги.

Казалось бы, обычный разговор познакомил Хассабиса с проблемой, которая останется в его уме через университет, исследования нейробиологии, предпринимательство, создание DeepMind и разработку все более способных систем обучения.

Чтобы понять значение того, что последовало, необходимо оценить масштаб проблемы.

Белки начинаются как цепочки аминокислот. Эти цепочки сворачиваются в сложные трехмерные структуры, и полученная форма в основном определяет, что может сделать белок внутри живого организма. Поэтому понимание этой структуры имеет решающее значение для изучения заболеваний, проектирования лекарств и понимания многих механизмов, на которых зависит жизнь.

Трудность заключается в том, что даже относительно небольшой белок может теоретически принять астрономическое количество возможных конфигураций. Экспериментальное определение структуры с помощью методов, таких как рентгеновская кристаллография или криогенная электронная микроскопия, может потребовать значительного времени, опыта и расходов.

В течение примерно 50 лет ученые боролись с надежным предсказанием трехмерной структуры белка из его одномерной последовательности аминокислот. Проблема стала одной из величайших нерешенных проблем в вычислительной биологии.

Часто говорят, что AlphaFold “решил проблему сворачивания белков”. Технически это описание слишком широкое. AlphaFold преобразовал предсказание структуры белков; он не объясняет каждый этап физического процесса сворачивания, движения белка, неправильного сворачивания или молекулярного взаимодействия.

Это ограничение не умаляет достижения. Предсказание структур с почти экспериментальной точностью само по себе было прорывом, который изменил целую научную область.

Игры были тренировочной площадкой, а не пунктом назначения

DeepMind не начал с биологии. Его ранние прорывы были достигнуты через игры.

Игры предлагали что-то бесценное лаборатории ИИ: контролируемые среды с четкими правилами, измеримыми результатами и огромным количеством возможных решений. Агент мог экспериментировать, терпеть неудачу, получать обратную связь и улучшаться без неоднозначности и физического риска, связанного с работой в реальном мире.

Глубокая сеть Q-обучения DeepMind продемонстрировала, что одна система обучения может освоить широкий выбор игр Atari с помощью пикселей экрана и сигналов вознаграждения, а не игровых инструкций. Работа помогла установить глубокое обучение с подкреплением как один из наиболее перспективных подходов в современном ИИ.

Следующим крупным испытанием стала игра Го.

Го сопротивлялась традиционным вычислительным подходам, поскольку количество возможных позиций на доске сделало исчерпывающий поиск невозможным. Успех требовал распознавания образов, стратегического планирования и способности выявлять перспективные ходы без расчета каждого потенциального исхода.

В марте 2016 года AlphaGo победила легендарного игрока в Го Ли Седоля четыре игры из пяти. Более 200 миллионов человек наблюдали, как машина демонстрирует ходы, которые даже элитные игроки изначально испытывали трудности в понимании.

AlphaGo Zero затем удалила зависимость от человеческих записей игр. Начиная только с правил, она училась, играя против себя, и в конечном итоге превзошла предыдущую версию AlphaGo. AlphaZero еще больше расширил подход, освоив шахматы, сёги и Го через самообучение без использования ручных стратегий или примеров, предоставленных человеком.

Эти системы не были прямыми прототипами AlphaFold. Связь более философская и организационная, чем архитектурная.

Игры научили DeepMind, как строить системы, способные ориентироваться в огромных пространствах возможностей. Они продемонстрировали, что нейронные сети, обучение с подкреплением, поиск и огромные вычислительные ресурсы могут обнаружить решения, которые люди не явно запрограммировали.

Более важно, они дали Хассабису уверенность в том, что ИИ может выйти за рамки классификации и распознавания образов, чтобы генерировать действительно полезные идеи.

AlphaGo была историческим достижением, но оно никогда не было конечной целью. Игры были лабораториями, в которых DeepMind могла разработать идеи, людей, инфраструктуру и уверенность, необходимые для решения реальных научных проблем.

Предсказание структуры белков было местом, где исходная миссия наконец будет проверена.

AlphaFold и разница между победой и решением

DeepMind официально начал работать над предсказанием структуры белков в 2016 году. Его первая система AlphaFold приняла участие в конкурсе CASP13 по предсказанию структуры белков в 2018 году и достигла наивысшей точности среди участников.

Для многих организаций победа в конкурсе была бы достаточно. Это бы генерировало заголовки, академическое признание и доказательство того, что проект был успешным.

Хассабис хотел большего.

Система, которая возглавила конкурс, но осталась недостаточно надежной для повседневной научной работы, не решила проблему. DeepMind расширил команду, поставил Джона Джампера на центральную исследовательскую должность и существенно переработал систему, вместо того, чтобы просто усовершенствовать свой первый подход.

Результатом стала AlphaFold2.

На CASP14 в 2020 году AlphaFold2 достигла точности, которую организаторы и исследователи считали сопоставимой с экспериментальными методами для многих целей белков. Связанные исследования продемонстрировали, что вычислительное предсказание может регулярно достигать атомной точности, включая случаи, когда нет близкой известной структуры.

DeepMind и Европейский институт биоинформатики позже выпустили предсказания, охватывающие более 200 миллионов структур белков – почти каждый белок, каталогизированный наукой. База данных с тех пор была доступна более чем трем миллионам исследователей из более чем 190 стран.

В 2024 году Хассабис и Джампер разделили половину Нобелевской премии по химии за предсказание структуры белков, а другую половину получил Дэвид Бейкер за вычислительный дизайн белков.

Последовательность событий отражает то, что я нашел наиболее впечатляющим в Хассабисе.

Он, кажется, не удовлетворен победой в принятой мере проблемы. Он постоянно спрашивает, действительно ли проблема была решена.

Это мышление с первого принципа в его чистейшей форме. Бенчмарк – это только прокси. Цель – не занять первое место. Цель – создать что-то, что изменит то, что могут делать ученые.

Слепое пятно LLM, которое помогло OpenAI обогнать

Книга также прояснила один из наиболее запутанных эпизодов в недавней истории ИИ.

Исследователи Google представили архитектуру трансформера в знаковом документе 2017 года Attention Is All You Need. Трансформеры стали основой, на которой были построены современные большие языковые модели.

Однако Google не смогла превратить это преимущество в продукт, который определил бы эру генеративного ИИ. OpenAI выпустила ChatGPT и установила интерфейс, через который сотни миллионов людей впервые встретились с передовым ИИ. Anthropic позже появилась как другой лидер, особенно среди разработчиков и корпоративных пользователей.

Распространенная версия этой истории заключается в том, что Google изобрела трансформер и затем просто не построила языковые модели. Это не совсем точно. Google и DeepMind опубликовали значительные исследования языковых моделей, включая модель Gopher с 280 миллиардами параметров от DeepMind в 2021 году.

Неудача не была отсутствием исследований. Это была неудача стратегической убежденности и продукта.

Хассабис первоначально сомневался, что язык один может произвести настоящий интеллект. Он считал, что интеллектуальная система должна быть основана в мире через восприятие, действие, робототехнику или симулированные среды.

Его беспокойство было разумным. Машина могла хранить определение веса, но действительно ли она понимала вес, не поднимая ничего? Она могла обрабатывать описания гравитации, но действительно ли она понимала, что стакан разобьется, когда его уронят?

Исследовательская программа DeepMind, следовательно, подчеркивала агентов, которые действовали внутри игр и симулированных миров. Их исследователи даже построили системы, специально предназначенные для соединения языка с восприятием и действием в трехмерных средах.

Что Хассабис недооценил, так это то, сколько информации о физическом и социальном мире уже было закодировано в человеческом языке. Большие модели также могли унаследовать форму основы через обратную связь от людей, которые напрямую испытывали мир.

Хассабис с тех пор признал, что это было что-то, что он неправильно оценил, описывая языковые модели как “неправомерно эффективные”.

Это было одним из наиболее ценных разделов книги, поскольку оно делает поведение Google намного более понятным.

Снаружи казалось непонятным, что организация, ответственная за трансформер, позволила OpenAI определить эру LLM. Изнутри интеллектуальной рамки Хассабиса это имеет больше смысла. Он искал более глубокий вид интеллекта и первоначально считал предсказание языка неполным путем к нему.

Такой суд может в конечном итоге оказаться правильным на уровне ИИ. Языковые модели сами по себе могут быть недостаточными. Но как решение продукта и платформы, оно дало конкурентам необыкновенную возможность.

В моем собственном наблюдении за рынком Gemini стала грозной системой и может превзойти конкурирующие модели в отдельных оценках. Однако все еще кажется, что Google пытается переопределить категорию, чьи ожидания были установлены OpenAI и Anthropic.

Книга помогает объяснить, как одна из организаций с наибольшей концентрацией талантов и инфраструктуры ИИ оказалась в этом положении.

Почему продажа DeepMind Google была последовательна с миссией

Другой эпизод, который изменил мое понимание Хассабиса, – это продажа DeepMind Google.

Мифология основателей обычно прославляет независимость. Идеальный предприниматель должен сохранять контроль, сопротивляться приобретению, строить империю и получать личное признание за создание доминирующей компании.

Хассабис, кажется, оценил решение иначе.

Во время соревнования за приобретение DeepMind в 2013 году Ларри Пейдж представил аргумент, который напрямую затронул приоритеты Хассабиса. Если его фактическая цель заключалась в создании ИИ, почему тратить годы на перестройку инфраструктуры, привлечение капитала и создание компании, сравнимой с Google, когда ресурсы Google уже существовали?

Разговоры разворачивались среди почти сюрреалистической серии встреч с участием Пейджа, Марка Цукерберга, Илона Маска и других технологических деятелей, включая собрание в арендованном замке в Нью-Йорке на день рождения Маска.

Google могла предложить вычислительную инфраструктуру, капитал, исследовательский талант и терпение в масштабе, который независимый DeepMind испытывал бы трудности в воспроизведении. Она также была готова принять этические условия, которые DeepMind считала важными. Хассабис в конечном итоге выбрал Google, несмотря на то, что, по сообщениям, получил более крупное предложение от Facebook.

С точки зрения традиционной предпринимательской точки зрения продажа DeepMind так рано могла показаться отказом от независимости.

С точки зрения Хассабиса оставаться независимым могло быть большим отвлечением.

Его целью было не стать известным как основатель следующей Google. Его целью было использовать самый быстрый достоверный путь к созданию ИИ и применению передового интеллекта к науке. Google сократил этот путь.

Приобретение позже произвело реальные напряжения по поводу независимости, управления, коммерциализации и этических пределов ИИ. Книга не предполагает, что размещение DeepMind внутри одной из крупнейших корпораций в мире решило эти вопросы. В некоторых отношениях это сделало их более трудными.

Тем не менее, решение раскрывает что-то важное о Хассабисе. Он, кажется, менее привязан к традиционному статусу предпринимательства, чем к научной миссии, которую предпринимательство сделало возможным.

Один из хороших парней – но не непогрешимый

Хассабис в конечном итоге кажется одним из хороших парней в гонке ИИ.

Это не означает, что каждое решение было правильным. Его колебания по поводу языковых моделей были значимыми. Отношения DeepMind с Google включали компромиссы. Концентрация мощных систем ИИ внутри небольшого числа корпораций создает вопросы, которые добрые намерения не могут ответить.

Но его мотивы, кажется, необычно последовательны.

Он хочет понять интеллект. Он считает, что передовой ИИ может ускорить научные открытия. Он повторно подчеркивал безопасность и необходимость учитывать долгосрочные последствия все более способных систем. Наиболее важно, AlphaFold предоставляет конкретные доказательства того, что его видение ИИ как инструмента для науки является более чем просто красноречивой фразой.

Есть разница между обещанием того, что ИИ принесет пользу человечеству, и выпуском инструмента, используемого миллионами исследователей для лучшего понимания механизмов жизни.

AlphaFold дает Хассабису авторитет, которого не обладают многие другие лидеры в гонке ИИ.

Окончательные мысли

Машина бесконечности преуспевает как биография, история DeepMind и доступный отчет о некоторых из наиболее важных прорывов в современном искусственном интеллекте. Она также делает события, которые мы наблюдали в реальном времени – от AlphaGo и AlphaFold до задержки Google в ответ на ChatGPT – значительно более связными.

Самый мощный урок заключается не в том, что Хассабис исключительно умён, хотя он явно таков. Это то, что он был необычно намерен в решении, какие проблемы заслуживают этого интеллекта.

Разговор с биологами-студентами познакомил его с проблемой сворачивания белков десятилетиями раньше, чем ИИ был способен решить ее. Он сохранил проблему в уме, построил организацию и системы, необходимые для ее решения, и вернулся к ней, когда технология достаточно продвинулась.

Большинство предпринимателей начинают с доступной технологии и ищут рынок. Хассабис начал с вопросов, которые, по его мнению, могли изменить человечество, и работал над созданием технологии, достаточно мощной, чтобы ответить на них.

Это то, что делает Машину бесконечности такой запоминающейся книгой и Демиса Хассабиса таким необычным человеком в истории искусственного интеллекта.