Огляд книги: The Infinity Machine: Деміс Хассабіс, DeepMind та пошук надінтелекта за допомогою штучного інтелекту Себастьяна Маллабі

Після того, як я раніше прочитав The Power Law, яку я вважаю найкращою книгою про венчурний капітал, я підійшов до останньої книги Себастьяна Маллабі з надзвичайно високими очікуваннями. The Infinity Machine: Деміс Хассабіс, DeepMind та пошук надінтелекта за допомогою штучного інтелекту не розчарував.

Як і The Power Law, книга успішна, оскільки Маллабі розуміє, що трансформаційні компанії не можуть бути пояснені лише через технології або фінансові результати. Їх потрібно розуміти через амбіції, особистості, суперництва та глибоко укорінені переконання людей, які їх будують.

The Infinity Machine частково є історією про підприємця, який створив одну з найважливіших компаній штучного інтелекту в історії. Однак, що ще важливіше, це історія про науковця, який випадково став підприємцем як засобом для追求 наукових питань.

Деміс Хассабіс не здається тим, хто заснував DeepMind в першу чергу для того, щоб стати багатим, знаменитим або відзначеним як технологічний засновник. Він здається тим, хто визначив інтелект як найважливішу проблему, над якою він міг працювати, і потім побудував своє життя навколо її вирішення.

Ця відмінність робить книгу такою привабливою.

Науковець перш за все, а потім підприємець

Маллабі відстежує шлях Хассабіса від дитини-чемпіона з шахів і дизайнера відеоігор до нейробіолога, дослідника штучного інтелекту та eventually співзасновника DeepMind. Книга ґрунтується на понад 30 годинах розмов з Хассабісом, поряд з понад 100 інтерв’ю з колегами, конкурентами, критиками та колишніми співробітниками.

Цей доступ дозволяє Маллабі представити Хассабіса не просто як публічне обличчя Google DeepMind, а як людину, чиї інтереси залишилися надзвичайно послідовними.

Шахи навчили його думати на кілька ходів вперед. Дизайн симуляційних ігор навчив його, як складні світи можуть виникнути з відносно простих правил. Нейробіологія заохотила його запитати, як пам’ять, уява, планування та інтелект працюють всередині людського мозку.

Ці заняття не були відокремленими етапами його кар’єри. Вони були різними підходами до однієї й тієї ж основної питання: Чи можна зрозуміти інтелект досить добре, щоб його можна було відтворити?

Що виділяється на протяженні всієї книги, це схильність Хассабіса звести проблеми до їхніх основ. Замість того, щоб починати з того, що існуюча технологія могла б досягти, він повторно починає з результату, який, на його думку, повинен бути можливим, і працює в зворотному напрямку.

Цей підхід з першої засади також пояснює його надзвичайно довгий горизонт часу. Хассабіс був готовий тримати проблему в своєму розумі протягом років – або навіть десятиліть – поки наука та обчислювання не просунулися досить, щоб він міг її належним чином атакувати.

Найяскравіший приклад – передбачення структури білка.

Розмова, яка засіяла насіння складання білка

Під час вивчення комп’ютерних наук у Кембриджі в 1990-х роках Хассабіс став друзями з біологами. Один з них був особливо зацікавлений у проблемі складання білка і пояснив, що розгадка цієї проблеми могла б революціонізувати біологію.

Хассабіс негайно визнав це як тип величезної пошукової проблеми, яку можна буде вирішити за допомогою штучного інтелекту. Він, як повідомляється, зберіг нотатки про наукові проблеми, які могли б стати придатними для алгоритмів, які він сподівався побудувати. Складання білка залишилося серед них майже два десятиліття.

Це одна з найбільш захопливих частин книги.

Звичайна розмова познайомила Хассабіса з проблемою, яка залишилася в його підсвідомості через університет, дослідження нейробіології, підприємництво, створення DeepMind та розвиток усе більш здатних систем навчання.

Щоб зрозуміти значення того, що відбулося далі, потрібно оцінити масштаб виклику.

Білки починаються як ланцюги амінокислот. Ці ланцюги складуються в складні тривимірні структури, а отримана форма визначає, що білок може робити всередині живої істоти. Тому розуміння цієї структури є важливим для вивчення захворювань, проектування ліків та розуміння багатьох механізмів, на яких залежить життя.

Трудність полягає в тому, що навіть відносно малий білок може теоретично прийняти астрономічну кількість можливих конфігурацій. Експериментальне визначення структури за допомогою методів, таких як рентгенівська кристалографія або криогенна електронна мікроскопія, може потребувати значного часу, експертизи та витрат.

Близько 50 років вчені боролися з надійним передбаченням тривимірної структури білка з його одновимірної амінокислотної послідовності. Виклик став однією з великих нерозв’язаних проблем у комп’ютерній біології.

Часто кажуть, що AlphaFold “вирішив складання білка”. Технічно це опис занадто широкий. AlphaFold перетворив передбачення структури білка; він не пояснює кожну стадію фізичного процесу складання, руху білка, неправильного складання або молекулярної взаємодії.

Ця кваліфікація не зменшує досягнення. Предбачення структур з майже експериментальною точністю було сам по собі проривом, який змінив цілу наукову галузь.

Ігри були тренувальним майданчиком, а не кінцевою метою

DeepMind не починався з біології. Його перші прориви прийшли через ігри.

Ігри пропонували щось безцінне для лабораторії штучного інтелекту: контрольовані середовища з чіткими правилами, вимірними результатами та величезною кількістю можливих рішень. Агент міг експериментувати, помилятися, отримувати зворотний зв’язок та покращуватися без двозначності та фізичної небезпеки реального світу.

Глибока мережа DeepMind продемонструвала, що одна система навчання могла освоїти широкий вибір ігор Atari з пікселів екрана та сигналів винагороди, а не інструкцій, специфічних для гри. Робота допомогла встановити глибоке навчання з підкріпленням як один з найбільш перспективних підходів у сучасному штучному інтелекті.

Наступним великим випробуванням стала гра Го.

Го опиралася традиційним підходам до обчислювань, оскільки кількість можливих позицій на дошці робила вичерпний пошук неможливим. Успіх вимагав розпізнавання закономірностей, стратегічного планування та здатності визначати перспективні ходи без розрахунку кожного потенційного результату.

У березні 2016 року AlphaGo перемогла легендарного гравця Го Лі Седола чотири гри до однієї. Більше 200 мільйонів людей спостерігали за тим, як машина демонструє ходи, які навіть елітні гравці спочатку боролися з розумінням.

AlphaGo Zero потім усунула залежність від людських ігрових записів. Починаючи лише з правил, вона навчилася, граючи проти себе, і в кінцевому підсумі перевершила попередню версію AlphaGo. AlphaZero узагальнила підхід далі, освоївши шахи, сьогі та Го через самозагравання без використання вручну створених стратегій або людських прикладів.

Ці системи не були прямими прототипами AlphaFold. Зв’язок між ними більш філософський та організаційний, ніж архітектурний.

Ігри навчили DeepMind, як будувати системи, здатні орієнтуватися у величезних просторах можливостей. Вони продемонстрували, що нейронні мережі, навчання з підкріпленням, пошук та величезні обчислення можуть розкрити рішення, які люди не явно запрограмували.

Що ще важливіше, вони дали Хассабісу впевненість, що штучний інтелект може рухатися далі класифікації та розпізнавання закономірностей до генерації справжніх корисних знань.

AlphaGo була історичним досягненням, але це ніколи не було кінцевою метою. Ігри були лабораторіями, в яких DeepMind могла розробляти ідеї, людей, інфраструктуру та впевненість, необхідні для боротьби з реальними науковими проблемами.

Предбачення структури білка було тим місцем, де оригінальна місія нарешті буде протестована.

AlphaFold і різниця між перемогою та вирішенням

DeepMind офіційно почав працювати над передбаченням структури білка в 2016 році. Його перша система AlphaFold взяла участь у конкурсі CASP13 з передбачення структури білка в 2018 році та досягла найвищої точності серед учасників.

Для багатьох організацій перемога в конкурсі була б достатньо. Це б генерувало заголовки, академічне визнання та доказ того, що проект був успішним.

Хассабіс хотів більшого.

Система, яка посіла перше місце у бенчмарку, але залишилася недостатньо надійною для щоденної наукової роботи, не真正о вирішила проблему. DeepMind розширив команду, призначив Джона Джампера на центральну дослідницьку роль та суттєво переробив систему, а не просто доопрацював свій перший підхід.

Результатом стала AlphaFold2.

На CASP14 у 2020 році AlphaFold2 досягла точності, яку організатори та дослідники вважали порівнюваною з експериментальними методами для багатьох білкових мішеней. Пов’язані дослідження продемонстрували, що комп’ютерне передбачення може регулярно наближатися до атомної точності, включаючи випадки, коли немає близької відомої структури.

DeepMind та Європейський інститут біоінформатики пізніше випустили передбачення, що охоплюють понад 200 мільйонів структур білка – майже кожен білок, каталогізований наукою. База даних була доступна понад трьом мільйонам дослідників з більш ніж 190 країн.

У 2024 році Хассабіс та Джампер поділили половину Нобелівської премії з хімії за передбачення структури білка, а інша половина була присуджена Девіду Бейкеру за проектування білка.

Послідовність подій відображає те, що я знайшов найбільш вражаючим у Хассабіса.

Він не здається задоволеним перемогою у прийнятій мірі проблеми. Він продовжує питати, чи真正о вирішена проблема.

Це перший принцип у його чистому вигляді. Бенчмарк – це лише проксі. Метою не є посісти перше місце. Метою є створити щось, що змінить те, що вчені можуть робити.

Сліпота LLM, яка допомогла OpenAI вийти вперед

Книга також прояснила одну з найбільш плутаних епізодів в недавній історії штучного інтелекту.

Дослідники Google представили архітектуру трансформера у визначній статті 2017 року Attention Is All You Need. Трансформери стали основою, на якій були побудовані сучасні великі мовні моделі.

Відтак Google не перетворив цей перевагу у продукт, який визначив епоху генерації штучного інтелекту. OpenAI випустила ChatGPT та встановила інтерфейс, через який сотні мільйонів людей вперше зустрілися з просунутим штучним інтелектом. Anthropic згодом виникла як інший лідер, особливо серед розробників та корпоративних користувачів.

Загальна версія цієї історії полягає в тому, що Google винайшла трансформер, а потім просто не побудувала мовні моделі. Це не зовсім точно. Google та DeepMind опублікували суттєві дослідження мовних моделей, включаючи модель Gopher DeepMind з 280 мільярдами параметрів у 2021 році.

Недолік не полягав у відсутності досліджень. Це була невдача стратегічної переконаності та виконання продукту.

Хассабіс спочатку сумнівався, що мова сама по собі може виробити справжній інтелект. Він вважав, що інтелектуальна система повинна бути заснована на світі через сприйняття, дію, робототехніку або симульовані середовища.

Його занепокоєння було розумним. Машина могла зберігати визначення ваги, але чи真正о зрозуміє вагу, якщо ніколи не піднімала нічого? Вона могла обробляти описи гравітації, але чи зрозуміє, що скло розіб’ється, коли його впустять?

Відповідно дослідницька програма DeepMind підкреслювала агентів, які діяли у іграх та симульованих світах. Їхні дослідники навіть побудували системи, спеціально призначені для зв’язку мови з сприйняттям та дією у тривимірних середовищах.

Що Хассабіс недооцінив, то те, як багато інформації про фізичний та соціальний світ вже було закодовано в людській мові. Великі моделі також могли успадкувати форму засновування через зворотний зв’язок від людей, які мали прямий досвід світу.

Хассабіс згодом визнав, що це була щось, чого він неправильно оцінив, описуючи мовні моделі як “необґрунтовано ефективні”.

Це була одна з найбільш цінних секцій книги, оскільки вона робить поведінку Google значно зрозумілішою.

Ззовні здається незрозумілим, чому організація, відповідальна за трансформер, дозволила OpenAI визначити епоху LLM. З точки зору інтелектуальної рамки Хассабіса це має сенс. Він шукав глибший форм інтелекту та спочатку вважав мовне передбачення неповним шляхом до нього.

Цей суд може в кінцевому підсумку виявитися правильним на рівні AGI. Мовні моделі самі по собі можуть бути недостатніми. Але як рішення щодо продукту та платформи це дало конкурентам надзвичайну можливість.

У моїх власних спостереженнях за ринком Gemini стала потужною системою та може перевершити конкурентні моделі в окремих оцінках. Однак все ще здається, що Google намагається переозначити категорію, чиї очікування були встановлені OpenAI та Anthropic.

Книга допомагає пояснити, як одна з організацій з найбільшою концентрацією талантів штучного інтелекту та інфраструктури опинилася в такому становищі.

Чому продаж DeepMind компанії Google був узгоджений з місією

Інший епізод, який змінив моє розуміння Хассабіса, – це продаж DeepMind компанії Google.

Міфологія засновників часто прославляє незалежність. Ідеальний підприємець повинен зберігати контроль, опиратися придбанню, будувати імперію та отримувати особисте визнання за створення домінантної компанії.

Хассабіс, здається, оцінив це рішення по-іншому.

Під час змагання за придбання DeepMind у 2013 році Ларрі Пейдж представив аргумент, який пішов прямо до пріоритетів Хассабіса. Якщо його справжня мета полягала у створенні AGI, чому витрачати роки на перебудову інфраструктури, залучення капіталу та будівництво компанії, порівнянної з Google, коли ресурси Google вже існували?

Розмови відбулися під час майже сюрреалістичної серії зустрічей з учасниками технологічних фігур, включаючи зустріч у орендованому замку в Нью-Йорку на день народження Ілона Маска.

Google могла запропонувати обчислювальну інфраструктуру, капітал, дослідницький талант та терпіння у масштабі, з яким незалежний DeepMind боровся б за повторення. Google також була готова прийняти умови, які DeepMind вважав важливими. Хассабіс у кінцевому підсумку вибрав Google,尽管 отримав більшу пропозицію від Facebook.

Переглянувши це через традиційну лінзу підприємництва, продаж DeepMind так рано міг здатися капітуляцією незалежності.

Переглянувши це через лінзу Хассабіса, залишення незалежності могло бути більшою відволіканням.

Його мета не полягала у тому, щоб стати засновником наступної Google. Його мета полягала у використанні найшвидшого достовірного шляху до будівництва AGI та застосування просунутого інтелекту до науки. Google скоротила цей шлях.

Придбання пізніше викликало справжні напруження щодо незалежності, управління, комерціалізації та етичних обмежень штучного інтелекту. Книга не говорить, що розміщення DeepMind всередині однієї з найбільших корпорацій світу вирішило ці питання. У деяких випадках це зробило їх ще більш складними.

Однак рішення показує щось важливе про Хассабіса. Він здається менше прив’язаним до традиційного статусу підприємництва, ніж до наукової місії, яку підприємництво зробило можливим.

Одна з хороших людей – але не непогрішимий

Хассабіс у кінцевому підсумку виглядає одним з хороших людей у перегонах штучного інтелекту.

Це не означає, що кожне рішення було правильним. Його коливання щодо мовних моделей було суттєвим. Відносини DeepMind з Google включали компроміси. Концентрація потужних систем штучного інтелекту всередині декількох корпорацій створює питання, на які добрі наміри самі по собі не можуть відповісти.

Його мотивація здається надзвичайно послідовною.

Він хоче зрозуміти інтелект. Він вважає, що просунутий штучний інтелект може прискорити наукове відкриття. Він повторно підкреслював важливість безпеки та необхідність розгляду довгострокових наслідків усе більш здатних систем. Найбільш суттєво, AlphaFold надає конкретні докази того, що його бачення штучного інтелекту як інструменту для науки є більш ніж просто амбіційною заявою.

Є різниця між обіцянкою того, що штучний інтелект принесе користь людству, та випуском інструменту, який використовують мільйони дослідників для кращого розуміння механізмів життя.

AlphaFold надає Хассабісу авторитет, якого мало хто з лідерів у перегонах AGI володіє.

Останні думки

The Infinity Machine успішна як біографія, історія DeepMind та доступний звіт про деякі з найбільш важливих проривів у сучасному штучному інтелекті. Вона також робить події, які ми спостерігали в реальному часі – від AlphaGo та AlphaFold до затриманої реакції Google на ChatGPT – відчутно більш цілісними.

Найпотужніший урок полягає не просто в тому, що Хассабіс винятково розумний, хоча він явно такий. Це те, що він був надзвичайно свідомим щодо вибору проблем, які заслуговують на цей інтелект.

Розмова з біологами познайомила його з проблемою складання білка десятиліттями до того, як штучний інтелект став здатним її вирішити. Він зберіг проблему в своєму розумі, побудував організацію та системи, необхідні для боротьби з нею, та повернувся до неї, коли технологія достатньо просунулася.

Більшість підприємців починають з доступної технології та шукають ринок. Хассабіс починав з питань, які, на його думку, могли б змінити людство, та працював над створенням технології, достатньо потужної, щоб відповісти на них.

Це робить The Infinity Machine такою запам’ятовуваною книгою, а Деміса Хассабіса – таким незвичайним персонажем в історії штучного інтелекту.