Recenzja książki: The Infinity Machine: Demis Hassabis, DeepMind i poszukiwanie superinteligencji autorstwa Sebastiana Mallaby

Przeczytawszy wcześniej The Power Law, którą uważam za najlepszą książkę o venture capital, podszedłem do najnowszej książki Sebastiana Mallaby z niezwykle wysokimi oczekiwaniami. The Infinity Machine: Demis Hassabis, DeepMind i poszukiwanie superinteligencji nie zawiodła.

Podobnie jak The Power Law, książka odnosi sukces, ponieważ Mallaby rozumie, że przełomowe firmy nie mogą być wyjaśnione wyłącznie przez technologie lub wyniki finansowe. Muszą być zrozumiane poprzez ambicje, osobowości, rywalizację i głęboko zakorzenione przekonania ludzi, którzy je budują.

The Infinity Machine jest częściowo historią przedsiębiorcy tworzącego jedną z najważniejszych firm sztucznej inteligencji w historii. Co więcej, jest to historia naukowca, który używa przedsiębiorczości jako środka do prowadzenia badań naukowych.

Demis Hassabis nie wydaje się osobą, która założyła DeepMind głównie po to, aby stać się bogatym, sławnym lub uczczonym jako założyciel technologii. Wydaje się osobą, która zidentyfikowała inteligencję jako najbardziej konsekwencjalny problem, nad którym mogła pracować, i zbudowała swoje życie wokół jego rozwiązania.

To rozróżnienie jest tym, co sprawia, że książka jest tak przekonywująca.

Naukowiec przede wszystkim, a przedsiębiorca na drugim miejscu

Mallaby śledzi ścieżkę Hassabisa od dziecka prodigium szachowego i projektanta gier wideo do neurobiologa, badacza sztucznej inteligencji i współzałożyciela DeepMind. Książka opiera się na ponad 30 godzinach rozmów z Hassabisem, obok ponad 100 wywiadów z kolegami, konkurentami, krytykami i byłymi współpracownikami.

Ten dostęp pozwala Mallaby przedstawić Hassabisa nie tylko jako publiczną twarz Google DeepMind, ale jako osobę, której zainteresowania pozostały nadzwyczaj spójne.

Szachy nauczyły go myśleć kilka ruchów do przodu. Projektowanie symulacji gier nauczyło go, jak złożone światy mogą powstać z relativnie prostych zasad. Neurobiologia zachęciła go do zadawania pytań o to, jak pamięć, wyobraźnia, planowanie i inteligencja działają w ludzkim mózgu.

Te zajęcia nie były odłączonymi od siebie etapami jego kariery. Były one różnymi podejściami do tego samego podstawowego pytania: Czy inteligencję można zrozumieć wystarczająco dobrze, aby ją odtworzyć?

Co wyróżnia się na przestrzeni całej książki, to tendencja Hassabisa do redukowania problemów do ich podstaw. Zamiast zaczynać od tego, co istniejąca technologia mogłaby osiągnąć, wielokrotnie zaczynał od wyniku, który uważał, że powinien być możliwy, i pracował wstecz.

Ten podejście pierwszych zasad wyjaśnia również jego niezwykle długi horyzont czasowy. Hassabis był skłonny trzymać problem w swoim umyśle przez lata – lub nawet dziesięciolecia – aż nauka i komputery rozwinęły się wystarczająco, aby mógł go właściwie zaatakować.

Najbardziej oczywistym przykładem jest predykcja struktury białka.

Rozmowa, która zasiali nasiona białkowego problemu składania

Podczas studiów informatycznych w Cambridge w latach 90. Hassabis zaprzyjaźnił się ze studentami biologii. Jeden z nich był szczególnie zafascynowany problemem składania białka i wyjaśnił, że rozwiązanie tego problemu mogłoby przekształcić biologię.

Hassabis natychmiast rozpoznał to jako rodzaj ogromnego problemu wyszukiwania, który mógłby być kiedyś zaadresowany za pomocą sztucznej inteligencji. Miał notatki na temat naukowych problemów, które mogłyby kiedyś stać się odpowiednie dla algorytmów, które chciał zbudować. Składanie białka pozostało wśród nich przez prawie dwie dekady.

To jedna z najbardziej fascynujących części książki.

Wyglądało na to, że zwykła rozmowa wprowadziła Hassabisa w problem, który pozostał w tyle jego umysłu przez uniwersytet, badania neurobiologiczne, przedsiębiorczość, tworzenie DeepMind i rozwój coraz bardziej zdolnych systemów uczenia.

Aby zrozumieć znaczenie tego, co nastąpiło, trzeba docenić skalę wyzwania.

Białka zaczynają się jako łańcuchy aminokwasów. Te łańcuchy składają się w złożone trójwymiarowe struktury, a wynikowa kształt w dużej mierze określa, co białko może zrobić w żywym organizmie. Zrozumienie tej struktury jest więc niezbędne do badania chorób, projektowania leków i zrozumienia wielu mechanizmów, na których opiera się życie.

Trudność polega na tym, że nawet stosunkowo małe białko może teoretycznie przyjąć astronomiczną liczbę możliwych konfiguracji. Eksperymentalne określenie struktury za pomocą metod takich jak krystalografia rentgenowska lub mikroskopia elektronowa w temperaturze ciekłego azotu może wymagać znacznego czasu, ekspertyzy i nakładów.

Przez około 50 lat naukowcy zmagali się z niezawodną predykcją trójwymiarowej struktury białka z jego jednowymiarowej sekwencji aminokwasów. Wyzwanie stało się jednym z wielkich nierozwiązanych problemów w bioinformatyce.

Często mówi się, że AlphaFold „rozwiązał składanie białka”. Technicznie, opis ten jest zbyt szeroki. AlphaFold przekształcił predykcję struktury białka; nie wyjaśnia każdego etapu fizycznego procesu składania, ruchu białka, nieprawidłowego składania ani interakcji molekularnej.

To kwalifikacja nie zmniejsza osiągnięcia. Predykcja struktur z dokładnością zbliżoną do eksperymentalnej była sama w sobie przełomem, który zmienił całą naukową dziedzinę.

Gry były placem treningowym, a nie celem

DeepMind nie zaczynał od biologii. Jego wczesne przełomy przyszły dzięki grze.

Gry oferowały coś niezwykle cennego laboratorium AI: kontrolowane środowiska z jasnymi zasadami, mierzalnymi wynikami i ogromną liczbą możliwych decyzji. Agent mógł eksperymentować, awariować, otrzymywać informacje zwrotne i poprawiać się bez niejasności i fizycznego ryzyka działania w świecie rzeczywistym.

Głęboka sieć DeepMind udowodniła, że pojedynczy system uczenia może opanować szeroki wybór gier Atari z pikseli ekranu i sygnałów nagrody, a nie instrukcji gry. Praca ta pomogła ustanowić głębokie uczenie wzmocnione jako jeden z najbardziej obiecujących podejść w nowoczesnym AI.

Kolejnym dużym testem była gra Go.

Go opierała się na tradycyjnych podejściach komputerowych, ponieważ liczba możliwych pozycji na planszy uczyniła wyczerpujące wyszukiwanie niemożliwym. Sukces wymagał rozpoznawania wzorców, planowania strategicznego i umiejętności identyfikowania obiecujących ruchów bez obliczania każdego potencjalnego wyniku.

We marca 2016 roku AlphaGo pokonała legendarnego gracza Go Lee Sedola cztery gry do jednej. Ponad 200 milionów ludzi obejrzało maszynę, która wykonała ruchy, których nawet elita graczy początkowo nie potrafiła zrozumieć.

AlphaGo Zero następnie usunął zależność od ludzkich rekordów gry. Zaczynając tylko od zasad, nauczył się grając przeciwko sobie i ostatecznie przewyższył wcześniejszą wersję AlphaGo. AlphaZero uogólnił podejście dalej, opanowując szachy, shogi i Go poprzez samą grę bez polegania na opracowanych strategiach lub przykładach ludzkich.

Te systemy nie były bezpośrednimi prototypami AlphaFold. Połączenie jest bardziej filozoficzne i organizacyjne niż architektoniczne.

Gry nauczyły DeepMind, jak budować systemy zdolne do nawigowania w ogromnych przestrzeniach możliwości. Udowodniły, że sieci neuronowe, uczenie wzmocnione, wyszukiwanie i ogromne ilości obliczeń mogą odkryć rozwiązania, których ludzie nie wyraźnie zaprogramowali.

Co więcej, dały Hassabisowi pewność, że AI może wyjść poza klasyfikację i dopasowanie wzorców, aby wygenerować prawdziwie użyteczne spostrzeżenia.

AlphaGo było historycznym osiągnięciem, ale nigdy nie było ostatecznym celem. Gry były laboratoriami, w których DeepMind mogło rozwijać pomysły, ludzi, infrastrukturę i zaufanie potrzebne do konfrontacji z prawdziwymi naukowymi problemami.

Predykcja struktury białka była miejscem, gdzie oryginalna misja zostałaby ostatecznie przetestowana.

AlphaFold i różnica między wygrywaniem a rozwiązywaniem

DeepMind formalnie rozpoczął pracę nad predykcją struktury białka w 2016 roku. Jego pierwszy system AlphaFold wziął udział w konkursie CASP13 w 2018 roku i osiągnął najwyższą dokładność wśród uczestników.

Dla wielu organizacji wygranie konkursu byłoby wystarczające. Wygenerowałoby to nagłówki, uznanie akademickie i dowód, że projekt powiódł się.

Hassabis chciał więcej.

System, który zajął najwyższe miejsce w benchmarku, ale pozostał niewystarczająco niezawodny dla codziennej pracy naukowej, nie rozwiązał naprawdę problemu. DeepMind rozszerzył zespół, umieścił Johna Jumpiera w centralnej roli badawczej i znacznie przeprojektował system, zamiast po prostu udoskonalić swoje pierwsze podejście.

Wynikiem było AlphaFold2.

Na CASP14 w 2020 roku AlphaFold2 osiągnął dokładność, którą organizatorzy i badacze uważali za porównywalną z metodami eksperymentalnymi w przypadku wielu celów białkowych. Związane z tym badania wykazały, że predykcja komputeryjna może regularnie osiągać dokładność atomową, w tym w przypadkach, w których nie było dostępnego znanych struktur.

DeepMind i Europejski Instytut Bioinformatyki później wydali predykcje obejmujące ponad 200 milionów struktur białkowych – prawie każde białko skatalogowane przez naukę. Baza danych została od tego czasu wykorzystana przez ponad 3 miliony badaczy z ponad 190 krajów.

W 2024 roku Hassabis i Jumper podzielili połowę Nagrody Nobla w dziedzinie chemii za predykcję struktury białka, a drugą połowę otrzymał David Baker za projektowanie białka komputeryjnego.

Ciąg zdarzeń ujmuje to, co uważam za najbardziej imponujące w Hassabisie.

On nie wydaje się zadowolony z wygrywania przyjętej miary problemu. On ciągle pyta, czy podstawowy problem został naprawdę rozwiązany.

To jest myślenie pierwszych zasad w jego najczystszej formie. Benchmark jest tylko proxy. Celem nie jest zajęcie pierwszego miejsca. Celem jest stworzenie czegoś, co zmienia to, co naukowcy są w stanie zrobić.

Ślepa plamka LLM, która pomogła OpenAI wyprzedzić

Książka wyjaśnia również jeden z najbardziej zagadkowych epizodów w niedawnej historii AI.

Badacze Google wprowadzili architekturę transformatora w przełomowym artykule z 2017 roku Attention Is All You Need. Transformator stał się podstawą, na której zbudowano nowoczesne duże modele językowe.

Jednak Google nie przekształcił tej przewagi w produkt, który zdefiniowałby erę generatywnej AI. OpenAI wydał ChatGPT i ustanowił interfejs, za pomocą którego setki milionów ludzi po raz pierwszy spotkały się z zaawansowaną AI. Anthropic później pojawił się jako inny lider, szczególnie wśród deweloperów i użytkowników przedsiębiorstw.

Typowa wersja tej historii brzmi, że Google wynalazł transformator, a następnie po prostu nie zbudował modeli językowych. To nie jest całkiem dokładne. Google i DeepMind opublikowali znaczące badania nad modelami językowymi, w tym 280-miliardowy model Gopher DeepMind w 2021 roku.

Awaria nie była brakiem badań. Była to awaria strategicznej pewności i wykonania produktu.

Hassabis początkowo wątpił, czy język sam w sobie może wytworzyć prawdziwą inteligencję. Uważał, że inteligentny system musi być ugruntowany w świecie przez percepcję, działanie, robotykę lub symulowane środowiska.

Jego obawa była uzasadniona. Maszyna mogłaby przechowywać definicję ciężaru, ale czy naprawdę zrozumie ciężar, jeśli nigdy nie podniosła czegoś? Mogłaby przetwarzać opisy grawitacji, ale czy zrozumie, że szklanka roztrzaska się, gdy zostanie upuszczona?

Agenda badawcza DeepMind konsekwentnie podkreślała agenci, którzy działali w grach i symulowanych światach. Ich badacze nawet zbudowali systemy specjalnie zaprojektowane do łączenia języka z percepcją i działaniem w trójwymiarowych środowiskach.

Co Hassabis niedocenił, to to, jak wiele informacji o świecie fizycznym i społecznym zostało już zakodowanych w języku ludzkim. Duże modele mogły również odziedziczyć formę ugruntowania poprzez informacje zwrotne od ludzi, którzy doświadczyli świata bezpośrednio.

Hassabis od tego czasu przyznał, że to było coś, czego nie docenił, opisując modele językowe jako „niewiarygodnie skuteczne”.

To była jedna z najcenniejszych części książki, ponieważ wyjaśnia zachowanie Google w sposób bardziej zrozumiały.

Od zewnątrz wydawało się niewyjaśnione, dlaczego organizacja odpowiedzialna za transformator pozwoliła OpenAI zdefiniować erę LLM. Z perspektywy ramy intelektualnej Hassabisa ma to więcej sensu. Szukał głębszej formy inteligencji i początkowo uważał predykcję języka za niepełną drogę do niej.

To osąd może ostatecznie okazać się słuszny na poziomie AGI. Modele językowe same w sobie mogą nie być wystarczające. Ale jako decyzja o produkcie i platformie dała konkurentom nadzwyczajną okazję.

W mojej własnej obserwacji rynku Gemini stał się potężnym systemem i może przewyższyć konkurencyjne modele w poszczególnych ocenach. Jednak nadal wydaje się, że Google próbuje przedefiniować kategorię, której oczekiwania zostały ustanowione przez OpenAI i Anthropic.

Książka pomaga wyjaśnić, jak jedna z organizacji z największą koncentracją talentów i infrastruktury AI znalazła się w tej sytuacji.

Dlaczego sprzedaż DeepMind do Google była spójna z misją

Inny epizod, który zmienił moje zrozumienie Hassabisa, to sprzedaż DeepMind do Google.

Mity założycielskie tendencję do celebrowania niezależności. Ideał przedsiębiorcy ma zachować kontrolę, oprzeć się przejęciu, zbudować imperium i otrzymać uznanie za stworzenie dominującej firmy.

Hassabis wydaje się ocenił tę decyzję inaczej.

Podczas konkursu w 2013 roku, aby nabyć DeepMind, Larry Page przedstawił argument, który trafił prosto do priorytetów Hassabisa. Jeśli jego rzeczywistym celem było stworzenie AGI, dlaczego spędzać lata na odbudowie infrastruktury, zbieraniu kapitału i budowaniu firmy porównywalnej do Google, gdy zasoby Google już istniały?

Rozmowy odbywały się wśród niemal surrealistycznej serii spotkań z udziałem Page, Marka Zuckerberga, Elona Muska i innych postaci technologicznych, w tym spotkania w wynajętym zamku w Nowym Jorku z okazji urodzin Muska.

Google mógł zaoferować infrastrukturę obliczeniową, kapitał, talent badawczy i cierpliwość w skali, której niezależny DeepMind miałby trudności z odtworzeniem. Był również przygotowany do zaakceptowania warunków etycznych, które DeepMind uważał za ważne. Hassabis ostatecznie wybrał Google, pomimo doniesień o otrzymaniu większej oferty od Facebooka.

Widziane przez konwencjonalną lense przedsiębiorczości, sprzedaż DeepMind tak wcześnie mogłaby wyglądać na rezygnację z niezależności.

Widziane przez pryzmat Hassabisa, pozostanie niezależnym mogłoby być większym rozproszeniem.

Jego celem nie było stanie się znany jako założyciel następnego Google. Było to użycie najszybszej wiarygodnej trasy w kierunku budowy AGI i zastosowania zaawansowanej inteligencji w nauce. Google skrócił tę trasę.

Przejęcie wytworzyło później prawdziwe napięcia dotyczące niezależności, zarządzania, komercjalizacji i granic etycznych AI. Książka nie sugeruje, że umieszczenie DeepMind wewnątrz jednej z największych korporacji na świecie rozwiązało te pytania. W pewnych ways to utrwaliło.

Jednak decyzja ujawnia coś ważnego o Hassabisie. Wydaje się mniej przywiązany do konwencjonalnego statusu przedsiębiorczości niż do misji naukowej, którą przedsiębiorczość umożliwiła.

Jeden z dobrych facetów – ale nie nieomylny

Hassabis ostatecznie wydaje się jednym z dobrych facetów w wyścigu AI.

To nie oznacza, że każda decyzja była prawidłowa. Jego wahanie w kwestii modeli językowych było istotne. Stosunki DeepMind z Google obejmowały kompromisy. Koncentracja potężnych systemów AI wewnątrz niewielkiej liczby korporacji podnosi pytania, na które dobre intencje same w sobie nie mogą odpowiedzieć.

Jednak jego motywacje wydają się niezwykle spójne.

Chce zrozumieć inteligencję. Uważa, że zaawansowana AI może przyspieszyć odkrycia naukowe. Powtarzał, że kładzie nacisk na bezpieczeństwo i potrzebę rozważania długoterminowych konsekwencji coraz bardziej zdolnych systemów. Co najważniejsze, AlphaFold dostarcza konkretnych dowodów, że jego wizja AI jako instrumentu naukowego jest czymś więcej niż aspiracją.

Istnieje różnica między obietnicą, że AI będzie korzystne dla ludzkości, a wydaniem narzędzia używanego przez miliony badaczy, aby lepiej zrozumieć mechanizm życia.

AlphaFold daje Hassabisowi wiarygodność, której niewielu innych liderów w wyścigu AGI nie posiada.

Końcowe myśli

The Infinity Machine odnosi sukces jako biografia, historia DeepMind i przystępny opis kilku z najważniejszych przełomów w nowoczesnej sztucznej inteligencji. Wyjaśnia również wydarzenia, które byliśmy świadkami w czasie rzeczywistym – od AlphaGo i AlphaFold po opóźnioną reakcję Google na ChatGPT – czyniąc je znacznie bardziej spójnymi.

Najpotężniejsza lekcja nie polega po prostu na tym, że Hassabis jest wyjątkowo inteligentny, choć wyraźnie nim jest. To to, że był niezwykle celowy w decyzjach, które problemy zasługują na tę inteligencję.

Rozmowa z studentami biologii wprowadziła go w problem składania białka dziesięciolecia przed AI, które mogło go zaadresować. Zbudował organizację i systemy potrzebne do konfrontacji z tym problemem i wrócił do niego, gdy technologia wystarczająco się rozwinęła.

Co sprawia, że The Infinity Machine jest tak niezwykłą książką, a Demis Hassabis tak niezwykłą postacią w historii sztucznej inteligencji.