Recenze knihy: The Infinity Machine: Demis Hassabis, DeepMind a hledání superinteligence Sebastiana Mallabyho

Předtím, než jsem přečetl The Power Law, který považuji za nejlepší knihu o venture kapitálu, jsem se obrátil na Sebastiana Mallabyho s neobvykle vysokými očekáváními. The Infinity Machine: Demis Hassabis, DeepMind a hledání superinteligence nebyla zklamáním.

Jako The Power Law se kniha daří, protože Mallaby rozumí, že transformační společnosti nelze vysvětlit pouze pomocí technologie nebo finančních výsledků. Musí být chápány prostřednictvím ambicí, osobností, rivality a hluboce zakořeněných přesvědčení lidí, kteří je budují.

The Infinity Machine je částečně příběh o podnikateli, který vytváří jednu z nejdůležitějších umělých inteligencí v historii. Ještě důležitější je však příběh o vědci, který používá podnikání jako prostředek pro řešení vědeckých otázek.

Demis Hassabis se nejeví jako někdo, kdo založil DeepMind především proto, aby se stal bohatým, slavným nebo oslavovaným jako technologický zakladatel. Jeví se jako někdo, kdo identifikoval inteligenci jako nejvýznamnější problém, na kterém mohl pracovat, a poté vytvořil svůj život kolem jeho řešení.

To je to, co dělá knihu tak poutavou.

Vědec jako první a podnikatel jako druhý

Mallaby sleduje Hassabisovu cestu od dětského šachového prodigy a návrháře videoher k neurovědcovi, výzkumníkovi AI a nakonec k spoluzakladateli DeepMind. Kniha vychází z více než 30 hodin rozhovorů s Hassabisem, spolu s více než 100 rozhovory s kolegy, konkurenty, kritiky a bývalými spolupracovníky.

Tento přístup umožňuje Mallabymu představit Hassabise ne jako pouhý veřejný obraz Google DeepMind, ale jako osobu, jejíž zájmy zůstaly pozoruhodně konzistentní.

Šachy ho naučily myslet několik tahů dopředu. Návrh simulačních her ho naučil, jak komplexní světy mohou vzniknout z relativně jednoduchých pravidel. Neurověda ho pobízela, aby se zeptal, jak paměť, představivost, plánování a inteligence fungují uvnitř lidského mozku.

Tyto činnosti nebyly oddělenými fázemi jeho kariéry. Byly to různé přístupy ke stejné základní otázce: Může být inteligence dostatečně dobře pochopena, aby mohla být rekonstruována?

Co se během celé knihy vynořuje, je Hassabisova tendence redukovat problémy na jejich základy. Místo toho, aby začal s tím, co stávající technologie mohla dokázat, opakovaně začal s výsledkem, o kterém věřil, že by měl být možný, a pracoval zpětně.

Tento přístup z prvního principu také vysvětluje jeho neobvykle dlouhou časovou perspektivu. Hassabis byl ochoten držet problém v hlavě po roky – nebo dokonce desetiletí – dokud věda a výpočetní technika dostatečně pokročily, aby ho mohl správně napadnout.

Nejzřetelnějším příkladem je předpověď proteinové struktury.

Rozhovor, který zasadil semeno proteinového skládání

Zatímco studoval počítačovou vědu na Cambridgi v 90. letech, Hassabis se spřátelil s biologickými studenty. Jeden z nich byl zvláště fascinován problémem proteinového skládání a vysvětlil, že jeho rozlousknutí by mohlo transformovat biologii.

Hassabis okamžitě rozpoznal, že se jedná o typ obrovského vyhledávacího problému, který by mohl být jednou řešen pomocí umělé inteligence. Údajně si vedl poznámky o vědeckých problémech, které by mohly být jednou vhodné pro algoritmy, které doufal postavit. Proteinové skládání zůstalo mezi nimi po téměř dvě desetiletí.

To je jedna z nejvíce poutavých částí knihy.

Zdánlivě obyčejný rozhovor zavedl Hassabise do problému, který by zůstal v zadní části jeho mysli po univerzitě, neurovědeckém výzkumu, podnikání, vytvoření DeepMind a vývoji stále schopnějších učících se systémů.

Chcete-li pochopit význam toho, co následovalo, je nutné ocenit rozsah výzvy.

Proteiny začínají jako řetězce aminokyselin. Tyto řetězce se skládají do složitých trojrozměrných struktur a výsledná forma značně určuje, co může protein dělat uvnitř živého organismu. Porozumění této struktuře je proto nezbytné pro studium onemocnění, návrh léků a pochopení mnoha mechanismů, na kterých závisí život.

Obtíž spočívá v tom, že i relativně malý protein může teoreticky přijmout astronomické množství možných konfigurací. Experimentální stanovení struktury pomocí metod, jako je rentgenová krystalografie nebo kryo-elektronová mikroskopie, může vyžadovat podstatný čas, odborné znalosti a náklady.

Po dobu zhruba 50 let se vědci snažili spolehlivě předpovědět trojrozměrnou strukturu proteinu z jeho jednorozměrné aminokyselinové sekvence. Výzva se stala jednou z největších nevyřešených problémů v počítačové biologii.

Často se říká, že AlphaFold „řeší proteinové skládání“. Technicky je toto popisu příliš široké. AlphaFold transformoval předpověď proteinové struktury; nevysvětlí každou fázi fyzického procesu skládání, pohybu proteinu, nesprávného skládání nebo molekulární interakce.

To však nesnižuje dosažený úspěch. Předpověď struktur s téměř experimentální přesností byla sama o sobě průlomem, který změnil celý vědecký obor.

Hry byly tréninkovým místem, ne cílem

DeepMind nezačal s biologií. Jeho rané průlomy přišly prostřednictvím her.

Hry nabízely něco nepostradatelného pro laboratoř AI: kontrolované prostředí s jasnými pravidly, měřitelnými výsledky a obrovským množstvím možných rozhodnutí. Agent mohl experimentovat, selhat, získat zpětnou vazbu a zlepšit se bez nejistoty a fyzického rizika provozu ve skutečném světě.

DeepMindova hluboká Q-síť prokázala, že jeden učící se systém může zvládnout širokou škálu Atari her z pixelů a signálů odměn, spíše než z herních specifických instrukcí. Práce pomohla etablovat hluboké upevňování jako jednu z nejvýznamnějších přístupů v moderní AI.

Další velkou zkouškou byla hra Go.

Go odolávala tradičním počítačovým přístupům, protože počet možných pozic na hracím plánu činil vyčerpávající hledání nemožným. Úspěch vyžadoval rozpoznání vzorů, strategické plánování a schopnost identifikovat slibné tahy bez výpočtu každého možného výsledku.

V březnu 2016 AlphaGo porazil legendárního hráče Go Lee Sedola čtyřmi zápasy ku jedné. Více než 200 milionů lidí sledovalo, jak strojka provedla tahy, které i elitní hráči zpočátku těžko chápali.

AlphaGo Zero pak odstranil závislost na lidských herních záznamech. Začínající pouze s pravidly, naučil se hrát proti sobě a nakonec předčil dřívější verzi AlphaGo. AlphaZero zobecněl přístup dále, zvládl šachy, šógi a Go prostřednictvím samo-hry bez závislosti na ručně vytvořených strategiích nebo lidských příkladech.

Tito systémy nebyli přímými prototypy AlphaFold. Spojnice je více filozofická a organizační než architektonická.

Hry naučily DeepMind, jak budovat systémy schopné navigovat v rozsáhlých prostorech možností. Prokázaly, že neuronové sítě, upevňování, vyhledávání a enormní množství výpočtů mohou odhalit řešení, která lidé výslovně neprogramovali.

Ještě důležitější je, že daly Hassabisovi důvěru, že AI může jít za hranice klasifikace a rozpoznání vzorů a generovat skutečně užitečné poznatky.

AlphaGo byl historický úspěch, ale nebyl konečným cílem. Hry byly laboratořemi, ve kterých DeepMind mohl vyvinout nápady, lidi, infrastrukturu a důvěru potřebné k řešení skutečných vědeckých problémů.

Předpověď proteinové struktury byla místem, kde se původní mise konečně bude testovat.

AlphaFold a rozdíl mezi vítězstvím a řešením

DeepMind oficiálně začal pracovat na předpovědi proteinové struktury v roce 2016. Jeho první systém AlphaFold vstoupil do soutěže CASP13 v roce 2018 a dosáhl nejvyšší přesnosti mezi účastníky.

Pro mnoho organizací by výhra v soutěži stačila. Vyvolala by titulky, akademické uznání a důkaz, že projekt uspěl.

Hassabis chtěl více.

Systém, který vyhrál soutěž, ale zůstal nedostatečně spolehlivý pro každodenní vědeckou práci, nevyřešil problém. DeepMind rozšířil tým, umístil Johna Jumpa do centrální role výzkumu a podstatně přestavěl systém, spíše než pouze vylepšil svůj první přístup.

Výsledkem byl AlphaFold2.

Na CASP14 v roce 2020 AlphaFold2 dosáhl přesnosti, kterou organizátoři a výzkumníci považovali za srovnatelnou s experimentálními metodami napříč mnoha proteinovými cíli. Související výzkum prokázal, že počítačová předpověď může pravidelně dosahovat atomové přesnosti, včetně případů, kdy nebyl k dispozici žádný blízký známý strukturální vzor.

DeepMind a Evropský bioinformatický institut později vydali předpovědi pokrývající více než 200 milionů proteinových struktur – téměř všechny proteiny katalogizované vědou. Databáze byla od té doby přístupná více než třem milionům výzkumníků ze více než 190 zemí.

V roce 2024 Hassabis a Jumper sdíleli polovinu Nobelovy ceny za chemii za předpověď proteinové struktury, zatímco druhá polovina byla udělena Davidu Bakerovi za počítačový návrh proteinů.

Posloupnost událostí zachycuje to, co jsem na Hassabisovi považoval za nejvíce působivé.

Nezdá se, že by byl spokojen s vítězstvím v přijímané míře problému. Opakovaně se ptá, zda byl základní problém skutečně vyřešen.

To je myšlenka z prvního principu v jeho nejčistší formě. Benchmark je pouze proxy. Cílem není být první. Cílem je vytvořit něco, co změní, co jsou vědci schopni dělat.

Slabina LLM, která pomohla OpenAI získat náskok

Kniha také vyjasnila jednu z nejvíce matoucích epizod v nedávné historii AI.

Výzkumníci z Google představili architekturu transformer v roce 2017 v průlomové práci Pozorování je vše, co potřebujete. Transformery se staly základem, na kterém byly postaveny moderní velké jazykové modely.

Google však tuto výhodu nepřevělil do produktu, který definuje generativní AI éru. OpenAI vydal ChatGPT a vytvořil rozhraní, prostřednictvím kterého se stovky milionů lidí poprvé setkaly s pokročilou AI. Anthropic následně vyšel jako další lídr, zejména mezi vývojáři a podnikovými uživateli.

Běžná verze této příběhu je, že Google vynalezl transformer a pak prostě nezstavěl jazykové modely. To není úplně přesné. Google a DeepMind zveřejnili podstatný výzkum jazykových modelů, včetně 280milionového parametrického modelu Gopher od DeepMind v roce 2021.

Neúspěch nebyl absence výzkumu. Byla to absence strategické jistoty a produktové exekuce.

Hassabis pochyboval o tom, zda jazyk sám o sobě může produkovat skutečnou inteligenci. Věřil, že inteligentní systém potřebuje být zakořeněn ve světě prostřednictvím vnímání, akce, robotiky nebo simulovaných prostředí.

Jeho obava byla rozumná. Stroj mohl uložit definici hmotnosti, ale skutečně by rozuměl hmotnosti, kdyby nikdy nic nezvedl? Zpracoval by popisy gravitace, ale skutečně by rozuměl, že sklenice by se rozbila, kdyby byla upuštěna?

Vědecký program DeepMind následně zdůrazňoval agenty, kteří jednali uvnitř her a simulovaných světů. Jeho výzkumníci dokonce postavili systémy, které měly spojit jazyk s vnímáním a akcí v trojrozměrných prostředích.

Co Hassabis podcenil, bylo to, kolik informací o fyzickém a sociálním světě již bylo zakódováno v lidském jazyce. Velké modely mohly také zdědit formu zakořenění prostřednictvím zpětné vazby od lidí, kteří měli přímou zkušenost se světem.

Hassabis od té doby uznal, že to byl něco, co špatně odhadl, popisující jazykové modely jako „nepřiměřeně účinné“.

To byla jedna z nejvíce cenných částí knihy, protože vysvětluje, proč se Google choval tak, jak se choval.

Zvenčí se zdálo nepochopitelné, že organizace odpovědná za transformer by umožnila OpenAI definovat éru LLM. Z Hassabisova intelektuálního rámce to má více smyslu. Hledal hlubší formu inteligence a zpočátku považoval jazykové modely za neúplnou cestu k ní.

To může nakonec být správné na úrovni AGI. Jazykové modely samotné nemusí být dostatečné. Jako produktová a platformová rozhodnutí to však dalo konkurentům výjimečnou příležitost.

Podle mého vlastního pozorování trhu se Gemini stal silným systémem a může překonat konkurenční modely v jednotlivých hodnoceních. Přesto se zdá, že Google se snaží předefinovat kategorii, jejíž očekávání byla stanovena OpenAI a Anthropic.

Kniha vysvětluje, jak jedna z organizací s největší koncentrací AI talentů a infrastruktury našla sama sebe v této pozici.

Proč prodej DeepMind Google byl v souladu s misí

Další epizodou, která změnila mé pochopení Hassabise, byla prodej DeepMind Google.

Mýtus o zakladatelích oslavuje nezávislost. Ideální podnikatel by měl udržet kontrolu, odolat akvizici, postavit říši a získat osobní uznání za vytvoření dominantní společnosti.

Hassabis se zdá, že hodnotil rozhodnutí jinak.

Během soutěže o akvizici DeepMind v roce 2013 Larry Page učinil argument, který šel přímo k Hassabisovým prioritám. Pokud jeho skutečným cílem bylo vytvořit AGI, proč strávit roky budováním infrastruktury, zvyšováním kapitálu a konstrukcí společnosti srovnatelné s Google, když zdroje Google již existovaly?

Rozhovory se odehrály uprostřed téměř surrealistické série setkání s technologickými osobnostmi, včetně setkání v pronajatém hradu v New Yorku na narozeninovou oslavu Muska.

Google mohl nabídnout výpočetní infrastrukturu, kapitál, výzkumný talent a trpělivost v měřítku, které by nezávislý DeepMind těžko reprodukoval. Byl také připraven přijmout etické podmínky, které DeepMind považoval za důležité. Hassabis nakonec zvolil Google, ačkoli údajně obdržel větší nabídku od Facebooku.

Pohled na to, že prodej DeepMind tak brzy, by se mohl jevit jako vzdání se nezávislosti.

Pohled na to, že setrvání nezávislého by mohlo být větší rozptýlení.

Jeho cílem nebylo stát se známým jako zakladatel dalšího Google. Bylo to použití nejrychlejší a nejvěrohodnější cesty k výrobě AGI a aplikaci pokročilé inteligence na vědu. Google zkrátil tuto cestu.

Akvizice později vyprodukovala skutečné napětí nad nezávislostí, správou, komercializací a etickými limity AI. Kniha nenaznačuje, že umístění DeepMind uvnitř jedné z největších korporací na světě vyřešilo tyto otázky. V některých ohledech je to dokonce zhoršilo.

Přesto rozhodnutí odhaluje něco důležitého o Hassabisovi. Zdá se, že je méně vázaný na konvenční status podnikání než na vědeckou misi, kterou podnikání umožnilo.

Jedna z dobrých lidí – ale ne nesmrtelný

Hassabis nakonec vypadá jako jeden z dobrých lidí v AI závodě.

To neznamená, že každé rozhodnutí bylo správné. Jeho váhání nad jazykovými modely bylo důsledné. Vztah DeepMind s Google zahrnoval kompromisy. Koncentrace powerfulních AI systémů uvnitř malé skupiny korporací vyvolává otázky, které dobré úmysly samy o sobě nemohou zodpovědět.

Jeho motivace se však zdají neobvykle konzistentní.

Chce pochopit inteligenci. Věří, že pokročilá AI může urychlit vědecké objevy. Opakovaně zdůrazňoval bezpečnost a potřebu zvážit dlouhodobé důsledky stále schopnějších systémů. Nejvýznamněji, AlphaFold poskytuje konkrétní důkazy, že jeho vize AI jako nástroje pro vědu je více než pouhým aspiračním prohlášením.

Existuje rozdíl mezi slibem, že AI bude prospěšná pro lidstvo, a vydáním nástroje, který používají miliony výzkumníků ke lepšímu pochopení mechanismů života.

AlphaFold dává Hassabisovi důvěryhodnost, kterou má jen málo dalších lídrů v AGI závodě.

Závěrečné myšlenky

The Infinity Machine se daří jako biografie, historie DeepMind a přístupný účet některých z nejvýznamnějších průlomů v moderní AI. Také činí události, které jsme sledovali v reálném čase – od AlphaGo a AlphaFold po zpožděnou reakci Google na ChatGPT – cítit podstatně více koherentní.

Nejsilnější lekce není prostě to, že Hassabis je výjimečně inteligentní, ačkoli jasně je. Je to, že byl neobvykle úmyslný při rozhodování, které problémy si zaslouží jeho inteligenci.

Rozhovor s biologickými studenty ho seznámil s problémem proteinového skládání desetiletí předtím, než AI byla schopna ho řešit. Udržel problém v hlavě, postavil organizaci a systémy potřebné k jeho řešení a vrátil se k němu, až technologie dostatečně pokročila.

Většina podnikatelů začíná s dostupnou technologií a hledá trh. Hassabis začal s otázkami, o kterých věřil, že mohou změnit lidstvo, a pracoval na vytvoření technologie dostatečně silné, aby je zodpověděla.

To je to, co dělá The Infinity Machine tak zapamatovatelnou knihu a Demise Hassabise tak neobvyklou postavou v historii umělé inteligence.