Recenzie carte: The Infinity Machine: Demis Hassabis, DeepMind și căutarea superinteligenței de Sebastian Mallaby

După ce am citit anterior The Power Law, pe care îl consider cea mai bună carte scrisă despre capitalul de risc, am abordat cea mai recentă carte a lui Sebastian Mallaby cu așteptări neobișnuit de mari. The Infinity Machine: Demis Hassabis, DeepMind și căutarea superinteligenței nu a dezamăgit.

La fel ca The Power Law, cartea reușește pentru că Mallaby înțelege că companiile transformaționale nu pot fi explicate doar prin tehnologie sau rezultate financiare. Ele trebuie înțelese prin ambițiile, personalitățile, rivalitățile și convingerile profund înrădăcinate ale oamenilor care le construiesc.

The Infinity Machine este în parte povestea unui antreprenor care creează una dintre cele mai importante companii de inteligență artificială din istorie. Mai important, însă, este povestea unui om de știință care folosește antreprenoriatul ca vehicul pentru a urmări întrebări științifice.

Demis Hassabis nu pare a fi o persoană care a fondat DeepMind în primul rând pentru a deveni bogat, faimos sau celebru ca fondator de tehnologie. El pare a fi o persoană care a identificat inteligența ca fiind cea mai consecventă problemă pe care o putea aborda și a construit viața sa în jurul rezolvării ei.

Acesta este ceea ce face cartea atât de captivantă.

Un om de știință mai întâi și un antreprenor pe locul al doilea

Mallaby urmărește drumul lui Hassabis de la copil-prodigiu la șah și designer de jocuri video până la neuroștiințific, cercetător în inteligență artificială și, în cele din urmă, co-fondator al DeepMind. Cartea se bazează pe mai mult de 30 de ore de conversații cu Hassabis, alături de peste 100 de interviuri cu colegi, concurenți, critici și foști colaboratori.

Acest acces îi permite lui Mallaby să prezinte pe Hassabis nu doar ca fațada publică a Google DeepMind, ci ca o persoană a cărei interese au rămas remarcabil de constante.

Șahul i-a învățat să gândească mai multe mutări înainte. Proiectarea jocurilor de simulare i-a arătat cum lumi complexe pot apărea din reguli relativ simple. Neuroștiința l-a încurajat să întrebe cum funcționează memoria, imaginația, planificarea și inteligența în interiorul creierului uman.

Aceste preocupări nu au fost etape deconectate ale carierei sale. Ele au fost abordări diferite ale aceleiași întrebări subiacente: Poate fi înțeleasă inteligența suficient de bine pentru a fi recreată?

Ceea ce se remarcă pe tot parcursul cărții este tendința lui Hassabis de a reduce problemele la fundamentele lor. În loc să înceapă cu ceea ce tehnologia existentă ar putea realiza, el a început în mod repetat cu rezultatul pe care credea că ar trebui să fie posibil și a lucrat înapoi.

Acest abordare de la principii de bază explică și orizontul său de timp neobișnuit de lung. Hassabis a fost dispus să țină o problemă în minte timp de ani – sau chiar decenii – până când știința și calculul au avansat suficient pentru a o aborda corect.

Cel mai clar exemplu este predicția structurii proteice.

Conversația care a plantat sămânța plierii proteinelor

În timp ce studia informatică la Cambridge în anii 1990, Hassabis a devenit prieten cu studenți la biologie. Unul dintre ei era fascinat de problema plierii proteinelor și i-a explicat că rezolvarea acesteia ar putea transforma biologia.

Hassabis a recunoscut imediat că este vorba despre un tip enorm de problemă de căutare care ar putea fi abordată cu inteligență artificială. Se spune că a păstrat note despre probleme științifice care ar putea fi eventual potrivite pentru algoritmii pe care spera să îi construiască. Plierea proteinelor a rămas printre ele timp de aproape două decenii.

Acesta este unul dintre cele mai captivante părți ale cărții.

O conversație aparent obișnuită l-a introdus pe Hassabis într-o problemă care avea să rămână în mintea sa timp de decenii, de la universitate, la cercetare în neuroștiință, antreprenoriat, crearea DeepMind și dezvoltarea sistemelor de învățare din ce în ce mai capabile.

Pentru a înțelege semnificația evenimentelor care au urmat, este necesar să apreciem amploarea provocării.

Proteinele încep ca lanțuri de aminoacizi. Aceste lanțuri se pliază în structuri tridimensionale complexe, iar forma rezultată determină în mare măsură ce poate face o proteină într-un organism viu. Înțelegerea acestei structuri este, prin urmare, esențială pentru studiul bolilor, proiectarea medicamentelor și înțelegerea multor mecanismelor pe care se bazează viața.

Dificultatea constă în faptul că chiar și o proteină relativ mică poate teoretic să adopte un număr astronomic de configurații posibile. Determinarea experimentală a unei structuri prin metode precum cristalografia cu raze X sau microscopia electronică criogenică poate necesita timp substanțial, expertiză și cheltuieli.

Timp de aproximativ 50 de ani, oamenii de știință s-au luptat să prevadă în mod fiabil structura tridimensională a unei proteine din secvența sa unidimensională de aminoacizi. Provocarea a devenit una dintre marile probleme nerezolvate din biologia computațională.

Se spune adesea că AlphaFold „a rezolvat plierea proteinelor”. Din punct de vedere tehnic, această descriere este prea largă. AlphaFold a transformat predicția structurii proteice; nu explică fiecare etapă a procesului fizic de pliere, mișcarea proteinelor, plierea greșită sau interacțiunea moleculară.

Această calificare nu diminuă realizarea. Prevederea structurilor cu o acuratețe aproape experimentală a fost în sine o descoperire care a schimbat un întreg domeniu științific.

Jocurile au fost terenul de antrenament, nu destinația

DeepMind nu a început cu biologia. Primele sale descoperiri au venit prin jocuri.

Jocurile oferă ceva de neprețuit unui laborator de inteligență artificială: medii controlate cu reguli clare, rezultate măsurabile și un număr enorm de decizii posibile. Un agent poate experimenta, eșua, primi feedback și îmbunătăți fără ambiguitatea și riscul fizic de a opera în lumea reală.

Rețeaua profundă de învățare a DeepMind a demonstrat că un singur sistem de învățare poate stăpâni o gamă largă de jocuri Atari din pixeli de ecran și semnale de recompensă, mai degrabă decât instrucțiuni specifice jocului. Lucrarea a ajutat la stabilirea învățării prin întărire profundă ca una dintre cele mai promițătoare abordări în inteligența artificială modernă.

Următoarea mare probă a fost Go.

Go a rezistat abordărilor computaționale tradiționale, deoarece numărul de poziții posibile de pe tablă a făcut imposibilă căutarea exhaustivă. Succesul a necesitat recunoașterea modelelor, planificarea strategică și capacitatea de a identifica mutări promițătoare fără a calcula fiecare rezultat posibil.

În martie 2016, AlphaGo a învins jucătorul de Go legendar Lee Sedol cu patru jocuri la una. Peste 200 de milioane de oameni au urmărit o mașină care a făcut mutări pe care chiar și jucătorii de elită au avut inițial dificultăți în a le înțelege.

AlphaGo Zero a eliminat apoi dependența de înregistrări de joc uman. Începând doar cu regulile, a învățat jucând împotriva sa și a depășit în cele din urmă versiunea anterioară a AlphaGo. AlphaZero a generalizat abordarea și mai departe, stăpânind șahul, shogi și Go prin autojoc, fără a se baza pe strategii create de oameni sau exemple.

Aceste sisteme nu au fost prototipuri directe ale AlphaFold. Legătura este mai filosofică și organizațională decât arhitecturală.

Jocurile au învățat DeepMind cum să construiască sisteme capabile să navigheze în spații imense de posibilități. Ele au demonstrat că rețelele neuronale, învățarea prin întărire, căutarea și cantități uriașe de calcul pot descoperi soluții pe care oamenii nu le-au programat explicit.

Mai important, ele i-au dat lui Hassabis încrederea că inteligența artificială poate merge dincolo de clasificare și recunoașterea modelelor pentru a genera adevărate insight-uri utile.

AlphaGo a fost o realizare istorică, dar nu a fost niciodată destinația finală. Jocurile au fost laboratoare în care DeepMind a putut dezvolta idei, oameni, infrastructură și încredere pentru a confrunta probleme științifice reale.

Predicția structurii proteice a fost locul în care misiunea originală a fost testată în cele din urmă.

AlphaFold și diferența dintre a câștiga și a rezolva

DeepMind a început oficial să lucreze la predicția structurii proteice în 2016. Primul său sistem AlphaFold a intrat în competiția CASP13 de predicție a structurii proteice în 2018 și a obținut cea mai mare acuratețe printre participanți.

Pentru multe organizații, a câștiga competiția ar fi fost suficient. Ar fi generat titluri, recunoaștere academică și dovada că proiectul a reușit.

Hassabis a vrut mai mult.

Un sistem care a condus un benchmark, dar a rămas insuficient de fiabil pentru munca științifică de zi cu zi, nu a rezolvat cu adevărat problema. DeepMind a extins echipa, a plasat John Jumper într-un rol central de cercetare și a redesenat substanțial sistemul, mai degrabă decât să îl perfecționeze doar pe primul său abordare.

Rezultatul a fost AlphaFold2.

La CASP14 în 2020, AlphaFold2 a obținut o acuratețe pe care organizatorii și cercetătorii au considerat-o comparabilă cu metodele experimentale în multe ținte de proteine. Cercetarea asociată a demonstrat că predicția computațională poate aborda în mod regulat acuratețea atomică, inclusiv în cazurile în care nu există o structură cunoscută strâns legată.

DeepMind și Institutul European de Bioinformatică au lansat ulterior predicții care acoperă peste 200 de milioane de structuri de proteine – aproape fiecare proteină catalogată de știință. Baza de date a fost accesată de peste trei milioane de cercetători din peste 190 de țări.

În 2024, Hassabis și Jumper au împărțit jumătate din Premiul Nobel pentru Chimie pentru predicția structurii proteice, cealaltă jumătate fiind acordată lui David Baker pentru proiectarea computațională a proteinelor.

Secvența evenimentelor capturează ceea ce am găsit cel mai impresionant despre Hassabis.

El nu pare mulțumit de a câștiga măsura acceptată a unei probleme. El întreabă în mod constant dacă problema subiacentă a fost cu adevărat rezolvată.

Acesta este gândirea de la principii de bază în forma sa cea mai pură. Un benchmark este doar un proxy. Obiectivul nu este să se claseze pe primul loc. Obiectivul este să creeze ceva care să schimbe ceea ce oamenii de știință sunt capabili să facă.

Punctul orb LLM care a ajutat OpenAI să ia conducerea

Cartea a clarificat, de asemenea, unul dintre cele mai confuze episoade din istoria recentă a inteligenței artificiale.

Cercetătorii Google au introdus arhitectura transformer în lucrarea lor emblematică din 2017 Attention Is All You Need. Transformatorii au devenit baza pe care au fost construite modelele de limbaj moderne.

Și totuși, Google nu a transformat acest avans în produsul care a definit era inteligenței artificiale generative. OpenAI a lansat ChatGPT și a stabilit interfața prin care sute de milioane de oameni au întâlnit pentru prima dată inteligența artificială avansată. Anthropic a apărut ulterior ca un alt lider, în special printre dezvoltatori și utilizatori de întreprindere.

Versiunea comună a acestei povești este că Google a inventat transformatorul și apoi pur și simplu a eșuat să construiască modele de limbaj. Acest lucru nu este cu totul exact. Google și DeepMind au publicat cercetări substanțiale despre modele de limbaj, inclusiv modelul Gopher de 280 de miliarde de parametri al DeepMind din 2021.

Eșecul nu a fost lipsa de cercetare. A fost un eșec de convingere strategică și de execuție a produsului.

Hassabis a îndoiat inițial că limba în sine ar putea produce o inteligență adevărată. El a crezut că un sistem inteligent trebuie să fie ancorat în lume prin percepție, acțiune, robotică sau medii simulate.

Îngrijorarea sa a fost rezonabilă. O mașină ar putea stoca o definiție a greutății, dar ar înțelege cu adevărat greutatea fără a ridica vreodată ceva? Ar putea procesa descrieri ale gravitației, dar ar înțelege că un pahar se va sparge atunci când este aruncat?

Agenda de cercetare a DeepMind a subliniat, prin urmare, agenții care acționează în jocuri și lumi simulate. Cercetătorii săi au construit chiar sisteme menite să conecteze limba cu percepția și acțiunea în medii tridimensionale.

Ceea ce Hassabis a subestimat a fost cât de multă informație despre lumea fizică și socială a fost deja codificată în limba umană. Modelele mari ar putea, de asemenea, să moștenească o formă de ancorare prin feedback de la oameni care au experimentat direct lumea.

Hassabis a recunoscut ulterior că aceasta a fost ceva pe care l-a subestimat, descriind modelele de limbaj ca fiind „nerezonabil de eficiente”.

Acesta a fost unul dintre cele mai valoroase secțiuni ale cărții, deoarece face comportamentul Google mai ușor de înțeles.

De afară, părea inexplicabil că organizația responsabilă pentru transformator ar permite OpenAI să definească era LLM. Din cadrul intelectual al lui Hassabis, are mai mult sens. El căuta o formă mai profundă de inteligență și a considerat inițial predicția limbajului ca o cale incompletă către aceasta.

Acesta a fost un judecată care ar putea dovedi corectă la nivelul inteligenței artificiale generale. Modelele de limbaj singure ar putea fi insuficiente. Dar ca decizie de produs și platformă, a oferit competitorilor o deschidere extraordinară.

În observația mea a pieței, Gemini a devenit un sistem formidabil și ar putea depăși modelele concurente în evaluări individuale. Cu toate acestea, încă pare că Google încearcă să redefină o categorie a cărei așteptări au fost stabilite de OpenAI și Anthropic.

Cartea ajută la explicarea modului în care una dintre organizațiile cu cea mai mare concentrare de talente și infrastructură de inteligență artificială s-a aflat în acea poziție.

De ce vânzarea DeepMind către Google a fost consecventă cu misiunea

Celălalt episod care a schimbat înțelegerea mea despre Hassabis a fost vânzarea DeepMind către Google.

Mitologia fondatorilor tinde să celebreze independența. Antreprenorul ideal ar trebui să păstreze controlul, să reziste achiziției, să construiască un imperiu și să primească recunoaștere personală pentru crearea unei companii dominante.

Hassabis pare să fi evaluat decizia în mod diferit.

În timpul competiției din 2013 pentru a achiziționa DeepMind, Larry Page a făcut un argument care a mers direct la prioritățile lui Hassabis. Dacă obiectivul său real era să creeze inteligență artificială generală, de ce ar trebui să petreacă ani reconstruind infrastructură, strângând capital și construind o companie comparabilă cu Google, atunci când resursele Google deja existau?

Conversațiile au avut loc într-o serie aproape surreală de întâlniri care au implicat pe Page, Mark Zuckerberg, Elon Musk și alte figuri tehnologice, inclusiv o adunare la un castel închiriat în New York pentru ziua de naștere a lui Musk.

Google a putut oferi infrastructură de calcul, capital, talent de cercetare și răbdare la o scară la care o DeepMind independentă ar fi avut dificultăți să o reproducă. De asemenea, era pregătită să accepte condiții etice pe care DeepMind le considera importante. Hassabis a ales în cele din urmă Google, deși a primit aparent o ofertă mai mare de la Facebook.

Văzută prin lentila convențională a antreprenoriatului, vânzarea DeepMind atât de devreme ar putea părea o renunțare la independență.

Văzută prin lentila lui Hassabis, a rămâne independent ar fi putut fi o distragere și mai mare.

Obiectivul său nu a fost să devină cunoscut ca fondatorul următoarei companii Google. A fost să folosească calea cea mai rapidă și credibilă pentru a construi inteligență artificială generală și pentru a aplica inteligență avansată în știință. Google a scurtat această cale.

Achiziționarea a produs ulterior tensiuni reale cu privire la independență, guvernanță, comercializare și limitele etice ale inteligenței artificiale. Cartea nu sugerează că plasarea DeepMind într-una dintre cele mai mari corporații din lume a rezolvat aceste întrebări. În unele moduri, le-a făcut mai dificile.

Cu toate acestea, decizia revelează ceva important despre Hassabis. El pare mai puțin atașat de statutul convențional al antreprenoriatului decât de misiunea științifică pe care antreprenoriatul a făcut-o posibilă.

Unul dintre băieții buni – dar nu infailibil

Hassabis pare, în cele din urmă, a fi unul dintre băieții buni în cursa inteligenței artificiale.

Acest lucru nu înseamnă că fiecare decizie a fost corectă. Îndoiala sa cu privire la modelele de limbaj a fost consecventă. Relația DeepMind cu Google a implicat compromisuri. Concentrarea sistemelor de inteligență artificială puternice într-un număr mic de corporații ridică întrebări pe care bunăvoința singură nu le poate răspunde.

Însă motivațiile sale par neobișnuit de consistente.

El vrea să înțeleagă inteligența. El crede că inteligența artificială avansată poate accelera descoperirea științifică. El a subliniat în mod repetat siguranța și nevoia de a considera consecințele pe termen lung ale sistemelor din ce în ce mai capabile. Mai semnificativ, AlphaFold oferă dovezi concrete că viziunea sa asupra inteligenței artificiale ca instrument pentru știință este mai mult decât un punct de vedere aspirațional.

Există o diferență între a promite că inteligența artificială va beneficia umanitatea și a lansa un instrument utilizat de milioane de cercetători pentru a înțelege mai bine mecanismele vieții.

AlphaFold oferă lui Hassabis o credibilitate pe care puțini alți lideri din cursa inteligenței artificiale generale o posedă.

Gânduri finale

The Infinity Machine reușește ca biografie, istorie a DeepMind și relatare accesibilă a unora dintre cele mai importante descoperiri din inteligența artificială modernă. De asemenea, face ca evenimentele pe care le-am urmărit în timp real – de la AlphaGo și AlphaFold la răspunsul întârziat al Google la ChatGPT – să pară considerabil mai coerente.

Lecția cea mai puternică nu este doar că Hassabis este excepțional de inteligent, deși în mod evident este. Este că el a fost neobișnuit de deliberat în a decide care probleme merită acea inteligență.

O conversație cu studenți la biologie l-a introdus pe Hassabis în problema plierii proteinelor cu decenii înainte ca inteligența artificială să poată aborda această problemă. El a păstrat problema în minte, a construit organizația și sistemele necesare pentru a o confrunta și s-a întors la ea odată ce tehnologia a avansat suficient.

Cei mai mulți antreprenori încep cu o tehnologie disponibilă și caută o piață. Hassabis a început cu întrebări pe care credea că ar putea schimba umanitatea și a lucrat pentru a crea tehnologia suficient de puternică pentru a le răspunde.

Acesta este ceea ce face The Infinity Machine o carte atât de memorabilă și pe Demis Hassabis o figură atât de neobișnuită în istoria inteligenței artificiale.