Anmeldelse: The Infinity Machine: Demis Hassabis, DeepMind og jagten på superintelligens af Sebastian Mallaby

Efter at have læst The Power Law, som jeg betragter som den bedste bog om venturekapital, nærmede jeg mig Sebastians Mallabys seneste bog med usædvanligt høje forventninger. The Infinity Machine: Demis Hassabis, DeepMind og jagten på superintelligens skuffede ikke.

Ligesom The Power Law lykkes bogen, fordi Mallaby forstår, at transformative virksomheder ikke kan forklares udelukkende gennem teknologi eller finansielle resultater. De må forstås gennem ambitionerne, personlighederne, rivaliseringerne og dybt indeholdte overbevisninger hos de mennesker, der bygger dem.

The Infinity Machine er delvist historien om en iværksætter, der skaber en af de vigtigste kunstig intelligens-virksomheder i historien. Endnu vigtigere er det dog historien om en videnskabsmand, der tilfældigvis bruger iværksætteri som et køretøj for at forfølge videnskabelige spørgsmål.

Demis Hassabis kommer ikke til at fremstå som nogen, der grundlagde DeepMind primært for at blive rig, berømt eller fejret som en teknologisk grundlægger. Han kommer til at fremstå som nogen, der identificerede intelligens som det mest konsekvensfulde problem, han kunne arbejde med, og derefter konstruerede sit liv omkring at løse det.

Dette er, hvad gør bogen så tillokkende.

En videnskabsmand først og en iværksætter anden

Mallaby følger Hassabis’ vej fra barnlige skak-prodigy og videospildesigner til neurovidenskabsmand, AI-forsker og til sidst medstifter af DeepMind. Bogen bygger på mere end 30 timers samtaler med Hassabis samt over 100 interviews med kollegaer, konkurrenter, kritikere og tidligere samarbejdspartnere.

Dette adgang giver Mallaby mulighed for at præsentere Hassabis ikke blot som det offentlige ansigt af Google DeepMind, men som en person, hvis interesser har været bemærkelsesværdigt konsekvente.

Skak lærte ham at tænke flere træk fremad. Design af simulations-spil lærte ham, hvordan komplekse verdener kunne opstå fra relativt simple regler. Neurovidenskab opmuntrede ham til at spørge, hvordan hukommelse, fantasi, planlægning og intelligens fungerer inde i det menneskelige hjerte.

Disse forfølgende var ikke uafhængige stadier i hans karriere. De var forskellige tilgange til det samme underliggende spørgsmål: Kan intelligens forstås godt nok til at blive genskabt?

Hvad der fremhæves hele vejen igennem bogen, er Hassabis’ tendens til at reducere problemer til deres grundlag. I stedet for at begynde med, hvad eksisterende teknologi kunne opnå, begyndte han gentagne gange med resultatet, han troede skulle være muligt, og arbejdede baglæns.

Dette første-princip-tilgang forklarer også hans usædvanligt lange tidsHorisont. Hassabis var villig til at holde et problem i sin hjerne i år – eller endda årtier – indtil videnskab og computing havde udviklet sig nok til, at han kunne angribe det ordentligt.

Det mest tydelige eksempel er protein-struktur-forudsigelse.

Samtalen, der plantede protein-folding-frøet

Mens han studerede datalogi på Cambridge i 1990’erne, blev Hassabis venner med biolog-studerende. En af dem var særligt fascineret af protein-folding-problemet og forklarede, at at knække det kunne transformere biologi.

Hassabis genkendte straks det som den type enorme søge-problem, der måske en dag kunne behandles med kunstig intelligens. Han skal have opbevaret noter om videnskabelige problemer, der kunne blive egnet for de algoritmer, han håbede at bygge. Protein-folding forblev iblandt dem i næsten to årtier.

Dette er en af de mest fortryllende dele af bogen.

En tilsyneladende almindelig samtale introducerede Hassabis til et problem, der ville forblive i baghovedet igennem universitet, neurovidenskabelig forskning, iværksætteri, oprettelsen af DeepMind og udviklingen af stadig mere kapable lærings-systemer.

For at forstå betydningen af, hvad der fulgte, er det nødvendigt at værdsætte skalaen af udfordringen.

Proteiner begynder som kæder af aminosyrer. Disse kæder folder sig ind i komplekse tredimensionale strukturer, og den resulterende form bestemmer i høj grad, hvad en protein kan gøre inde i en levende organisme. At forstå denne struktur er derfor afgørende for at studere sygdomme, designe lægemidler og forstå mange af de mekanismer, som livet afhænger af.

Sværtigheden er, at selv et relativt lille protein kan teoretisk antage et astronomisk antal mulige konfigurationer. Eksperimentelt at bestemme en struktur gennem metoder som røntgenkrystallografi eller kryoelektronmikroskopi kan kræve betydelig tid, ekspertise og omkostninger.

I omtrent 50 år kæmpede videnskabsmænd for at forudsigge en proteins tredimensionale struktur fra dets éndimensionale aminosyre-sekvens. Udfordringen blev ét af de store uløste problemer i beregningsbiologi.

Det siges ofte, at AlphaFold “løste protein-folding”. Teknisk set er denne beskrivelse for bred. AlphaFold transformerer protein-struktur-forudsigelse; det forklarer ikke hver fase af den fysiske foldningsproces, protein-bevægelse, misfolding eller molekylær interaktion.

Dette kvalificerer ikke bedriftet. At forudsigde strukturer med næsten eksperimentel nøjagtighed var i sig selv en gennembrud, der ændrede et helt videnskabeligt felt.

Spil var træningsgrunden, ikke destinationen

DeepMind begyndte ikke med biologi. Dets tidlige gennembrud kom gennem spil.

Spil tilbød noget uvurderligt til et AI-laboratorium: kontrollerede miljøer med klare regler, målbare resultater og et enormt antal mulige beslutninger. En agent kunne eksperimentere, fejle, modtage feedback og forbedre sig uden for den tvivl og fysisk risiko, der er forbundet med at operere i den virkelige verden.

DeepMinds dybe Q-netværk demonstrerede, at et enkelt lærings-system kunne mestre en bred udvalg af Atari-spil fra skærmbilleder og belønnings-signaler snarere end spil-specifikke instruktioner. Arbejdet hjalp med at etablere dyb forstærket lærings som en af de mest lovende tilgange i moderne AI.

Næste store test var Go.

Go havde modsat traditionelle computertilgange, fordi antallet af mulige bræd-positioner gjorde udtømmende søgning umulig. Succes krævede mønster-genkendelse, strategisk planlægning og evnen til at identificere lovende træk uden at beregne hver mulig udfald.

I marts 2016 besejrede AlphaGo den legendariske Go-spiller Lee Sedol fire kampe til en. Over 200 millioner mennesker så en maskine udføre træk, som selv elite-spillere først havde svært ved at forstå.

AlphaGo Zero fjernede derefter afhængigheden af menneskelige spil-optegnelser. Startende kun med reglerne, lærte det ved at spille mod sig selv og overgik til sidst den tidligere version af AlphaGo. AlphaZero generaliserede tilgangen yderligere, mestrede skak, shogi og Go gennem selv-spil uden at afhænge af håndlavede strategier eller menneskelige eksempler.

Disse systemer var ikke direkte prototyper for AlphaFold. Forbindelsen er mere filosofisk og organisatorisk end arkitektonisk.

Spil lærte DeepMind, hvordan man bygger systemer, der kan navigere i enorme muligheds-rum. De demonstrerede, at neurale netværk, forstærket lærings, søgning og enorme mængder af beregning kunne afsløre løsninger, som mennesker ikke havde udtrykkeligt programmeret.

Endnu vigtigere var, at de gav Hassabis tillid til, at AI kunne bevæge sig ud over klassificering og mønster-genkendelse til at generere virkelig nyttige indsigt.

AlphaGo var en historisk præstation, men det var aldrig det endelige mål. Spil var laboratorier, hvor DeepMind kunne udvikle idéer, mennesker, infrastruktur og tillid til at konfrontere virkelige videnskabelige problemer.

Protein-struktur-forudsigelse var, hvor den oprindelige mission endelig ville blive testet.

AlphaFold og forskellen mellem at vinde og at løse

DeepMind begyndte officielt at arbejde på protein-struktur-forudsigelse i 2016. Dets første AlphaFold-system deltog i CASP13 protein-struktur-konkurrencen i 2018 og opnåede højeste nøjagtighed blandt deltagerne.

For mange organisationer ville at vinde konkurrencen have været nok. Det ville have genereret overskrifter, akademisk anerkendelse og bevis for, at projektet havde lykkes.

Hassabis ville have mere.

Et system, der toppede en benchmark, men forblev utilstrækkeligt pålideligt for daglig videnskabeligt arbejde, havde ikke rigtigt løst problemet. DeepMind udvidede holdet, placerede John Jumper i en central forskningsrolle og redesignede systemet betydeligt snarere end blot at forfine sin første tilgang.

Resultatet var AlphaFold2.

Ved CASP14 i 2020 opnåede AlphaFold2 en nøjagtighed, som arrangører og forskere betragtede som sammenlignelig med eksperimentelle metoder på tværs af mange protein-mål. Den tilknyttede forskning demonstrerede, at komputational forudsigelse kunne regelmæssigt nærme sig atomisk nøjagtighed, herunder i tilfælde, hvor der ikke var nogen nært beslægtet kendt struktur.

DeepMind og det europæiske bioinformatik-institut udgav senere forudsigelser, der dækkede over 200 millioner protein-strukturer – næsten hver protein, der er katalogiseret af videnskab. Databasen er siden blevet adgang til over tre millioner forskere i over 190 lande.

I 2024 delte Hassabis og Jumper den ene halvdel af Nobelprisen i kemi for protein-struktur-forudsigelse, mens den anden halvdel blev tildelt David Baker for computermæssig protein-design.

Rækken af begivenheder fanger, hvad jeg fandt mest imponerende ved Hassabis.

Han synes ikke tilfreds med at vinde den accepterede måling af et problem. Han spørger gentagne gange, om det underliggende problem er blevet løst.

Dette er første-princip-tænkning i sin reneste form. En benchmark er kun en proxy. Målet er ikke at rangere først. Målet er at skabe noget, der ændrer, hvad videnskabsmænd er i stand til at gøre.

LLM blindspot, der hjalp OpenAI med at tage føringen

Bogen klargjorde også en af de mest forvirrende episoder i den seneste AI-historie.

Google-forskere introducerede transformer-arkitekturen i det landmærke-2017-papir Attention Is All You Need. Transformere blev grundlaget for, hvorpå moderne store sprogmodeller blev bygget.

Google konverterede dog ikke denne føring til det produkt, der definerede den generative AI-æra. OpenAI udgav ChatGPT og etablerede grænsefladen, hvorigennem hundredvis af millioner af mennesker ville møde avanceret AI for første gang. Anthropic opstod herefter som en anden leder, især blandt udviklere og virksomhedsbrugere.

Den almindelige version af denne historie er, at Google opfandt transformeren og så bare ikke byggede sprogmodeller. Det er ikke helt præcist. Google og DeepMind offentliggjorde betydelig sprogmodel-forskning, herunder DeepMinds 280-milliard-parameter Gopher-model i 2021.

Fiaskoen var ikke en mangel på forskning. Det var en fiasko af strategisk overbevisning og produkt-udførelse.

Hassabis tvivlede oprindeligt på, om sprog alene kunne producere ægte intelligens. Han troede, at et intelligent system havde brug for at være grundlagt i verden gennem perception, handling, robotik eller simulerede miljøer.

Hans bekymring var rimelig. En maskine kunne gemme en definition af vægt, men ville den virkelig forstå vægt uden nogensinde at have løftet noget? Den kunne behandle beskrivelser af tyngdekraft, men ville den virkelig forstå, at et glas ville splintre, når det blev kastet?

DeepMinds forskningsdagsorden fik derfor prioritet på agenter, der handlede inden for spil og simulerede verdener. Deres forskere byggede endda systemer, der specifikt var designet til at forbinde sprog med perception og handling i tredimensionelle miljøer.

Hvad Hassabis undervurderede, var, hvor meget information om den fysiske og sociale verden allerede var indkodet i menneskesprog. Store modeller kunne også arve en form for grundlæggelse gennem feedback fra mennesker, der havde oplevet verden direkte.

Hassabis har siden erkendt, at dette var noget, han misjudgede, og beskrev sprogmodeller som “urimeligt effektive”.

Dette var en af de mest værdifulde dele af bogen, fordi det gjorde Googles adfærd langt mere forståelig.

Udefra syntes det urimeligt, at organisationen ansvarlig for transformeren ville lade OpenAI definere LLM-æraen. Fra inden Hassabis’ intellektuelle ramme giver det mere mening. Han ledte efter en dybere form for intelligens og betragtede sprog-forudsigelse som en ufuldstændig vej mod den.

Dette dom kan måske en dag vise sig at være rigtigt på niveauet med AGI. Sprogmodeller alene kan måske ikke være tilstrækkelige. Men som en produkt- og platform-beslutning gav det konkurrenterne en ekstraordinær åbning.

I min egen observation af markedet er Gemini blevet et formidabelt system og kan måske overgå andre modeller på enkelt-evalueringer. Alligevel føles det, som om Google forsøger at gendefinere en kategori, hvis forventninger blev etableret af OpenAI og Anthropic.

Bogen hjælper med at forklare, hvordan en af de organisationer med den største koncentration af AI-talent og -infrastruktur fandt sig i den position.

Hvorfor salget af DeepMind til Google var konsistent med missionen

Den anden episode, der ændrede min forståelse af Hassabis, var DeepMinds salg til Google.

Grundlægger-myten fejrer uafhængighed. Den ideelle iværksætter skal beholde kontrol, modstå opkøb, bygge et imperium og modtage personlig anerkendelse for at skabe en dominerende virksomhed.

Hassabis synes at have vurderet beslutningen anderledes.

Under konkurrencen om at opkøbe DeepMind i 2013 gjorde Larry Page et argument, der gik direkte til Hassabis’ prioriteringer. Hvis hans egentlige mål var at skabe AGI, hvorfor skulle han så bruge år på at genopbygge infrastruktur, rejse kapital og konstruere en virksomhed, der var sammenlignelig med Google, når Googles ressourcer allerede eksisterede?

Samtalerne udviklede sig midt i en næsten surrealistisk række møder med Page, Mark Zuckerberg, Elon Musk og andre teknologiske figurer, herunder et møde i en lejet borg i New York til Musks fødselsdag.

Google kunne tilbyde beregnings-infrastruktur, kapital, forsknings-talent og tålmodighed i en skala, som en uafhængig DeepMind ville have svært at reproducere. Det var også parat til at acceptere etiske betingelser, som DeepMind betragtede som vigtige. Hassabis valgte til sidst Google, på trods af at have modtaget et større tilbud fra Facebook.

Set gennem en konventionel iværksætter-lins kan salget af DeepMind så tidligt synes at være en opgivelse af uafhængighed.

Set gennem Hassabis’ lins kan uafhængighed måske have været den større afledning.

Hans mål var ikke at blive kendt som grundlæggeren af den næste Google. Det var at bruge den hurtigste troværdige rute mod at bygge AGI og anvende avanceret intelligens til videnskab. Google forkortede denne rute.

Opkøbet producerede senere reelle spændinger over uafhængighed, styre, kommercielle og de etiske grænser for AI. Bogen antyder ikke, at placeringen af DeepMind inden for en af verdens største koncerner løste disse spørgsmål. På nogle måder gjorde det dem mere vanskelige.

Alligevel afslører beslutningen noget vigtigt om Hassabis. Han synes at være mindre knyttet til den konventionelle status for iværksætteri end til den videnskabelige mission, som iværksætteri gjorde mulig.

En af de gode – men ikke en ufejlbar

Hassabis kommer til at fremstå som en af de gode i AI-kapløbet.

Det betyder ikke, at hver enkelt beslutning har været korrekt. Hans tøven over for sprogmodeller var konsekvensfuld. DeepMinds forhold til Google har involveret kompromiser. Koncentrationen af kraftfulde AI-systemer inden for en lille gruppe koncerner skaber spørgsmål, som gode intentioner alene ikke kan besvare.

Men hans motiver synes usædvanligt konsekvente.

Han vil forstå intelligens. Han tror, at avanceret AI kan accelerere videnskabelig opdagelse. Han har gentagne gange understreget sikkerhed og behovet for at overveje de langsigtede konsekvenser af stadig mere kapable systemer. Mest betydningsfuldt giver AlphaFold konkrete beviser for, at hans vision om AI som et instrument for videnskab er mere end en aspirerende talepunkt.

Der er en forskel på at love, at AI vil gavne menneskeheden, og at udgive et værktøj, der bruges af millioner af forskere til at forbedre deres forståelse af livets maskineri.

AlphaFold giver Hassabis troværdighed, som få andre ledere i AGI-kapløbet besidder.

Afsluttende tanker

The Infinity Machine lykkes som en biografi, en historie om DeepMind og en tilgængelig beskrivelse af nogle af de vigtigste gennembrud i moderne kunstig intelligens. Det gør også begivenheder, vi overværede i realtid – fra AlphaGo og AlphaFold til Googles forsinkede respons på ChatGPT – føles betydeligt mere sammenhængende.

Den mest kraftfulde lære er ikke blot, at Hassabis er usædvanligt intelligent, selv om han åbenbart er. Det er, at han har været usædvanligt bevidst om at vælge, hvilke problemer der fortjener den intelligens.

En samtale med biolog-studerende introducerede ham til protein-folding for årtier, før AI var i stand til at tackle det. Han beholdt problemet i baghovedet, byggede organisationen og systemerne, der var nødvendige for at konfrontere det, og vendte tilbage til det, da teknologien havde udviklet sig nok.

De fleste iværksættere begynder med en tilgængelig teknologi og søger efter en marked. Hassabis begyndte med spørgsmål, han troede kunne ændre menneskeheden, og arbejdede mod at skabe teknologi, der var kraftfuld nok til at besvare dem.

Dette er, hvad gør The Infinity Machine så en uforglemmelig bog og Demis Hassabis så en usædvanlig skikkelse i kunstig intelligens’ historie.