Bokanmeldelse: The Infinity Machine: Demis Hassabis, DeepMind og jakten på superintelligens av Sebastian Mallaby

Etter å ha lest The Power Law, som jeg regner som den beste boken om venturekapital, nærmet jeg meg Sebastian Mallabys siste bok med usedvanlig høye forventninger. The Infinity Machine: Demis Hassabis, DeepMind og jakten på superintelligens skuffet ikke.

Liksom The Power Law lykkes boken fordi Mallaby forstår at transformative selskaper ikke kan forklares bare gjennom teknologi eller finansielle resultater. De må forklares gjennom ambisjonene, personlighetene, rivaliseringene og dypt trodde overbevisningene til menneskene som bygger dem.

The Infinity Machine er delvis historien om en entreprenør som skaper ett av de viktigste kunstig intelligens-selskapene i historien. Mer viktig, imidlertid, er det historien om en vitenskapsmann som tilfeldigvis bruker entreprenørskap som et kjøretøy for å drive vitenskapelige spørsmål.

Demis Hassabis kommer ikke frem som noen som grunnla DeepMind primært for å bli rik, berømt eller feiret som en teknologisk grunnlegger. Han kommer frem som noen som identifiserte intelligens som det mest konsekvensfulle problemet han kunne jobbe med, og deretter konstruerte livet sitt rundt å løse det.

Dette er det som gjør boken så overbevisende.

En vitenskapsmann først og en entreprenør andre

Mallaby sporer Hassabis’ vei fra barnesjakk-produsent og videospill-designer til nevrovitenskapsmann, AI-forsker og til slutt medgrunnlegger av DeepMind. Boken bygger på over 30 timers samtaler med Hassabis, samt over 100 intervjuer med kolleger, konkurrenter, kritikere og tidligere samarbeidspartnere.

Dette gir Mallaby mulighet til å presentere Hassabis ikke bare som det offentlige ansiktet til Google DeepMind, men som en person hvis interesser har forblitt merkelig konsistente.

Sjakk lærte ham å tenke flere trekk fremover. Å designe simulerings-spill lærte ham hvordan komplekse verdener kunne oppstå fra relativt enkle regler. Nevrovitenskap oppmuntret ham til å spørre hvordan minne, fantasi, planlegging og intelligens fungerer inne i det menneskelige hjernen.

Disse aktivitetene var ikke separate stadier i hans karriere. De var forskjellige tilnærminger til det samme underliggende spørsmålet: Kan intelligens forstås godt nok til å bli gjenskapt?

Hva som skiller seg ut gjennom hele boken er Hassabis’ tendens til å redusere problemer til deres grunnlag. I stedet for å begynne med hva eksisterende teknologi kunne oppnå, begynte han gjentatte ganger med utfallet han trodde burde være mulig og arbeidet bakover.

Dette først-prinsipp-tilnærmingen forklarer også hans usedvanlig lange tidshorisont. Hassabis var villig til å holde et problem i tankene i år – eller til og med tiår – til vitenskap og databehandling hadde fremmet nok til at han kunne angripe det ordentlig.

Det klareste eksempelet er protein-strukturprediksjon.

Samtalen som plantet protein-folding-frøet

Mens han studerte datavitenskap ved Cambridge på 1990-tallet, ble Hassabis venn med biologistudenter. En av dem var spesielt fascinert av protein-folding-problemet og forklarte at å knekke det kunne transformere biologi.

Hassabis erkjente umiddelbart det som en enorm søke-problem som en dag kunne bli løst med kunstig intelligens. Han skal ha oppbevart notater om vitenskapelige problemer som en dag kunne bli egnet for algoritmene han håpet å bygge. Protein-folding forble blant dem i nesten to tiår.

Dette er en av de mest fengslende delene av boken.

En tilsynelatende vanlig samtale introduserte Hassabis for et problem som skulle forbli i bakgrunnen av tankene hans gjennom universitet, nevrovitenskapelig forskning, entreprenørskap, opprettelsen av DeepMind og utviklingen av stadig mer kapable lærings-systemer.

For å forstå betydningen av hva som fulgte, er det nødvendig å sette pris på skalaen av utfordringen.

Proteiner begynner som kjeder av aminosyrer. Disse kjedene folder seg inn i komplekse tredimensjonale strukturer, og den resulterende formen bestemmer i stor grad hva en protein kan gjøre inne i en levende organisme. Å forstå denne strukturen er derfor essensielt for å studere sykdom, designe medisiner og forstå mange av mekanismene som livhenger av.

Vanskeligheten er at selv en relativt liten protein kan teoretisk anta et astronomisk antall mulige konfigurasjoner. Eksperimentelt å bestemme en struktur gjennom metoder som røntgenkrystallografi eller kryo-elektronmikroskopi kan kreve betydelig tid, ekspertise og utgifter.

I omtrent 50 år kjempet vitenskapsmenn for å pålitelig kunne forutsi en proteins tredimensjonale struktur fra dens en-dimensjonale aminosyre-sekvens. Utfordringen ble ett av de store uløste problemene i beregningsbiologi.

Det blir ofte sagt at AlphaFold “løste protein-folding”. Teknisk sett er denne beskrivelsen for bred. AlphaFold transformerte protein-strukturprediksjon; det forklarer ikke hver fase av den fysiske foldings-prosessen, protein-bevegelse, misfolding eller molekylær interaksjon.

Dette kvalifiserer ikke ned prestasjonen. Å forutsi strukturer med nesten eksperimentell nøyaktighet var i seg selv en gjennombrudd som endret et helt vitenskapelig felt.

Spill var treningsgrunnen, ikke destinasjonen

DeepMind begynte ikke med biologi. Dets tidlige gjennombrudd kom gjennom spill.

Spill tilbød noe uvurderlig til et AI-laboratorium: kontrollerte miljøer med klare regler, målbare resultater og enorme antall mulige beslutninger. En agent kunne eksperimentere, feile, motta tilbakemelding og forbedre seg uten usikkerheten og fysisk risiko forbundet med å operere i den virkelige verden.

DeepMinds dypt Q-nettverk demonstrerte at ett lærings-system kunne mestre en bred utvalg av Atari-spill fra skjerm-piksler og belønningssignaler i stedet for spill-spesifikke instruksjoner. Arbeidet hjalp med å etablere dypt forsterket læring som en av de mest lovende tilnærmingene i moderne AI.

Neste store test var Go.

Go hadde motstått tradisjonelle datatilnærminger fordi antall mulige brett-poser gjorde uttømmelig søk umulig. Suksess krevde mønster-gjenkjenning, strategisk planlegging og evnen til å identifisere lovende trekk uten å beregne hvert mulig resultat.

I mars 2016 AlphaGo beseiret legendarisk Go-spiller Lee Sedol fire spill til ett. Over 200 millioner mennesker så en maskin vise trekk som selv topp-spillere først kjempet med å forstå.

AlphaGo Zero fjernet deretter avhengigheten av menneskelige spill-rekorder. Startende bare med reglene, lærte den ved å spille mot seg selv og til slutt overgikk den tidligere versjonen av AlphaGo. AlphaZero generaliserte tilnærmingen videre, mestret sjakk, shogi og Go gjennom selv-spill uten å stole på håndlagde strategier eller menneskelige eksempler.

Disse systemene var ikke direkte prototyper for AlphaFold. Forbindelsen er mer filosofisk og organisatorisk enn arkitektonisk.

Spill lærte DeepMind hvordan å bygge systemer i stand til å navigere gjennom enorme mulighets-rom. De demonstrerte at nevronettverk, forsterket læring, søk og enorme mengder beregning kunne avdekke løsninger som mennesker ikke hadde eksplisitt programmert.

Mer viktig, ga de Hassabis tillit til at AI kunne gå utover klassifisering og mønster-gjenkjenning til å generere genuint nyttige innsikter.

AlphaGo var en historisk prestasjon, men det var aldri den endelige destinasjonen. Spill var laboratorier hvor DeepMind kunne utvikle ideer, mennesker, infrastruktur og tillit nødvendig for å konfrontere virkelige vitenskapelige problemer.

Protein-strukturprediksjon var der opprinnelige misjonen endelig skulle bli testet.

AlphaFold og forskjellen mellom å vinne og å løse

DeepMind begynte formelt å arbeide med protein-strukturprediksjon i 2016. Dets første AlphaFold-system deltok i CASP13 protein-struktur-konkurransen i 2018 og oppnådde høyest nøyaktighet blant deltakerne.

For mange organisasjoner ville å vinne konkurransen ha vært nok. Det ville ha generert overskrifter, akademisk anerkjennelse og bevis på at prosjektet hadde lykkes.

Hassabis ønsket mer.

Et system som toppet en benchmark, men forble utilstrekkelig pålitelig for daglig vitenskapelig arbeid, hadde ikke virkelig løst problemet. DeepMind utvidet teamet, plasserte John Jumper i en sentral forskningsrolle og redesignet systemet betydelig i stedet for å bare forbedre den første tilnærmingen.

Resultatet var AlphaFold2.

Ved CASP14 i 2020 oppnådde AlphaFold2 nøyaktighet som arrangører og forskere anså som sammenlignbar med eksperimentelle metoder over mange protein-mål. Den tilknyttede forskningen demonstrerte at beregnings-prediksjon kunne regelmessig nærme seg atom-nøyaktighet, inkludert i tilfeller hvor ingen nært beslektet kjent struktur var tilgjengelig.

DeepMind og det europeiske bioinformatikk-instituttet ga deretter ut prediksjoner som dekket over 200 millioner protein-strukturer – nesten hver protein katalogisert av vitenskap. Databasen har siden blitt aksessert av over tre millioner forskere over 190 land.

I 2024 delte Hassabis og Jumper halvparten av Nobelprisen i kjemi for protein-strukturprediksjon, med den andre halvparten tildelt David Baker for beregnings-basert protein-design.

Rekkefølgen av hendelser fanger hva jeg fant mest imponerende om Hassabis.

Han ser ikke tilfreds med å vinne den aksepterte målingen av et problem. Han spør gjentatte ganger om det underliggende problemet har virkelig blitt løst.

Dette er først-prinsipp-tenkning i sin reneste form. En benchmark er bare en proxy. Målet er ikke å rangere først. Målet er å skape noe som endrer hva vitenskapsmenn er i stand til å gjøre.

LLM blindspoten som hjalp OpenAI å ta ledelsen

Boken klargjorde også ett av de mest forvirrende episodene i nyere AI-historie.

Google-forskere innførte transformer-arkitekturen i det banebrytende 2017-papiret Attention Is All You Need. Transformere ble grunnlaget for moderne store språk-modeller.

Likevel var det ikke Google som omgjorde denne førsprangen til produktet som definerte den generative AI-æraen. OpenAI ga ut ChatGPT og etablerte grensesnittet som hundre millioner mennesker skulle møte avansert AI for første gang. Anthropic oppstod deretter som en annen leder, spesielt blant utviklere og bedriftsbrukere.

Den vanlige versjonen av denne historien er at Google oppfant transformeren og deretter bare ikke bygde språk-modeller. Det er ikke helt nøyaktig. Google og DeepMind publiserte betydelig språk-modell-forskning, inkludert DeepMinds 280-milliarder-parametre Gopher-modell i 2021.

Feilene var ikke fravær av forskning. Det var en feil av strategisk overbevisning og produkt-gjennomføring.

Hassabis tvilte først på at språk alene kunne produsere genuin intelligens. Han trodde at et intelligent system måtte være grunnlagt i verden gjennom persepsjon, handling, robotikk eller simulerings-miljøer.

Hans bekymring var rimelig. En maskin kunne lagre en definisjon av vekt, men ville den virkelig forstå vekt uten å ha løftet noe? Den kunne prosessere beskrivelser av tyngdekraft, men ville den virkelig forstå at et glass ville knuse når det ble droppet?

DeepMinds forsknings-agenda prioriterte derfor agenter som opererte i spill og simulerings-verdener. Forskerne bygde til og med systemer som var ment å koble språk med persepsjon og handling i tredimensjonale miljøer.

Hva Hassabis undervurderte var hvor mye informasjon om den fysiske og sosiale verden allerede var kodet i menneskelig språk. Store modeller kunne også arve en form for grunnlag gjennom tilbakemelding fra mennesker som hadde direkte erfaring med verden.

Hassabis har senere erkjent at dette var noe han misforstod, og beskrev språk-modeller som “urimelig effektive”.

Dette var en av de mest verdifulle delene av boken fordi det gjør Googles atferd langt mer forståelig.

Utenfor virker det uforståelig at organisasjonen ansvarlig for transformeren skulle la OpenAI definere LLM-æraen. Fra Hassabis’ intellektuelle rammeverk gjør det mer mening. Han lette etter en dypere form for intelligens og regarde først språk-prediksjon som en ufullstendig vei mot det.

Dette dommen kan til slutt vise seg å være riktig på AGI-nivå. Språk-modeller alene kan ikke være tilstrekkelige. Men som et produkt- og plattform-beslutning ga det konkurrenter en ekstraordinær åpning.

I min egen observasjon av markedet har Gemini blitt et formidabelt system og kan overstige konkurrerende modeller i individuelle vurderinger. Likevel føles det som om Google prøver å gjendefinere en kategori hvis forventninger ble etablert av OpenAI og Anthropic.

Boken hjelper med å forklare hvordan en av organisasjonene med den største konsentrasjonen av AI-talent og infrastruktur fant seg i denne posisjonen.

Hvorfor salg av DeepMind til Google var konsistent med misjonen

Den andre episoden som endret min forståelse av Hassabis var DeepMinds salg til Google.

Grunnlegger-myten feirer uavhengighet. Den ideelle entreprenøren skal beholde kontroll, motstå oppkjøp, bygge et imperium og motta personlig anerkjennelse for å skape et dominant selskap.

Hassabis ser ut til å ha vurdert beslutningen annerledes.

Under konkurransen om å kjøpe DeepMind i 2013, presenterte Larry Page et argument som gikk rett til Hassabis’ prioriteringer. Hvis hans virkelige mål var å skape AGI, hvorfor skulle han bruke år på å bygge infrastruktur, samle inn kapital og konstruere et selskap sammenlignbart med Google når Googles ressurser allerede eksisterte?

Samtalene utviklet seg midt i en nesten surrealistisk rekke møter som involverte Page, Mark Zuckerberg, Elon Musk og andre teknologiske figurer, inkludert en samling på et leid slott i New York for Musks bursdag.

Google kunne tilby databehandlings-infrastruktur, kapital, forsknings-talent og tålmodighet i en skala som et uavhengig DeepMind ville ha kjempet med å reprodusere. Det var også forberedt på å akseptere etiske betingelser som DeepMind anså som viktige. Hassabis valgte til slutt Google til tross for å ha mottatt et større tilbud fra Facebook.

Sett fra et konvensjonelt entreprenør-perspektiv kan salg av DeepMind så tidlig ha vært å gi avkall på uavhengighet.

Sett fra Hassabis’ perspektiv kan uavhengighet ha vært den større distraksjonen.

Hans mål var ikke å bli kjent som grunnleggeren av det neste Google. Det var å bruke den raskeste troverdige ruten mot bygging av AGI og anvende avansert intelligens til vitenskap. Google forkortet denne ruten.

Oppkjøpet produserte senere virkelige spenninger over uavhengighet, styring, kommersialisering og de etiske grensene for AI. Boken antyder ikke at plassering av DeepMind innen ett av verdens største selskaper løste disse spørsmålene. På noen måter gjorde det dem mer vanskelige.

Likevel avslører beslutningen noe viktig om Hassabis. Han ser ut til å være mindre knyttet til den konvensjonelle statusen til entreprenørskap enn til den vitenskapelige misjonen som entreprenørskap gjorde mulig.

En av de gode – men ikke en feilfri

Hassabis kommer til slutt frem som en av de gode i AI-kappløpet.

Det betyr ikke at hver enkelt beslutning har vært riktig. Hans tøven overfor språk-modeller var konsekvensfull. DeepMinds forhold til Google har involvert kompromisser. Konsentrasjonen av kraftfulle AI-systemer innen ett fåtall selskaper skaper spørsmål som gode intensjoner alene ikke kan besvare.

Men hans motivasjon ser ut til å være usedvanlig konsistent.

Han ønsker å forstå intelligens. Han tror at avansert AI kan akselerere vitenskapelige oppdagelser. Han har gjentatte ganger betonet viktigheten av sikkerhet og behovet for å vurdere de langtids-konsekvensene av stadig mer kapable systemer. Mest betydningsfullt, gir AlphaFold ham troverdighet som få andre ledere i AGI-kappløpet besitter.

Det er en forskjell på å love at AI vil være til nytte for menneskeheten og å gi ut et verktøy som brukes av millioner av forskere for å bedre forstå maskineriet i livet.

AlphaFold gir Hassabis en troverdighet som ingen andre ledere i AGI-kappløpet har.

Slutt-tanker

The Infinity Machine lykkes som en biografi, en historie om DeepMind og en tilgjengelig beskrivelse av noen av de viktigste gjennombruddene i moderne kunstig intelligens. Den gjør også hendelser vi så i sanntid – fra AlphaGo og AlphaFold til Googles forsinkede respons på ChatGPT – mer koherente.

Den mest kraftfulle lære er ikke bare at Hassabis er usedvanlig intelligent, selv om han åpenbart er det. Det er at han har vært usedvanlig bevisst om å velge hvilke problemer som fortjener den intelligensen.

En samtale med biolog-studenter introduserte ham for protein-folding for tiår før AI var i stand til å adresse det. Han holdt problemet i tankene, bygde organisasjonen og systemene nødvendige for å konfrontere det, og returnerte til det når teknologien hadde fremmet nok.

De fleste entreprenører begynner med en tilgjengelig teknologi og søker etter en marked. Hassabis begynte med spørsmål han trodde kunne endre menneskeheten og arbeidet mot å skape teknologi kraftig nok til å besvare dem.

Dette er det som gjør The Infinity Machine til en så minneverdig bok og Demis Hassabis til en så uvanlig figur i kunstig intelligens’ historie.