Kirja-arvostelu: The Infinity Machine: Demis Hassabis, DeepMind ja supers älymystön etsintä Sebastian Mallabyn kirjoittamana

Olin aiemmin lukenut The Power Law, jonka pidän parhaana venture capitalista kirjoitetuksi kirjaksi, lähestyin Sebastian Mallabyn uusinta kirjaa epätavallisen korkein odotuksin. The Infinity Machine: Demis Hassabis, DeepMind ja supers älymystön etsintä ei pettänyt.

Kuten The Power Law, kirja onnistuu, koska Mallaby ymmärrettiin, että muodonmuuttuvat yritykset eivät voi selittyä ainoastaan teknologian tai taloudellisten tulosten kautta. Niitä on ymmärrettävä niiden perustajien tavoitteiden, persoonallisuuksien, kilpailun ja syvään uskottujen uskomusten kautta.

The Infinity Machine on osittain yrittäjän tarina, joka luo yhden historian tärkeimmistä tekoälyyrityksistä. Tärkeämpää kuitenkaan on, että se on tieteilijän tarina, joka käyttää yrittäjyyttä välineenä tieteellisten kysymysten tutkimiseen.

Demis Hassabis ei vaikuta henkilönä, joka perusti DeepMindin ensisijaisesti rikastuakseen, tulla kuuluisaksi tai juhlistamaan itsensä teknologia-alan perustajana. Hän vaikuttaa henkilönä, joka on tunnistanut älymystön tärkeimmäksi ongelman, jonka hän voi työskennellä, ja rakentanut elämänsä sen ratkaisemisen ympärille.

Tämä ero tekee kirjasta niin mielenkiintoisen.

Tieteilijä ensin ja yrittäjä toiseksi

Mallaby jäljittää Hassabisin polkua lapsuuden shakki-ihmeestä ja videopelisuunnittelijasta neurotieteilijäksi, tekoälytutkijaksi ja lopulta DeepMindin perustajaksi. Kirja perustuu yli 30 tuntiin keskusteluihin Hassabisin kanssa sekä yli 100 haastatteluun kollegoiden, kilpailijoiden, kriitikoiden ja entisten yhteistyökumppaneiden kanssa.

Tämä pääsy mahdollistaa Mallabylle esittää Hassabisin ei pelkästään DeepMindin julkisen kasvona, vaan henkilönä, jonka kiinnostuksista on ollut hämmästyttävän vakaata.

Shakki opetti hänelle ajattelemaan useita siirtoja eteenpäin. Simulaatiopelien suunnittelu opetti hänelle, miten monimutkaiset maailmat voivat syntyä suhteellisen yksinkertaisten sääntöjen kautta. Neurotiede rohkaisi häntä kysymään, miten muisti, mielikuvitus, suunnittelu ja äly toimivat ihmisaivoissa.

Nämä pyrkimykset eivät olleet erillisiä uransa vaiheita. Ne olivat eri lähestymistapoja samaan perustavaan kysymykseen: Voitiinko älykkyys ymmärrettäväksi, jotta se voitiin luoda uudelleen?

Mikä erottuu koko kirjan ajan, on Hassabisin tapa yksinkertaisesti perustaa ongelmia. Sen sijaan, että hän olisi aloittanut siitä, mitä olemassa oleva teknologia voisi saavuttaa, hän aloitti usein lopputuloksesta, jonka hän uskoi pitäisi olla mahdollista, ja työskenteli taaksepäin.

Tämä periaatteiden mukainen lähestymistapa selittää myös hänen epätavallisen pitkän aikahorisonttinsa. Hassabis oli valmis pitämään ongelmaa mielessään vuosia – tai jopa vuosikymmeniä – kunnes tiede ja laskenta olivat edenneet tarpeeksi, jotta hän voisi hyökätä siihen kunnolla.

Selkein esimerkki on proteiinirakenteen ennustaminen.

Keskustelu, joka istutti proteiinikietoutumisen siemenen

Opiskellessaan tietotekniikkaa Cambridgessä 1990-luvulla Hassabis tutustui biologiaan opiskeleviin. Yksi heistä oli erityisen kiinnostunut proteiinikietoutumisongelmasta ja selitti, että sen ratkaiseminen voisi muuttaa biologian.

Hassabis tunnisti välittömästi sen olevan valtavan hakuongelman tyyppi, jota voisi joskus osoittaa tekoälyllä. Hänellä oli ilmeisesti muistiinpanoja tieteellisistä ongelmista, jotka voisivat lopulta olla soveltuvia algoritmeille, joita hän toivoi rakentavansa. Proteiinikietoutuminen säilyi niiden joukossa lähes kaksi vuosikymmentä.

Tämä on yksi kirjan mielenkiintoisimmista osista.

Tavallinen keskustelu esitteli Hassabisille ongelman, joka pysyisi hänen mielessään yliopiston, neurotieteellisen tutkimuksen, yrittäjyyden, DeepMindin luomisen ja jatkuvasti kehittyvien oppimisjärjestelmien kehittämisen kautta.

Ymmärtääkseen seuraavien tapahtumien merkitystä on tarpeen ymmärtää haasteen mittakaava.

Proteiinit alkavat aminohappoketjuina. Nämä ketjut taittuvat monimutkaisiin kolmiulotteisiin rakenteisiin, ja tulokseksi saada rakenteen määrää sille, mitä proteiini voi tehdä elävässä organismissa. Sen rakenteen ymmärtäminen on siten välttämätöntä tutkittaessa sairauksia, suunniteltaessa lääkkeitä ja ymmärrettäessä monia elämälle riippuvaisia mekanismeja.

Vaikeus on, että jopa suhteellisen pieni proteiini voi teoreettisesti olettaa valtavan määrän mahdollisia konfiguraatioita. Kokeellinen määritys rakenteesta menetelmillä kuten röntgenkristallografia tai kryo-elektronimikroskopia voi vaatia merkittävää aikaa, asiantuntemusta ja kustannuksia.

Noin 50 vuoden ajan tutkijat kamppailivat proteiinin kolmiulotteisen rakenteen luotettavan ennustamisen kanssa sen yksulotteisen aminohappoketjun perusteella. Haasteesta tuli yksi suurimmista ratkaistavista ongelmista laskennallisen biologian alalla.

Usein sanotaan, että AlphaFold “ratkaisi proteiinikietoutumisen”. Teknisesti tämä kuvaus on liian laaja. AlphaFold muutti proteiinirakenteen ennustamista; se ei selitä jokaista vaihetta fyysisen kietoutumisprosessia, proteiiniliikettä, virheellistä kietoutumista tai molekulaarista vuorovaikutusta.

Tämä rajoitus ei vähennä saavutusta. Lähes kokeellisen tarkin rakenteen ennustaminen itsessään oli läpimurto, joka muutti koko tieteellisen alan.

Pelit olivat koulutusmaa, ei määränpää

DeepMind ei alkanut biologiasta. Sen varhaiset läpimurrot tulivat peleistä.

Pelit tarjosivat arvokkaita asioita tekoälylaboratoriolle: kontrolloidut ympäristöt, selkeät säännöt, mitattavissa olevat tulokset ja valtava määrä mahdollisia päätöksiä. Agentti voisi kokeilla, epäonnistua, saada palautetta ja parantua ilman epävarmuutta ja fyysistä vaaraa, jotka liittyvät toimintaan todellisessa maailmassa.

DeepMindin syvä Q-verkko osoitti, että yksi oppimisjärjestelmä voisi hallita laajan valikoiman Atari-pelejä ruudun pikseleistä ja palkintosignaaleista eikä pelikohtaisista ohjeista. Työ auttoi vakiinnuttamaan syvän vahvistuksen oppimisen yhtenä lupaavimmista lähestymistavoista modernissa tekoälyssä.

Seuraava suuri testi oli Go.

Go oli vastustanut perinteisiä tietokoneiden lähestymistapoja, koska sen mahdollisten lautapositionien määrä teki perusteellisen haun mahdottomaksi. Menestys vaati mallintunnistusta, strategista suunnittelua ja kykyä tunnistaa lupaavia siirtoja ilman, että jokainen mahdollinen tulos laskettiin.

Helmikuussa 2016 AlphaGo voitti legendaarisen Go-pelaajan Lee Sedolin neljä peliä yhteen. Yli 200 miljoonaa ihmistä seurasi koneen, joka näytti siirtoja, joita jopa huipputason pelaajat aluksi kamppailivat ymmärtääkseen.

AlphaGo Zero poisti riippuvuuden ihmisten pelitiloista. Se oppi pelaamalla itseään vastaan ja lopulta ylitti aikaisemman AlphaGo-version. AlphaZero laajensi lähestymistapaa edelleen hallitsemalla shakki, shogi ja Go itseopiskelun kautta ilman, että se nojautui käsintehtyihin strategioihin tai ihmiskohtaisiin esimerkkeihin.

Nämä järjestelmät eivät olleet suoraan AlphaFoldin esikuvia. Yhteys on enemmän filosofinen ja organisaatio kuin arkkitehtuuri.

Pelit opettivat DeepMindille, miten rakentaa järjestelmiä, jotka voivat navigoida valtavissa mahdollisuuksien avaruuksissa. Ne osoittivat, että neuroverkot, vahvistusoppiminen, hakeminen ja valtavat määrät laskentaa voivat paljastaa ratkaisuja, joita ihmiset eivät ole nimenomaisesti ohjelmoineet.

Tärkeämpää kuitenkaan on, että ne antoivat Hassabisille luottamusta siinä, että tekoäly voisi siirtyä luokittelun ja mallintunnistamisen lisäksi tuottamaan aidosti hyödyllisiä oivalluksia.

AlphaGo oli historiallinen saavutus, mutta se ei ollut koskaan lopullinen määränpää. Pelit olivat laboratorioita, joissa DeepMind voisi kehittää ideoita, ihmisiä, infrastruktuuria ja luottamusta, joita tarvittiin todellisten tieteellisten ongelmien kohtaamiseen.

Proteiinirakenteen ennustaminen oli paikka, jossa alkuperäinen tehtävä vihdoin testattaisiin.

AlphaFold ja voittamisen ja ratkaisemisen välinen ero

DeepMind aloitti virallisesti proteiinirakenteen ennustamisen työn vuonna 2016. Sen ensimmäinen AlphaFold-järjestelmä osallistui CASP13-proteiinirakenteen kilpailuun vuonna 2018 ja saavutti korkeimman tarkin osallistujien joukossa.

Monille organisaatioille kilpailun voittaminen olisi ollut riittävä. Se olisi tuottanut otsikot, akateemisen tunnustuksen ja todisteita siitä, että projekti oli onnistunut.

Hassabis halusi enemmän.

Järjestelmä, joka voitti vertailun, mutta ei ollut riittävän luotettava arkisen tieteellisen työn kannalta, ei ollut ratkaissut ongelmaa. DeepMind laajensi tiimiä, asetti John Jumperin keskeiseen tutkimustehtävään ja suunnitteli järjestelmän uudelleen eikä vain hienonnut ensimmäistä lähestymistapaansa.

Tuloksena oli AlphaFold2.

CASP14:ssa vuonna 2020 AlphaFold2 saavutti tarkin, jonka järjestäjät ja tutkijat pitivät verrattavissa kokeellisiin menetelmiin useilla proteiinikohteilla. Liittyvä tutkimus osoitti, että laskennallinen ennustaminen voisi säännöllisesti lähestyä atomitarkkuutta, myös tapauksissa, joissa ei ollut saatavilla läheistä tunnettua rakennetta.

DeepMind ja Euroopan bioinformatiikan instituutti julkaisivat myöhemmin ennustukset, jotka kattoivat yli 200 miljoonaa proteiinirakennetta – melkein jokaisen tieteellisesti luettelon proteiinin. Tietokantaa on käyttänyt yli kolme miljoonaa tutkijaa yli 190 maassa.

Vuonna 2024 Hassabis ja Jumper jakoi puolet Nobelin kemianpalkinnosta proteiinirakenteen ennustamisesta, ja toinen puoli myönnettiin David Bakerille laskennallisen proteiinisuunnittelun ansiosta.

Tapahtumien järjestys havainnollistaa sitä, mitä pidin Hassabisista eniten vaikuttavana.

Hän ei näytä tyytyvän voittamaan hyväksytyn ongelman mittarin. Hän kysyy jatkuvasti, onko perimmäinen ongelma todella ratkaistu.

Se on puhdas periaatteiden mukainen ajattelu. Vertailu on vain viite. Tavoite ei ole olla ensimmäinen. Tavoite on luoda jotain, joka muuttaa sitä, mihin tutkijat ovat kykeneviä.

LLM:n sokea piste, joka auttoi OpenAI:n pääsemään eteenpäin

Kirja selkiytti yhtä hämmästyttävintä jaksoa viimeaikaisen tekoälyn historiassa.

Google-tutkijat esittelivät transformer-arkkitehtuurin merkittävässä vuoden 2017 tutkimuksessa Attention Is All You Need. Transformerit tulivat modernien suurten kielimallien perustaksi.

Google ei kuitenkaan muuttanut tästä etua suoraan siihen tuotteeseen, joka määritteli generatiivisen tekoälyn aikakauden. OpenAI julkaisi ChatGPT:n ja määritteli käyttöliittymän, jonka kautta satoja miljoonia ihmistä kohtaisi edistyneen tekoälyn ensimmäisen kerran. Anthropic ilmaantui myöhemmin toisena johtavana, erityisesti kehittäjien ja yritysten käyttäjien joukossa.

Yleinen versio tästä tarinasta on, että Google keksi transformerin ja sitten yksinkertaisesti epäonnistui rakentamasta kielimalleja. Tämä ei ole aivan tarkka. Google ja DeepMind julkaisivat merkittävää kielimallitutkimusta, mukaan lukien DeepMindin 280 miljardin parametrin Gopher-mallin vuonna 2021.

Epäonnistuminen ei ollut tutkimuksen puute. Se oli strategisen vakaumuksen ja tuotteen toteutuksen epäonnistuminen.

Hassabis epäili aluksi, voitisiko kieli yksin tuottaa aitoa älykkyyttä. Hän uskoi, että älykkään järjestelmän on oltava perustettu maailmaan havainnon, toiminnan, robottiuden tai simuloitujen ympäristöjen kautta.

Hänen huolensa oli järkevä. Konemalli voisi tallentaa painon määritelmän, mutta ymmärtäisikö se todella painon ilman koskettua mitään? Se voisi prosessoida gravitaation kuvausta, mutta ymmärtäisikö se, että lasi rikkoutuu, kun se pudotetaan?

DeepMindin tutkimusohjelma korosti siten agenteja, jotka toimivat peleissä ja simuloituissa maailmoissa. Sen tutkijat rakensivat järjestelmiä, jotka oli tarkoitettu yhdistämään kieli havainnon ja toiminnan kanssa kolmiulotteisissa ympäristöissä.

Mikä Hassabis aliarvioi, oli se, kuinka paljon tietoa fyysisestä ja sosiaalisesta maailmasta oli jo koodattu ihmisen kielen kautta. Suuret mallit voivat myös periä jonkinlaista perustaa palautteen kautta ihmisiltä, jotka ovat kokeneet maailman suoraan.

Hassabis on myöhemmin myöntänyt, että hän arvioi tämän väärin, kuvailemalla kielimalleja “järjettömän tehokkaiksi”.

Tämä oli yksi kirjan arvokkaimmista osista, koska se tekee Googlein käyttäytymisestä paljon ymmärrettävämmän.

Ulkopuolelta näytti syyttömältä, että organisaatio, joka oli vastuussa transformerista, antaisi OpenAI:lle määritellä LLM-aikakausi. Hassabisin älyllisestä kehyksestä se on ymmärrettävää. Hän etsi syvempää älykkyyden muotoa ja piti aluksi kielimallien ennustamista epätäydellisenä polkuna siihen.

Tämä arvio voi lopulta osoittautua oikeaksi AGI:n tasolla. Kielimalleja yksinään saattaa olla riittämätön. Mutta tuotteen ja alustan päätöksenä se antoi kilpailijoille poikkeuksellisen avauksen.

Omissa havaintojani markkinasta Gemini on kehittynyt vaikuttavaksi järjestelmäksi ja saattaa suorittaa yksittäisiä arvioita paremmin kuin kilpailevat mallit. Silti se tuntuu siltä, että Google yrittää määritellä uudelleen kategorian, jonka odotukset on asettanut OpenAI ja Anthropic.

Kirja auttaa selittämään, miten yksi organisaatioista, joilla on suurin keskittymä tekoälytalenttiin ja infrastruktuuriin, löysi itsensä tässä asemassa.

Miksi DeepMindin myyminen Googlelle oli yhdenmukainen tehtävän kanssa

Toinen jakso, joka muutti ymmärrykseni Hassabisista, oli DeepMindin myynti Googlelle.

Perustajan myytti ylistää itsenäisyyttä. Ihannetapaus on perustaja, joka pitää hallinnan, vastustaa omistajuutta, rakentaa valtakunnan ja saa henkilökohtaista tunnustusta luodessaan hallitsevan yrityksen.

Hassabis näyttää arvioineen päätöksen toisin.

Vuonna 2013 kilpailun aikana hankkia DeepMind, Larry Page esitti argumentin, joka osoittautui suoraan Hassabisin prioriteetteihin. Jos hänen todellinen tavoitteensa oli luoda yleinen tekoäly, miksi hän viettäisi vuosia rakentamassa infrastruktuuria, keräämässä pääomaa ja rakentamassa yritystä, joka olisi vertailukelpoinen Googleen, kun Googlen resurssit olivat jo olemassa?

Keskustelut tapahtuivat melkein surrealistisen sarjan kokousten aikana, johon osallistuivat Page, Mark Zuckerberg, Elon Musk ja muut teknologiajohtajat, mukaan lukien kokous vuokratussa linnassa New Yorkissa Muskin syntymäpäiväksi.

Google voisi tarjota laskennan infrastruktuurin, pääoman, tutkimustalentit ja kärsivällisyyden asteikolla, jota itsenäinen DeepMind olisi kamppaillut toistamaan. Se oli myös valmis hyväksymään eettisiä ehtoja, jotka DeepMind piti tärkeinä. Hassabis valitsi lopulta Googlen, vaikka sai ilmeisesti suuremman tarjouksen Facebookilta.

Nähtynä perinteisen yrittäjyyden näkökulmasta DeepMindin myyminen niin varhain voisi vaikuttaa itsenäisyyden antamiselta.

Nähtynä Hassabisin näkökulmasta itsenäisyyden säilyttäminen saattaisi olla suurempi häiriö.

Hänen tavoitteensa ei ollut tulla tunnetuksi seuraavan Googlen perustajana. Hänen tavoitteensa oli käyttää nopeinta uskottavaa reittiä yleisen tekoälyn rakentamiseen ja soveltamaan edistynyttä älykkyyttä tieteeseen. Google lyhensi tämän reitin.

Myöhemmin hankinta tuotti todellisia jännitteitä itsenäisyydestä, hallinnosta, kaupallistamisesta ja tekoälyn eettisistä rajoituksista. Kirja ei viittaa siihen, että DeepMindin sijoittaminen yhden maailman suurimman yrityksen sisälle ratkaisi nämä kysymykset. Jollain tavoin se teki niistä vaikeampia.

Silti päätös paljastaa jotain tärkeää Hassabisista. Hän näyttää olevan vähemmän sitoutunut perinteisen yrittäjyyden asemasta tieteelliseen tehtävään, jonka yrittäjyys mahdollistaa.

Yksi hyvistä pojista – mutta ei virheetön

Hassabis vaikuttaa lopulta yhdestä hyvistä pojista tekoälykilpailussa.

Se ei tarkoita, että jokainen päätös on ollut oikein. Hänen epäröintinsä kielimalleja kohtaan oli merkittävää. DeepMindin suhde Googleen on ollut kompromisseja. Voimakkaiden tekoälyjärjestelmien keskittyminen muutamiin suuriin yrityksiin herättää kysymyksiä, joita hyvät aikomukset eivät voi yksin ratkaista.

Hänen motivaationsa vaikuttavat kuitenkin poikkeuksellisen johdonmukaisilta.

Hän haluaa ymmärtää älykkyyttä. Hän uskoo, että edistynyt tekoäly voi kiihdyttää tieteellistä löytöä. Hän on toistanut usein turvallisuuden ja tarpeen tarkastella edistyneiden järjestelmien pitkän aikavälin seurauksia. Ennen kaikkea AlphaFold tarjoaa konkreettista näyttöä siitä, että hänen visio tekoälystä tieteen välineenä on enemmän kuin aspiraatio.

On eroa luvata, että tekoäly hyödyttää ihmiskuntaa, ja julkaista työkalu, jota miljoonat tutkijat käyttävät ymmärtääkseen elämän koneistoa.

AlphaFold antaa Hassabisille uskottavuutta, jota harvat muut johtajat AGI-kilpailussa omistavat.

Loppusanat

The Infinity Machine onnistuu elämäkertana, DeepMindin historiana ja helposti lähestyttävänä selityksenä useista modernin tekoälyn tärkeimmistä läpimurroista. Se myös tekee tapahtumista, joita todistimme reaaliajassa – AlphaGo, AlphaFold, Googlein myöhästynyt vastaus ChatGPT:hen – tuntuvat paljon ymmärrettävämmiltä.

Voimakkain opetus on, että Hassabis on ollut poikkeuksellisen tarkka siinä, mihin ongelmien arvoiseen älykkyyttään.

Keskustelu biologian opiskelijoiden kanssa esitteli hänelle proteiinikietoutumisen ongelman vuosikymmeniä ennen kuin tekoäly oli valmis kohtaamaan sen. Hän piti ongelmaa mielessään, rakensi organisaation ja järjestelmät, joita tarvittiin sen kohtaamiseen, ja palasi siihen, kun teknologia oli edennyt tarpeeksi.

Useimmat yrittäjät aloittavat olemassa olevalla teknologialla ja etsivät markkinaa. Hassabis aloitti kysymyksillä, joita hän uskoi voivat muuttaa ihmiskuntaa, ja työskenteli luomassa teknologiaa, joka oli tarpeeksi voimakasta vastaamaan niihin. Se tekee The Infinity Machine niin muistettavan kirjan ja Demis Hassabisin niin epätavallisen hahmon tekoälyn historiassa.