Kirja-arvostelu: The Thinking Machine: Jensen Huang, NVIDIA ja maailman halutuin mikropiiri Stephen Wittin kirjoittamana

The Thinking Machine: Jensen Huang, NVIDIA, and the World’s Most Coveted Microchip erottuu useista teoksista, jotka on kirjoitettu tekoälystä, koska se lähestyy aiheesta suunnasta, jota monet teknisesti tietävät lukijat, mukaan lukien minä, ovat historiallisesti aliarvioineet.

Kuten monille, jotka ovat seuranneet tekoälyä vuosien ajan, ymmärrykseni alasta muotoiltiin tutuilla merkkipaaluilla. Tarina alkoi yleensä vuonna 1956 Dartmouthin työpajalla, josta siirryttiin varhaisiin symbolisiin järjestelmiin, ja siitä edelleen merkittäviin hetkiin, kuten IBM:n Deep Bluen voittoon Garry Kasparovia vastaan, DeepMindin voittoon Go-pelissä, ja viimeaikaisesti OpenAI:n osoittaminen, että suuret kielimallit voivat koordinoida strategiaa monimutkaisissa moninpeliympäristöissä. Nämä hetket ovat älyllisesti tyydyttäviä ja helppoja muistaa, koska ne keskittyvät näkyviin voittoihin.

Miten Stephen Wittin kirja erottuu tässä? Se haastaa tämän kehyskertomuksen. Sen sijaan, että keskittyisi hetkiin, joina tekoäly vaikuttanut maailmaan, The Thinking Machine keskittyy vähemmän näkyvään kerrokseen näiden saavutusten alla. Se väittää, vakuuttavasti, että moderni tekoälykausi ei avannut itsensä ensisijaisesti älykkäiden ideoiden ansiosta, vaan laskennan itsensä suorittamistavassa tapahtuneen perustavanlaatuisen muutoksen kautta.

Keskittymällä NVIDIAhin (NVDA ) ja sen perustajaan Jensen Huangiin, Witt uudelleenmuotoilee tekoälyvallankumouksen tarinan tietokoneen arkkitehtuurin, kehittäjäekosysteemien ja pitkän aikavälin näkemyksen tarinaksi. Tuloksena on ei pelkästään yritysbiografia, vaan puuttuva luku laajemmassa tekoälyn historiassa.

Tekoälystä uuteen laskentaparadigmaan

NVIDIAN alkuvaiheet ovat kaukana nykyisin tekoälyyn liitetyistä korkeista tavoitteista. Yritys perustettiin vuonna 1993 grafiikkasuorittimen valmistajana, joka keskittyi yhä realistisempien videopelimaailmojen renderöintiin. Haasteena oli silloin ei niinkään älykkyys, vaan nopeus. Peleissä vaadittiin suuria määriä laskutoimituksia, joita piti suorittaa välittömästi simuloimaan valoa, liikettä ja syvyyttä.

Ratkaisu, jota NVIDIA etsi, oli rinnakkainen laskenta. Rinnakkainen laskenta tarkoittaa useiden laskutoimitusten suorittamista samanaikaisesti sen sijaan, että ne suoritettaisiin peräkkäin. Sen sijaan, että riippuisi yhdestä voimakkaasta ydinsuorittimesta, joka suorittaa yhden käskyn kerrallaan, GPU:t käyttävät tuhansia pienempiä ytimiä, jotka toimivat samanaikaisesti samankaltaisilla matemaattisilla operaatioilla. Tämä lähestymistapa on erityisen voimakas työkuormille, jotka liittyvät toistettaviin laskutoimituksiin suurten tietojoukkojen yli.

Alun perin tämä arkkitehtuuri suunniteltiin grafiikkaa varten. Witt kuitenkin osoittaa, miten tämä päätös luotiin hiljalleen ihanteellisen perustan neural verkkoihin vuosikymmeninä myöhemmin. Nykyaikaisen tekoälymallin koulutus vaatii valtavan määrän samanlaisia matemaattisia operaatioita, jotka sovelletaan laajoihin tietojoukkoihin. GPU:t olivat jo optimoituja tällaiselle työlle.

Mikä tekee tästä osasta kirjaa mielenkiintoista, on se, miten selkeästi Witt yhdistää tekniset suunnittelupäätökset selviytymiseen. NVIDIA ei valinnut rinnakkaislaskentaa, koska se ennakoi tekoälyä. Se valitsi sen, koska se oli ainoa keino kilpailla reaaliaikaisessa grafiikassa. Tämä välttämättömyys pakotti yrityksen hallitsemaan laskentamallin, josta myöhemmin tulisi muodonmuuttaja paljon laajemmin kuin pelien ulottuvilla.

Jensen Huang ja järjestelmien ajattelu tuotteiden sijaan

Tässä tarinassa on keskipisteenä Jensen Huang, jota esitetään ei perinteisenä johtajana, vaan joku, joka ajattelee järjestelminä eikä yksittäisinä tuotteina. Witt esittää Huangin vaativana, intensiivisenä ja usein vaikeana, mutta myös hämmästyttävän johdonmukaisena siinä, miten hän käsittää teknologian pitkän aikavälin näkökulmasta.

Kun kilpailijat käsittivät GPU:t hävitettävinä komponentteina, jotka liittyvät pelien elinkaareen, Huang käsitti ne laajemman laskentapohjan perustana. Tämä ero on kriittinen. Tuotteet korvataan. Alustat kerryttävät arvoa.

Sisäisesti NVIDIA heijasti tätä ajattelutapaa. Insinöörit kannustettiin ajattelemaan eteenpäin vuosia. Ohjelmistoja pidettiin strategisesti tärkeinä kuin piikiekkaa. Investoinnit tehtiin työkaluihin ja kehittäjätukeen ennen kuin siitä oli selkeää kysyntää. Monet näistä valinnoista vaikuttivat liiallisilta tai tarpeettomilta silloin. Takapuolelta katsottuna ne loivat esteen, jonka kilpailijat kamppailivat ylittääkseen.

Witt tekee selväksi, ettei NVIDIAN nousu ollut välttämätön. Yritys oli lähellä epäonnistumista useammin kuin kerran. Se, mikä vei sen eteenpäin, ei ollut yksittäinen läpimurto, vaan kestävä usko siihen, että nopeutettu laskenta lopulta merkitsisi paljon enemmän kuin sen alkuperäinen käyttötarkoitus.

CUDA ja tekoälyn alkuperätarina, jota monet ovat väärin ymmärtäneet

Yksi The Thinking Machine -kirjan tärkeimmistä panoksista on se, miten se uudelleenmuotoilee CUDA:n roolin tekoälyn historiassa.

Ennen kuin luin tämän kirjan, on helppo ajatella CUDA:a pelkästään onnistuneena kehittäjätyökaluna. Witt osoittaa, miksi sille on annettava paljon enemmän huomiota. CUDA luotiin tekemään rinnakkainen laskenta käytettäväksi grafiikan ulkopuolella. Ennen CUDA:a grafiikkasuorittimien käyttäminen yleiseen laskentaan vaati ongelmien pakottamista grafiikkaan liittyvien liitäntöjen kautta. Tämä oli haurasta, tehokkuudeltaan heikkoa ja rajoittunutta asiantuntijoihin.

CUDA muutti tämän sallimalla kehittäjien ohjelmoida grafiikkasuorittimia tuttuja ohjelmointimalleja käyttäen. Tuuhannet laskentaydintä tulivat saataville yleisenä resurssina. Tämä laski esteitä korkean suorituskyvyn laskennan käyttöön tavalla, jota harva täysin arvosti silloin.

Tässä kohtaa kirja resonoi vahvasti oman kokemukseni tekoälyn historian oppimisesta. Kertomus, jota omaksuin, keskittyi voimakkaasti malleihin ja algoritmeihin. Mitä The Thinking Machine tekee selväksi, on se, että monet näistä ideoista tulivat käytännöllisiksi vasta, kun tutkijat pystyivät kouluttamaan niitä laajassa mittakaavassa.

Tekoälytutkijat tunnistivat nopeasti, että neuroniverkot olivat lähes täydellinen vastine rinnakkaislaskennalle. Koulutus vaatii toistettavia operaatioita suurten tietojoukkojen yli, ja säädettyä miljoonia tai miljardeja parametreja ajan myötä. CUDA salli tämän prosessin tapahtua nopeammin, halvemmalla ja luotettavammin kuin CPU:t koskaan voisi.

Tämä muodostui erityisen tärkeäksi, kun syväoppiminen kiihdytti ja myöhemmin transformer-pohjaiset mallit tulivat esiin. Transformerit kukoistavat skaalassa. Ilman GPU-kiihdytystä monet nykyisen tekoälymaiseman määrittävät mallit olisivat jääneet teoreettisiksi tai kohtuuttoman kalliiksi. CUDA ei keksinyt näitä arkkitehtuureja, mutta se mahdollisti niiden nopean evoluution.

Mikä Witt havainnoi erityisen hyvin, on se, että tämä lopputulos ei ollut täysin suunniteltu. CUDA kehitettiin tieteelliseen laskentaan. Tekoälytutkijat löysivät sen voiman ja vetivät NVIDIAN tekoälykilpaan.

Infrastruktuuri algoritmeja vastaan

Yksi kirjan arvokkaimmista havainnoista on se, että tekoälyn edistysaskel on yhtä paljon rajoitettu infrastruktuurilla kuin ideoilla. Monet suositut kertomukset keskittyvät algoritmeihin, koulutusviittauksiin ja tietojoukkoihin. The Thinking Machine muistuttaa lukijalle, että mikään näistä ei merkitse mitään ilman riittävää laskentakapasiteettia.

Näkökulmasta moderni tekoälybuumi näyttää vähemmän äkilliseltä ja enemmän viivästyneeltä. Neuroniverkot ovat olleet olemassa vuosikymmeniä. Se, mikä muuttui, oli laitteiston saatavuus, joka pystyy kouluttamaan niitä merkittävässä mittakaavassa.

NVIDIA ei vain tarjonnut nopeampia suorittimia. Se rakensi laitteiston, ohjelmistokirjastojen ja kehittäjätyökalujen ekosysteemin, joka vahvisti toisiaan ajan myötä. Kun tutkijat optimoivat työnsä NVIDIAN alustoille, NVIDIA jalosti tuotteitaan palvelemaan tekoälytyökuormia entistä paremmin. Tämä palautekuitti loi kestävän etulyöntiaseman, joka ulottui paljon laajemmin kuin pelkän suorituskyvyn.

Kirja korostaa hiljaisesti todellisuutta, josta on yhä enemmän tietoa tänään: tekoälyn johdonmukaisuus muotoillaan toimintaketjuilla, valmistuskapasiteetilla, ohjelmistopohjaisilla ekosysteemeillä ja alustan hallinnalla, eikä ainoastaan tutkimuksen neroudesta.

Näkemys, riski ja kerryttävät seuraukset

Witt ei väitä vastuuta NVIDIAN johtavan asemasta. Kun yritys tulee perustavanlaatuiseksi maailmanlaajuisen tekoälyinfrastruktuurin kannalta, sen vaikutusvalta kasvaa vastaavasti. Jensen Huangin usko siihen, että nopeutettu laskenta määrittää seuraavan teknologisen edistysaskeleen, kulkee koko kirjan läpi.

Sen sijaan, että moralisoi, The Thinking Machine keskittyy siihen, miten johdonmukaiset insinöörien päätökset ja strategiset ratkaisut kerryttävät seurauksia ajan myötä. NVIDIA ei voittanut seuraamalla trendejä. Se voitti sitoutumalla aikaisin rinnakkaislaskentaan, kestämällä toistuvia markkinasykliä ja investoimalla pitävästi työkaluihin, jotka tekivät sen laitteiston välttämättömäksi.

Lukijoille, jotka haluavat ymmärtää, miten tekoäly todella laajeni

Lukijoille, jotka jo tuntevat tekoälyn historian merkittävimmät hetket, tämä kirja täyttää puuttuvan kerroksen niiden alle. Se selittää, miksi nämä läpimurrot voivat laajentua, kun ne tekivät, ja miksi NVIDIA tuli keskeiseksi voimaksi prosessissa.

Tämä on kirja lukijoille, jotka haluavat ymmärtää tekoälyn teollisena järjestelmänä eikä pelkästään älykkäiden mallien kokoelmana. Se vastaa niille, jotka ovat kiinnostuneita piireistä, tietokeskuksista ja usein näkymättömistä insinööripäätöksistä, jotka vaikuttavat hiljaisesti teknologisen voiman muotoiluun.

The Thinking Machine onnistuu, koska se uudelleenmuotoilee tekoälytarinan alusta alkaen, osoittaen, miten rinnakkainen laskenta, kehittäjäalustat ja pitkän aikavälin näkemys loivat perustan, jolle moderni tekoäly nyt rakentuu.