Recenze knihy: The Thinking Machine: Jensen Huang, NVIDIA a nejžádanější mikročip na světě od Stephena Witta

The Thinking Machine: Jensen Huang, NVIDIA, and the World’s Most Coveted Microchip se odlišuje od většiny knih o umělé inteligenci tím, že se k tématu přistupuje z pohledu, který mnozí technicky gramotní čtenáři, včetně mne, historicky podceňovali.

Jako mnoho lidí, kteří sledují umělou inteligenci již roky, bylo mé pochopení tohoto oboru utvářeno známými milníky. Příběh obvykle začíná v 1956 s Dartmouth workshopem, prochází ranými symbolickými systémy, poté skáče kupředu k významným okamžikům, jako je IBM's Deep Blue porážka Garryho Kasparova, DeepMind ovládnutí hry Go a nedávno OpenAI demonstrace toho, že velké jazykové modely mohou koordinovat strategii v komplexních multihráčských prostředích. Tyto okamžiky jsou intelektuálně uspokojivé a snadno zapamatovatelné, protože se soustředí na viditelná vítězství.

Co kniha Stephena Witta dělá výjimečně dobře, je zpochybnění tohoto rámcování. Místo toho, aby se soustředil na okamžiky, kdy umělá inteligence ohromila svět, The Thinking Machine se soustředí na méně viditelnou vrstvu pod těmito úspěchy. Argumentuje, přesvědčivě, že moderní éra umělé inteligence nebyla odemknuta primárně pouze chytrými nápady, ale fundamentální změnou v tom, jak je sám výpočet prováděn.

Tím, že se soustředí na NVIDIA (NVDA +1.3%) a jejího spoluzakladatele Jensena Huang, Witt přetvořil revoluci umělé inteligence na příběh o architektuře výpočtu, vývojářských ekosystémech a dlouhodobé vizi. Výsledkem není pouze firemní biografie, ale chybějící kapitola v širší historii umělé inteligence.

Od videoher k novému počítačovému paradigmatu

Počátky NVIDIA jsou daleko od vysokých ambicí, které jsou nyní spojeny s umělou inteligencí. Společnost vznikla v roce 1993 jako výrobce grafických čipů, zaměřený na vykreslování stále realističtějších videoherních světů. Výzvou v té době nebyla inteligence, ale rychlost. Hry vyžadovaly obrovské množství výpočtů, které musely být provedeny okamžitě, aby simulovaly světlo, pohyb a hloubku.

Řešením, které NVIDIA zvolila, bylo paralelní výpočet. Paralelní výpočet znamená provedení mnoha výpočtů současně, spíše než jejich sekvenční provádění. Místo toho, aby se spoléhalo na jeden výkonný jádro, které zpracovává jednu instrukci po druhé, grafické procesory používají tisíce menších jader, která pracují současně na podobných matematických operacích. Tento přístup je zvláště silný pro úkoly, které zahrnují opakování stejné operace napříč velkými datovými soubory.

Původně byla tato architektura navržena pro grafiku. Witt však ukazuje, jak toto rozhodnutí tiše vytvořilo ideální základ pro neuronové sítě desetiletí později. Školení moderních modelů umělé inteligence zahrnuje obrovské množství identických matematických operací aplikovaných napříč velkými datovými soubory. Grafické procesory byly již optimalizovány pro přesně tento druh práce.

Co dělá tuto část knihy přesvědčivou, je to, jak jasně Witt spojuje technické designové rozhodnutí se přežitím. NVIDIA nevybrala paralelní výpočet, protože předvídala umělou inteligenci. Vybrala ho, protože to byla jediná cesta, jak soutěžit v reálném čase grafice. Tato nutnost donutila společnost zvládnout výpočetní model, který by se později ukázal jako transformační daleko za hranice her.

Jensen Huang a myšlení v systémech, ne produktech

V centru tohoto příběhu je Jensen Huang, který je vykreslen nejen jako konvenční výkonný ředitel, ale jako někdo, kdo konzistentně myslel v systémech, spíše než v jednotlivých produktech. Witt představuje Huang jako náročného, intenzivního a často obtížného, ale také pozoruhodně konzistentního ve svém pohledu na technologii z dlouhodobé perspektivy.

Zatímco konkurenti považovali grafické procesory za součásti vázané na herní cykly, Huang je považoval za základ širší výpočetní platformy. Tento rozdíl je zásadní. Produkty jsou nahrazovány. Platformy se akumulují.

Uvnitř NVIDIA odrážel tento přístup. Inženýři byli povzbuzeni, aby mysleli roky dopředu. Software byl považován za strategicky důležitý jako křemík. Investice byly provedeny do nástrojů a podpory vývojářů dlouho předtím, než byla jasná poptávka. Mnohé z těchto rozhodnutí se v té době zdály nadbytečné nebo zbytečné. V retrospektivě vytvořily příkop, který konkurenti bojovali překonat.

Witt jasně ukazuje, že vzestup NVIDIA nebyl nevyhnutelný. Společnost se přiblížila ke krachu více než jednou. Co ji posunulo kupředu, nebyla jediná průlomová událost, ale udržitelná víra, že urychlený výpočet nakonec bude záležet daleko za jeho původní případ použití.

CUDA a příběh původu umělé inteligence, který mnozí přehlédli

Jedním z nejvýznamnějších příspěvků The Thinking Machine je to, jak přetvořil roli CUDA v historii umělé inteligence.

Předtím, než jsem četl tuto knihu, bylo snadné považovat CUDA za úspěšný vývojářský nástroj. Witt ukazuje, proč si zaslouží mnohem více pozornosti. CUDA byl vytvořen, aby hizo paralelní výpočet využitelný mimo grafiku. Před CUDA bylo použití grafických procesorů pro obecný výpočet problematické, protože vyžadovalo nucení problémů prostřednictvím graficky specifických rozhraní. To bylo křehké, neefektivní a omezené na specialisty.

CUDA změnilo to, že umožnilo vývojářům programovat grafické procesory pomocí známých programovacích modelů. Tisíce výpočetních jader se staly dostupnými jako obecný zdroj. To snížilo bariéru pro vstup do high-performance computing způsobem, který mnozí lidé plně neocenili v té době.

To je místo, kde kniha silně rezonuje s mými vlastními zkušenostmi s učením se historie umělé inteligence. Narativní, který jsem vstřebal, se soustředil silně na modely a algoritmy. The Thinking Machine ukazuje, že mnohé z těchto nápadů se staly praktickými pouze tehdy, když výzkumníci mohli skutečně školení v měřítku.

Výzkumníci umělé inteligence rychle uznali, že neuronové sítě jsou téměř dokonalým zápasem pro paralelní výpočet. Školení zahrnuje opakování stejné operace napříč velkými datovými soubory, úpravu milionů nebo miliard parametrů v čase. CUDA umožnilo tomuto procesu probíhat rychleji, levněji a spolehlivěji než procesory.

To se stalo zvláště důležitým, když se hluboké učení urychlovalo a později, když se objevily modely založené na transformátorech. Transformátory prosperují na měřítku. Bez urychlení grafických procesorů by mnohé z modelů, které definují dnešní krajinnu umělé inteligence, zůstaly teoretickými nebo prohibitivně drahými. CUDA nevynalezlo tyto architektury, ale umožnilo jejich rychlý vývoj.

Co Witt zachycuje zvláště dobře, je to, že tento výsledek nebyl plně naplánován. CUDA byl postaven pro vědecké výpočty. Výzkumníci umělé inteligence objevili jeho sílu a táhli NVIDIA do centra závodů umělé inteligence.

Infrastruktura nad algoritmy

Jedním z nejvýznamnějších poznatků knihy je to, že pokrok v umělé inteligenci je omezován stejně tak infrastrukturou jako nápady. Mnohé populární účty se soustředí na algoritmy, triky školení a datové soubory. The Thinking Machine připomíná čtenáři, že none z těchto věcí záleží bez dostatečného výpočtu.

Z tohoto pohledu vypadá moderní boom umělé inteligence méně náhlý a více zpožděný. Neuronové sítě existovaly desetiletí. Co se změnilo, byla dostupnost hardwaru schopného školení v měřítku.

NVIDIA neposkytla pouze rychlejší čipy. Postavila ekosystém hardwaru, softwarových knihoven a vývojářských nástrojů, které se navzájem posilovaly v čase. Jak výzkumníci optimalizovali svou práci pro platformy NVIDIA, NVIDIA rafinovala své produkty, aby lépe sloužily pracovníkům umělé inteligence. Tento zpětný chod vytvořil trvanlivou výhodu, která se rozšířila daleko za surový výkon.

Kniha tiše podtrhuje realitu, která je stále více zřejmá dnes: vedení v umělé inteligenci je tvarováno dodavatelskými řetězci, výrobní kapacitou, softwarovými ekosystémy a kontrolou platformy, ne pouze výzkumem.

Vize, riziko a komponující se důsledky

Witt se nezdráhá odhalit důsledky dominance NVIDIA. Jak společnost se stává základem globální infrastruktury umělé inteligence, její vliv roste odpovídajícím způsobem. Jensen Huangova víra, že urychlený výpočet definuje další fázi technologického pokroku, prostupuje celou knihou.

Místo moralizování The Thinking Machine se soustředí na to, jak konzistentní inženýrské a strategické rozhodnutí se akumulovala v čase. NVIDIA nevyhrála tím, že sledovala trendy. Vyhrála tím, že se zavázala k paralelnímu výpočtu, vydržela opakované tržní cykly a investovala neúnavně do nástrojů, které učinily její hardware nezbytným.

Pro čtenáře, kteří chtějí pochopit, jak umělá inteligence skutečně škálovala

Pro čtenáře, kteří již znají hlavní okamžiky historie umělé inteligence, tato kniha vyplňuje chybějící vrstvu pod nimi. Vysvětluje, proč tyto průlomy mohly škálovat, když mohly, a proč NVIDIA vyšla jako taková centrální síla v tomto procesu.

Tato kniha je pro čtenáře, kteří chtějí pochopit umělou inteligenci jako průmyslový systém, spíše než sbírku chytrých modelů. Bude silně rezonovat s těmi, kteří se zajímají o čipy, datové centra a často neviditelná inženýrská rozhodnutí, která tiše tvarují technologickou sílu.

The Thinking Machine uspěje, protože přetvořila příběh umělé inteligence od základu, ukazuje, jak paralelní výpočet, vývojářské platformy a dlouhodobá vize postavily základ, na kterém moderní umělá inteligence nyní stojí.