Laskennan voiman pyhä graali tekoälyssä

Huolimatta uskomattomasta edistymisestä, tekoälyn kykyjä rajoittaa edelleen laskennan voima, resurssit, jotka mahdollistavat mallien oppimisen ja toiminnan tarvittavassa mittakaavassa. Mitä tämän esteen takana piilee? Tarkastellaan tärkeää resurssia, jota ilman edes lupaavimmat tekoälyprojektit eivät voi edetä laboratoriosta.

Laskennan puute ja sen seuraukset

Ymmärtääksemme tämän aiheen, aloitetaan matkapuhelinviestinnän historiasta. Kun 3G- ja myöhemmin 4G-verkot ilmestyivät, internet oli jo lähes maailmanlaajuinen. Ja kun 5G tuli markkinoille, monet ihmiset kysyivät täysin järkevää kysymystä: “Internet on nopeampi – mutta mitä se merkitsee?”

Todellisuudessa internetyhteyden nopeuden lisääminen ei ole vain käyttäjien mukavuutta. Se muuttaa koko teknologisen maiseman. Uudet sovellukset, laitteet ja koko teknologian luokat voivat ilmestyä.

Liikennevalokamerat, reaaliaikaiset liikenteen analyysijärjestelmät ja automaattiset liikenteen säätömekanismit – kaikki tämä on mahdollista uusien viestintäteknologioiden ansiosta. Poliisi saa uusia keinoja tietojen vaihtoon, ja avaruudessa teleskoopit ja satelliitit voivat lähettää valtavat määrät tietoa Maahan. Laadullinen hyppy perusteknologiassa ajaa koko ekosysteemin kehitystä.

Sama periaate pätee laskennan voimaan. Kuvitellaan ihmiskunnan kokonaislaskennan kapasiteetti hypoteettisissa yksiköissä. Tänään meillä saattaa olla, sanotaan, kymmenen tällaista yksikköä. Niiden avulla voimme luoda kuvia ja videoita, kirjoittaa tekstejä, luoda markkinointimateriaalia… Tämä on jo merkittävää, mutta sovellusten valikoima on pääasiassa rajoitettu.

Nyt kuvitellaan, että meillä ei olisi kymmenen vaan tuhat tällaista yksikköä. Yhtäkkiä teknologiat, jotka olivat aiemmin liian kalliita, tulevat taloudellisesti kannattaviksi, ja startupit, jotka hylättiin korkeiden laskennan kustannusten vuoksi, alkavat tuottaa taloudellista hyötyä.

Otetaan esimerkiksi robotitaksi. Tänään ne riippuvat pääasiassa heikoista paikallisista tietokoneista, jotka on asennettu ajoneuvoon. Mutta jos videovirta lähetetään pilveen, jossa on valtavat laskennan resurssit, data voidaan prosessoida ja palauttaa reaaliajassa. Ja tämä on kriittistä: auto, joka liikkuu 100 km/h, on tehtävä päätöksiä sekunneissa – suoraan, käännä, jarruta tai älä jarruta.

Silloin täysin toimiva robotitaksiin teollisuus tulee mahdolliseksi, ei vain erillisiä ratkaisuja, joita näemme tänään. Paikallinen tietokone, joka on asennettu autoon, on luonnostaan rajoitettu tavalla, joka ei ole yhteydessä oleva järjestelmä. Mitä nopeammin se voidaan skaalata, sitä nopeammin maailma ympärillämme muuttuu.

Pääsy piireihin ja “kultainen lippu” tekoälyssä

Laskennan voiman kontekstissa nousee kysymys: onko pääsy moderniin piireihin muuttumassa “kultaiseksi lipuksi” tekoälymarkkinoille? Luovatko suuret toimijat, jotka allekirjoittavat sopimukset piirivalmistajien kanssa tai valmistavat niitä itse, aukon suurten yritysten ja muiden välillä?

Tällainen aukko syntyy vain yhdessä tapauksessa: jos liiketoimintamalli on keskittynyt yksinomaan piirien myymiseen suurille asiakkaille. Käytännössä valmistajat kuten NVIDIA pyrkivät tarjoamaan pilviratkaisuja kaikille. Heidän optimoidut piirit ovat saatavilla pilvessä sekä OpenAI:lle että itsenäisille kehittäjille.

Strategiset liitot yritysten välillä, kuten Google, Anthropic, Microsoft, OpenAI, Amazon ja NVIDIA, ovat ensisijaisesti yhteistyösopimuksia jaetun resurssien käytölle, eivätkä yrityksiä sulkea markkinaa. Tämä malli mahdollistaa laskennan resurssien tehokkaan jakamisen, jolloin teknologinen kehitys kiihtyy.

Jos jäljitetään laskennan resurssien käytön ketjua, se alkaa loppukäyttäjästä. Esimerkiksi kun käytät WhatsAppia videopuheluissa ja viestintässä, yrityksen on varmistettava, että palvelu toimii: tietojen tallentaminen ja prosessointi, mallien suorittaminen videon puhdistamiseksi, efektien lisäämiseksi ja kuvanlaadun parantamiseksi.

Omien palvelimien ylläpitäminen on kallista, ne vanhenevat, ja niiden huolto on jatkuva. Siksi pilviratkaisut, “pilvi”, ovat syntyneet. Markkinaa hallitsevat kolme toimijaa: Google Cloud, AWS ja Microsoft Azure. Muut yritykset eivät voi kilpailla tässä mittakaavassa: infrastruktuurin mittakaava on liian laaja.

Pilvipalvelut ovat valtavia tietokeskuksia, joissa on jäähdytys, voimahuolto ja ympäri vuorokauden huolto. Niissä on palvelimia ja erikoispiirejä NVIDIA:ltä, AMD:ltä ja muilta valmistajilta, mikä mahdollistaa suurmittakaavaiset laskennan prosessit.

Tässä olemme avainkysymyksessä, josta keskustelin aiemmassa kirjoituksessani tietokeskuksista, ja haluan jatkaa sitä tässä: mikä on pääsyy tähän järjestelmään? Onko se sähkön puute vai vaikeus jäähdyttää tietokeskuksia alueilla, joissa ilmasto tekee sen erityisen haasteelliseksi? Todellisuudessa salaisuus piilee itse piireissä…

Pyhä graali

Miksi NVIDIA on tänään arvoltaan noin 5 biljoonaa dollaria ja lasketaan maailman menestyneimpien pörssiyhtiöiden joukkoon? Syy on yksinkertainen: NVIDIA valmistaa piirejä, joilla tekoälymallit koulutetaan ja suoritetaan.

Kukin näistä piireistä kuluttaa valtavat määrät sähköä, kun koulutetaan suuria malleja tai prosessoidaan kasvavaa tietomäärää. Mutta miten tehokkaasti tämä energia käytetään? Tässä kohtaa erikoispiirit tulevat mukaan; ne hoitavat tiettyjä tehtäviä paljon tehokkaammin kuin yleiskäyttöiset GPU:t.

Tekoälymallit eroavat. OpenAI:llä on yksi malliperhe, Anthropic toinen. Käsitteet saattavat olla samanlaiset, mutta matemaattiset rakenteet ja laskennan prosessit ovat erilaiset. Yleiskäyttöinen piiri, joka kouluttaa OpenAI-malleja (kuten ChatGPT) verrattuna Anthropic-malleihin (kuten Claude), toimii “yksi kokoa” -työkaluna, kuluttaen, sanotaan, 100 000 tuntia laskentaa yhdelle mallille ja 150 000 toiselle. Tehokkuus vaihtelee merkittävästi ja on harvoin optimaalinen.

Yritykset ratkaisevat tämän ongelman valmistamalla erikoispiirejä. Esimerkiksi yksi piiri voidaan optimoida ChatGPT-arkkitehtuuriin ja kouluttaa siinä, sanotaan, 20 minuutissa, kun taas toinen on suunniteltu Anthropicin arkkitehtuuriin ja suorittaa myös koulutuksen 20 minuutissa. Energiankulutus ja koulutusaika vähenevät useita kertoja verrattuna yleiskäyttöiseen piiriin.

Kun nämä piirit myydään suurille yrityksille, kuten Google, Amazon, Microsoft tai Azure, ne tarjotaan itsenäisinä tuotteina. Käyttäjät voivat valita, esimerkiksi, piirin, joka on optimoitu YOLO-mallille tai yksinkertaisemman, halvemman piirin Xen-arkkitehtuuriin. Tällä tavoin yritykset saavat pääsyn laskennan resursseihin, jotka on suunniteltu heidän tehtäviinsä, eivätkä joutuneet ostamaan yleiskäyttöisiä GPU:ita. Jos käyttäjällä on kymmenen eri toimintoa, hän voi käyttää kymmentä eri erikoispiiriä.

Suunta on selvä: erikoispiirit korvaavat vähitellen yleiskäyttöisiä piirejä. Monet startupit työskentelevät jo ASIC:ien (Application-Specific Integrated Circuits) parissa, piirejä, jotka on suunniteltu tiettyihin laskennan tehtäviin. Ensimmäiset ASIC:t ilmestyivät Bitcoin-kaivostoiminnassa: aluksi cryptocurrency kaivettiin NVIDIA:n GPU:illa, sitten piirejä kehitettiin yksinomaan Bitcoinille ja ne eivät kyenneet suorittamaan muita tehtäviä.

Näen tämän käytännössä: sama laitteiston konfiguraatio voi tuottaa täysin erilaisia tuloksia riippuen tehtävästä. Omassa startupissani Introspector tutkimme näitä prosesseja todellisissa projekteissa, ja strategisena neuvonantajana Keymakr:ssa havainnan, miten asiakkaat saavat hyötyä erikoispiireistä, mikä mahdollistaa mallien nopeamman suorittamisen. Projektit, jotka aiemmin tyrehtivät koulutuksen tai suorittamisen aikana, saavuttavat vakaat tulokset tällä lähestymistavalla.

On kuitenkin otettava huomioon, että kapea erikoistuminen sisältää riskejä. Piiri, joka on optimoitu Anthropicin arkkitehtuuriin, ei toimi OpenAI-mallien kouluttamiseen, ja päinvastoin. Jokainen uusi arkkitehtuuri vaatii uuden piirisukupolven, mikä luo riskin laajamittaisesta “vanhentumisesta”. Jos Anthropic julkaisee uuden arkkitehtuurin huomenna, kaikki edellisen sukupolven piirit tulevat tehottomiksi tai käyttökelvottomiksi. Uusien piirien valmistaminen maksaa miljardeja dollareita ja voi kestää vuosia.

Tämä luo dilemmansa: pitäisikö valmistaa erikoispiirejä, jotka toimivat täydellisesti kapeassa skenaariossa, vai jatkaa yleiskäyttöisten piirien valmistamista, jotka ratkaisevat kaikki tehtävät kohtuullisesti hyvin, mutta eivät vaadi täydellistä korvaamista, kun arkkitehtuuri muuttuu?

Tehokkuus tässä kontekstissa mitataan kolmella pääparametrillä: suoritusaika, sähkönkulutus ja lämmöntuotto. Nämä mitat ovat suoraan liittyneitä: mitä kauemmin järjestelmä toimii, sitä enemmän energiaa se kuluttaa ja sitä enemmän lämpöä se tuottaa. Yhden parametrin vähentäminen parantaa automaattisesti kahta muuta.

Tässä piilee tekoälyn suorituskyvyn “pyhä graali”: jos ainakin yksi perustavanlaatuinen tehokkuusmitta voidaan optimoida, muut mittarit paranevat lähes automaattisesti.

Kestävä prosessi

Erikoispiirien kasvavan käytön myötä ylijäämän riski on tullut ajankohtaiseksi. Tällä hetkellä laitteiston ylijäämä on jo merkittävää, ja yritykset ovat ratkaisemassa tätä ongelmaa kestävällä tavalla, mukaan lukien olemassa olevien resurssien uudelleenkäyttö.

Laitteiden kierrätys on kestävän kehityksen avainosa korkean teknologian aloilla. Piirit sisältävät merkittäviä määriä jalometalleja, kuten kultaa, kuparia, alumiinia, palladiumia ja harvinaisia maametalleja, sekä materiaaleja, joita käytetään mikropiireissä ja transistoreissa. Kun laitteet vanhenevat, nämä arvokkaat resurssit voidaan palauttaa tuotantoon, mikä vähentää uusien komponenttien kustannuksia ja samalla vähentää teollisuuden ympäristöjalanjälkeä.

Joitakin erikoistuneita tehtaita ja yrityksiä on perustettu kierrättämään ja jalostamaan jalometalleja vanhoista komponenteista. Esimerkiksi joissakin laitoksissa käytetään hydrometallurgisia prosesseja ja edistyneitä kemiallisia menetelmiä jalometallien, kuten kultaa ja kuparia, erottamiseen korkealla puhtausasteella, mikä mahdollistaa näiden materiaalien uudelleenkäytön uusissa piireissä.

Lisäksi yritykset toteuttavat suljettuja malleja, joissa vanha laitteisto päivitetään tai integroidaan uusiin ratkaisuihin, mikä vähentää ensisijaisen resurssin tarvetta. Tällaiset lähestymistavat eivät ainoastaan auta vähentämään jätettä vaan myös alentavat tuotannon hiilijalanjälkeä, koska perinteinen kaivostoiminta ja metallin jalostus vaativat merkittäviä määriä energiaa.

Laitteiden ja laitteistojen elinkaaren kestävä hallinta voi tulla teollisuuden standardiksi, jossa teknologinen kehitys on yhteydessä ympäristövastuuseen.