ARIA valitsee Lumain optiset palvelimet räkkitason tekoälypäättelyn testaukseen

Lumai vie optisen tekoälylaitteistonsa uuteen arviointiympäristöön: päättelyn skaalauslaboratorioon, jota tukee Yhdistyneen kuningaskunnan Advanced Research and Invention Agency eli ARIA. Laboratorio aikoo ottaa käyttöön Lumai Iris -päättelypalvelimet ensimmäisenä optisen laskennan alustanaan, jotta tutkijat voivat testata arkkitehtuuria räkkitasolla kaupallisessa datakeskusympäristössä.

CommonAI CICn ylläpitämän laboratorion tarkoituksena on kuroa umpeen uudenlaisen tekoälylaitteiston kehityksessä oleva vaikea kuilu: on eri asia osoittaa, että uusi suoritin toimii, kuin saada se toimimaan osana integroitua järjestelmää, jossa käytetään todellisia malleja ja noudatetaan tavanomaisia sähkönsyöttöä, jäähdytystä ja räkkitilaa koskevia vaatimuksia.

Julkistus jatkaa Iris Novan huhtikuista julkaisua. Nyt vuorossa on usean solmun arviointi julkisesti tuetussa testialustassa, ei valmiin, riippumattoman vertailutestin julkaiseminen Lumain keskeisten tehokkuusväitteiden todisteeksi.

Matriisilaskenta valon avulla

Vuonna 2021 perustettu Oxfordin yliopiston spin-off-yritys Lumai kehittää optisen ja digitaalisen laskennan yhdistävää arkkitehtuuria. Sen optinen laskentayksikkö on suunniteltu tekoälypäättelyssä käytettäviin tiheisiin matemaattisiin operaatioihin, kun taas elektroniset komponentit huolehtivat edelleen niitä ympäröivistä järjestelmätoiminnoista.

Yhtiön teknisessä kuvauksessa tieto koodataan valonsäteisiin ja käsitellään optisissa komponenteissa kolmiulotteisessa tilassa. Tavoitteena on suorittaa valon etenemisen avulla rinnakkain suuri määrä matemaattisia operaatioita sen sijaan, että jokainen laskutoimitus tehtäisiin transistoreita kytkemällä.

Tämä ei tarkoita, että koko palvelin olisi passiivinen tai toimisi ilman virtaa. Koko järjestelmä tarvitsee edelleen valonlähteitä, tiedon muuntamista, muistia, digitaalista prosessointia ja ohjausta. Olennaista suunnittelun kannalta on, kuinka suuri osa optisen laskentayksikön tehokkuudesta säilyy näiden oheiskustannusten jälkeen, kun sillä todella ajetaan käyttökelpoista mallia.

Lumain mukaan järjestelmään kuuluu laaja tiedonsiirtorajapinta, jonka tarkoituksena on jakaa muunnoksen aiheuttama lisäkuorma suurille työkuormille, mallin avainarvovälimuistille tarkoitettu kolmitasoinen muistirakenne sekä laitteistotietoinen kvantisointi. Nämä ovat arkkitehtuurin käytännön osia: tiedon siirtäminen, käyttökelpoisen numeerisen tarkkuuden säilyttäminen ja kiihdyttimen pitäminen työkuormitettuna vaikuttavat kaikki suorituskykyyn laboratorioesittelyn ulkopuolella.

Miksi Lumai keskittyy esitäyttöön

Suurten kielimallien päättelyssä on kaksi erillistä vaihetta. Esitäytössä järjestelmä käsittelee syötteen ja muodostaa vastauksen tuottamiseen tarvittavan sisäisen tilan. Dekoodauksessa se tuottaa tulostokenit vaihe vaiheelta ja hakee toistuvasti mallin painokertoimia ja välimuistiin tallennettua kontekstia.

Esitäyttöä hallitsevat usein suuret matriisioperaatiot, kun taas dekoodausta voi rajoittaa muistikaistanleveys etenkin pienillä eräkoilla. Tasapaino riippuu mallin koosta, kehotteen pituudesta, eräkoosta ja palvelun asetuksista. Lumai keskittyy paljon laskentaa vaativaan vaiheeseen sen sijaan, että optimoisi koko käsittelyketjun yhdentyyppisellä suorittimella.

Iris-tuotedokumentaatiossa optinen kiihdytin sijoitetaan osaksi heterogeenisia laskentajärjestelmiä, joissa sitä voidaan käyttää esitäytön käsittelyyn dekoodaukseen optimoidun laitteiston rinnalla. Lumain mukaan Iris Nova tukee Llama-malleja, joissa on 8 ja 70 miljardia parametria, ja se on saatavilla datakeskuksissa tehtävään arviointiin. Tuoteperhe on suunniteltu tavanomaisiin räkkijärjestelmiin ja ilmajäähdytykseen.

”Usean solmun järjestelmän käyttäminen kaupallisessa datakeskuksessa osoittaa, ovatko uudet laskenta-arkkitehtuurit valmiita todelliseen käyttöönottoon”, sanoi Lumain perustajajäsen ja toimitusjohtaja Xianxin Guo. ARIAn hanke nostaa tämän järjestelmien integrointiin liittyvän kysymyksen seuraavan vaiheen keskiöön.

Kokonaisjärjestelmiä testaava alusta

ARIA on Yhdistyneen kuningaskunnan julkinen tutkimus- ja kehitysrahoitusvirasto, joka tukee kunnianhimoisia teknologioita, joilla voi olla yhteiskunnallista hyötyä. Sen Scaling Compute -ohjelmassa tutkitaan vaihtoehtoja vakiintuneille laskentamenetelmille, kuten uusia laskennan perusratkaisuja, verkkotekniikoita ja järjestelmäsuunnittelua.

ARIA tukee päättelyn skaalauslaboratoriota 50 miljoonalla punnalla. ARIA kuvailee sitä sarjaksi suunnitelmallisia räkkitason pilotteja, joissa kussakin testaamaton teknologia liitetään käyttöön otettavaan järjestelmään, jolla loppukäyttäjät voivat ajaa malleja. Tavoitteena on verrata koko järjestelmän suorituskykyä kaupallisiin vaihtoehtoihin ja kehittää sitä nopeasti; uusi räkkikokonaisuus on tarkoitus ottaa käyttöön kuuden kuukauden välein.

Laboratoriota ylläpitävä Cambridgessä toimiva voittoa tavoittelematon jäsenjärjestö CommonAI tuo yhteen yrityksiä, julkisen sektorin toimijoita ja akateemisia osallistujia tekemään yhteistyötä tekniikan kehittämisessä. Sen ohjelman kuvauksessa esitellään yli viisi räkkitason järjestelmää ja painotetaan riippumatonta validointia, jonka avulla uudet laitteistot voivat osoittaa todellisen toimintakyvyn.

Tällä toimintamallilla on merkitystä, sillä kiihdytin voi suoriutua hyvin yksittäisestä operaatiosta mutta tuottaa selvästi pienemmän hyödyn, kun mukaan lasketaan tiedonsiirto, ajoitus, ohjelmistotuki ja palvelun koko muu käsittelyketju. Yhteinen testiympäristö voi auttaa tuomaan esiin sekä edut että pullonkaulat.

Mitä tehokkuusväitteet osoittavat – ja mitä ne eivät osoita

Lumain mukaan arkkitehtuuri voi vähentää datakeskusten sähkönkulutusta jopa 90 prosenttia ja laskea kokonaiskustannukset noin kymmenesosaan perinteisiin GPU-arkkitehtuureihin verrattuna. Lumain verkkosivuilla kuvataan kehityspolkua kohti 50 kertaa suurempaa suorituskykyä. Tiedotteessa ilmoitetaan erikseen, että optisen esitäytön yhdistäminen piipohjaiseen dekoodaukseen parantaa energiatehokkuutta päättelyä kohti vähintään 16-kertaiseksi.

Nämä luvut perustuvat erilaisiin vertailuihin, eikä niitä pidä pitää keskenään vaihtokelpoisina mittareina tai ARIAn jo riippumattomasti vahvistamina tuloksina. Tiedotteessa ei esitetä yhteistä vertailutestien kokoonpanoa, mallien laadun vertailua eikä julkaistua räkkitason tulosaineistoa, jonka perusteella voitaisiin osoittaa hyötyjen toteutuvan kaupallisissa työkuormissa.

Laboratorion arviointi onkin varsinainen merkittävä kehitysaskel. Hyödyllisiin mittareihin kuuluisivat energia valmista pyyntöä kohti, aika ensimmäisen tokenin tuottamiseen, jatkuva tulostusnopeus, mallin tarkkuus sekä koko järjestelmän käyttökustannukset. Merkitykselliset vertailut edellyttävät samaa mallia, samoja kontekstipituuksia ja eräkäsittelyä koskevia oletuksia sekä samoja palveluvaatimuksia.

Jos optinen järjestelmä toimii menestyksekkäästi, se voisi tarjota uuden laskentavaihtoehdon Yhdistyneen kuningaskunnan pyrkimyksissä kasvattaa kotimaista tekoälykapasiteettia rajallisen sähkötehon puitteissa. Lumain järjestelmän käyttöönotto on askel kohti tämän mahdollisuuden testaamista kaupallisissa olosuhteissa. Se, johtaako järjestelmän etu pienempiin palvelukustannuksiin suuressa mittakaavassa, riippuu arvioinnissa saatavasta koko järjestelmää koskevasta näytöstä.