DeepMind Esittää JEST-Algoritmin: Tehokkaampi, Halvempi ja Ympäristöystävällisempi Koneälymallien Koulutus

Generatiivinen tekoäly on tekemässä uskomattomia edistysaskelia ja muuttamassa aloja kuten lääketiede, koulutus, rahoitus, taide, urheilu jne. Tämä edistysaskel johtuu pääasiassa tekoälyn parantuneesta kyvystä oppia suuremmista tietokannoista ja rakentaa monimutkaisempia malleja, joissa on miljardeja parametreja. Vaikka nämä edistysaskeleet ovat johtaneet merkittäviin tieteellisiin löytöihin, luoneet uusia liiketoimintamahdollisuuksia ja johtaneet teolliseen kasvuun, ne tulevat kalliilla, erityisesti taloudellisten ja ympäristövaikutusten vuoksi. Oppimisalgoritmit vaativat merkittävää laskentatehoa kouluttaaakseen generatiivisia tekoälymalleja suurilla tietokannoilla, mikä johtaa korkeaan energiankulutukseen ja merkittävään hiilijalanjälkeen.

Vaikka aiemmat pyrkimykset tehdä generatiivisesta tekoälystä kestävämpää ovat keskittyneet parantamaan laitteiston tehokkuutta tekoälyn koulutuksessa ja kehittämään pienempiä malleja, joissa on vähemmän parametreja, Google DeepMind on ottanut innovatiivisen lähestymistavan. He ovat kehittäneet uuden algoritmin, JEST (Joint Example Selection), joka toimii 13 kertaa nopeammin ja on kymmenen kertaa energiatehokkaampi kuin nykyiset menetelmät.

Tässä artikkelissa tutkimme tekoälyn koulutuksen haasteita ja miten JEST ratkaisee nämä ongelmat. Lisäksi tarkastelemme laajempia vaikutuksia ja tulevaisuuden tutkimussuuntia JEST-algoritmiin, nähdäksemme sen potentiaalisen vaikutuksen kehittymiseen, joka menee pidemmälle kuin vain nopeuden, kustannustehokkuuden ja ympäristöystävällisyyden parantaminen tekoälyn koulutuksessa.

Tekoälyn Koulutuksen Haasteet: Korkeat Kustannukset ja Ympäristövaikutukset

Generatiivisten tekoälymallien koulutus esittää merkittäviä haasteita korkeiden kustannusten ja merkittävän ympäristövaikutuksen vuoksi.

• Taloudelliset Kustannukset: Generatiivisten tekoälymallien koulutus on kalliita. Viimeaikaiset arviot osoittavat, että yhden suuren mallin, kuten OpenAI:n GPT-3:n, jossa on 175 miljardia parametriä, koulutus voi maksaa noin 4,6 miljoonaa dollaria. ChatGPT-4:n koulutus on arvioitu maksavan OpenAI:lle noin 100 miljoonaa dollaria. Nämä kustannukset johtuvat pääasiassa massiivisista laskentaresursseista, laajasta tietokäsittelystä ja pitkistä koulutusajoista.
• Energiankulutus: Generatiivisen tekoälyn koulutusprosessit ovat erittäin energiankulutukseltaan vaativia. Näiden mallien koulutus vaatii tuhansia grafiikkaprosessoreita ja kuluttaa useita gigawattitunteja energiaa, mikä tekee prosessista erittäin energiankulutukseltaan vaativan. Datakeskukset, jotka sisältävät tekoälyn koulutuksen laskentainfrastruktuurin, kuluttavat noin 200 terawattituntia (TWh) sähköä vuodessa, mikä on noin 1% maailmanlaajuisesta sähkönkulutuksesta. McKinseyn raportin mukaan datakeskusten sähkönkulutus Yhdysvalloissa voi kasvaa 17 gigawattista (GW) vuonna 2017 35 GW:een vuoteen 2030 mennessä, mikä edellyttää lisää sähköä, joka vastaa yhdeksän Hooverin padon tuotantoa.
• Hiilijalanjälki: Generatiivisen tekoälyn koulutuksen korkea energiankulutus vaikuttaa merkittävästi kasvihuonekaasupäästöihin ja ilmastonmuutokseen. Yhdysvaltain Massachusettsin yliopiston tutkimuksen mukaan yhden suuren tekoälymallin koulutus voi aiheuttaa yhtä paljon hiilidioksidia kuin viisi autoa koko elinikänsä aikana. Tarkalleen ottaen yhden tekoälymallin koulutus voi aiheuttaa yli 626 000 naulaa hiilidioksidia, mikä vastaa 315 trans-Amerikan lentomatkan hiilijalanjälkeä.

Nämä haasteet johtuvat pääasiassa kahdesta pääasiallisesta lähteestä: korkean energiankulutuksen vaativasta laskentalaitteista ja nykyisten koulutusalgoritmien tehokkuudesta. Vaikka tekoälyyhteisö on tehnyt edistysaskelia energiatehokkaan laitteiston kehittämisessä, on tarve kehittää älykkämpiä algoritmeja, jotka voivat optimoida tietokäytön ja vähentää koulutusaikaa. Google esittämä JEST-algoritmi on edelläkävijä tutkimuksessa, joka tekee koulutusalgoritmeja älykkäämmiksi. Valitsemalla tarkoituksenmukaisesti tärkeimmät tiedot JEST parantaa merkittävästi tekoälyn koulutuksen tehokkuutta, luoden tien kestävämmälle ja kustannustehokkaammalle generatiivisen tekoälymallien koulutukselle.

JEST-Algoritmin Ymmärtäminen

JEST on oppimisalgoritmi, joka on suunniteltu kouluttamaan monimodaalisia generatiivisia tekoälymalleja tehokkaammin. Ymmärtääkseen, miten JEST toimii, ajatellaan tekoälyn koulutusta kompleksisena palapelin ratkaisuna, jossa jokainen palanen (tietopiste) auttaa rakentamaan valmiin kuvan (tekoälymallin). JEST toimii kuin kokenut palapelin ratkaisija, tehdessään prosessista tehokkaamman. Samaan tapaan kuin palapelin ratkaisija valitsee tärkeimmät ja erottuvimmat palaset, JEST tunnistaa ja valitsee tärkeimmät tietopaketit tietokannasta, varmistaen, että jokainen paketti on tärkeä tekoälyn kehitykselle.

JEST käyttää pienempää tekoälymallia arvioidakseen tietopakettien laatua. Nämä paketit sijoitetaan sitten arviointijärjestykseen niiden tehokkuuden perusteella mallin koulutuksessa. Näiden huolellisesti valittujen pakettien avulla JEST kokoaa strategisesti ne kouluttamaan mallia. Samaan tapaan kuin palapelin ratkaisija järjestää paloja tehokkaasti ja johdonmukaisesti, JEST nopeuttaa koulutusprosessia priorisoimalla ja valitsemalla tärkeimmät paketit.

JEST:n lähestymistavan avainosa on monimodaalinen kontrastiivinen oppiminen. Tämä tekniikka keskittyy oppimiseen eri tietotyyppien, kuten tekstin ja kuvien, välisestä suhteesta. JEST käyttää monimodaalista kontrastiivista oppimismenetelmää arvioidakseen monimodaalisen tietonäytteen tehokkuutta mallin koulutuksessa. Lisäksi JEST arvioi yksittäisten tietonäytteiden tehokkuuden lisäksi myös niiden yhteisen oppimiskyvyn valitakseen pieniä tietopaketteja suuremmasta “yläpaketti”-ryhmästä. Tämä prosessi auttaa JEST:iä valitsemaan ja priorisoimaan paketteja, jotka tarjoavat haasteita ja rikkaat oppimismahdollisuudet.

Eteenpäin Katse: JEST:n Vaikutus Tehokkaamman, Kustannustehokkaamman ja Ympäristöystävällisemmän Tekoälyn Koulutuksen Tuolle

Kun tutkimme JEST-algoritmin tulevaisuuden vaikutuksia, on selvää, että sen panos menee pidemmälle kuin vain nopeuden, kustannustehokkuuden ja ympäristöystävällisyyden parantaminen tekoälyn koulutuksessa. Tässä tutkimme, miten JEST voi jatkossakin parantaa ja muuttaa generatiivisen tekoälyn kenttää:

• Parannettu Mallin Suorituskyky ja Tarkkuus: JEST:n innovatiivinen lähestymistapa tietojen valintaan ja priorisointiin johtaa nopeampiin koulutusajoille ja parannettuun mallin suorituskykyyn. Keskitsemällä huomion tärkeimpiin tietopaketteihin JEST varmistaa, että tekoälymallit koulutetaan laadukkaiden syötteiden avulla, parantamalla niiden tarkkuutta ja luotettavuutta. Tämä etu on ratkaiseva sovelluksissa, joissa tarkkuus ja luotettavuus ovat olennaisia, kuten lääketieteellisissä diagnostiikoissa, rahoituksen ennusteissa ja itseohjautuvissa järjestelmissä.
• Harhan ja Viapuolisuuden Tunteminen ja Vähentäminen Tiedoissa: Tekoäly on altis viapuolisuutta sisältäville tietokannoille, joissa tietyt ryhmät tai näkökulmat ovat aliedustettuina tai väärin edustettuina. JEST:n tietojen valintamenetelmä sisältää tietopakettien laadun ja informatiivisuuden arvioinnin. Priorisoimalla monipuolisia ja edustavia tietonäytteitä JEST voi auttaa tekoälyjärjestelmiä oppimaan tasapuolisemmasta tietokannasta, vähentäen viapuolisuutta koulutustiedoissa. Esimerkiksi terveydenhuollon tekoälysovelluksissa JEST voi valita tietopaketteja, jotka kattavat eri demografisia tekijöitä, varmistaen, että lääketieteelliset diagnostiikkamallit koulutetaan monipuolisilla potilasväestöillä. Tämä valinta vähentää riskiä siitä, että tietyt ryhmät ovat alttiina viapuolisuudelle rotu-, sukupuoli- tai sosioekonomisen aseman perusteella.
• Innovaatioiden ja Tutkimuksen Edistäminen: Vähentämällä merkittävästi laskentaresursseja ja aikaa, jotka vaaditaan tekoälymallien koulutukseen, JEST alentaa esteitä tutkijoille ja innovaattoreille. Tämä saatavuus luo elävän kehitysympäristön tekoälylle, jossa pienemmät tiimit ja organisaatiot voivat kokeilla ja ottaa käyttöön edistyneitä tekoälyratkaisuja. Lisäksi JEST:n tarjoamat tehokkuusvoitot vapauttavat resursseja, jotka voidaan ohjata uusien tekoälyalueiden, kuten uusien arkkitehtuurien, edistyneiden algoritmien ja eettisten tekoälykehyksen, tutkimiseen.
• Tekoälyn Kehityksen Edistäminen: Tekoälyn kehitys tulisi sisältää monia näkökulmia ja syötteitä vähentääkseen viapuolisuutta ja eettisiä huolenaiheita. JEST:n kyky valita tietoja niiden informatiivisuuden ja edustavuuden perusteella rohkaisee monipuolisia käytäntöjä tietokantojen kuraamisessa. Tekoälykehittäjät voivat varmistaa, että JEST käsittelee viapuolisuutta ja eettisiä huolenaiheita tehokkaasti osallistamalla monitieteellisiä tiimejä määrittämään tietojen valintakriteerejä, mukaan lukien asiantuntijat eetiikasta, sosiaalitieteistä ja aihekohtaisista aloista. Tämä yhteistyöhön perustuva lähestymistapa edistää vastuullisempaa ja eettisempää tekoälytekniikoiden kehittämistä.

Yhteenveto

DeepMindin esittämä JEST-algoritmi edustaa merkittävää edistysaskelta generatiivisen tekoälyn koulutuksessa. Nopeuttamalla koulutusprosesseja ja vähentämällä energiankulutusta JEST tarjoaa merkittäviä kustannussäästöjä ja ratkaisee ympäristöön liittyviä huolenaiheita, jotka liittyvät tekoälykehitykseen. JEST:in jatkuvan kehittämisen ja soveltamisen odotetaan määrittävän tekoälyn tulevaisuuden, edistäen kohti tehokkaampia, kestävämpiä ja eettisesti vastuullisempia tekoälyratkaisuja.