DeepMind Esittelee JEST-algoritmin: Tehostaen AI-mallien Koulutusta, Tehden Sen Halvemmaksi ja Ympäristöystävällisemmäksi

Generatiivinen tekoäly on tehnyt uskomattomia edistysaskelia muokkaamalla alueita kuten lääketiede, koulutus, rahoitus, taide, urheilu jne. Tämä edistysaskel johtuu pääasiassa tekoälyn parantuneesta kyvystä oppia suuremmista tietojoukoista ja rakentaa monimutkaisempia malleja, joissa on miljardeja parametreja. Vaikka nämä edistysaskeleet ovat johtaneet merkittäviin tieteellisiin löytöihin, luoneet uusia liiketoimintamahdollisuuksia ja johtaneet teolliseen kasvuun, ne tulevat korkeaan kustannukseen, erityisesti ottaen huomioon suuret taloudelliset ja ympäristölliset vaikutukset näiden suurten mallien koulutukseen. Oppimisalgoritmit tarvitsevat merkittävää laskentatehoa kouluttaakseen generatiivisia tekoälymalleja suurilla tietojoukoilla, mikä johtaa suureen energiankulutukseen ja merkittävään hiilijalanjälkeen.

Vaikka aiemmat pyrkimykset tehdä generatiivisesta tekoälystä kestävää ovat keskittyneet parantamaan laitteiston tehokkuutta tekoälyn koulutuksessa ja kehittämään pienempiä malleja, joissa on vähemmän parametreja, Google DeepMind on ottanut innovatiivisen lähestymistavan, pyrkien parantamaan generatiivisen tekoälyn koulutusalgoritmin tehokkuutta. He ovat uranuurtaneet uuden algoritmin, JEST (Joint Example Selection), joka toimii 13 kertaa nopeammin ja on kymmenen kertaa energiatehokkaampi kuin nykyiset tekniikat.

Tässä artikkelissa tutkimme tekoälyn koulutuksen haasteita ja miten JEST ratkaisee nämä ongelmat. Lisäksi tarkastelemme laajempia vaikutuksia ja tulevaisuuden tutkimussuuntia JEST-algoritmille, nähdäksemme sen potentiaalisen vaikutuksen tekoälyn koulutuksen nopeuttamisessa, kustannustehokkuuden parantamisessa ja ympäristöystävällisyyden lisäämisessä.

Tekoälyn Koulutuksen Haasteet: Korkeat Kustannukset ja Ympäristövaikutukset

Generatiivisten tekoälymallien koulutus esittää merkittäviä haasteita korkeiden kustannusten ja merkittävien ympäristövaikutusten vuoksi.

• Taloudelliset Kustannukset: Generatiivisten tekoälymallien koulutus on kallis yritys. Viimeaikaiset arviot osoittavat, että yhden suuren mallin, kuten OpenAI:n GPT-3:n, jossa on 175 miljardia parametriä, koulutus voi maksaa noin 4,6 miljoonaa dollaria. ChatGPT-4:n koulutus on arvioitu maksaneen OpenAI:lle noin 100 miljoonaa dollaria. Nämä kustannukset voidaan pääasiassa liittää massiivisiin laskentaresursseihin, laajaan tietojen prosessointiin ja pitkiin koulutusaikoihin.
• Energiakulutus: Generatiivisen tekoälyn koulutusprosessit ovat erittäin energiankulutukseltaan intensiivisiä. Näiden mallien koulutus vaatii tuhansia GPU:ita ja kuluttaa useita gigawattitunteja energiaa, mikä tekee prosessista erittäin energiankulutukseltaan intensiivisen. Datakeskukset, jotka sisältävät tekoälyn koulutuksen laskentainfrastruktuurin, kuluttavat noin 200 terawattituntia (TWh) sähköä vuodessa, mikä on noin 1% maailmanlaajuisesta sähkönkulutuksesta. McKinsey-raportti ennustaa, että datakeskusten sähkönkulutus Yhdysvalloissa voi kasvaa 17 gigawattista (GW) vuonna 2017 35 GW:een vuoteen 2030 mennessä, mikä edellyttää lisää sähköntuotantoa vastaamaan tämän lisääntyneen kysynnän.
• Hiilijalanjälki: Suurten tekoälymallien koulutuksen korkea energiankulutus vaikuttaa merkittävästi kasvihuonekaasupäästöihin ja siten ilmastonmuutokseen. Yhdysvaltain Massachusettsin yliopiston tutkimus osoitti, että yhden suuren tekoälymallin koulutus voi aiheuttaa yhtä paljon hiilidioksidipäästöjä kuin viisi autoa koko elinikänsä aikana. Tarkemmin sanottuna yhden tekoälymallin koulutus voi aiheuttaa yli 626 000 naulaa hiilidioksidia, mikä vastaa 315 trans-Amerikan lentomatkan hiilijalanjälkeä.

Nämä haasteet johtuvat pääasiassa kahdesta lähteestä: riippuvuudesta korkean energiankulutuksen vaativasta laskentalaitteistosta ja nykyisten koulutusalgoritmien tehokkuuden puutteesta. Vaikka tekoälyyhteisö on tehnyt edistysaskelia energiatehokkaan laitteiston kehittämisessä, on tarve kehittää älykkäämpiä algoritmeja, jotka voivat optimoida tietojen käytön ja vähentää koulutusaikaa. Google DeepMindin äskettäin esittelemä JEST-algoritmi on uranuurtava tutkimus tekoälyn koulutusalgoritmien tehokkuuden parantamiseksi. Valitsemalla älykkäästi tärkeimmät tiedot JEST parantaa merkittävästi tekoälyn koulutuksen tehokkuutta, luoden tien kestävämmän ja kustannustehokkaamman generatiivisten tekoälymallien koulutuksen.

JEST-algoritmin Ymmärtäminen

JEST on oppimisalgoritmi, joka on suunniteltu kouluttamaan monimodaalisia generatiivisia tekoälymalleja tehokkaammin. Jotta voimme ymmärtää, miten JEST toimii, ajatellaan tekoälyn koulutusta ratkaisuna monimutkaiseen palapeliin, jossa jokainen palanen (tietopiste) auttaa rakentamaan kokonaiskuvan (tekoälymallin). JEST toimii kuin kokenut palapelin ratkaisija, tehdessään prosessista tehokkaamman. Niin kuin palapelin ratkaisija valitsee tärkeimmät ja erottuvimmat palaset, JEST tunnistaa ja valitsee tärkeimmät tietopaketit tietojoukosta, varmistaen, että jokainen paketti on tärkeä tekoälyn kehitykselle.

JEST käyttää pienempää tekoälymallia arvioidakseen tietopakettien laatua. Nämä paketit sijoitetaan sitten arviointijärjestykseen niiden koulutustehokkuuden perusteella. Näiden huolellisesti valittujen pakettien avulla JEST rakentaa strategisesti mallin. Niin kuin palapelin ratkaisija järjestää paloja tehokkaasti ja johdonmukaisesti, JEST nopeuttaa koulutusprosessia priorisoimalla ja valitsemalla tärkeimmät paketit.

JEST-algoritmin avainosa on monimodaalinen kontrastiivinen oppiminen. Tämä tekniikka keskittyy oppimiseen eri tietotyyppien välisistä suhteista, kuten teksti ja kuvat. JEST käyttää monimodaalista kontrastiivista oppimismenetelmää arvioidakseen monimodaalisen tietonäytteen tehokkuutta mallin koulutuksessa. Lisäksi JEST arvioi tietopakettien yhteisen oppimiskyvyn valitessaan pienen tietopaketin suuremmasta “yläpaketista”. Tämä prosessi auttaa JEST:iä valitsemaan ja priorisoimaan paketit, jotka tarjoavat haasteita ja rikkaat oppimismahdollisuudet.

Eteenpäin Katse: JEST Tekee Tekoälyn Koulutuksesta Nopeamman, Halvemman ja Ympäristöystävällisemmän

Kun tutkimme JEST-algoritmin (Joint Example Selection) tulevaisuuden vaikutuksia, on selvää, että sen panos ei rajoitu pelkästään tekoälyn koulutuksen nopeuttamiseen, kustannusten laskemiseen ja ympäristöystävällisyyden lisäämiseen. Tässä käymme läpi, miten JEST voi jatkossakin parantaa ja muuttaa generatiivisen tekoälyn alaa:

• Parantunut Mallin Suorituskyky ja Tarkkuus: JEST:n innovatiivinen lähestymistapa tietojen valintaan ja priorisointiin johtaa nopeampiin koulutusaikoihin ja parantuneeseen mallin suorituskykyyn. Keskittymällä tärkeimpiin tietopaketteihin JEST varmistaa, että tekoälymallit koulutetaan laadukkaiden syötteiden avulla, parantaa niiden tarkkuutta ja robustisuutta. Tämä etu on äärimmäisen tärkeä sovelluksissa, joissa tarkkuus ja luotettavuus ovat olennaisia, kuten lääketieteellisissä diagnostiikoissa, rahoituksen ennusteissa ja itseohjautuvissa järjestelmissä.
• Harhan ja Puolueellisuuden Vähentäminen Tiedoissa: Tekoäly on altis puolueellisille tietojoukoille, joissa tietyt ryhmät tai näkökulmat ovat aliedustettuina tai väärin edustettuina. JEST:n tietopakettien laadun ja informatiivisuuden arviointi auttaa priorisoimalla monipuolisia ja edustavia tietonäytteitä. Tällä tavoin JEST voi auttaa tekoälyjärjestelmiä oppimaan tasapuolisemmasta tietojoukosta, vähentäen puolueellisuutta koulutustiedoissa. Esimerkiksi terveydenhuollon tekoälysovelluksissa JEST voi valita tietopaketteja, jotka kattavat eri demografisia tekijöitä, varmistaen, että lääketieteelliset diagnostiikkamallit koulutetaan monipuolisista potilasväestöistä. Tämä valinta vähentää riskiä puolueellisuuksille, jotka voivat vaikuttaa epäsuhteellisesti tiettyihin ryhmiin perustuen rotuun, sukupuoleen tai sosioekonomiseen asemaan.
• Innovaatioiden ja Tutkimuksen Edistäminen: Vähentämällä merkittävästi laskentaresursseja ja aikaa, jotka vaaditaan tekoälymallien koulutukseen, JEST alentaa esteitä tutkijoille ja innovaattoreille. Tämä saatavuus luo elinvoimaisemman ekosysteemin tekoälyn kehittämiseen, jossa pienemmät tiimit ja organisaatiot voivat kokeilla ja ottaa käyttöön edistyneitä tekoälyratkaisuja. Lisäksi JEST:n tarjoamat tehokkuusvoitot vapauttavat resursseja, jotka voidaan ohjata uusien tekoälyalueiden, kuten uusien arkkitehtuureiden, edistyneiden algoritmien ja eettisten tekoälykehysten tutkimiseen.
• Ympäristöystävällisen Tekoälyn Kehittämisen Edistäminen: Tekoälyn kehittäminen tulisi sisältää monia näkökulmia ja syötteitä tehokkaasti vähentääkseen puolueellisuutta ja eettisiä huolenaiheita. JEST:n kyky valita tietoja niiden informatiivisuuden ja edustavuuden perusteella rohkaisee monipuolisia käytäntöjä tietojen kuratointiin. Tekoälykehittäjät voivat varmistaa, että JEST käsittelee puolueellisuutta ja eettisiä huolenaiheita tehokkaasti osallistamalla monitieteisiä tiimejä tietojen valintakriteerien määrittelyyn, mukaan lukien asiantuntijat eetiikasta, sosiaalitieteistä ja alakohtaisista aloista. Tämä yhteistyöhön perustuva lähestymistapa edistää monipuolista ja vastuullista tekoälytekniikoiden kehittämistä.

Pääjohtopäätös

DeepMindin esittelemä JEST-algoritmi edustaa merkittävää edistysaskelta generatiivisen tekoälyn koulutuksessa. Nopeuttamalla koulutusprosesseja ja vähentämällä energiankulutusta JEST tarjoaa merkittäviä kustannussäästöjä ja ratkaisee ympäristöön liittyviä huolenaiheita, jotka liittyvät tekoälyn kehittämiseen. JEST:n jatkuvan kehittämisen ja soveltamisen odotetaan määrittävän tekoälyn tulevaisuuden, edistäen tehokkaampia, kestävämpiä ja eettisesti vastuullisia tekoälyratkaisuja.