AI-mallit ja alustat
Voiko ChatGPT:n kaltaisia suuria kielimalleja rakentaa puoleen hintaan?
Keskeiset kohdatLiGO puolittaa suurten kielimallien koulutuskustannukset kasvattamalla suurempia…
Näytä lisää
- LiGO puolittaa suurten kielimallien koulutuskustannukset kasvattamalla suurempia malleja pienemmistä esikoulutetuista malleista.
- GPT-3:n kouluttaminen maksoi 5 miljoonaa dollaria ja vaati 10 000 grafiikkasuoritinta 14,8 päivän ajan.
- OpenAI käyttää 700 000 dollaria päivittäin ChatGPT-kyselyiden suorittamiseen koulutuskustannusten lisäksi.
Suuret kielimallit (LLM) kuten GPT-3 ja ChatGPT ovat mullistaneet tekoälyalan tarjoamalla luonnollisen kielen ymmärtämisen ja sisällön luomismahdollisuuksia. Mutta niiden kehittäminen tulee suurella kustannuksella, joka rajoittaa niiden saatavuutta ja edelleen tutkimusta. Tutkijat arvioivat, että GPT-3:n kouluttaminen maksoi OpenAI:lle noin 5 miljoonaa dollaria. Microsoft (MSFT ) kuitenkin tunnisti potentiaalin ja investoi 1 miljardi dollaria vuonna 2019 ja 10 miljardia dollaria vuonna 2023 OpenAI:n GPT-3- ja ChatGPT-hankkeeseen.
LLM:t ovat koneoppimismalleja, jotka on koulutettu laajoilla tekstuaalisilla tiedoilla NLP-sovelluksia varten. Ne perustuvat transformer-arkkitehtuuriin ja hyödyntävät huomiomekanismeja NLP-tehtävissä kuten kysymys-vastaus, konekäännös, mielipideanalyysi jne.
Kysymys on: voidaanko näiden suurten mallien tehokkuutta lisätä samalla vähentäen laskennallista kustannusta ja koulutusaikaa?
Useita lähestymistapoja, kuten Progressiiviset neuroniverkot, Verkkomorfismi, Intra-layer-malli-rinnakkaisuus, tiedon periytyminen jne., on kehitetty vähentämään neuroverkkojen koulutuksen laskennallista kustannusta. Uusi LiGO (lineaarinen kasvuoperaattori) -lähestymistapa, josta keskustelemme, asettaa uuden vertailukohdan. Se puolittaa LLM:n koulutuksen laskennallisen kustannuksen.
Ennen tämän tekniikan käsittelemistä on tärkeää tarkastella tekijöitä, jotka vaikuttavat LLM:n korkeaan hintaan.
Suurten kielimallien rakentamisen kustannus
Kolme suurta kustannusta LLM:n kehittämisessä ovat seuraavat:
1. Laskennalliset resurssit
LLM:n rakentaminen vaatii massiivisia laskennallisia resursseja koulutuksen suorittamiseksi suurilla tietojoukoilla. Niiden on käsiteltävä miljardeja parametreja ja opittava monimutkaisia malleja suurista tekstuaalisista tiedoista.
Erityisen laitteiston, kuten grafiikkaprosessorien (GPU) ja tensor-prosessorien (TPU), investointi on tarpeen LLM:n rakentamiseen ja koulutukseen, jotta voidaan saavuttaa huipputason suorituskyky.
Esimerkiksi GPT-3 koulutettiin supertietokoneella, jossa oli 10 000 yritysluokan GPU:ta (H100 ja A100) ja 285 000 prosessoriydintä.
2. Energiankulutus
LLM:n rakentamiseen tarvittavat intensiiviset laskennalliset resurssit johtavat merkittäviin energiankulutukseen. Esimerkiksi 175 miljardin parametrin GPT-3:n koulutus kesti 14,8 päivää 10 000 V100 GPU:n avulla, mikä vastaa 3,55 miljoonaa GPU-tuntia. Tällaisen korkean energiankulutuksen on merkittäviä ympäristövaikutuksia.
3. Tiedon varastointi ja hallinta
LLM:t koulutetaan suurilla tietojoukoilla. Esimerkiksi GPT-3 koulutettiin laajalla tekstuaalisella datalla, joka sisälsi Common Crawl, WebText2, Books1, Books2 ja Wikipedia jne. Merkittävä infrastruktuurin investointi on tarpeen näiden tietojoukkojen keräämiseen, kuratointiin ja varastointiin.
Myös pilvitallennus on tarpeen tietojen varastointiin, ja ihmisten asiantuntemus tietojen esikäsittelyyn ja versiohallintaan. Lisäksi varmistaminen, että tietojen hallintastrategia noudattaa sääntöjä kuten GDPR:ää, lisää kustannuksia.
LiGO-tekniikka: Vähennä suurten kielimallien rakentamisen kustannusta puoleen
LiGO (lineaarinen kasvuoperaattori) on uusi tekniikka, jonka tutkijat MIT:stä ovat kehittäneet vähentämään LLM:n koulutuksen laskennallista kustannusta 50 %. Menetelmässä käytetään pienempien esikoulutettujen mallien painoja suurempien mallien aloittamiseen, mikä mahdollistaa tehokkaan neuroverkkojen skaalautumisen.

Kuva artikkelista: Opettele kasvattamaan esikoulutettuja malleja tehokkaaksi transformer-koulutukseksi
Yoon Kim, artikkelin vanhempi kirjoittaja, sanoo:
”On arvioitu, että mallien koulutus samassa mittakaavassa kuin ChatGPT:n oletetaan olevan, voi maksaa miljoonia dollareita vain yhden koulutussession vuoksi. Voimmeko parantaa näiden koulutusmenetelmien tehokkuutta, jotta voimme saada hyviä malleja vähemmässä ajassa ja vähemmällä rahalla? Esitämme tämän tekemisen pienempien kielen mallien avulla, jotka on aiemmin koulutettu.”
Tämä menetelmä säilyttää suurempien mallien suorituskyvyn hyödyt vähentäen laskennallista kustannusta ja koulutusaikaa verrattuna siihen, että koulutetaan suuri malli alusta alkaen. LiGO käyttää dataohjattua lineaarista kasvuoperaattoria, joka yhdistää syvyyden ja leveyden toimintoja optimaaliseen suorituskykyyn.
Artikkelissa käytettiin useita tietoja tekstin perustaisiin kokeisiin, mukaan lukien englanninkielinen Wikipedia-korpus BERT- ja RoBERTa-mallien koulutukseen ja C4-tietojoukko GPT2-mallin koulutukseen.
LiGO-tekniikan kokeiluun kuului BERT-Small-mallin kasvattaminen BERT-Base-malliksi, BERT-Base-mallin kasvattaminen BERT-Large-malliksi, RoBERTaSmall-mallin kasvattaminen RoBERTa-Base-malliksi, GPT2-Base-mallin kasvattaminen GPT2-Medium-malliksi ja CaiT-XS-mallin kasvattaminen CaiT-S-malliksi.
Tutkijat vertailivat lähestymistapaansa useisiin muihin vertailukohteisiin, mukaan lukien koulutus alusta alkaen, progressiivinen koulutus, bert2BERT, ja KI.
LiGO-tekniikka tarjosi 44,7 %:n säästön laskentaoperaatioissa (FLOPs) ja 40,7 %:n säästön kuluneessa kokonaisajassa verrattuna BERT-Base-mallin koulutukseen alusta alkaen BERT-Small-mallin uudelleenkäytöllä. LiGO-kasvutoiminto suoriutui paremmin kuin StackBERT, MSLT, bert2BERT ja KI tehokkaassa koulutuksessa.
Hyödyt LiGO-koulutusoptimoimistekniikan käytöstä
LiGO on tehokas neuroverkkojen koulutusmenetelmä, jolla on useita hyötyjä:
1. Nopeampi koulutus
Kuten mainittiin aiemmin, nopeampi koulutus on LiGO-tekniikan tärkein etu. Se kouluttaa LLM:t puolessa ajassa, lisäten tuottavuutta ja vähentäen kustannuksia.
2. Resurssitehokkuus
LiGO on resurssitehokas, koska se vähentää kulunutta kokonaisaikaa ja laskentaoperaatioita, johtaen kustannustehokkaampaan ja ympäristöystävällisempään lähestymistapaan suurten transformer-mallien koulutukseen.
3. Yleistettävyys
LiGO-tekniikka on parantanut sekä kielen että näön transformer-mallien suorituskykyä, mikä viittaa siihen, että se on yleistettävä tekniikka, jota voidaan soveltaa moniin tehtäviin.
Kaupallisten tekoälytuotteiden rakentaminen on vain yksi osa kustannuksista, jotka liittyvät tekoälyjärjestelmiin. Toinen merkittävä kustannuskomponentti tulee päivittäisestä toiminnasta. Esimerkiksi OpenAI:lle maksaa noin 700 000 dollaria päivässä vastata kysymyksiin ChatGPT:n avulla. Tutkijoiden odotetaan jatkavan lähestymistapojen kehittämistä, jotka tekevät LLM:istä kustannustehokkaampia koulutuksen aikana ja helpommin saatavilla suoritusaikana.
Lisää tekoälyyn liittyvää sisältöä löytyy unite.ai:sta.












