Miksi Microsoftin Orca-2-ai-malli merkitsee merkittävää askelta kestävän älykkyyden kehittämisessä?

Viime vuosikymmenen merkittävistä edistysaskelista huolimatta, jotka sisältävät ihmisten mestareiden voittamisen strategisissa peleissä kuten Shakki ja GO ja proteiinien 3D-rakenteen ennustaminen, laajat kielen mallien (LLM) laajamittainen käyttöönotto merkitsee paradigman muutosta. Nämä mallit, jotka ovat valmiina muuttamaan ihmisen ja tietokoneen välistä vuorovaikutusta, ovat tulleet välttämättömiksi useilla aloilla, mukaan lukien koulutus, asiakaspalvelu, tietojen hakeminen, ohjelmistokehitys, media ja terveydenhuolto. Vaikka nämä teknologiset edistysaskeleet avaavat tieteellisiä läpimurtoja ja polttavat teollista kasvua, niiden käytölle on merkittävä haitta planeetalle.

LLM-mallien kouluttamis- ja käyttöprosessi kuluttaa valtavan määrän energiaa, mikä johtaa merkittäviin ympäristövaikutuksiin, joita ovat kasvihuonekaasujen päästöt ja hiilidioksidin päästöt. Yliopistossa tehty tutkimus paljasti, että LLM-mallien kouluttaminen voi aiheuttaa yli 626 000 kiloa hiilidioksidia, mikä on suunnilleen vastaava kuin viiden auton elinikäinen päästö. AI-startup Hugging Face havaitsi, että BLOOM-mallin kouluttaminen aiheutti 25 tonnia hiilidioksidia. Vastaavasti Facebookin AI-malli Meena kerryttää hiilijalanjäljen, joka on verrattavissa yli 240 000 mailin ajamiseen koulutusprosessin aikana.

LLM-mallien kouluttamisen lisäksi pilvilaskennan kysyntä, joka on välttämätöntä LLM-malleille, aiheuttaa nyt enemmän päästöjä kuin koko lentoliikenne. Yksi datakeskus voi kuluttaa yhtä paljon energiaa kuin 50 000 kotia. Toisessa tutkimuksessa todettiin, että yhden suuren kielen mallin kouluttaminen voi vapauttaa yhtä paljon hiilidioksidia kuin viisi autoa koko elinikänsä ajan. Ennusteiden mukaan AI-päästöt kasvavat 300 %:lla vuoteen 2025 mennessä, korostaa AI-edistysten ja ympäristövastuun tasapainottamisen kiireellisyyttä ja kannustaa aloitteita tehdä AI:sta ympäristöystävällisemmän. Kestävä älykkyys on nousemassa tärkeäksi tutkimusalueeksi vastataksesi AI-edistysten haitallisiin ympäristövaikutuksiin.

Kestävä älykkyys

Kestävä älykkyys edustaa paradigman muutosta älykkäiden järjestelmien kehittämisessä ja käyttöönotossa, keskittyen ympäristövaikutuksen minimointiin, eettisiin huomioon ottoihin ja pitkän aikavälin yhteiskunnallisiin hyötyihin. Tavoitteena on luoda älykkäitä järjestelmiä, jotka ovat energiatehokkaita, ympäristöystävällisiä ja ihmisten arvojen mukaisia. Kestävä älykkyys keskittyy puhdistettujen energialähteiden käyttöön tietokoneissa, älykkäisiin algoritmeihin, jotka käyttävät vähemmän voimaa, ja eettisiin ohjeisiin, jotta voidaan varmistaa reilu ja avoin päätöksenteko. On tärkeää huomata, että on ero älykkyyden kehittämisessä kestävyyden ja kestävän älykkyyden välillä; jälkimmäinen sisällyttää aktiivisesti kestävyyden periaatteet älykkyyden kehittämiseen, suunnittelusta käyttöönottoon, jotta voidaan luoda positiivinen ja kestävä vaikutus planeetalle ja yhteiskunnalle.

Siirtyminen LLM-malleista pieniin kielen malleihin (SLM)

Kestävän älykkyyden tavoitteena Microsoft (MSFT ) on kehittämässä pieniä kielen malleja (SLM) LLM-mallien ominaisuuksien mukaisesti. Tässä pyrkimyksessä he esittelivät äskettäin Orca-2:n, joka on suunniteltu pärjäämään GPT-4:n kanssa. Toisin kuin edeltäjänsä Orca-1, jossa on 13 miljardia parametriä, Orca-2 sisältää 7 miljardia parametriä käyttäen kahta avaintekniikkaa.

1. Ohjeistuksen säätö: Orca-2 parantaa oppimalla esimerkeistä, parantaa sisällön laatua, nollaparimetriä ja päättelykykyä useissa tehtävissä.
2. Selityksen säätö: Tunnistamalla ohjeistuksen rajoitukset Orca-2 esittelee selityksen säätöä. Tämä sisältää yksityiskohtaisten selitysten luomisen opettajamalleille, päättelysignaaleiden rikastamisen ja yleisen ymmärryksen parantamisen.

Orca-2 käyttää näitä tekniikoita saavuttaakseen erittäin tehokkaan päättelyn, joka on verrattavissa siihen, mitä LLM-mallit saavuttavat monilla parametreilla. Pääidea on mahdollistaa mallin keksiminen parhaasta tavasta ratkaista ongelma, olipa se nopea vastaus tai askelkohtainen ajattelu. Microsoft kutsuu tätä “varovaiseksi päättelyksi”.

Orca-2:n kouluttamiseen Microsoft rakentaa uuden koulutusaineiston käyttäen FLAN-merkintöjä, Orca-1:ää ja Orca-2-aineistoa. He aloittavat helppojen kysymysten kanssa, lisäävät joukkoon haasteellisia kysymyksiä ja käyttävät puhuvien mallien tietoja tehdäkseen sen vielä älykkäämmäksi.

Orca-2 käy läpi perusteellisen arvioinnin, joka kattaa päättelyn, tekstin täydentämisen, perustelun, totuudenmukaisuuden ja turvallisuuden. Tulokset osoittavat SLM-päättelyn parantamisen mahdollisuuden erikoistuneen koulutuksen avulla synteettisillä tiedoilla. Joitakin rajoituksia huomioon ottaen Orca-2-mallit osoittavat lupaavaa potentiaalia tulevien parannusten osalta päättelyssä, ohjauksessa ja turvallisuudessa, osoittaen synteettisen datan strategisen soveltamisen tehokkuutta mallin hienosäätössä koulutuksen jälkeen.

Orca-2:n merkitys kestävän älykkyyden kehittämisessä

Orca-2 edustaa merkittävää askelta kestävän älykkyyden kehittämisessä, haastaa vallitsevan käsityksen, jonka mukaan ainoastaan suuret mallit, joilla on merkittävä energiankulutus, voivat edistää älykkyyden kehittymistä. Tämä pieni kielen malli esittää vaihtoehtoisen näkökulman, joka osoittaa, ettei kielen mallien erinomaisuuden saavuttaminen välttämättä vaadi valtavia tietoja ja laajaa laskentakapasiteettia. Sen sijaan se korostaa älykkään suunnittelun ja tehokkaan integroinnin tärkeyttä.

Tämä läpimurto avaa uusia mahdollisuuksia korostamalla siirtymistä älykkyyden laajentamisesta älykkyyden suunnittelun keskittymiseen. Tämä merkitsee tärkeää askelta edistääkseen kehittynyttä älykkyyttä laajemman yleisön saataville, varmistaakseen, että innovaatio on kaikille jaettu ja ulottuu laajemmin ihmisiin ja organisaatioihin.

Orca-2:lla on potentiaalia vaikuttaa merkittävästi tulevien kielen mallien kehittymiseen. Olipa kyseessä sitten parantaa tehtäviä, jotka liittyvät luonnollisen kielen prosessointiin, tai mahdollistaa monimutkaisemmat älykkyyden sovellukset eri aloilla, nämä pienemmät mallit ovat valmiina tuomaan merkittäviä myönteisiä muutoksia. Lisäksi ne toimivat edelläkävijöinä edistääkseen kestävämpää älykkyyttä, joka on yhdistetty teknologisen edistysaskeleen ja ympäristövastuun sitoutumisen kanssa.

Lopputulos:

Microsoftin Orca-2 edustaa uraauurtavaa askelta kestävän älykkyyden kehittämisessä, haastaa käsityksen, jonka mukaan ainoastaan suuret mallit voivat edistää älykkyyden kehittymistä. Priorisoimalla älykkään suunnittelun koon sijaan Orca-2 avaa uusia mahdollisuuksia, tarjoaa enemmän kaikille avoimen ja ympäristöystävällisen lähestymistavan kehittää älykkyyttä. Tämä siirtyminen merkitsee merkittävää askelta kohti uutta paradigman muutosta älykkään järjestelmän suunnittelussa.