De ce modelul de inteligență artificială Orca-2 al Microsoft marchează un pas semnificativ spre inteligența artificială durabilă?

În ciuda progreselor notabile realizate de inteligența artificială în ultimul deceniu, care includ înfrângerea campionilor umani în jocuri strategice precum Șah și Go și prezicerea structurii tridimensionale a proteinelor, adoptarea pe scară largă a modelelor de limbaj mari (LLM) semnifică o schimbare de paradigmă. Aceste modele, care sunt pe cale să transforme interacțiunile dintre oameni și calculatoare, au devenit indispensabile în diverse sectoare, inclusiv educație, servicii clienți, recuperare a informațiilor, dezvoltare de software, mass-media și sănătate. În timp ce aceste progrese tehnologice deblochează descoperiri științifice și alimentează creșterea industrială, există un efect negativ semnificativ asupra planetei.

Procesul de antrenare și utilizare a LLM-urilor consumă o cantitate imensă de energie, rezultând un impact semnificativ asupra mediului, marcat de o creștere a amprentei de carbon și a emisiilor de gaze cu efect de seră. Un studiu recent al Colegiului de Informatică și Științe ale Informației de la Universitatea din Massachusetts Amherst a arătat că antrenarea LLM-urilor poate emite peste 626.000 de lire de dioxid de carbon, aproximativ echivalent cu emisiile pe viață a cinci mașini. Hugging Face, o companie de inteligență artificială, a constatat că antrenarea lui BLOOM, un model de limbaj mare lansat la începutul anului, a condus la 25 de tone metrice de emisii de dioxid de carbon. În mod similar, modelul de inteligență artificială al Facebook , Meena, acumulează o amprentă de carbon comparabilă cu impactul mediului al conducerii unei mașini pentru mai mult de 240.000 de mile pe parcursul procesului de antrenare.

În ciuda antrenării LLM-urilor, cererea de calcul în cloud, esențială pentru LLM, contribuie acum cu mai multe emisii decât întreaga industrie a aviației. Un singur centru de date poate consuma atâta energie cât 50.000 de case. Un alt studiu subliniază că antrenarea unui singur model de limbaj mare poate elibera atâta dioxid de carbon cât cinci mașini care utilizează energie pe parcursul întregii lor durate de viață. Previziunile sugerează că emisiile de inteligență artificială vor crește cu 300% până în 2025, subliniind urgența echilibrării progresului inteligenței artificiale cu responsabilitatea mediului și inițiativele de a face inteligența artificială mai ecologică. Pentru a aborda impactul negativ asupra mediului al progresului inteligenței artificiale, inteligența artificială durabilă devine un domeniu de studiu crucial.

Inteligență Artificială Durabilă

Inteligența artificială durabilă reprezintă o schimbare de paradigmă în dezvoltarea și implementarea sistemelor de inteligență artificială, axându-se pe minimizarea impactului asupra mediului, considerații etice și beneficii sociale pe termen lung. Abordarea are ca scop crearea unor sisteme inteligente care sunt eficiente din punct de vedere energetic, responsabile din punct de vedere al mediului și aliniate cu valorile umane. Inteligența artificială durabilă se concentrează pe utilizarea energiei curate pentru calculatoare, algoritmii inteligenți care utilizează mai puțină putere și respectarea ghidurilor etice pentru a asigura decizii corecte și transparente. Este important de remarcat că există o diferență între inteligența artificială pentru durabilitate și inteligența artificială durabilă; primul poate implica utilizarea inteligenței artificiale pentru a optimiza procesele existente fără a lua în considerare necesarmente consecințele sale asupra mediului sau societății, în timp ce al doilea integrează activ principiile durabilității în fiecare etapă a dezvoltării inteligenței artificiale, de la proiectare la implementare, pentru a crea un impact pozitiv și de durată asupra planetei și societății.

De la LLM la Modele de Limbaj Mici (SLM)

În căutarea inteligenței artificiale durabile, Microsoft (MSFT ) lucrează la dezvoltarea Modelelor de Limbaj Mici (SLM) pentru a se alinia cu capacitățile Modelelor de Limbaj Mari (LLM). În acest efort, ei au introdus recent Orca-2, proiectat pentru a raționa ca GPT-4. În contrast cu predecesorul său, Orca-1, care are 13 miliarde de parametri, Orca-2 conține 7 miliarde de parametri utilizând două tehnici cheie.

1. Îmbunătățirea Instruirii: Orca-2 se îmbunătățește prin învățarea din exemple, îmbunătățind calitatea conținutului, capacitățile zero-shot și abilitățile de raționament în diverse sarcini.
2. Îmbunătățirea Explicației: Recunoscând limitările instruirii, Orca-2 introduce Îmbunătățirea Explicației. Acest lucru implică crearea unor explicații detaliate pentru modelele profesor, îmbogățind semnalele de raționament și îmbunătățind înțelegerea generală.

Orca-2 utilizează aceste tehnici pentru a atinge un raționament foarte eficient, comparabil cu ceea ce LLM-urile realizează cu mult mai mulți parametri. Ideea principală este de a permite modelului să determine cea mai bună modalitate de a rezolva o problemă, indiferent dacă este vorba de a oferi un răspuns rapid sau de a gândi pas cu pas. Microsoft numește acest lucru “Raționament Cautios”.

Pentru a antrena Orca-2, Microsoft construiește un nou set de date de antrenare utilizând anotări FLAN, Orca-1 și setul de date Orca-2. Ei încep cu întrebări ușoare, adaugă unele întrebări dificile și apoi utilizează date de la modelele de vorbire pentru a-l face și mai inteligent.

Orca-2 suferă o evaluare cuprinzătoare, acoperind raționamentul, completarea textului, fundamentarea, adevărul și siguranța. Rezultatele arată potențialul de îmbunătățire a raționamentului SLM prin antrenarea specializată pe date sintetice. În ciuda unor limitări, modelele Orca-2 arată perspective pentru îmbunătățiri viitoare în raționament, control și siguranță, demonstrând eficacitatea aplicării strategice a datelor sintetice în rafinarea modelului după antrenare.

Importanța Orca-2 în Inteligența Artificială Durabilă

Orca-2 reprezintă un salt semnificativ spre inteligența artificială durabilă, contestând credința dominantă că numai modelele mai mari, cu consumul lor semnificativ de energie, pot avansa cu adevărat capacitățile inteligenței artificiale. Acest model de limbaj mic prezintă o perspectivă alternativă, sugerând că atingerea excelenței în modelele de limbaj nu necesită neapărat seturi de date uriașe și putere de calcul extinsă. În schimb, subliniază importanța proiectării inteligente și a integrării eficiente.

Acest progres deschide noi posibilități, promovând o schimbare de la simpla mărire a inteligenței artificiale la concentrarea asupra modului în care o proiectăm. Acesta marchează un pas crucial în direcția făcută pentru a face inteligența artificială avansată mai accesibilă unui public mai larg, asigurând că inovația este inclusivă și ajunge la o gamă mai largă de oameni și organizații.

Orca-2 are potențialul de a avea un impact semnificativ asupra dezvoltării viitoare a modelelor de limbaj. Indiferent dacă este vorba de îmbunătățirea sarcinilor legate de prelucrarea limbajului natural sau de a permite aplicații mai sofisticate de inteligență artificială în diverse industrii, aceste modele mai mici sunt pregătite să aducă schimbări pozitive semnificative. Mai mult, ele acționează ca pionieri în promovarea practicilor mai durabile de inteligență artificială, aliniind progresul tehnologic cu un angajament față de responsabilitatea mediului.

Concluzia:

Modelul Orca-2 al Microsoft reprezintă o mișcare revoluționară spre inteligența artificială durabilă, contestând credința că numai modelele mari pot avansa inteligența artificială. Prin prioritizarea proiectării inteligente în detrimentul dimensiunii, Orca-2 deschide noi posibilități, oferind o abordare mai inclusivă și mai responsabilă din punct de vedere al mediului pentru dezvoltarea inteligenței artificiale avansate. Această schimbare marchează un pas semnificativ spre un nou paradigma în proiectarea sistemelor inteligente.