DeepMind Introduce Algoritmul JEST: Facilitând Antrenarea Modelului De Inteligență Artificială Mai Rapidă, Mai Ieftină, Mai Ecologică

Inteligența artificială generativă face pași incredibili, transformând domenii precum medicina, educația, finanțele, arta, sportul etc. Acest progres provine în principal din îmbunătățirea capacității inteligenței artificiale de a învăța din seturi de date mai mari și de a construi modele mai complexe cu miliarde de parametri. Deși aceste progrese au condus la descoperiri științifice semnificative, au creat noi oportunități de afaceri și au determinat creșterea industrială, ele vin la un cost ridicat, în special dacă se iau în considerare impactul financiar și de mediu al antrenării acestor modele la scară largă. Algoritmii de învățare necesită o putere computațională semnificativă pentru a antrena modelele de inteligență artificială generativă cu seturi de date mari, ceea ce duce la un consum ridicat de energie și la o amprentă carbonică semnificativă.

În timp ce eforturile anterioare de a face inteligența artificială generativă durabilă s-au concentrat pe îmbunătățirea eficienței hardware-ului pentru antrenarea inteligenței artificiale și pe dezvoltarea unor modele mai mici cu mai puțini parametri, Google DeepMind a adoptat o abordare inovatoare, care vizează îmbunătățirea eficienței algoritmului de antrenare a inteligenței artificiale generative. Ei au dezvoltat un nou algoritm, JEST (Selectare Comună a Exemplului), care funcționează de 13 ori mai rapid și este de 10 ori mai eficient din punct de vedere energetic decât tehnicile actuale.

În acest articol, explorăm provocările antrenării inteligenței artificiale și modul în care JEST abordează aceste probleme. De asemenea, considerăm implicațiile mai largi și direcțiile de cercetare viitoare pentru algoritmul JEST, imaginându-i impactul potențial dincolo de îmbunătățirea vitezei, a eficienței costurilor și a ecologiei în antrenarea inteligenței artificiale.

Provocările Antrenării Inteligenței Artificiale: Costuri Ridicate și Impact de Mediu

Antrenarea modelelor de inteligență artificială generativă prezintă provocări semnificative din cauza costurilor ridicate și a impactului de mediu substanțial.

• Costuri Financiare: Antrenarea modelelor de inteligență artificială generativă este o întreprindere costisitoare. Estimările recente indică faptul că antrenarea unui singur model mare, cum ar fi GPT-3 al OpenAI, cu 175 de miliarde de parametri, poate costa în jur de 4,6 milioane de dolari. Se estimează că antrenarea ChatGPT-4 a costat OpenAI aproximativ 100 de milioane de dolari. Aceste cheltuieli sunt atribuite în mare măsură resurselor computaționale masive, prelucrării extinse a datelor și timpilor prelungiți de antrenare necesari.
• Consum de Energie: Procesele de antrenare a inteligenței artificiale generative sunt extrem de consumatoare de energie. Antrenarea acestor modele implică mii de unități de procesare grafică (GPU) și consumă multiple gigawatt-ore de energie, făcând procesul extrem de intensiv din punct de vedere energetic. Centrele de date, care găzduiesc infrastructura de calcul pentru antrenarea inteligenței artificiale, consumă aproximativ 200 de terawatt-ore (TWh) de electricitate anual, aproximativ 1% din cererea globală de electricitate. Un raport McKinsey prezice că consumul de energie al centrelor de date din Statele Unite ar putea crește de la 17 gigawatti (GW) în 2017 la 35 GW până în 2030, necesitând o cantitate echivalentă cu nouă baraje Hoover pentru a satisface această cerere suplimentară.
• Amprentă Carbonică: Consumul ridicat de energie al antrenării modelelor de inteligență artificială generativă contribuie semnificativ la emisiile de gaze cu efect de seră, exacerbând schimbările climatice. Un studiu al Universității din Massachusetts Amherst a constatat că antrenarea unui model de inteligență artificială mare poate emite atâtea gaze cu efect de seră cât cinci mașini pe durata de viață a acestora. În mod specific, antrenarea unui singur model de inteligență artificială poate emite mai mult de 626.000 de kilograme de CO2, echivalent cu amprenta carbonică a 315 zboruri transatlantice.

Aceste provocări provin în principal din două surse principale: dependența de hardware-ul consumator de energie și ineficiența algoritmilor de antrenare actuale. În timp ce comunitatea inteligenței artificiale a făcut progrese în dezvoltarea unor hardware-uri eficiente din punct de vedere energetic, trebuie să se pună mai mult accent pe crearea unor algoritmi mai inteligenți care pot optimiza utilizarea datelor și reduce timpul de antrenare. Algoritmul JEST al Google, recent introdus, este o cercetare pionieră în direcția creării unor algoritmi de antrenare mai eficienți. Prin selectarea inteligentă a datelor care contează, JEST îmbunătățește semnificativ eficiența antrenării inteligenței artificiale, deschizând calea pentru o antrenare mai durabilă și mai eficientă din punct de vedere al costurilor a modelelor de inteligență artificială generativă.

Înțelegerea Algoritmului JEST

JEST este un algoritm de învățare proiectat pentru a antrena modele de inteligență artificială generativă multimodale mai eficient. Pentru a înțelege cum funcționează JEST, gândiți-vă la antrenarea inteligenței artificiale ca la rezolvarea unei puzzle complexe, unde fiecare piesă (punct de date) ajută la construirea imaginii complete (model de inteligență artificială). JEST acționează ca un puzzle-solver experimentat, făcând procesul mai eficient. La fel cum un puzzle-solver selectează piesele cele mai importante și distincte, JEST identifică și selectează cele mai valoroase loturi de date din setul de date, asigurându-se că fiecare lot joacă un rol crucial în dezvoltarea inteligenței artificiale.

JEST utilizează un model de inteligență artificială mai mic pentru a evalua calitatea loturilor de date. Aceste loturi sunt apoi clasificate în funcție de eficacitatea lor în antrenarea modelului. Cu aceste loturi atent selectate, JEST asamblează strategic pentru a antrena modelul. La fel cum un puzzle-solver aranjează piesele puzzle-ului pentru a maximiza eficiența și coerența, JEST accelerează semnificativ procesul de antrenare prin prioritizarea și selectarea loturilor cele mai informative.

O parte cheie a abordării JEST este învățarea contrastivă multimodală. Această tehnică se concentrează pe învățarea corespondenței dintre diferite tipuri de date, cum ar fi text și imagini. JEST utilizează o metodă bazată pe învățarea contrastivă multimodală pentru a evalua eficacitatea unei mostre de date multimodale în antrenarea modelului. Pe lângă eficacitatea mostrelor de date individuale, JEST evaluează și învățarea colectivă a mostrelor de date pentru a selecta un lot mic de date dintr-un “super lot” mai mare. Acest proces ajută JEST să selecteze și să prioritizeze loturile care oferă provocări și oportunități de învățare bogate.

Perspectiva Viitoare: JEST Dincolo De Antrenarea Inteligenței Artificiale Mai Rapidă, Mai Ieftină, Mai Ecologică

Pe măsură ce explorăm implicațiile viitoare ale JEST (Selectare Comună a Exemplului), este evident că contribuțiile sale merg dincolo de simpla accelerare a antrenării inteligenței artificiale, reducerea costurilor și promovarea durabilității de mediu. Aici, ne vom concentra asupra modului în care JEST poate continua să se îmbunătățească și să transforme domeniul inteligenței artificiale generative:

• Îmbunătățirea Performanței și Preciziei Modelului: Abordarea inovatoare a JEST pentru selectarea și prioritizarea datelor conduce la timpuri de antrenare mai rapide și la o performanță îmbunătățită a modelului. Prin concentrarea asupra loturilor de date cele mai informative, JEST asigură că modelele de inteligență artificială sunt antrenate pe intrări de înaltă calitate, îmbunătățindu-le precizia și robustețea. Acest avantaj este crucial în aplicații în care precizia și fiabilitatea sunt parametri cheie, cum ar fi diagnostice medicale, previziuni financiare și sisteme autonome.
• Identificarea și Mitigarea Prejudecăților în Date: Inteligența artificială este predispusă la seturi de date prejudecate, unde anumite grupuri sau perspective sunt subreprezentate sau reprezentate incorect. Abordarea JEST pentru selectarea datelor implică evaluarea calității și a informativității loturilor de date. Prin prioritizarea mostrelor de date diverse și reprezentative, JEST poate ajuta sistemele de inteligență artificială să învețe dintr-un set de date mai echilibrat, reducând astfel prejudecățile din datele de antrenare. De exemplu, în aplicațiile de inteligență artificială din domeniul sănătății, JEST poate selecta loturi de date care cuprind diverse factori demografici, asigurându-se că modelele de diagnostic medical sunt antrenate pe populații de pacienți diverse. Această selecție reduce riscul prejudecăților care ar putea afecta în mod disproporționat anumite grupuri pe baza rasei, genului sau statutului socioeconomic.
• Facilitarea Inovației și Cercetării: Prin reducerea semnificativă a resurselor computaționale și a timpului necesar pentru antrenarea modelului de inteligență artificială, JEST reduce barierele de intrare pentru cercetători și inovatori. Această accesibilitate favorizează un ecosistem mai vibrant de dezvoltare a inteligenței artificiale, în care echipele mai mici și organizațiile pot experimenta și implementa soluții avansate de inteligență artificială. Mai mult, câștigurile de eficiență oferite de JEST eliberează resurse care pot fi redirecționate către explorarea unor noi frontiere în inteligența artificială, cum ar fi arhitecturi noi, algoritmi avansați și cadre etice pentru inteligența artificială.
• Promovarea Dezvoltării Incluzive a Inteligenței Artificiale: Dezvoltarea inteligenței artificiale ar trebui să implice perspective și intrări diverse pentru a mitiga eficient prejudecățile și preocupările etice. Capacitatea JEST de a selecta date pe baza valorii lor informative și a reprezentativității încurajează practici incluzive în curarea setului de date. Dezvoltatorii de inteligență artificială pot asigura că JEST abordează eficient prejudecățile și considerațiile etice prin implicarea unor echipe multidisciplinare în definirea criteriilor de selecție a datelor, incluzând experți în etică, științe sociale și domenii specifice. Această abordare colaborativă favorizează o dezvoltare mai incluzivă și responsabilă a tehnologiilor de inteligență artificială.

Concluzia

Introducerea algoritmului JEST de către DeepMind reprezintă un salt semnificativ înainte în antrenarea inteligenței artificiale generative. Prin accelerarea semnificativă a proceselor de antrenare și reducerea consumului de energie, JEST oferă economii de costuri substanțiale și abordează preocupările de mediu legate de dezvoltarea inteligenței artificiale. Dincolo de aceste avantaje, JEST are potențialul de a îmbunătăți precizia modelului, de a reduce prejudecățile din date, de a stimula inovația și de a promova dezvoltarea incluzivă a inteligenței artificiale. Raffinarea și aplicarea continuă a JEST sunt pe cale să redefină viitorul inteligenței artificiale, mergând către soluții mai eficiente, mai durabile și mai responsabile din punct de vedere etic.