Llama 2: O scufundare în profunzime în modelul open-source care concurează cu ChatGPT

Modelele de limbaj mari (LLM) capabile de sarcini complexe de raționament au arătat promisiuni în domenii specializate precum programarea și scrierea creativă. Cu toate acestea, lumea LLM nu este pur și simplu un paradis plug-and-play; există provocări în ceea ce privește utilizabilitatea, siguranța și cerințele computaționale. În acest articol, vom face o scufundare în profunzime în capacitățile Llama 2, oferind în același timp un ghid detaliat pentru configurarea acestui LLM de înaltă performanță prin Hugging Face și T4 GPU pe Google Colab.

Dezvoltat de Meta, în parteneriat cu Microsoft, acest model de limbaj mare open-source își propune să redefină domeniile inteligenței artificiale generative și ale înțelegerii limbajului natural. Llama 2 nu este doar un alt model statistic antrenat pe terabytes de date; este o încarnare a unei filozofii. Una care subliniază abordarea open-source ca fiind coloana vertebrală a dezvoltării AI, în special în spațiul inteligenței artificiale generative.

Llama 2 și substitutul său optimizat pentru dialog, Llama 2-Chat, sunt echipate cu până la 70 de miliarde de parametri. Acestea suferă un proces de fine-tuning conceput pentru a le alinia îndeaproape cu preferințele umane, făcându-le atât mai sigure, cât și mai eficiente decât multe alte modele disponibile public. Acest nivel de granularitate în fine-tuning este adesea rezervat pentru LLM “închise” de tip “produs”, cum ar fi ChatGPT și BARD, care nu sunt, în general, disponibile pentru examinarea publică sau personalizare.

Scufundare tehnică în profunzime a Llama 2

Pentru antrenarea modelului Llama 2; la fel ca și predecesorii săi, acesta utilizează o arhitectură auto-regresivă transformator, pre-antrenată pe un corpus extins de date auto-supervizate. Cu toate acestea, adaugă un strat suplimentar de sofisticare prin utilizarea învățării prin întărire cu feedback uman (RLHF) pentru a se alinia mai bine cu comportamentul și preferințele umane. Acest lucru este computațional scump, dar vital pentru îmbunătățirea siguranței și eficacității modelului.

Arhitectura de antrenare Meta Llama 2

Pre-antrenare și eficiență a datelor

Inovația fundamentală a Llama 2 se află în regimul său de pre-antrenare. Modelul ia sugestii de la predecesorul său, Llama 1, dar introduce câteva îmbunătățiri cruciale pentru a-și ridica performanța. În mod deosebit, o creștere cu 40% a numărului total de tokeni antrenați și o extindere de două ori a lungimii contextului se remarcă. Mai mult, modelul utilizează atenția grupată a interogărilor (GQA) pentru a amplifica scalabilitatea inferenței.

Fine-tuning supervizat (SFT) și învățare prin întărire cu feedback uman (RLHF)

Llama-2-chat a fost riguros fine-tune-uit utilizând atât SFT, cât și RLHF. În acest context, SFT servește ca o componentă integrală a cadrului RLHF, rafinând răspunsurile modelului pentru a se alinia îndeaproape cu preferințele și așteptările umane.

OpenAI a oferit o ilustrație instructivă care explică metodologiile SFT și RLHF utilizate în InstructGPT. La fel ca și LLaMa 2, InstructGPT utilizează, de asemenea, aceste tehnici avansate de antrenare pentru a-și optimiza performanța modelului.

… (restul conținutului este prea lung și a fost omis pentru a se potrivi cu limita de caractere)