Intel·ligència Artificial
Tot el que necessites saber sobre Llama 3 | El model de codi obert més potent fins ara | Conceptes d'ús
Meta s'ha llançat recentment Truca 3, la propera generació del seu model de llenguatge gran (LLM) de codi obert d'última generació. A partir de les bases establertes pel seu predecessor, Llama 3 pretén millorar les capacitats que van posicionar Llama 2 com un important competidor de codi obert de ChatGPT, tal com es descriu a la revisió completa de l'article. Llama 2: una immersió profunda en el Challenger de codi obert a ChatGPT.
En aquest article parlarem dels conceptes bàsics darrere de Llama 3, explorarem la seva arquitectura innovadora i el seu procés de formació, i oferirem orientació pràctica sobre com accedir, utilitzar i desplegar aquest model innovador de manera responsable. Tant si sou un investigador, un desenvolupador o un entusiasta de la IA, aquesta publicació us proporcionarà el coneixement i els recursos necessaris per aprofitar el poder de Llama 3 per als vostres projectes i aplicacions.
L'evolució de la flama: de la flama 2 a la flama 3
El CEO de Meta, Mark Zuckerberg, anunciat el debut de Llama 3, l'últim model d'IA desenvolupat per Meta AI. Aquest model d'última generació, ara de codi obert, està dissenyat per millorar els diferents productes de Meta, inclosos Messenger i Instagram. Zuckerberg ha destacat que Llama 3 posiciona Meta AI com la més avançada assistent d'IA disponible gratuïtament.
Abans de parlar de les especificitats de Llama 3, repassem breument el seu predecessor, Llama 2. Presentat el 2022, Llama 2 va ser una fita significativa en el panorama LLM de codi obert, oferint un model potent i eficient que es podia executar en maquinari de consum. .
Tanmateix, tot i que Llama 2 va ser un èxit notable, tenia les seves limitacions. Els usuaris van informar problemes amb falses denegacions (el model es nega a respondre a les indicacions benignes), una utilitat limitada i marge de millora en àrees com el raonament i la generació de codi.
Introduïu Llama 3: la resposta de Meta a aquests reptes i els comentaris de la comunitat. Amb Llama 3, Meta s'ha proposat construir els millors models de codi obert a la par dels millors models propietaris disponibles actualment, alhora que prioritza les pràctiques de desenvolupament i desplegament responsables.
Llama 3: Arquitectura i Formació
Una de les innovacions clau de Llama 3 és el seu tokenizer, que inclou un vocabulari de 128,256 fitxes (de 32,000 a Llama 2). Aquest vocabulari més ampli permet una codificació més eficient del text, tant per a l'entrada com per a la sortida, la qual cosa pot conduir a un multilingüisme més fort i a millores generals del rendiment.
Llama 3 també incorpora Atenció de consultes agrupades (GQA), una tècnica de representació eficient que millora l'escalabilitat i ajuda al model a gestionar contextos més llargs amb més eficàcia. El 8B La versió de Llama 3 utilitza GQA, mentre que tant 8B i 70B els models poden processar seqüències fins a 8,192 fitxes.
Dades de formació i escalat
Les dades d'entrenament utilitzades per a Llama 3 són un factor crucial per millorar el seu rendiment. Meta va curar un conjunt de dades massiu de més 15 bilions fitxes de fonts en línia disponibles públicament, set vegades més gran que el conjunt de dades utilitzat per a Llama 2. Aquest conjunt de dades també inclou una part important (més del 5%) de dades d'alta qualitat no angleses, que cobreixen més de Llengües 30, en preparació per a futures aplicacions multilingües.
Per garantir la qualitat de les dades, Meta va utilitzar tècniques de filtratge avançades, com ara filtres heurístics, filtres NSFW, deduplicació semàntica i classificadors de text entrenats a Llama 2 per predir la qualitat de les dades. L'equip també va dur a terme experiments extensos per determinar la combinació òptima de fonts de dades per a la formació prèvia, assegurant-se que Llama 3 funciona bé en una àmplia gamma de casos d'ús, com ara curiositats, STEM, codificació i coneixement històric.
L'augment de la formació prèvia va ser un altre aspecte crític del desenvolupament de Llama 3. Meta va desenvolupar lleis d'escala que els van permetre predir el rendiment dels seus models més grans en tasques clau, com ara la generació de codi, abans d'entrenar-los. Això va informar les decisions sobre la combinació de dades i l'assignació de càlculs, la qual cosa va conduir finalment a una formació més eficient i eficaç.
Els models més grans de Llama 3 es van entrenar en dos clústers de 24,000 GPU personalitzats, aprofitant una combinació de paral·lelització de dades, paral·lelització de models i tècniques de paral·lelització de pipelines. La pila d'entrenament avançada de Meta va automatitzar la detecció, la gestió i el manteniment d'errors, maximitzant el temps de funcionament de la GPU i augmentant l'eficiència de l'entrenament aproximadament tres vegades en comparació amb Llama 2.
Instrucció Afinació i rendiment
Per desbloquejar tot el potencial de Llama 3 per a les aplicacions de xat i diàleg, Meta va innovar el seu enfocament per a l'ajustament de les instruccions. El seu mètode combina ajust supervisat (SFT), mostreig de rebuig, optimització de la política proximal (PPO) i optimització de preferències directes (DPO).
La qualitat de les indicacions utilitzades a SFT i els rànquings de preferències utilitzats en PPO i DPO van tenir un paper crucial en el rendiment dels models alineats. L'equip de Meta va curar acuradament aquestes dades i va realitzar diverses rondes de garantia de qualitat de les anotacions proporcionades per anotadors humans.
La formació sobre classificacions de preferències mitjançant PPO i DPO també va millorar significativament el rendiment de Llama 3 en tasques de raonament i codificació. Meta va trobar que fins i tot quan un model lluita per respondre una pregunta de raonament directament, encara pot produir el rastre de raonament correcte. La formació sobre classificacions de preferències va permetre al model aprendre a seleccionar la resposta correcta d'aquests rastres.
Els resultats parlen per si mateixos: Llama 3 supera molts models de xat de codi obert disponibles en els punts de referència comuns de la indústria, establint un nou rendiment d'última generació per als LLM a les escales de paràmetres 8B i 70B.
Desenvolupament responsable i consideracions de seguretat
Mentre buscava un rendiment avançat, Meta també va prioritzar el desenvolupament responsable i les pràctiques de desplegament per a Llama 3. L'empresa va adoptar un enfocament a nivell de sistema, imaginant els models Llama 3 com a part d'un ecosistema més ampli que posa els desenvolupadors en el seient del conductor, permetent-los dissenyar i personalitzar els models per als seus casos d'ús específics i requisits de seguretat.
Meta va realitzar amplis exercicis d'equip vermell, va realitzar avaluacions adversàries i va implementar tècniques de mitigació de seguretat per reduir els riscos residuals en els seus models ajustats a les instruccions. Tanmateix, l'empresa reconeix que probablement es mantindran riscos residuals i recomana als desenvolupadors que avaluïn aquests riscos en el context dels seus casos d'ús específics.
Per donar suport al desplegament responsable, Meta ha actualitzat la seva Guia d'ús responsable, proporcionant un recurs complet perquè els desenvolupadors implementin les millors pràctiques de seguretat a nivell de model i sistema per a les seves aplicacions. La guia tracta temes com la moderació del contingut, l'avaluació de riscos i l'ús d'eines de seguretat com Llama Guard 2 i Code Shield.
Llama Guard 2, basat en la taxonomia MLCommons, està dissenyat per classificar les entrades (indicacions) i les respostes de LLM, detectant contingut que es pot considerar insegur o perjudicial. CyberSecEval 2 amplia el seu predecessor afegint mesures per prevenir l'abús de l'intèrpret de codi del model, capacitats ofensives de ciberseguretat i la susceptibilitat als atacs d'injecció ràpida.
Code Shield, una nova introducció amb Llama 3, afegeix un filtratge en temps d'inferència del codi insegur produït pels LLM, mitigant els riscos associats a suggeriments de codi insegurs, abús de l'intèrpret de codi i execució segura d'ordres.
Accés i ús de Llama 3
Després del llançament de Llama 3 de Meta AI, s'han posat a disposició diverses eines de codi obert per al desplegament local en diversos sistemes operatius, inclosos Mac, Windows i Linux. Aquesta secció detalla tres eines notables: Ollama, Open WebUI i LM Studio, cadascuna oferint funcions úniques per aprofitar les capacitats de Llama 3 en dispositius personals.
Ollama: Disponible per a Mac, Linux i Windows, Ollama simplifica el funcionament de Llama 3 i d'altres grans models de llenguatge en ordinadors personals, fins i tot aquells amb un maquinari menys robust. Inclou un gestor de paquets per a una gestió fàcil de models i admet ordres a través de plataformes per descarregar i executar models.
Obriu WebUI amb Docker: Aquesta eina ofereix un entorn fàcil d'utilitzar, estibadorinterfície basada en compatible amb Mac, Linux i Windows. S'integra perfectament amb models del registre d'Ollama, permetent als usuaris desplegar i interactuar amb models com Llama 3 dins d'una interfície web local.
Estudi LM: orientat als usuaris de Mac, Linux i Windows, Estudi LM admet una varietat de models i es basa en el projecte llama.cpp. Proporciona una interfície de xat i facilita la interacció directa amb diversos models, inclòs el model Llama 3 8B Instruct.
Aquestes eines garanteixen que els usuaris puguin utilitzar de manera eficient Llama 3 als seus dispositius personals, adaptant-se a una sèrie d'habilitats i requisits tècnics. Cada plataforma ofereix processos pas a pas per a la configuració i la interacció del model, fent que la IA avançada sigui més accessible per als desenvolupadors i entusiastes.
Desplegant Llama 3 a escala
A més de proporcionar accés directe als pesos del model, Meta s'ha associat amb diversos proveïdors de núvol, serveis d'API de models i plataformes de maquinari per permetre un desplegament perfecte de Llama 3 a escala.
Un dels avantatges clau de Llama 3 és la seva millora en l'eficiència del token, gràcies al nou tokenizer. Els benchmarks mostren que Llama 3 requereix fins a Un 15% menys de fitxes en comparació amb Llama 2, resultant en una inferència més ràpida i rendible.
La integració de Grouped Query Attention (GQA) a la versió 8B de Llama 3 contribueix a mantenir l'eficiència d'inferència a l'igual de la versió 7B de Llama 2, malgrat l'augment del recompte de paràmetres.
Per simplificar el procés de desplegament, Meta ha proporcionat el repositori Llama Recipes, que conté codi de codi obert i exemples per a l'ajustament, el desplegament, l'avaluació de models i molt més. Aquest repositori serveix com un recurs valuós per als desenvolupadors que busquen aprofitar les capacitats de Llama 3 a les seves aplicacions.
Per a aquells que estiguin interessats a explorar el rendiment de Llama 3, Meta ha integrat els seus últims models a Meta AI, un assistent d'IA líder construït amb tecnologia Llama 3. Els usuaris poden interactuar amb Meta AI a través de diverses aplicacions Meta, com ara Facebook, Instagram, WhatsApp, Messenger i el web, per fer les coses, aprendre, crear i connectar amb les coses que els importen.
Què hi ha a continuació per a Llama 3?
Mentre que els models 8B i 70B marquen l'inici del llançament de Llama 3, Meta té plans ambiciosos per al futur d'aquest LLM innovador.
En els propers mesos, podem esperar que s'introduiran noves capacitats, com ara la multimodalitat (la capacitat de processar i generar diferents modalitats de dades, com ara imatges i vídeos), el multilingüisme (admet diversos idiomes) i finestres de context molt més llargues per millorar el rendiment en tasques que requereixen un context extens.
A més, Meta té previst llançar models més grans, inclosos models amb més de 400 milions de paràmetres, que actualment estan en formació i mostren tendències prometedores en termes de rendiment i capacitats.
Per avançar encara més en el camp, Meta també publicarà un document de recerca detallat sobre Llama 3, compartint les seves conclusions i coneixements amb la comunitat d'IA més àmplia.
Com a visió prèvia del que vindrà, Meta ha compartit algunes instantànies primerenques del rendiment del seu model LLM més gran en diversos punts de referència. Tot i que aquests resultats es basen en un punt de control primerenc i estan subjectes a canvis, ofereixen una visió emocionant del potencial futur de Llama 3.
Conclusió
Llama 3 representa una fita significativa en l'evolució dels grans models de llenguatge de codi obert, superant els límits del rendiment, les capacitats i les pràctiques de desenvolupament responsable. Amb la seva arquitectura innovadora, el conjunt de dades d'entrenament massiu i les tècniques d'afinació d'avantguarda, Llama 3 estableix nous punts de referència d'última generació per a LLM a les escales de paràmetres 8B i 70B.
Tanmateix, Llama 3 és més que un model de llenguatge potent; és un testimoni del compromís de Meta per fomentar un ecosistema d'IA obert i responsable. En proporcionar recursos complets, eines de seguretat i bones pràctiques, Meta permet als desenvolupadors aprofitar tot el potencial de Llama 3 alhora que garanteix un desplegament responsable adaptat als seus casos d'ús i públics específics.
A mesura que el viatge de Llama 3 continua, amb noves capacitats, mides de models i resultats de recerca a l'horitzó, la comunitat d'IA espera amb impaciència les aplicacions innovadores i els avenços que, sens dubte, sortiran d'aquest LLM innovador.
Tant si sou un investigador que supera els límits del processament del llenguatge natural, un desenvolupador que construeix la propera generació d'aplicacions intel·ligents o un entusiasta de la IA curiós pels darrers avenços, Llama 3 promet ser una eina poderosa al vostre arsenal, obrint noves portes i desbloquejant un món de possibilitats.
