Alt, du behøver at vide om Llama 3 | Den mest kraftfulde open-source-model endnu | Koncepter til brug

Meta har nyligt udgivet Llama 3, den næste generation af deres state-of-the-art open source large language model (LLM). Bygget på fundamentet lagt af dens forgænger, sigter Llama 3 til at forbedre de funktioner, der gjorde Llama 2 til en betydelig open-source konkurrent til ChatGPT, som beskrevet i den omfattende anmeldelse i artiklen Llama 2: En dybdeanalyse af den open-source-udfordrer til ChatGPT.

I denne artikel vil vi diskutere de centrale koncepter bag Llama 3, udforske dets innovative arkitektur og træningsproces, og give praktiske vejledninger om, hvordan man kan få adgang til, bruge og deployere denne banebrydende model på en ansvarlig måde. Uanset om du er en forsker, udvikler eller AI-entusiast, vil denne post udstyre dig med den viden og de ressourcer, der er nødvendige for at udnytte kraften af Llama 3 til dine projekter og applikationer.

Llama’s udvikling: Fra Llama 2 til Llama 3

Meta’s CEO, Mark Zuckerberg, meddelte debuteren af Llama 3, den seneste AI-model udviklet af Meta AI. Denne state-of-the-art-model, der nu er open-source, er beregnet til at forbedre Meta’s forskellige produkter, herunder Messenger og Instagram. Zuckerberg fremhævede, at Llama 3 positionerer Meta AI som den mest avancerede frit tilgængelige AI-assistent.

Før vi taler om specifikke detaljer om Llama 3, lad os kort genkalde os dens forgænger, Llama 2. Introduceret i 2022, var Llama 2 et betydeligt milepæl i det open-source LLM-landskab, der tilbød en kraftfuld og effektiv model, der kunne køres på forbrugerhardware.

Men selvom Llama 2 var en bemærkelsesværdig præstation, havde den sine begrænsninger. Brugere rapporterede problemer med falske afvisninger (modellen afviste at besvare harmløse prompts), begrænset nyttighed og mulighed for forbedring på områder som resonnering og kodegenerering.

Enter Llama 3: Meta’s svar på disse udfordringer og samfundets feedback. Med Llama 3 har Meta sat sig for at bygge de bedste open-source-modeller på linje med de bedste proprietære modeller, der er tilgængelige i dag, samtidig med at de prioriterer ansvarlig udvikling og implementering.

Llama 3: Arkitektur og træning

En af de centrale innovationer i Llama 3 er dens tokenizer, der har en betydeligt udvidet vokabular på 128.256 tokens (op fra 32.000 i Llama 2). Dette større vokabular tillader mere effektiv kodning af tekst, både for input og output, potentielt førende til stærkere multilingualisme og generelle forbedringer af ydeevnen.

Llama 3 inkorporerer også Gruppe-forespørgsels-opmærksomhed (GQA), en effektiv repræsentationsteknik, der forbedrer skalerbarhed og hjælper modellen med at håndtere længere kontekster mere effektivt. Den 8B-version af Llama 3 anvender GQA, mens både 8B– og 70B-modellerne kan behandle sekvenser op til 8.192 tokens.

Træningsdata og skalerbarhed

Træningsdataene, der er brugt til Llama 3, er en afgørende faktor i dens forbedrede ydeevne. Meta har kurateret en massiv dataset på over 15 billioner tokens fra offentligt tilgængelige online-kilder, syv gange større end datasettet, der blev brugt til Llama 2. Dette dataset indeholder også en betydelig del (over 5%) af højkvalitets ikke-engelske data, der dækker mere end 30 sprog, i forberedelse til fremtidige multilinguale anvendelser.

For at sikre datakvalitet har Meta anvendt avancerede filterteknikker, herunder heuristiske filtre, NSFW-filtre, semantisk deduplikation og tekstklassifikatorer trænet på Llama 2 for at forudsige datakvalitet. Teamet har også gennemført omfattende eksperimenter for at bestemme den optimale blanding af datakilder til pretræning, sikrer, at Llama 3 performer godt på en bred vifte af anvendelser, herunder trivia, STEM, kodning og historisk viden.

Skalerbarhed af pretræning var en anden kritisk aspekt af Llama 3’s udvikling. Meta har udviklet skaleringslove, der tillader dem at forudsige ydeevnen af deres største modeller på nøgleopgaver, såsom kodegenerering, før de faktisk træner dem. Dette informerede beslutningerne om data-blanding og beregnings-allocation, hvilket ultimativt førte til mere effektiv og effektiv træning.

Llama 3’s største modeller blev trænet på to brugerdefinerede 24.000 GPU-klynger, der udnyttede en kombination af data-parallellisering, model-parallellisering og pipeline-parallelliseringsteknikker. Meta’s avancerede træningsstack automatiserede fejlhåndtering, vedligeholdelse og fejlhåndtering, maksimerede GPU-uptime og øgede trænings-effektiviteten med omkring tre gange i forhold til Llama 2.

Instruktions-fine-tuning og ydeevne

For at låse Llama 3’s fulde potentiale for chat- og dialog-applikationer har Meta innovativt sin tilgang til instruktions-fine-tuning. Dens metode kombinerer overvåget fine-tuning (SFT), rejection-sampling, proximal policy-optimierung (PPO) og direkte præference-optimierung (DPO).

Kvaliteten af de prompts, der blev brugt i SFT, og de præferencerangliste, der blev brugt i PPO og DPO, spillede en afgørende rolle i ydeevnen af de justerede modeller. Meta’s team har omhyggeligt kurateret denne data og udført multiple runder af kvalitetssikring på annoteringer leveret af menneskelige annotatorer.

Træning på præferencerangliste via PPO og DPO forbedrede også betydeligt Llama 3’s ydeevne på resonans- og kodningsopgaver. Meta fandt, at selv når en model kæmper for at besvare en resonansspørgsmål direkte, kan den stadig producere den korrekte resonans-spor. Træning på præferencerangliste enablede modellen at lære, hvordan den kan vælge det korrekte svar fra disse spor.

Resultaterne taler for sig selv: Llama 3 overgår mange tilgængelige open-source chat-modeller på almindelige industribenchmarks, etablerer nye state-of-the-art-ydeevne for LLM’er på 8B og 70B parameter-skalaer.

Ansvarlig udvikling og sikkerheds-overvejelser

Mens Meta stræber efter at opnå top-ydeevne, har de også prioriteret ansvarlig udvikling og implementering af Llama 3. Virksomheden har valgt en system-niveau-tilgang, hvor Llama 3-modellerne ses som en del af et bredere økosystem, der giver udviklerne mulighed for at designe og tilpasse modellerne til deres specifikke anvendelser og sikkerheds-krav.

Meta har gennemført omfattende red-teaming-øvelser, udført adversarielle evalueringer og implementeret sikkerheds-mitigations-teknikker for at reducere rest-risici i deres instruktions-justerede modeller. Men virksomheden anerkender, at rest-risici sandsynligvis vil blive og anbefaler, at udviklere vurderer disse risici i konteksten af deres specifikke anvendelser.

For at støtte ansvarlig implementering har Meta opdateret sin Ansvarlig Brugsvejledning, der giver en omfattende ressource for udviklere til at implementere model- og system-niveau-sikkerheds-bedste-praksis for deres applikationer. Vejledningen dækker emner som indholdsmoderation, risikovurdering og brug af sikkerhedsværktøjer som Llama Guard 2 og Code Shield.

Llama Guard 2, bygget på MLCommons-taxonomien, er designet til at klassificere LLM-input (prompts) og svar, og detektere indhold, der kan anses for at være utiladt eller skadeligt. CyberSecEval 2 udvider på sin forgænger ved at tilføje foranstaltninger for at forhindre misbrug af modellens kode-interpreter, offensiv cybersikkerhedskapacitet og sårbarhed overfor prompt-injektions-angreb.

Code Shield, en ny introduktion med Llama 3, tilføjer inferens-tid-filtering af usikker kode produceret af LLM’er, og reducerer risici forbundet med usikker kode-forslag, kode-interpreter-misbrug og sikker kommando-execution.

Adgang til og brug af Llama 3

Efter lanceringen af Meta AI’s Llama 3 er flere open-source-værktøjer blevet gjort tilgængelige for lokal installation på forskellige operativsystemer, herunder Mac, Windows og Linux. Dette afsnit detaljer tre bemærkelsesværdige værktøjer: Ollama, Open WebUI og LM Studio, der hver især tilbyder unikke funktioner til at udnytte Llama 3’s kapaciteter på personlige enheder.

Ollama: Tilgængelig for Mac, Linux og Windows, Ollama simplificerer operationen af Llama 3 og andre store sprogmodeller på personlige computere, selv på dem med mindre kraftfuld hardware. Det inkluderer en pakke-manager for let modelstyring og understøtter kommandoer på tværs af platforme for at downloade og køre modeller.

Open WebUI med Docker: Dette værktøj tilbyder en brugervenlig, Docker-baseret interface, der er kompatibel med Mac, Linux og Windows. Det integrerer sammen med modeller fra Ollama-registret, og giver brugerne mulighed for at deployere og interagere med modeller som Llama 3 inden for en lokal web-interface.

LM Studio: Retter sig mod brugere på Mac, Linux og Windows, LM Studio understøtter en række modeller og er bygget på llama.cpp-projektet. Det tilbyder en chat-interface og faciliterer direkte interaktion med forskellige modeller, herunder Llama 3 8B Instruct-model.

Disse værktøjer sikrer, at brugere kan effektivt udnytte Llama 3 på deres personlige enheder, og tilpasse sig en række tekniske færdigheder og krav. Hver platform tilbyder trin-for-trin-processer for opsætning og model-interaktion, og gør avanceret AI mere tilgængelig for udviklere og entusiaster.