Llama 3.1: Metas mest avancerade öppen källkods-AI-modell – Allt du behöver veta

Meta har presenterat Llama 3.1, sin senaste och mest avancerade stora språkmodell, vilket markerar ett betydande steg i AI-förmågor och tillgänglighet. Denna nya version stämmer överens med Metas åtagande att göra AI öppet tillgänglig, som betonats av Mark Zuckerberg, som tror att öppen källkods-AI är fördelaktig för utvecklare, Meta och samhället i stort.

För att presentera Llama 3.1 skrev Mark Zuckerberg en detaljerad bloggpost med titeln “Öppen källkods-AI är vägen framåt“, där han beskriver sin vision för AI:s framtid. Han drar en parallell mellan utvecklingen av Unix till Linux och den nuvarande utvecklingen av AI, och betonar att öppen källkods-AI slutligen kommer att leda branschen. Zuckerberg lyfter fram fördelarna med öppen källkods-AI, inklusive anpassningsförmåga, kostnadseffektivitet, datasäkerhet och undvikande av leverantörsbunden.

Han tror att öppen källkods-utveckling främjar innovation, skapar en robust ekosystem och säkerställer en rättvis tillgång till AI-teknik. Zuckerberg behandlar också farhågor om säkerhet och förespråkar att öppen källkods-AI, genom transparens och samhällets granskning, kan vara säkrare än slutna modeller som OpenAI:s GPT-modeller.

Metas åtagande att öppen källkods-AI syftar till att bygga de bästa upplevelserna och tjänsterna, fria från de begränsningar som slutna ekosystem medför. Han avslutar med att inbjuda utvecklare och organisationer att delta i att bygga en framtid där AI gynnar alla, och främjar samarbete och kontinuerlig utveckling.

Nyckelpunkter

• Öppen tillgänglighet: Meta fortsätter sitt åtagande att öppen källkods-AI, i syfte att demokratisera tillgång och innovation.
• Förbättrade förmågor: Llama 3.1 har en utökad kontextlängd på 128K, stöder åtta språk och introducerar Llama 3.1 405B, den första öppen källkods-AI-modellen på frontier-nivå.
• Obegränsad flexibilitet och kontroll: Llama 3.1 405B erbjuder toppmoderna förmågor jämförbara med ledande slutna modeller, möjliggörande nya arbetsflöden som syntetisk datagenerering och modelldestillering.
• Omfattande ekosystemstöd: Med över 25 partners, inklusive stora tekniska företag som AWS, NVIDIA (NVDA ) och Google Cloud, är Llama 3.1 redo för omedelbar användning på olika plattformar.

Llama 3.1 Översikt

Toppmoderna förmågor

Llama 3.1 405B är utformad för att matcha de bästa AI-modellerna som finns tillgängliga idag. Den excellerar i allmän kunskap, styrbarhet, matematik, verktygsanvändning och flerspråkig översättning. Denna modell förväntas driva innovation inom områden som syntetisk datagenerering och modelldestillering, och erbjuder oanade möjligheter för tillväxt och utforskning.

Uppgraderade modeller

Utgiften inkluderar förbättrade versioner av 8B- och 70B-modellerna, som nu stöder flera språk och har utökade kontextlängder på upp till 128K. Dessa förbättringar möjliggör avancerade tillämpningar som långformstextsammanfattning, flerspråkiga konversationsagenter och kodassistenter.

Öppen källkods-tillgänglighet

I enlighet med sin öppna källkods-filosofi gör Meta dessa modeller tillgängliga för nedladdning på Meta och Hugging Face. Utvecklare kan använda dessa modeller för en mängd olika tillämpningar, inklusive förbättring av andra modeller, och kan köra dem i olika miljöer, från lokala till molnbaserade och lokala distributioner.

Modellutvärdering och arkitektur

Omfattande utvärderingar

Llama 3.1 har testats rigoröst på över 150 benchmark-dataset i flera språk och jämförts med ledande modeller som GPT-4 och Claude 3.5 Sonnet. Resultaten visar att Llama 3.1 är konkurrenskraftig inom en bred range av uppgifter, och cementerar dess plats bland de främsta AI-modellerna.

Avancerade träningsmetoder

Träning av 405B-modellen involverade bearbetning av över 15 biljoner token med hjälp av över 16 000 H100-GPU:er. Meta antog en standard dekodar-modell med iterativa post-träningsförfaranden, inklusive övervakad finjustering och direkt preferensoptimering, för att uppnå högkvalitativ syntetisk data och överlägsen prestanda.

Effektiv inferens

För att stödja stor skala produktion inferens, kvantiserades Llama 3.1-modellerna från 16-bitars till 8-bitars numeriska värden, vilket minskade beräkningskraven och möjliggjorde att modellen kunde köras effektivt på en enda servernod.

Instruktions- och chattfinjustering

Meta fokuserade på att förbättra modellens förmåga att följa detaljerade instruktioner och upprätthålla höga säkerhetsnivåer. Detta involverade flera omgångar av justering ovanpå den förtränade modellen, med hjälp av syntetisk datagenerering och rigorös datahantering för att säkerställa högkvalitativa utdata över alla förmågor.

Llama-systemet

Llama 3.1 är en del av ett bredare system som är utformat för att fungera med olika komponenter, inklusive externa verktyg. Meta syftar till att ge utvecklare flexibiliteten att skapa anpassade tillämpningar och beteenden. Utgåvan inkluderar Llama Guard 3 och Prompt Guard för förbättrad säkerhet och säkerhet.

Llama Stack API

Meta släpper en begäran om kommentar om Llama Stack API, ett standardgränssnitt för att underlätta användningen av Llama-modeller av tredjepartsprojekt. Detta initiativ syftar till att strömlinjeforma samverkan och sänka hinder för utvecklare och plattformsleverantörer.

Bygga med Llama 3.1 405B

Llama 3.1 405B erbjuder omfattande förmågor för utvecklare, inklusive realtids- och batch-inferens, övervakad finjustering, modellutvärdering, kontinuerlig förträning, retrieval-augmenterad generation (RAG), funktionsanrop och syntetisk datagenerering. På första dagen kan utvecklare börja bygga med dessa avancerade funktioner, med stöd från partners som AWS, NVIDIA och Databricks.

Prova Llama 3.1 idag

Llama 3.1-modellerna är tillgängliga för nedladdning och omedelbar utveckling. Meta uppmuntrar samhället att utforska potentialen i dessa modeller och bidra till det växande ekosystemet. Med robusta säkerhetsåtgärder och öppen källkods-tillgång är Llama 3.1 redo att driva den nästa vågen av AI-innovation.

Slutsats

Llama 3.1 representerar en betydande milstolpe i utvecklingen av öppen källkods-AI, och erbjuder ojämförliga förmågor och flexibilitet. Metas åtagande att öppen tillgänglighet säkerställer att fler människor kan dra nytta av AI-utveckling, och främjar innovation och rättvis teknikutveckling. Med Llama 3.1 är möjligheterna för nya tillämpningar och forskning omfattande, och Meta ser fram emot de banbrytande utvecklingarna som samhället kommer att uppnå med detta kraftfulla verktyg.

Läsare som vill lära sig mer bör läsa Mark Zuckerbergs detaljerade blogginlägg.