Llama 3.1: Metas mest avancerade öppen källkods AI-modell – Allt du behöver veta

Meta har presenterat Llama 3.1, sin senaste och mest avancerade stora språkmodell, vilket markerar ett betydande steg i AI-förmågor och tillgänglighet. Den här nya versionen är i linje med Metas åtagande att göra AI öppet tillgänglig, som betonats av Mark Zuckerberg, som tror att öppen källkods AI är fördelaktig för utvecklare, Meta och samhället i stort.

För att introducera Llama 3.1 skrev Mark Zuckerberg en detaljerad bloggpost med titeln “Öppen källkods AI är vägen framåt“, där han beskriver sin vision för AI:s framtid. Han drar en parallell mellan utvecklingen från Unix till Linux och AI:s nuvarande bana, och betonar att öppen källkods AI slutligen kommer att leda branschen. Zuckerberg lyfter fram fördelarna med öppen källkods AI, inklusive anpassningsbarhet, kostnadseffektivitet, datasäkerhet och undvikande av leverantörsbunden.

Han tror att öppen källkods utveckling främjar innovation, skapar en robust ekosystem och säkerställer rättvis tillgång till AI-teknik. Zuckerberg behandlar också säkerhetsproblem och förespråkar att öppen källkods AI, genom transparens och granskning från samhället, kan vara säkrare än slutna modeller som OpenAI:s GPT-modeller.

Metas åtagande till öppen källkods AI syftar till att skapa de bästa upplevelserna och tjänsterna, fria från begränsningarna i slutna ekosystem. Han avslutar med att inbjuda utvecklare och organisationer att delta i byggandet av en framtid där AI gynnar alla, och främjar samarbete och kontinuerlig utveckling.

Nyckelpunkter

• Öppen tillgänglighet: Meta fortsätter sitt åtagande till öppen källkods AI, i syfte att demokratisera tillgång och innovation.
• Förbättrade förmågor: Llama 3.1 har en utökad kontextlängd till 128K, stöder åtta språk och introducerar Llama 3.1 405B, den första öppen källkods AI-modellen på frontier-nivå.
• Obegränsad flexibilitet och kontroll: Llama 3.1 405B erbjuder toppmoderna förmågor jämförbara med ledande slutna modeller, och möjliggör nya arbetsflöden som syntetisk datagenerering och modelldestillation.
• Omfattande ekosystemstöd: Med över 25 partner, inklusive stora tekniktjänsteföretag som AWS, NVIDIA och Google Cloud, är Llama 3.1 redo för omedelbar användning på olika plattformar.

Översikt av Llama 3.1

Topppmoderna förmågor

Llama 3.1 405B är utformad för att matcha de bästa AI-modellerna som finns tillgängliga idag. Den excellerar inom allmän kunskap, styrbarhet, matematik, verktygsanvändning och flerspråkig översättning. Denna modell förväntas driva innovation inom områden som syntetisk datagenerering och modelldestillation, och erbjuder utanförkanlig möjligheter för tillväxt och utforskning.

Uppgraderade modeller

Utgiften inkluderar förbättrade versioner av 8B- och 70B-modellerna, som nu stöder flera språk och har utökade kontextlängder på upp till 128K. Dessa förbättringar möjliggör avancerade tillämpningar som långformstextsammanfattning, flerspråkiga konversationsagenter och kodhjälpare.

Öppen källkods tillgänglighet

I enlighet med sin öppna källkods filosofi, gör Meta dessa modeller tillgängliga för nedladdning på Meta och Hugging Face. Utvecklare kan använda dessa modeller för en mängd olika tillämpningar, inklusive förbättring av andra modeller, och kan köra dem i olika miljöer, från lokala till molnbaserade och lokala distributioner.

Modellutvärdering och arkitektur

Omfattande utvärderingar

Llama 3.1 har testats rigoröst på över 150 benchmark-datasets på flera språk och jämförts med ledande modeller som GPT-4 och Claude 3.5 Sonnet. Resultaten visar att Llama 3.1 är konkurrenskraftig över ett brett spektrum av uppgifter, och befäster dess plats bland de främsta AI-modellerna.

Avancerade träningsmetoder

Träning av 405B-modellen involverade bearbetning av över 15 biljoner token med hjälp av mer än 16 000 H100-GPU:er. Meta antog en standard dekodar-endast transformer-modell med iterativa post-träningsförfaranden, inklusive övervakad finjustering och direkt preferensoptimering, för att uppnå högkvalitativ syntetisk data och överlägsen prestanda.

Effektiv inferens

För att stödja storskalig produktionsinferens, kvantiserades Llama 3.1-modellerna från 16-bitars till 8-bitars numeriska värden, vilket minskade beräkningskraven och möjliggjorde att modellen kördes effektivt på en enda servernod.

Instruktions- och chattfinjustering

Meta fokuserade på att förbättra modellens förmåga att följa detaljerade instruktioner och upprätthålla höga säkerhetsnivåer. Detta involverade flera omgångar av justering ovanpå den förtränade modellen, med hjälp av syntetisk datagenerering och rigorös datahantering för att säkerställa högkvalitativa utdata över alla förmågor.

Llama-systemet

Llama 3.1 är en del av ett bredare system som är utformat för att fungera med olika komponenter, inklusive externa verktyg. Meta syftar till att ge utvecklare flexibiliteten att skapa anpassade tillämpningar och beteenden. Utgåvan inkluderar Llama Guard 3 och Prompt Guard för förbättrad säkerhet och säkerhet.

Llama Stack API

Meta släpper en begäran om kommentar om Llama Stack API, ett standardgränssnitt för att underlätta användningen av Llama-modeller av tredjepartsprojekt. Detta initiativ syftar till att strömlinjeforma samverkan och sänka hinder för utvecklare och plattformsleverantörer.

Bygga med Llama 3.1 405B

Llama 3.1 405B erbjuder omfattande förmågor för utvecklare, inklusive realtids- och batchinferens, övervakad finjustering, modellutvärdering, kontinuerlig förträning, retrieval-förstärkt generering (RAG), funktionsanrop och syntetisk datagenerering. Redan från första dagen kan utvecklare börja bygga med dessa avancerade funktioner, med stöd från partner som AWS, NVIDIA och Databricks.

Prova Llama 3.1 idag

Llama 3.1-modellerna är tillgängliga för nedladdning och omedelbar utveckling. Meta uppmuntrar samhället att utforska potentialen i dessa modeller och bidra till det växande ekosystemet. Med robusta säkerhetsåtgärder och öppen källkods tillgänglighet, är Llama 3.1 redo att driva den kommande vågen av AI-innovation.

Slutsats

Llama 3.1 representerar en betydande milstolpe i utvecklingen av öppen källkods AI, och erbjuder oöverträffade förmågor och flexibilitet. Metas åtagande till öppen tillgänglighet säkerställer att fler människor kan dra nytta av AI-utveckling, och främjar innovation och rättvis teknikanvändning. Med Llama 3.1, är möjligheterna för nya tillämpningar och forskning enorma, och Meta ser fram emot de banbrytande framstegen som samhället kommer att uppnå med detta kraftfulla verktyg.

Läsare som vill lära sig mer bör läsa Mark Zuckerbergs detaljerade blogginlägg.