Llama 3.1: Metas mest avancerede open-source AI-model – Alt, du behøver at vide

Meta har præsenteret Llama 3.1, deres seneste og mest avancerede store sprogmodel, som markerer et betydeligt spring i AI-kapaciteter og tilgængelighed. Denne nye udgave er i tråd med Metas engagement i at gøre AI åbent tilgængelig, som understreges af Mark Zuckerberg, der mener, at open-source AI er fordelagtigt for udviklere, Meta og samfundet som helhed.

Til at introducere Llama 3.1 skrev Mark Zuckerberg en detaljeret blogindlæg med titlen “Open Source AI Is the Path Forward“, hvor han fremstiller sin vision for AI’s fremtid. Han tegner en parallel mellem udviklingen fra Unix til Linux og den nuværende udvikling i AI, og understreger, at open-source AI ultimativt vil føre branchen. Zuckerberg fremhæver fordelene ved open-source AI, herunder tilpasning, omkostningseffektivitet, datasikkerhed og undgåelse af vendor-lås.

Han mener, at open-source-udvikling fremmer innovation, skaber en robust økosystem og sikrer retfærdig adgang til AI-teknologi. Zuckerberg behandler også bekymringer om sikkerhed og fremhæver, at open-source AI gennem transparens og fællesskabsundersøgelser kan være sikrere end lukkede modeller som OpenAI’s GPT-modeller.

Metas engagement i open-source AI har til formål at opbygge de bedste oplevelser og tjenester, fri for begrænsninger i lukkede økosystemer. Han afslutter med at invitere udviklere og organisationer til at deltage i opbygningen af en fremtid, hvor AI kan gavne alle, og fremmer samarbejde og kontinuerlig fremgang.

Nøglepunkter

• Åben tilgængelighedsengagement: Meta fortsætter sit engagement i open-source AI med det formål at demokratisere adgang og innovation.
• Forbedrede kapaciteter: Llama 3.1 kan præstere en kontekstlængde på 128K, understøtter otte sprog og introducerer Llama 3.1 405B, den første frontmodell for open-source AI.
• Ubegrænset fleksibilitet og kontrol: Llama 3.1 405B tilbyder state-of-the-art-kapaciteter, der er sammenlignelige med førende lukkede modeller, og muliggør nye arbejdsprocesser som syntetisk data-generering og model-destillation.
• Komplet økosystem-understøttelse: Med over 25 partnere, herunder store teknologivirksomheder som AWS, NVIDIA og Google Cloud, er Llama 3.1 klar til umiddelbar brug på tværs af forskellige platforme.

Llama 3.1 Oversigt

State-of-the-art-kapaciteter

Llama 3.1 405B er designet til at kunne konkurrere med de bedste AI-modeller, der i dag er tilgængelige. Den excellerer i generel viden, styrebarhed, matematik, værktøjsbrug og flersproget oversættelse. Denne model forventes at drive innovation i områder som syntetisk data-generering og model-destillation, og tilbyder hidtil usete muligheder for vækst og udforskning.

Opgraderede modeller

Udgivelsen inkluderer forbedrede versioner af 8B- og 70B-modellerne, der nu understøtter multiple sprog og har forlængede kontekstlængder på op til 128K. Disse forbedringer muliggør avancerede anvendelser som langformstekst-sammenfatning, flersprogede samtale-agenter og kode-assistenter.

Open-source-tilgængelighed

I overensstemmelse med sin open-source-filosofi gjort Meta disse modeller tilgængelige for download på Meta og Hugging Face. Udviklere kan anvende disse modeller til en række formål, herunder forbedring af andre modeller, og kan køre dem i forskellige miljøer, fra lokale installationer til sky og lokale installationer.

Model-evalueringer og arkitektur

Omfattende evalueringer

Llama 3.1 blev omfattende testet på over 150 benchmark-datasets i multiple sprog og sammenlignet med førende modeller som GPT-4 og Claude 3.5 Sonnet. Resultaterne viser, at Llama 3.1 er konkurrencedygtig på tværs af en bred vifte af opgaver, og cementerer dens plads blandt topmodellerne.

Avancerede træningsmetoder

Træning af 405B-modellen involverede behandling af over 15 billioner tokens ved hjælp af mere end 16.000 H100-GPU’er. Meta anvendte en standard decoder-kun transformer-model med iterative post-træningsprocedurer, herunder overvåget finjustering og direkte præference-optimering, for at opnå højkvalitets syntetisk data og overlegen præstation.

Effektiv inferens

For at understøtte storstilets produktionsinferens blev Llama 3.1-modellerne kvantificeret fra 16-bit til 8-bit-numre, hvilket reducerer beregningskravene og tillader, at modellen kan køre effektivt på en enkelt servernode.

Instruktions- og chat-finjustering

Meta fokuserede på at forbedre modellens evne til at følge detaljerede instruktioner og opretholde høje niveauer af sikkerhed. Dette involverede flere runder af justering på toppen af den fortrænede model, ved hjælp af syntetisk data-generering og omfattende data-behandlingsteknikker for at sikre højkvalitets-udgangspunkter på tværs af alle kapaciteter.

Llama-systemet

Llama 3.1 er en del af et bredere system, der er designet til at arbejde med forskellige komponenter, herunder eksterne værktøjer. Meta har til formål at give udviklere fleksibiliteten til at opbygge brugerdefinerede anvendelser og adfærd. Udgivelsen inkluderer Llama Guard 3 og Prompt Guard for forbedret sikkerhed og sikkerhed.

Llama Stack API

Meta udgiver en anmodning om kommentar til Llama Stack API, en standardgrænseflade til at lette brugen af Llama-modeller af tredjepartsprojekter. Denne initiativ har til formål at strømline samarbejdets og reducere barrierer for udviklere og platform-udbydere.

Opbygning med Llama 3.1 405B

Llama 3.1 405B tilbyder omfattende kapaciteter for udviklere, herunder realtids- og batch-inferens, overvåget finjustering, model-evaluering, kontinuerlig pre-træning, retrieval-augmented generation (RAG), funktionsanrop og syntetisk data-generering. Allerede på første dag kan udviklere begynde at bygge med disse avancerede funktioner, understøttet af partnere som AWS, NVIDIA og Databricks.

Prøv Llama 3.1 i dag

Llama 3.1-modeller er tilgængelige for download og umiddelbar udvikling. Meta opfordrer fællesskabet til at udforske potentialet i disse modeller og bidrage til den voksende økosystem. Med robuste sikkerhedsforanstaltninger og open-source-adgang er Llama 3.1 klar til at drive den næste bølge af AI-innovation.

Konklusion

Llama 3.1 repræsenterer et betydeligt milepæl i udviklingen af open-source AI, og tilbyder ubegrænsede kapaciteter og fleksibilitet. Metas engagement i åben tilgængelighed sikrer, at flere mennesker kan drage fordel af AI-fremgang, og fremmer innovation og retfærdig teknologi-udvikling. Med Llama 3.1 er mulighederne for nye anvendelser og forskning enorme, og Meta ser frem til de banebrydende udviklinger, som fællesskabet vil opnå med dette kraftfulde værktøj.

Læsere, der ønsker at lære mere, kan læse Mark Zuckerbergs detaljerede blogindlæg.