Llama 3.1: Metas mest avanserte åpne kildekode AI-modell – Alt du trenger å vite

Meta har lansert Llama 3.1, sin nyeste og mest avanserte store språkmodell, og markerer et betydelig skritt i AI-egenskaper og tilgjengelighet. Denne nye utgaven er i tråd med Metas forpliktelse til å gjøre AI åpen og tilgjengelig, som Mark Zuckerberg har understreket, og som mener at åpen kildekode AI er nyttig for utviklere, Meta og samfunnet som helhet.

For å introdusere Llama 3.1, skrev Mark Zuckerberg en detaljert blogginnlegg med tittelen “Åpen kildekode AI er veien fremover“, hvor han tegner en parallell mellom utviklingen av Unix til Linux og den nåværende utviklingen av AI, og understreker at åpen kildekode AI vil til slutt lede industrien. Zuckerberg fremhever fordelen med åpen kildekode AI, inkludert tilpasning, kostnadseffektivitet, datasikkerhet og unngåelse av leverandør-lås.

Han mener at åpen kildekode utvikling fremmer innovasjon, skaper en robust økosystem og sikrer rettferdig tilgang til AI-teknologi. Zuckerberg tar også opp bekymringer om sikkerhet, og fremhever at åpen kildekode AI, gjennom transparens og samfunnsundersøkelse, kan være tryggere enn lukkede modeller som OpenAIs GPT-modeller.

Metas forpliktelse til åpen kildekode AI har som mål å bygge de beste erfaringer og tjenestene, fritt fra begrensningene i lukkede økosystemer. Han avslutter med å invitere utviklere og organisasjoner til å delta i å bygge en fremtid hvor AI er til nytte for alle, og fremmer samarbeid og kontinuerlig fremgang.

Nøkkelopptak

• Åpen tilgjengelighet: Meta fortsetter sin forpliktelse til åpen kildekode AI, med mål om å demokratisere tilgang og innovasjon.
• Forbedrede egenskaper: Llama 3.1 har en kontekstlengde på 128K, støtter åtte språk og introduserer Llama 3.1 405B, den første åpne kildekode AI-modellen på frontnivå.
• Uovertruffen fleksibilitet og kontroll: Llama 3.1 405B tilbyr state-of-the-art egenskaper sammenlignbare med ledende lukkede modeller, og muliggjør nye arbeidsflyter som syntetisk datagenerering og modelldestillasjon.
• Omfattende økosystemstøtte: Med over 25 partnere, inkludert store teknologiselskaper som AWS, NVIDIA (NVDA ) og Google Cloud, er Llama 3.1 klar for umiddelbar bruk på flere plattformer.

Llama 3.1 Oversikt

State-of-the-art egenskaper

Llama 3.1 405B er designet for å konkurrere med de beste AI-modellene tilgjengelige i dag. Den excellerer i generell kunnskap, styrbare, matematikk, verktøybruk og flerspråklig oversettelse. Denne modellen forventes å drive innovasjon i felt som syntetisk datagenerering og modelldestillasjon, og tilbyr utenforliggende muligheter for vekst og utforskning.

Oppgraderte modeller

Utgitte inkluderer forbedrede versjoner av 8B- og 70B-modellene, som nå støtter flere språk og har forlengede kontekstlengder på opptil 128K. Disse forbedringene muliggjør avanserte applikasjoner som langformstekstsummering, flerspråklige samtaleagenter og kodehjelpere.

Åpen kildekode tilgjengelighet

I tråd med sin åpne kildekode filosofi, gjør Meta disse modellene tilgjengelige for nedlasting på Meta og Hugging Face. Utviklere kan bruke disse modellene til en rekke applikasjoner, inkludert forbedring av andre modeller, og kan kjøre dem i diverse miljøer, fra lokale til sky- og lokale utviklingsmiljøer.

Modellvurderinger og arkitektur

Omfattende vurderinger

Llama 3.1 ble grundig testet på over 150 benchmark-datasett i flere språk og sammenlignet med ledende modeller som GPT-4 og Claude 3.5 Sonnet. Resultatene viser at Llama 3.1 er konkurrerende på en rekke oppgaver, og befester dens plass blant toppmodellene.

Avanserte treningsmetoder

Treningsprosessen for 405B-modellen involverte behandling av over 15 billioner token med over 16 000 H100-GPU-er. Meta adopterte en standard dekoder-bare transformermodell med iterative post-treningsprosedyrer, inkludert overvåket finjustering og direkte preferanseoptimalisering, for å oppnå høykvalitets syntetisk data og overlegen ytelse.

Effektiv inferens

For å støtte stor skala produksjonsinferens, ble Llama 3.1-modellene kvantisert fra 16-bit til 8-bit numerikk, og reduserte dermed beregningskravene og muliggjorde at modellen kunne kjøres effektivt på en enkelt servernode.

Instruksjon og samtalefinjustering

Meta fokuserte på å forbedre modellens evne til å følge detaljerte instruksjoner og opprettholde høye sikkerhetsnivåer. Dette involverte flere runder med justering på toppen av forhåndsmodellen, med bruk av syntetisk datagenerering og strenge dataprosesseringsteknikker for å sikre høykvalitetsutdata over alle egenskaper.

Llama-systemet

Llama 3.1 er en del av et større system designet for å fungere med ulike komponenter, inkludert eksterne verktøy. Meta har som mål å gi utviklere mulighet til å skape tilpassede applikasjoner og atferd. Utgivelsen inkluderer Llama Guard 3 og Prompt Guard for forbedret sikkerhet og sikkerhet.

Llama Stack API

Meta er i ferd med å utgi en kommentar til Llama Stack API, et standardgrensesnitt for å lette bruk av Llama-modeller av tredjepartsprosjekter. Dette initiativet har som mål å strømlinje samarbeid og redusere barrierer for utviklere og plattformleverandører.

Bygging med Llama 3.1 405B

Llama 3.1 405B tilbyr omfattende muligheter for utviklere, inkludert sanntids- og batch-inferens, overvåket finjustering, modellvurdering, kontinuerlig forhåndstreningsprosess, syntetisk datagenerering (RAG), funksjonskall og syntetisk datagenerering. På dag én kan utviklere starte å bygge med disse avanserte funksjonene, støttet av partnere som AWS, NVIDIA og Databricks.

Prøv Llama 3.1 i dag

Llama 3.1-modellene er tilgjengelige for nedlasting og umiddelbar utvikling. Meta oppmuntrer samfunnet til å utforske mulighetene med disse modellene og bidra til den voksende økosystemet. Med robuste sikkerhetstiltak og åpen kildekode, er Llama 3.1 klar til å drive den neste bølgen av AI-innovasjon.

Konklusjon

Llama 3.1 representerer et betydelig skritt i utviklingen av åpen kildekode AI, og tilbyr utenforliggende egenskaper og fleksibilitet. Metas forpliktelse til åpen tilgjengelighet sikrer at flere mennesker kan dra nytte av AI-fremgang, og fremmer innovasjon og rettferdig teknologideployering. Med Llama 3.1 er mulighetene for nye applikasjoner og forskning enorme, og Meta ser frem til de banebrytende utviklingene som samfunnet vil oppnå med dette kraftfulle verktøyet.

Lesere som ønsker å lære mer, kan lese Mark Zuckerbergs detaljerte blogginnlegg.