Inteligência artificial
Tudo o que você precisa saber sobre o Llama 3 | Modelo de código aberto mais poderoso até agora | Conceitos para uso
Meta lançou recentemente lhama 3, a próxima geração de seu modelo de linguagem grande (LLM) de código aberto de última geração. Com base nas bases estabelecidas por seu antecessor, o Llama 3 visa aprimorar os recursos que posicionaram o Llama 2 como um concorrente significativo de código aberto do ChatGPT, conforme descrito na revisão abrangente no artigo Llama 2: Um mergulho profundo no desafio de código aberto do ChatGPT.
Neste artigo discutiremos os principais conceitos por trás do Llama 3, exploraremos sua arquitetura inovadora e processo de treinamento e forneceremos orientação prática sobre como acessar, usar e implantar esse modelo inovador de forma responsável. Quer você seja um pesquisador, desenvolvedor ou entusiasta de IA, esta postagem irá equipá-lo com o conhecimento e os recursos necessários para aproveitar o poder do Llama 3 para seus projetos e aplicações.
A evolução da lhama: da lhama 2 à lhama 3
CEO da Meta, Mark Zuckerberg, anunciou a estreia do Llama 3, o mais recente modelo de IA desenvolvido pela Meta AI. Este modelo de última geração, agora de código aberto, foi criado para aprimorar os vários produtos da Meta, incluindo Messenger e Instagram. Zuckerberg destacou que o Llama 3 posiciona o Meta AI como o mais avançado assistente de IA disponível gratuitamente.
Antes de falarmos sobre as especificidades do Llama 3, vamos revisitar brevemente seu antecessor, o Llama 2. Introduzido em 2022, o Llama 2 foi um marco significativo no cenário LLM de código aberto, oferecendo um modelo poderoso e eficiente que pode ser executado em hardware de consumo. .
No entanto, embora o Llama 2 tenha sido uma conquista notável, ele teve suas limitações. Os usuários relataram problemas com falsas recusas (o modelo se recusa a responder a solicitações benignas), utilidade limitada e espaço para melhorias em áreas como raciocínio e geração de código.
Digite Llama 3: a resposta do Meta a esses desafios e o feedback da comunidade. Com o Llama 3, a Meta se propôs a construir os melhores modelos de código aberto, equivalentes aos principais modelos proprietários disponíveis atualmente, ao mesmo tempo em que prioriza práticas responsáveis de desenvolvimento e implantação.
Lhama 3: Arquitetura e Treinamento
Uma das principais inovações do Llama 3 é seu tokenizer, que apresenta um vocabulário significativamente expandido de Tokens 128,256 (acima de 32,000 em Llama 2). Este vocabulário maior permite uma codificação de texto mais eficiente, tanto para entrada como para saída, levando potencialmente a um multilinguismo mais forte e a melhorias gerais de desempenho.
Llama 3 também incorpora Atenção de consulta agrupada (GQA), uma técnica de representação eficiente que aumenta a escalabilidade e ajuda o modelo a lidar com contextos mais longos de forma mais eficaz. O 8B versão do Llama 3 utiliza GQA, enquanto ambos os 8B e 70B modelos podem processar sequências de até Tokens 8,192.
Dados de treinamento e escalonamento
Os dados de treinamento usados para o Llama 3 são um fator crucial para melhorar seu desempenho. Meta fez a curadoria de um enorme conjunto de dados de mais de 15 trilhão tokens de fontes online disponíveis publicamente, sete vezes maior do que o conjunto de dados usado para Llama 2. Este conjunto de dados também inclui uma porção significativa (mais de 5%) de dados de alta qualidade em idiomas diferentes do inglês, cobrindo mais de Linguagens 30, em preparação para futuras aplicações multilíngues.
Para garantir a qualidade dos dados, a Meta empregou técnicas avançadas de filtragem, incluindo filtros heurísticos, filtros NSFW, desduplicação semântica e classificadores de texto treinados no Llama 2 para prever a qualidade dos dados. A equipe também conduziu experimentos extensos para determinar a combinação ideal de fontes de dados para pré-treinamento, garantindo que o Llama 3 tenha um bom desempenho em uma ampla variedade de casos de uso, incluindo curiosidades, STEM, codificação e conhecimento histórico.
Aumentar o pré-treinamento foi outro aspecto crítico do desenvolvimento do Llama 3. A Meta desenvolveu leis de escalonamento que lhes permitiram prever o desempenho de seus maiores modelos em tarefas importantes, como geração de código, antes de realmente treiná-los. Isto embasou as decisões sobre combinação de dados e alocação de computação, levando, em última análise, a um treinamento mais eficiente e eficaz.
Os maiores modelos do Llama 3 foram treinados em dois clusters personalizados de 24,000 GPUs, aproveitando uma combinação de paralelização de dados, paralelização de modelo e técnicas de paralelização de pipeline. A pilha de treinamento avançada do Meta automatizou a detecção, o tratamento e a manutenção de erros, maximizando o tempo de atividade da GPU e aumentando a eficiência do treinamento em aproximadamente três vezes em comparação com o Llama 2.
Ajuste fino e desempenho da instrução
Para desbloquear todo o potencial do Llama 3 para aplicativos de bate-papo e diálogo, a Meta inovou em sua abordagem de ajuste fino de instruções. Seu método combina ajuste fino supervisionado (SFT), amostragem de rejeição, otimização de política proximal (PPO), e otimização de preferência direta (DPO).
A qualidade dos prompts utilizados na OFVM e as classificações de preferência utilizadas no PPO e no DPO desempenharam um papel crucial no desempenho dos modelos alinhados. A equipe da Meta selecionou cuidadosamente esses dados e realizou diversas rodadas de garantia de qualidade em anotações fornecidas por anotadores humanos.
O treinamento em classificações de preferência via PPO e DPO também melhorou significativamente o desempenho do Llama 3 em tarefas de raciocínio e codificação. Meta descobriu que mesmo quando um modelo se esforça para responder diretamente a uma questão de raciocínio, ele ainda pode produzir o traço de raciocínio correto. O treinamento em classificações de preferência permitiu que o modelo aprendesse como selecionar a resposta correta a partir desses traços.
Os resultados falam por si: o Llama 3 supera muitos modelos de chat de código aberto disponíveis em benchmarks comuns do setor, estabelecendo um novo desempenho de última geração para LLMs nas escalas de parâmetros 8B e 70B.
Desenvolvimento Responsável e Considerações de Segurança
Ao buscar desempenho de ponta, a Meta também priorizou práticas responsáveis de desenvolvimento e implantação para o Llama 3. A empresa adotou uma abordagem em nível de sistema, visualizando os modelos do Llama 3 como parte de um ecossistema mais amplo que coloca os desenvolvedores no comando, permitindo-lhes projetar e personalize os modelos para seus casos de uso e requisitos de segurança específicos.
A Meta conduziu extensos exercícios de red-teaming, realizou avaliações adversárias e implementou técnicas de mitigação de segurança para reduzir riscos residuais em seus modelos ajustados por instrução. No entanto, a empresa reconhece que os riscos residuais provavelmente permanecerão e recomenda que os desenvolvedores avaliem esses riscos no contexto dos seus casos de uso específicos.
Para apoiar a implantação responsável, a Meta atualizou seu Guia de Uso Responsável, fornecendo um recurso abrangente para os desenvolvedores implementarem práticas recomendadas de segurança em nível de modelo e sistema para seus aplicativos. O guia cobre tópicos como moderação de conteúdo, avaliação de riscos e uso de ferramentas de segurança como Llama Guard 2 e Code Shield.
O Llama Guard 2, baseado na taxonomia MLCommons, foi projetado para classificar entradas (solicitações) e respostas do LLM, detectando conteúdo que pode ser considerado inseguro ou prejudicial. O CyberSecEval 2 expande seu antecessor adicionando medidas para evitar o abuso do interpretador de código do modelo, recursos ofensivos de segurança cibernética e suscetibilidade a ataques imediatos de injeção.
Code Shield, uma nova introdução ao Llama 3, adiciona filtragem em tempo de inferência de código inseguro produzido por LLMs, mitigando riscos associados a sugestões de código inseguro, abuso de intérpretes de código e execução segura de comandos.
Acessando e usando o Llama 3
Após o lançamento do Llama 3 da Meta AI, várias ferramentas de código aberto foram disponibilizadas para implantação local em vários sistemas operacionais, incluindo Mac, Windows e Linux. Esta seção detalha três ferramentas notáveis: Ollama, Open WebUI e LM Studio, cada uma oferecendo recursos exclusivos para aproveitar os recursos do Llama 3 em dispositivos pessoais.
Ollama: Disponível para Mac, Linux e Windows, Ollama simplifica a operação do Llama 3 e de outros modelos de linguagem de grande porte em computadores pessoais, mesmo aqueles com hardware menos robusto. Inclui um gerenciador de pacotes para fácil gerenciamento de modelos e oferece suporte a comandos em plataformas para baixar e executar modelos.
Abra WebUI com Docker: Esta ferramenta fornece uma interface amigável e Estivadorinterface baseada em Mac compatível com Mac, Linux e Windows. Ele se integra perfeitamente aos modelos do registro Ollama, permitindo que os usuários implantem e interajam com modelos como o Llama 3 em uma interface web local.
Estúdio LM: direcionado a usuários de Mac, Linux e Windows, Estúdio LM suporta uma variedade de modelos e é baseado no projeto llama.cpp. Ele fornece uma interface de chat e facilita a interação direta com vários modelos, incluindo o modelo Llama 3 8B Instruct.
Essas ferramentas garantem que os usuários possam utilizar o Llama 3 com eficiência em seus dispositivos pessoais, acomodando uma variedade de habilidades e requisitos técnicos. Cada plataforma oferece processos passo a passo para configuração e interação de modelo, tornando a IA avançada mais acessível para desenvolvedores e entusiastas.
Implantando o Llama 3 em escala
Além de fornecer acesso direto aos pesos do modelo, a Meta fez parceria com vários provedores de nuvem, serviços de API de modelo e plataformas de hardware para permitir a implantação perfeita do Llama 3 em escala.
Uma das principais vantagens do Llama 3 é a melhoria da eficiência do token, graças ao novo tokenizer. Os benchmarks mostram que o Llama 3 requer até 15% menos tokens em comparação com o Llama 2, resultando em inferência mais rápida e econômica.
A integração do Grouped Query Attention (GQA) na versão 8B do Llama 3 contribui para manter a eficiência de inferência no mesmo nível da versão 7B do Llama 2, apesar do aumento na contagem de parâmetros.
Para simplificar o processo de implantação, Meta forneceu o repositório Llama Recipes, que contém código-fonte aberto e exemplos para ajuste fino, implantação, avaliação de modelo e muito mais. Este repositório serve como um recurso valioso para desenvolvedores que buscam aproveitar os recursos do Llama 3 em seus aplicativos.
Para aqueles interessados em explorar o desempenho do Llama 3, a Meta integrou seus modelos mais recentes ao Meta AI, um assistente de IA líder construído com a tecnologia Llama 3. Os usuários podem interagir com o Meta AI por meio de vários aplicativos Meta, como Facebook, Instagram, WhatsApp, Messenger e web, para realizar tarefas, aprender, criar e conectar-se com o que é importante para eles.
O que vem por aí para o Lhama 3?
Embora os modelos 8B e 70B marquem o início do lançamento do Llama 3, Meta tem planos ambiciosos para o futuro deste LLM inovador.
Nos próximos meses, podemos esperar a introdução de novas capacidades, incluindo a multimodalidade (a capacidade de processar e gerar diferentes modalidades de dados, como imagens e vídeos), o multilinguismo (suporte a vários idiomas) e janelas de contexto muito mais longas para melhorar o desempenho em tarefas que exigem amplo contexto.
Além disso, a Meta planeja lançar modelos maiores, incluindo modelos com mais de 400 bilhões de parâmetros, que estão atualmente em treinamento e mostrando tendências promissoras em termos de desempenho e capacidades.
Para avançar ainda mais neste campo, a Meta também publicará um artigo de pesquisa detalhado sobre o Llama 3, compartilhando suas descobertas e percepções com a comunidade mais ampla de IA.
Como uma prévia do que está por vir, Meta compartilhou alguns instantâneos do desempenho de seu maior modelo LLM em vários benchmarks. Embora esses resultados sejam baseados em um ponto de verificação inicial e estejam sujeitos a alterações, eles fornecem uma visão interessante do potencial futuro do Llama 3.
Conclusão
O Llama 3 representa um marco significativo na evolução de grandes modelos de linguagem de código aberto, ampliando os limites de desempenho, capacidades e práticas de desenvolvimento responsável. Com sua arquitetura inovadora, enorme conjunto de dados de treinamento e técnicas de ajuste fino de ponta, o Llama 3 estabelece novos benchmarks de última geração para LLMs nas escalas de parâmetros 8B e 70B.
No entanto, o Llama 3 é mais do que apenas um modelo de linguagem poderoso; é uma prova do compromisso da Meta em promover um ecossistema de IA aberto e responsável. Ao fornecer recursos abrangentes, ferramentas de segurança e práticas recomendadas, a Meta capacita os desenvolvedores a aproveitar todo o potencial do Llama 3, garantindo ao mesmo tempo uma implantação responsável adaptada aos seus casos de uso e públicos específicos.
À medida que a jornada do Llama 3 continua, com novos recursos, tamanhos de modelos e descobertas de pesquisas no horizonte, a comunidade de IA aguarda ansiosamente as aplicações inovadoras e os avanços que sem dúvida emergirão deste LLM inovador.
Quer você seja um pesquisador que ultrapassa os limites do processamento de linguagem natural, um desenvolvedor que está construindo a próxima geração de aplicativos inteligentes ou um entusiasta de IA curioso sobre os últimos avanços, o Llama 3 promete ser uma ferramenta poderosa em seu arsenal, abrindo novas portas e desbloqueando um mundo de possibilidades.
