Google Apresenta Gemma 2: Elevando o Desempenho, Velocidade e Acessibilidade de IA para Desenvolvedores

O Google (GOOGL ) lançou Gemma 2, a última iteração de seus modelos de linguagem leves de código aberto, disponíveis em tamanhos de parâmetro de 9 bilhões (9B) e 27 bilhões (27B). Esta nova versão promete desempenho aprimorado e inferência mais rápida em comparação com seu antecessor, o modelo Gemma. O Gemma 2, derivado dos modelos Gemini do Google, é projetado para ser mais acessível para pesquisadores e desenvolvedores, oferecendo melhorias significativas em velocidade e eficiência. Ao contrário dos modelos multimodais e multilíngues Gemini, o Gemma 2 se concentra exclusivamente no processamento de linguagem. Neste artigo, vamos explorar os recursos e avanços notáveis do Gemma 2, comparando-o com seus antecessores e concorrentes no campo, destacando seus casos de uso e desafios.

Construindo o Gemma 2

Assim como seu antecessor, os modelos Gemma 2 são baseados em uma arquitetura de transformador apenas decodificador. A variante 27B é treinada em 13 trilhões de tokens de dados principalmente em inglês, enquanto o modelo 9B usa 8 trilhões de tokens, e o modelo 2,6B é treinado em 2 trilhões de tokens. Esses tokens vêm de uma variedade de fontes, incluindo documentos da web, código e artigos científicos. O modelo usa o mesmo tokenizador que o Gemma 1 e o Gemini, garantindo consistência no processamento de dados.

O Gemma 2 é pré-treinado usando um método chamado destilação de conhecimento, onde ele aprende com as probabilidades de saída de um modelo maior pré-treinado. Após o treinamento inicial, os modelos são ajustados finamente por meio de um processo chamado ajuste de instrução. Isso começa com ajuste fino supervisionado (SFT) em uma mistura de texto sintético e humano-gerado em inglês, apenas pares de prompt-resposta. Em seguida, aprendizado por reforço com feedback humano (RLHF) é aplicado para melhorar o desempenho geral.

Gemma 2: Desempenho e Eficiência Aprimorados em Diversos Hardwares

O Gemma 2 não apenas supera o Gemma 1 em desempenho, mas também compete eficazmente com modelos duas vezes maiores. Ele é projetado para operar de forma eficiente em vários conjuntos de hardware, incluindo laptops, desktops, dispositivos IoT e plataformas móveis. Especificamente otimizado para GPUs e TPUs únicas, o Gemma 2 melhora a eficiência de seu antecessor, especialmente em dispositivos com recursos limitados. Por exemplo, o modelo 27B se destaca ao executar inferência em uma única GPU NVIDIA H100 Tensor Core (NVDA ) ou host TPU, tornando-se uma opção rentável para desenvolvedores que precisam de alto desempenho sem investir pesadamente em hardware.

Além disso, o Gemma 2 oferece aos desenvolvedores capacidades de ajuste aprimoradas em uma ampla gama de plataformas e ferramentas. Seja usando soluções baseadas em nuvem como o Google Cloud ou plataformas populares como Axolotl, o Gemma 2 fornece opções de ajuste extensivas. A integração com plataformas como Hugging Face, NVIDIA TensorRT-LLM e Google’s JAX e Keras permite que pesquisadores e desenvolvedores atinjam desempenho ótimo e implantação eficiente em configurações de hardware diversificadas.

Gemma 2 vs. Llama 3 70B

Ao comparar o Gemma 2 com o Llama 3 70B, ambos os modelos se destacam na categoria de modelos de linguagem de código aberto. Os pesquisadores do Google afirmam que o Gemma 2 27B entrega desempenho comparável ao Llama 3 70B, apesar de ser muito menor em tamanho. Além disso, o Gemma 2 9B consistentemente supera o Llama 3 8B em vários benchmarks, como compreensão de linguagem, codificação e resolução de problemas matemáticos.

Uma vantagem notável do Gemma 2 sobre o Llama 3 da Meta é seu tratamento de línguas indígenas. O Gemma 2 se sai bem devido ao seu tokenizador, que é projetado especificamente para essas línguas e inclui um grande vocabulário de 256k tokens para capturar nuances linguísticas. Por outro lado, o Llama 3, apesar de suportar muitas línguas, luta com a tokenização para scripts indígenas devido ao vocabulário limitado e aos dados de treinamento. Isso dá ao Gemma 2 uma vantagem em tarefas que envolvem línguas indígenas, tornando-o uma melhor escolha para desenvolvedores e pesquisadores que trabalham nessas áreas.

Casos de Uso

Com base nas características específicas do modelo Gemma 2 e seu desempenho em benchmarks, identificamos alguns casos de uso práticos para o modelo.

• Assistentes Multilíngues: O tokenizador especializado do Gemma 2 para várias línguas, especialmente línguas indígenas, torna-o uma ferramenta eficaz para desenvolver assistentes multilíngues personalizados para usuários dessas línguas. Seja buscando informações em hindi, criando materiais educacionais em urdu, conteúdo de marketing em árabe ou artigos de pesquisa em bengali, o Gemma 2 empodera os criadores com ferramentas de geração de linguagem eficazes. Um exemplo real desse caso de uso é Navarasa, um assistente multilíngue construído no Gemma que suporta nove línguas indianas. Os usuários podem produzir conteúdo que ressoa com audiências regionais enquanto adere a normas e nuances linguísticas específicas.
• Ferramentas Educacionais: Com sua capacidade de resolver problemas matemáticos e entender consultas de linguagem complexas, o Gemma 2 pode ser usado para criar sistemas de tutoria inteligentes e aplicativos educacionais que fornecem experiências de aprendizado personalizadas.
• Codificação e Assistência de Código: A proficiência do Gemma 2 em benchmarks de codificação indica seu potencial como uma ferramenta poderosa para geração de código, detecção de bugs e revisões de código automatizadas. Sua capacidade de se sair bem em dispositivos com recursos limitados permite que os desenvolvedores o integrem suavemente em seus ambientes de desenvolvimento.
• Geração Aumentada de Recuperação (RAG): O desempenho forte do Gemma 2 em benchmarks de inferência baseada em texto o torna adequado para desenvolver sistemas RAG em vários domínios. Ele suporta aplicações de saúde ao sintetizar informações clínicas, assiste sistemas de IA jurídicos a fornecer conselhos legais, permite o desenvolvimento de chatbots inteligentes para suporte ao cliente e facilita a criação de ferramentas educacionais personalizadas.

Limitações e Desafios

Embora o Gemma 2 apresente avanços notáveis, ele também enfrenta limitações e desafios, principalmente relacionados à qualidade e diversidade de seus dados de treinamento. Apesar de seu tokenizador suportar várias línguas, o Gemma 2 carece de treinamento específico para capacidades multilíngues e requer ajuste fino para lidar eficazmente com outras línguas. O modelo se sai bem com prompts claros e estruturados, mas luta com tarefas abertas ou complexas e nuances linguísticas sutis, como sarcasmo ou expressões figurativas. Sua precisão factual não é sempre confiável, podendo produzir informações desatualizadas ou incorretas, e pode carecer de raciocínio comum em certos contextos. Embora esforços tenham sido feitos para abordar alucinações, especialmente em áreas sensíveis como medicina ou CBRN, ainda há o risco de gerar informações imprecisas em domínios menos refinados, como finanças. Além disso, apesar dos controles para prevenir a geração de conteúdo antiético, como discurso de ódio ou ameaças de segurança cibernética, há riscos contínuos de mau uso em outros domínios. Por fim, o Gemma 2 é exclusivamente baseado em texto e não suporta processamento de dados multimodais.

A Linha de Fundo

O Gemma 2 introduz avanços notáveis em modelos de linguagem de código aberto, aprimorando o desempenho e a velocidade de inferência em comparação com seu antecessor. Ele é adequado para vários conjuntos de hardware, tornando-o acessível sem investimentos significativos em hardware. No entanto, desafios persistem no tratamento de tarefas linguísticas nuances e na garantia de precisão em cenários complexos. Embora seja benéfico para aplicações como conselhos jurídicos e ferramentas educacionais, os desenvolvedores devem estar cientes de suas limitações em capacidades multilíngues e possíveis problemas com precisão factual em contextos sensíveis. Apesar dessas considerações, o Gemma 2 permanece uma opção valiosa para desenvolvedores que buscam soluções de processamento de linguagem confiáveis.