Google’s Multimodal AI Gemini – Uma Imersão Técnica

Sundar Pichai, CEO da Google, junto com Demis Hassabis da Google DeepMind, apresentaram o Gemini em dezembro de 2023. Este novo grande modelo de linguagem é integrado em toda a gama de produtos da Google, oferecendo melhorias que se espalham por serviços e ferramentas usados por milhões.

Gemini, a AI multimodal avançada da Google, nasceu dos esforços colaborativos dos laboratórios unificados DeepMind e Brain AI. Gemini se apoia nos ombros de seus antecessores, prometendo entregar uma suíte de aplicações mais interconectada e inteligente.

O anúncio do Google Gemini, logo após o lançamento do Bard, Duet AI e do PaLM 2 LLM, marca uma clara intenção da Google de não apenas competir, mas liderar na revolução da IA.

Contrariando qualquer noção de “inverno da IA”, o lançamento do Gemini sugere uma próspera “primavera da IA”, repleta de potencial e crescimento. À medida que refletimos sobre um ano desde a emergência do ChatGPT, que por si só foi um momento inovador para a IA, a movimentação da Google indica que a expansão da indústria está longe de terminar; na verdade, pode estar apenas ganhando ritmo.

O que é Gemini?

O modelo Gemini da Google é capaz de processar diversos tipos de dados, como texto, imagens, áudio e vídeo. Ele vem em três versões — Ultra, Pro e Nano — cada uma adaptada para aplicações específicas, desde tarefas complexas de raciocínio até uso em dispositivos. O Ultra se destaca em tarefas multifacetadas e estará disponível no Bard Advanced, enquanto o Pro oferece um equilíbrio de desempenho e eficiência de recursos, já integrado ao Bard para prompts de texto. O Nano, otimizado para implantação em dispositivos, vem em dois tamanhos e apresenta otimizações de hardware, como quantização de 4 bits para uso offline em dispositivos como o Pixel 8 Pro.

A arquitetura do Gemini é única em sua capacidade nativa de saída multimodal, utilizando tokens de imagem discretos para geração de imagens e integrando recursos de áudio do Universal Speech Model para uma compreensão de áudio mais sutil. Sua capacidade de lidar com dados de vídeo como imagens sequenciais, intercaladas com entradas de texto ou áudio, exemplifica sua habilidade multimodal.

Gemini suporta sequências de texto, imagem, áudio e vídeo como entradas

Acessando o Gemini

Gemini 1.0 está sendo lançado em toda a ecossistema da Google, incluindo o Bard, que agora se beneficia das capacidades refinadas do Gemini Pro. A Google também integrou o Gemini em seus serviços de Pesquisa, Anúncios e Duet, melhorando a experiência do usuário com respostas mais rápidas e precisas.

Para aqueles interessados em aproveitar as capacidades do Gemini, o Google AI Studio e o Google Cloud Vertex oferecem acesso ao Gemini Pro, com o latter fornecendo maior personalização e recursos de segurança.

Para experimentar as capacidades aprimoradas do Bard impulsionado pelo Gemini Pro, os usuários podem seguir os passos diretos a seguir:

1. Navegue até o Bard: Abra seu navegador de internet preferido e vá para o site do Bard.
2. Entrada Segura: Acesse o serviço fazendo login com sua conta Google, garantindo uma experiência tranquila e segura.
3. Chat Interativo: Agora você pode usar o Bard, onde os recursos avançados do Gemini Pro podem ser optados.

Poder da Multimodalidade:

Em seu núcleo, o Gemini utiliza uma arquitetura baseada em transformadores, semelhante àquelas empregadas em modelos de NLP de sucesso, como o GPT-3. No entanto, a singularidade do Gemini reside em sua capacidade de processar e integrar informações de múltiplas modalidades, incluindo texto, imagens e código. Isso é alcançado por meio de uma técnica inovadora chamada atenção cross-modal, que permite ao modelo aprender relações e dependências entre diferentes tipos de dados.

Aqui está uma quebra dos principais componentes do Gemini:

• Codificador Multimodal: Este módulo processa os dados de entrada de cada modalidade (por exemplo, texto, imagem) independentemente, extrai recursos relevantes e gera representações individuais.
• Rede de Atenção Cross-Modal: Esta rede é o coração do Gemini. Ela permite que o modelo aprenda relações e dependências entre as diferentes representações, permitindo que elas “conversem” umas com as outras e enriqueçam sua compreensão.
• Decodificador Multimodal: Este módulo utiliza as representações enriquecidas geradas pela rede de atenção cross-modal para realizar várias tarefas, como geração de legendas de imagens, geração de texto para imagem e geração de código.

O modelo Gemini não é apenas sobre entender texto ou imagens — é sobre integrar diferentes tipos de informações de uma maneira que está muito mais próxima de como nós, seres humanos, percebemos o mundo. Por exemplo, o Gemini pode olhar para uma sequência de imagens e determinar a ordem lógica ou espacial de objetos dentro delas. Ele também pode analisar os recursos de design de objetos para fazer julgamentos, como qual de dois carros tem uma forma mais aerodinâmica.

Mas os talentos do Gemini vão além da compreensão visual. Ele pode transformar um conjunto de instruções em código, criando ferramentas práticas, como um temporizador de contagem regressiva, que não apenas funciona como direcionado, mas também inclui elementos criativos, como emojis motivacionais, para melhorar a interação do usuário. Isso indica uma capacidade de lidar com tarefas que exigem uma mistura de criatividade e funcionalidade — habilidades que são frequentemente consideradas distintamente humanas.

Capacidades do Gemini: Raciocínio Espacial (Fonte)

As capacidades do Gemini se estendem à execução de tarefas de programação (Fonte)

O design sofisticado do Gemini é baseado em uma rica história de pesquisas em redes neurais e aproveita a tecnologia de ponta da Google em TPU para treinamento. O Gemini Ultra, em particular, estabeleceu novos benchmarks em vários domínios de IA, mostrando aumentos notáveis de desempenho em tarefas de raciocínio multimodal.

Com sua capacidade de analisar e entender dados complexos, o Gemini oferece soluções para aplicações do mundo real, especialmente na educação. Ele pode analisar e corrigir soluções de problemas, como em física, entendendo anotações manuscritas e fornecendo tiposetting matemático preciso. Tais capacidades sugerem um futuro onde a IA assiste em ambientes educacionais, oferecendo aos estudantes e educadores ferramentas avançadas para aprendizado e resolução de problemas.

O Gemini foi utilizado para criar agentes como o AlphaCode 2, que se destaca em problemas de programação competitivos. Isso demonstra o potencial do Gemini de atuar como uma IA generalista, capaz de lidar com problemas complexos e multietapas.

O Gemini Nano traz o poder da IA para dispositivos do dia a dia, mantendo habilidades impressionantes em tarefas como resumo e compreensão de leitura, bem como desafios relacionados a codificação e STEM. Esses modelos menores são ajustados para oferecer funcionalidades de IA de alta qualidade em dispositivos de menor memória, tornando a IA avançada mais acessível do que nunca.

O desenvolvimento do Gemini envolveu inovações em algoritmos de treinamento e infraestrutura, utilizando os últimos TPUs da Google. Isso permitiu um escalonamento eficiente e processos de treinamento robustos, garantindo que mesmo os menores modelos entreguem desempenho excepcional.

O conjunto de dados de treinamento para o Gemini é tão diverso quanto suas capacidades, incluindo documentos da web, livros, código, imagens, áudio e vídeos. Este conjunto de dados multimodal e multilíngue garante que os modelos do Gemini possam entender e processar uma ampla variedade de tipos de conteúdo de forma eficaz.

Gemini e GPT-4

Apesar do surgimento de outros modelos, a pergunta em todas as mentes é como o Gemini da Google se compara ao GPT-4 da OpenAI, o benchmark da indústria para novos LLMs. Os dados da Google sugerem que, enquanto o GPT-4 pode se destacar em tarefas de raciocínio comum, o Gemini Ultra tem a vantagem em quase todas as outras áreas.

Gemini VS GPT-4

A tabela de benchmarking acima mostra o desempenho impressionante do AI Gemini da Google em uma variedade de tarefas. Notavelmente, o Gemini Ultra alcançou resultados notáveis no benchmark MMLU com 90,04% de precisão, indicando sua compreensão superior em perguntas de múltipla escolha em 57 assuntos.

No GSM8K, que avalia questões de matemática do ensino fundamental, o Gemini Ultra alcança 94,4%, mostrando suas habilidades avançadas de processamento aritmético. Em benchmarks de codificação, com o Gemini Ultra atingindo uma pontuação de 74,4% no HumanEval para geração de código Python, indicando sua forte compreensão da linguagem de programação.

O benchmark DROP, que testa a compreensão de leitura, vê o Gemini Ultra liderando com uma pontuação de 82,4%. Enquanto em um teste de raciocínio comum, o HellaSwag, o Gemini Ultra se sai admiravelmente, embora não supere o benchmark extremamente alto estabelecido pelo GPT-4.

Conclusão

A arquitetura única do Gemini, impulsionada pela tecnologia de ponta da Google, o posiciona como um jogador formidável na arena da IA, desafiando benchmarks existentes estabelecidos por modelos como o GPT-4. Suas versões — Ultra, Pro e Nano — cada uma atende a necessidades específicas, desde tarefas complexas de raciocínio até aplicações eficientes em dispositivos, mostrando o compromisso da Google em tornar a IA avançada acessível em várias plataformas e dispositivos.

A integração do Gemini no ecossistema da Google, desde o Bard até o Google Cloud Vertex, destaca seu potencial para melhorar as experiências do usuário em uma gama de serviços. Ele promete não apenas aprimorar aplicações existentes, mas também abrir novas vias para soluções impulsionadas por IA, seja em assistência personalizada, empreendimentos criativos ou análise de negócios.

À medida que olhamos para o futuro, os contínuos avanços em modelos de IA como o Gemini sublinham a importância da pesquisa e desenvolvimento contínuos. Os desafios de treinar tais modelos sofisticados e garantir seu uso ético e responsável permanecem no centro das discussões.