Por que o modelo de IA Orca-2 da Microsoft marca um passo significativo em direção à IA sustentável?

Apesar dos notáveis avanços feitos pela inteligência artificial na última década, que incluem derrotar campeões humanos em jogos estratégicos como Xadrez e GO e prever a estrutura tridimensional de proteínas, a adoção generalizada de modelos de linguagem grandes (LLMs) sinaliza uma mudança de paradigma. Esses modelos, que visam transformar as interações humanas-computador, tornaram-se indispensáveis em vários setores, incluindo educação, serviços ao cliente, recuperação de informações, desenvolvimento de software, mídia e saúde. Embora esses avanços tecnológicos desbloqueiem avanços científicos e impulsionem o crescimento industrial, um lado negativo notável para o planeta existe.

O processo de treinamento e utilização de LLMs consome uma quantidade imensa de energia, resultando em um impacto ambiental substancial marcado por um aumento da pegada de carbono e emissões de gases de efeito estufa. Um estudo recente da Faculdade de Informação e Ciências da Computação da Universidade de Massachusetts Amherst revelou que o treinamento de LLMs pode emitir mais de 626.000 libras de dióxido de carbono, aproximadamente equivalente às emissões de cinco carros durante toda a vida. A Hugging Face, uma startup de IA, descobriu que o treinamento do BLOOM, um modelo de linguagem grande lançado no início do ano, levou a 25 toneladas métricas de emissões de dióxido de carbono. Da mesma forma, o modelo de IA do Facebook , Meena, acumula uma pegada de carbono equivalente ao impacto ambiental de dirigir um carro por mais de 240.000 milhas durante seu processo de treinamento.

Além do treinamento de LLMs, a demanda por computação em nuvem, essencial para LLMs, agora contribui com mais emissões do que a indústria aérea como um todo. Um único centro de dados pode consumir tanta energia quanto 50.000 lares. Outro estudo destaca que o treinamento de um único modelo de linguagem grande pode liberar tanto CO2 quanto cinco carros usando energia durante toda a vida. Previsões sugerem que as emissões de IA aumentarão 300% até 2025, enfatizando a urgência de equilibrar o progresso da IA com a responsabilidade ambiental e promovendo iniciativas para tornar a IA mais ecológica. Para abordar o impacto ambiental adverso dos avanços da IA, a IA sustentável está surgindo como um campo de estudo crucial.

IA Sustentável

A IA sustentável representa uma mudança de paradigma no desenvolvimento e implantação de sistemas de inteligência artificial, focando na minimização do impacto ambiental, considerações éticas e benefícios sociais de longo prazo. A abordagem visa criar sistemas inteligentes que sejam eficientes em termos de energia, responsáveis ambientalmente e alinhados com os valores humanos. A IA sustentável se concentra em usar energia limpa para computadores, algoritmos inteligentes que usam menos energia e seguir diretrizes éticas para garantir decisões justas e transparentes. É importante notar que há uma diferença entre IA para sustentabilidade e IA sustentável; o primeiro pode envolver o uso de IA para otimizar processos existentes sem necessariamente considerar suas consequências ambientais ou sociais, enquanto o segundo ativamente integra princípios de sustentabilidade em todas as fases do desenvolvimento de IA, desde o design até a implantação, para criar um impacto positivo e duradouro no planeta e na sociedade.

De LLMs para Modelos de Linguagem Pequenos (SLMs)

Na busca por IA sustentável, a Microsoft (MSFT ) está trabalhando no desenvolvimento de Modelos de Linguagem Pequenos (SLMs) para alinhar com as capacidades dos Modelos de Linguagem Grandes (LLMs). Nesse esforço, eles recentemente introduziram o Orca-2, projetado para raciocinar como o GPT-4. Ao contrário de seu antecessor, o Orca-1, que tem 13 bilhões de parâmetros, o Orca-2 contém 7 bilhões de parâmetros usando duas técnicas principais.

1. Ajuste de Instrução: O Orca-2 melhora aprendendo com exemplos, melhorando a qualidade do conteúdo, as capacidades de raciocínio zero-shot e habilidades de raciocínio em várias tarefas.
2. Ajuste de Explicação: Reconhecendo as limitações no ajuste de instrução, o Orca-2 introduz o Ajuste de Explicação. Isso envolve criar explicações detalhadas para modelos de professor, enriquecendo sinais de raciocínio e melhorando a compreensão geral.

O Orca-2 usa essas técnicas para alcançar um raciocínio altamente eficiente, comparável ao que os LLMs alcançam com muitos mais parâmetros. A ideia principal é permitir que o modelo descubra a melhor maneira de resolver um problema, seja fornecendo uma resposta rápida ou pensando passo a passo. A Microsoft chama isso de “Raciocínio Cauteloso”.

Para treinar o Orca-2, a Microsoft constrói um novo conjunto de dados de treinamento usando anotações FLAN, Orca-1 e o conjunto de dados Orca-2. Eles começam com perguntas fáceis, adicionam algumas difíceis e, em seguida, usam dados de modelos de conversa para torná-lo ainda mais inteligente.

O Orca-2 passa por uma avaliação minuciosa, cobrindo raciocínio, conclusão de texto, fundamentação, veracidade e segurança. Os resultados mostram o potencial de melhorar o raciocínio dos SLMs por meio de treinamento especializado em dados sintéticos. Apesar de algumas limitações, os modelos Orca-2 mostram promessa para melhorias futuras em raciocínio, controle e segurança, comprovando a eficácia da aplicação de dados sintéticos de forma estratégica no aprimoramento do modelo após o treinamento.

Importância do Orca-2 para a IA Sustentável

O Orca-2 representa um salto significativo em direção à IA sustentável, desafiando a crença de que apenas modelos maiores, com seu consumo substancial de energia, podem verdadeiramente avançar as capacidades da IA. Esse modelo de linguagem pequeno apresenta uma perspectiva alternativa, sugerindo que alcançar excelência em modelos de linguagem não necessariamente requer conjuntos de dados enormes e poder de computação extensivo. Em vez disso, destaca a importância do design inteligente e da integração eficaz.

Essa inovação abre novas possibilidades ao defender uma mudança de foco – de simplesmente aumentar a IA para se concentrar em como a projetamos. Isso marca um passo crucial para tornar a IA avançada mais acessível a uma audiência mais ampla, garantindo que a inovação seja inclusiva e atinja uma gama mais ampla de pessoas e organizações.

O Orca-2 tem o potencial de impactar significativamente o desenvolvimento de futuros modelos de linguagem. Seja melhorando tarefas relacionadas ao processamento de linguagem natural ou permitindo aplicações de IA mais sofisticadas em várias indústrias, esses modelos menores estão prestes a trazer mudanças positivas significativas. Além disso, eles atuam como pioneiros na promoção de práticas de IA mais sustentáveis, alinhando o progresso tecnológico com um compromisso com a responsabilidade ambiental.

A Linha de Fundo:

O Orca-2 da Microsoft representa uma mudança de paradigma em direção à IA sustentável, desafiando a crença de que apenas modelos grandes podem avançar a IA. Priorizando o design inteligente sobre o tamanho, o Orca-2 abre novas possibilidades, oferecendo uma abordagem mais inclusiva e ambientalmente responsável para o desenvolvimento de IA avançada. Essa mudança marca um passo significativo em direção a um novo paradigma no design de sistemas inteligentes.