Os Custos de Treinamento de IA Continuam a Cair

Os altos custos de treinamento de IA têm sido uma barreira significativa para a adoção de IA, impedindo que muitas empresas implementem a tecnologia de IA. De acordo com um relatório da Forrester Consulting de 2017, 48% das empresas destacaram os altos custos de tecnologia como uma das principais razões para não implementar soluções impulsionadas por IA.

No entanto, desenvolvimentos recentes mostraram que os custos de treinamento de IA estão diminuindo rapidamente, e essa tendência deve continuar no futuro. De acordo com o relatório ARK Invest Big Ideas 2023, os custos de treinamento de um modelo de linguagem grande semelhante ao desempenho do GPT-3 caíram de $4,6 milhões em 2020 para $450.000 em 2022, uma diminuição de 70% por ano.

Vamos explorar mais a fundo essa tendência de declínio dos custos de treinamento de IA e discutir os fatores que contribuem para essa diminuição.

Como Os Custos de Treinamento de IA Mudaram Ao Longo Do Tempo?

De acordo com a pesquisa ARK Invest 2020, o custo de treinamento de modelos de aprendizado profundo está melhorando 50 vezes mais rápido do que a Lei de Moore. Na verdade, a despesa associada à execução de um sistema de inferência de IA foi drasticamente reduzida para níveis quase negligenciáveis para vários casos de uso.

Além disso, os custos de treinamento diminuíram dez vezes por ano nos últimos anos. Por exemplo, em 2017, treinar um classificador de imagens como o ResNet-50 em uma nuvem pública custava cerca de $1.000, mas em 2019, o custo diminuiu significativamente para aproximadamente $10.

Essas descobertas estão alinhadas com um relatório de 2020 da OpenAI, que encontrou que a quantidade de poder de computação necessária para treinar um modelo de IA para realizar a mesma tarefa diminuiu por um fator de dois a cada 16 meses desde 2012.

Além disso, o relatório ARK destaca os custos de treinamento de IA em declínio. O relatório prevê que, até 2030, o custo de treinamento de um modelo de nível GPT-3 será de $30, em comparação com $450.000 em 2022.

Custo para treinar o desempenho de nível GPT-3 – ARK Invest Big Ideas 2023

Fatores Que Contribuem Para A Diminuição Dos Custos De Treinamento De IA

O treinamento de modelos de IA se torna mais barato e fácil à medida que as tecnologias de IA continuam a melhorar, tornando-as mais acessíveis a uma ampla gama de empresas. Vários fatores, incluindo custos de hardware e software e IA baseada em nuvem, contribuíram para a diminuição dos custos de treinamento de IA.

Vamos explorar esses fatores abaixo.

1. Hardware

A IA exige hardware especializado de alta qualidade e caro para processar grandes volumes de dados e cálculos. Organizações como a NVIDIA, IBM e Google fornecem GPUs e TPUs para executar cargas de trabalho de computação de alto desempenho (HPC). Os altos custos de hardware tornam difícil democratizar a IA em larga escala.

No entanto, à medida que a tecnologia avança, os custos de hardware estão diminuindo. De acordo com o relatório ARK Invest 2023, a Lei de Wright prevê que os custos de produção de unidades de computação relativas à IA (RCU), ou seja, os custos de hardware de treinamento de IA, devem diminuir 57% anualmente, levando a uma redução de 70% nos custos de treinamento de IA até 2030, como mostrado no gráfico abaixo.

Custo de hardware de treinamento de IA – ARK Invest Big Ideas 2023

2. Software

Os custos de treinamento de software de IA podem ser reduzidos em 47% anualmente por meio do aumento da eficiência e escalabilidade. Frameworks de software como TensorFlow e PyTorch permitem que os desenvolvedores treinem modelos de aprendizado profundo complexos em sistemas distribuídos com alto desempenho, economizando tempo e recursos.

Além disso, modelos pré-treinados grandes, como Inceptionv3 ou ResNet, e técnicas de transferência de aprendizado também ajudam a reduzir os custos, permitindo que os desenvolvedores ajustem modelos existentes em vez de treinar novos.

Custo de treinamento de software de IA – ARK Invest Big Ideas 2023

3. Inteligência Artificial Baseada Em Nuvem

O treinamento de IA baseado em nuvem reduz os custos, fornecendo recursos de computação escaláveis sob demanda. Com o modelo de pagamento por uso, as empresas pagam apenas pelos recursos de computação que utilizam. Além disso, os provedores de nuvem oferecem serviços de IA pré-construídos que aceleram o treinamento de IA.

Por exemplo, o Azure Machine Learning é um serviço baseado em nuvem para análise preditiva que permite o desenvolvimento e implementação rápidos de modelos. Ele oferece recursos de computação flexíveis e memória. Os usuários podem dimensionar rapidamente até milhares de GPUs para aumentar o desempenho de computação. Ele permite que os usuários trabalhem em seus navegadores em ambientes de IA pré-configurados, eliminando a sobrecarga de configuração e instalação.

O Impacto Da Diminuição Dos Custos De Treinamento De IA

A diminuição dos custos de treinamento de IA tem implicações significativas para vários setores e campos, resultando em inovação e competitividade melhoradas.

Vamos discutir alguns deles abaixo.

1. Adoção Em Massa De Chatbots De IA Sofisticados

Os chatbots de IA estão em ascensão devido à diminuição dos custos de IA. Especialmente após o desenvolvimento do ChatGPT e do GPT-4 (Gerador de Texto Pré-treinado) da OpenAI, houve um aumento notável no número de empresas que buscam desenvolver chatbots de IA com capacidades semelhantes ou melhores.

Por exemplo, cinco dias após seu lançamento em novembro de 2022, o ChatGPT reuniu 1 milhão de usuários. Embora hoje, o custo para executar o modelo em escala seja de aproximadamente $0,01 por consulta, a Lei de Wright prevê que, até 2030, aplicações de chatbot semelhantes ao ChatGPT poderão ser implantadas em larga escala a um custo muito menor (estimado em $650 para executar 1 bilhão de consultas), com o potencial de processar 8,5 bilhões de buscas por dia, equivalente à busca do Google.

Custo para executar inferências de IA por bilhão de consultas – ARK Invest Big Ideas 2023

2. Aumento Do Uso De IA Geradora

A diminuição dos custos de treinamento de IA levou a um aumento no desenvolvimento e implementação de tecnologias de IA geradora. Em 2022, houve um aumento significativo no uso de IA geradora, impulsionado pela introdução de ferramentas de IA geradora inovadoras, como o DALL-E 2, o Meta Make-A-Video e o Stable Diffusion. Em 2023, já testemunhamos um modelo inovador na forma do GPT-4.

Além da geração de imagens e texto, a IA geradora está ajudando os desenvolvedores a escrever código. Programas como o GitHub Copilot podem ajudar a concluir uma tarefa de codificação em metade do tempo.

Tempo para concluir tarefas de codificação – ARK Invest Big Ideas 2023

3. Melhor Uso De Dados De Treinamento

A redução dos custos de treinamento de IA deve permitir um melhor uso dos dados de treinamento de aprendizado de máquina. Por exemplo, o relatório ARK Invest 2023 sugere que, até 2030, o custo de treinamento de um modelo com 57 vezes mais parâmetros e 720 vezes mais tokens do que o GPT-3 (175B parâmetros) deve diminuir de $17 bilhões para $600.000.

A disponibilidade e a qualidade dos dados serão o principal fator limitante para o desenvolvimento de modelos de aprendizado de máquina avançados nesse mundo de computação de baixo custo. No entanto, os modelos de treinamento desenvolverão a capacidade de processar uma estimativa de 162 trilhões de palavras ou 216 trilhões de tokens.

O futuro da IA parece muito promissor. Para saber mais sobre as últimas tendências e pesquisas no campo da inteligência artificial, visite Unite.ai.