O Futuro da Inteligência Artificial Gerativa é a Edge

A chegada do ChatGPT e da Inteligência Artificial Gerativa em geral é um momento crucial na história da tecnologia e é comparada ao amanhecer da Internet e do smartphone. A Inteligência Artificial Gerativa mostrou um potencial ilimitado em sua capacidade de manter conversas inteligentes, passar em exames, gerar programas/códigos complexos e criar imagens e vídeos atraentes. Embora as GPUs executem a maioria dos modelos de IA na nuvem – tanto para treinamento quanto para inferência – isso não é uma solução escalável a longo prazo, especialmente para inferência, devido a fatores que incluem custo, energia, latência, privacidade e segurança. Este artigo aborda cada um desses fatores, juntamente com exemplos motivacionais para mover as cargas de trabalho de computação de IA para a edge.

A maioria das aplicações é executada em processadores de alto desempenho – seja em dispositivos (por exemplo, smartphones, desktops, laptops) ou em centros de dados. À medida que a participação de aplicações que utilizam IA aumenta, esses processadores com apenas CPUs são inadequados. Além disso, a expansão rápida em cargas de trabalho de IA Gerativa está impulsionando uma demanda exponencial por servidores habilitados para IA com GPUs caras e consumidoras de energia, o que, por sua vez, está aumentando os custos de infraestrutura. Esses servidores habilitados para IA podem custar até 7 vezes o preço de um servidor regular e as GPUs respondem por 80% desse custo adicional.

Além disso, um servidor baseado em nuvem consome 500W a 2000W, enquanto um servidor habilitado para IA consome entre 2000W e 8000W – 4 vezes mais! Para suportar esses servidores, os centros de dados precisam de módulos de refrigeração adicionais e melhorias de infraestrutura – que podem ser ainda maiores do que o investimento em computação. Os centros de dados já consomem 300 TWh por ano, quase 1% do consumo total de energia mundial. Se as tendências de adoção de IA continuarem, então até 5% do consumo total de energia mundial pode ser usado por centros de dados até 2030. Além disso, há um investimento sem precedentes em centros de dados de IA Gerativa. Estima-se que os centros de dados consumirão até $500 bilhões em despesas de capital até 2027, principalmente impulsionados por requisitos de infraestrutura de IA.

O consumo de eletricidade dos centros de dados, já 300 TWh, aumentará significativamente com a adoção de IA Gerativa.

O custo de computação de IA, bem como o consumo de energia, impedirá a adoção em massa de IA Gerativa. Os desafios de escalabilidade podem ser superados movendo a computação de IA para a edge e utilizando soluções de processamento otimizadas para cargas de trabalho de IA. Com essa abordagem, outros benefícios também são concedidos ao cliente, incluindo latência, privacidade, confiabilidade e aumento da capacidade.

A Computação Siga os Dados para a Edge

Desde há uma década, quando a IA surgiu no mundo acadêmico, o treinamento e a inferência de modelos de IA ocorreram na nuvem/centro de dados. Com grande parte dos dados sendo gerados e consumidos na edge – especialmente vídeo – fazia sentido mover a inferência dos dados para a edge, melhorando assim o custo total de propriedade (TCO) para as empresas devido aos custos reduzidos de rede e computação. Embora os custos de inferência de IA na nuvem sejam recorrentes, o custo de inferência na edge é uma despesa única, de hardware. Basicamente, aumentar o sistema com um processador de IA de edge reduz os custos operacionais gerais. Assim como a migração de cargas de trabalho de IA convencionais para a Edge (por exemplo, eletrodoméstico, dispositivo), as cargas de trabalho de IA Gerativa seguirão o mesmo caminho. Isso trará economias significativas para as empresas e consumidores.

A mudança para a edge, combinada com um acelerador de IA eficiente para realizar funções de inferência, entrega outros benefícios. Em primeiro lugar, a latência. Por exemplo, em aplicações de jogos, personagens não jogáveis (NPCs) podem ser controlados e aumentados usando IA Gerativa. Usando modelos LLM que executam em aceleradores de IA de edge em uma console de jogos ou PC, os jogadores podem dar a esses personagens objetivos específicos, para que eles possam participar significativamente da história. A baixa latência da inferência local na edge permitirá que os discursos e movimentos dos NPCs respondam aos comandos e ações dos jogadores em tempo real. Isso entregará uma experiência de jogo imersiva de forma rentável e eficiente em termos de energia.

Em aplicações como saúde, privacidade e confiabilidade são extremamente importantes (por exemplo, avaliação de pacientes, recomendações de medicamentos). Os dados e os modelos de IA Gerativa associados devem estar no local para proteger os dados dos pacientes (privacidade) e qualquer interrupção na rede que bloqueie o acesso aos modelos de IA na nuvem pode ser catastrófica. Um dispositivo de IA de edge que execute um modelo de IA Gerativa construído especificamente para cada cliente empresarial – nesse caso, um provedor de saúde – pode resolver os problemas de privacidade e confiabilidade de forma transparente, entregando baixa latência e custo.

A IA Gerativa em dispositivos de edge garantirá baixa latência em jogos e preservará os dados dos pacientes e melhorará a confiabilidade para a saúde.

Muitos modelos de IA Gerativa que executam na nuvem podem ter cerca de um trilhão de parâmetros – esses modelos podem efetivamente atender a consultas de propósito geral. No entanto, as aplicações específicas de empresas exigem que os modelos forneçam resultados pertinentes ao caso de uso. Pegue o exemplo de um assistente de IA Gerativa construído para receber pedidos em um restaurante de fast-food – para que esse sistema tenha uma interação transparente com o cliente, o modelo de IA Gerativa subjacente deve ser treinado nos itens do menu do restaurante, conhecendo também os alérgenos e ingredientes. O tamanho do modelo pode ser otimizado usando um superset de Modelo de Linguagem Grande (LLM) para treinar um LLM relativamente pequeno, de 10 a 30 bilhões de parâmetros, e então usar ajustes adicionais com os dados específicos do cliente. Tal modelo pode fornecer resultados com precisão e capacidade aumentadas. E, considerando o tamanho menor do modelo, ele pode ser implantado de forma eficaz em um acelerador de IA de edge.

A IA Gerativa Vencerá na Edge

Sempre haverá uma necessidade de IA Gerativa em execução na nuvem, especialmente para aplicações de propósito geral como ChatGPT e Claude. Mas quando se trata de aplicações específicas de empresas, como o preenchimento gerativo do Adobe Photoshop ou o copiloto do Github, a IA Gerativa na Edge não é apenas o futuro, é também o presente. Aceleradores de IA personalizados são a chave para tornar isso possível. especialmente para aplicações de propósito geral como ChatGPT e Claude. Mas quando se trata de aplicações específicas de empresas, como o preenchimento gerativo do Adobe Photoshop ou o copiloto do Github, a IA Gerativa na Edge não é apenas o futuro, é também o presente. Aceleradores de IA personalizados são a chave para tornar isso possível.