Para Reduzir os Custos de IA, Comece com os Gastos em Nuvem

A chamada “zona média” da IA pode ter atingido seu maior problema.

À medida que uma crise global de hardware colide com uma demanda massiva, os custos de IA dispararam. Em uma corrida por mais computação, as empresas de serviços de IA não tiveram outra escolha senão aumentar seus preços e revisar seus modelos de cobrança, jogando orçamentos fora de equilíbrio e descarrilhando a inovação justo quando muitas organizações estavam finalmente alcançando seu ritmo.

O resultado é mais do que choque de preços: é uma crise existencial para um mundo empresarial que efetivamente teve uma. As empresas reorganizaram suas estratégias para acomodar o impacto da IA. As equipes reorganizaram seus fluxos de trabalho de acordo com as capacidades da IA. A habilitação da IA se tornou o principal diferenciador competitivo das organizações. A IA entrou em cena, iniciando uma grande transformação, e agora as equipes estão sendo solicitadas a reduzir quando mal começaram a operacionalizá-la.

Empresas como Uber fizeram manchetes por impor limites agressivos no uso de IA para conter o fluxo. Mas, embora os limites de uso possam ser uma medida eficaz de redução de custos, não são a única maneira pela qual as empresas podem reduzir seus gastos com computação.

O primeiro lugar que elas devem procurar é sua conta de nuvem.

Parece contraintuitivo. Embora a fórmula sempre tenha sido que mais poder de computação significa mais impacto de IA, isso não necessariamente torna mais eficiente. As empresas estão sangrando seus orçamentos para serviços de IA enquanto ainda dependem de infraestruturas superdimensionadas e superpreçadas; os crescentes custos de IA estão simplesmente exposto um problema profundamente enraizado que as empresas não podem mais ignorar.

Como os gastos em nuvem se acumulam

Os gastos com infraestrutura de TI são frequentemente o segundo maior item de despesa de uma organização, após a folha de pagamento, representando em média 10% da receita anual de uma empresa – uma cifra que a demanda por IA impulsionou para cima nos últimos anos. Mas muitos estão adicionando volume a um quadro de TI já inflado.

Os CTOs e outros responsáveis por decisões tecnológicas são atraídos pelo que é familiar e confiável. Infelizmente, é também o que está impulsionando seus gastos em nuvem. Ao abraçar o que é testado e verdadeiro, eles estão se tornando reféns de acordos caros e de um tamanho único com os principais hyperscalers, onde pagam por soluções que não geram valor.

Com o tempo, eles descobrem que estão pagando por serviços inativos ou não utilizados, hardware não otimizado e armazenamento vazio, quando poderiam estar investindo esse dinheiro em inovação de IA. Com a IA se tornando cada vez mais cara, eles precisarão de cada dólar que puderem obter.

Ajustando a infraestrutura para eficiência de IA

Controlar a dispersão de nuvem requer uma combinação de ação aguda e curto-prazo e evolução de longo prazo. Lidar com o que é solúvel hoje dá às empresas o espaço para respirar e planejar ajustes mais significativos ao longo do próximo ano.

A transição para uma nova infraestrutura leva tempo, e as organizações precisam de soluções agora para que suas equipes possam continuar trabalhando com IA. Aqui estão três etapas que as empresas podem tomar imediatamente para modular seus gastos em nuvem:

1 – Analisar o uso de CPU e memória

Existe algo como “muito” desempenho. As equipes de TI devem realizar um diagnóstico detalhado do uso dos serviços de nuvem, e então reduzir as instâncias que excedem os requisitos de desempenho. Uma análise profunda do uso de nuvem também ajuda as equipes a descobrir recursos e infraestrutura que não estão sendo utilizados; se o contrato atual permitir, elas podem descontinuar esses serviços ou negociar um pagamento mais baixo durante o restante do contrato. Caso contrário, identificar recursos não utilizados fornece um quadro valioso para determinar os parâmetros de sua abordagem de nuvem reconfigurada.

À medida que as empresas ajustam sua estratégia de infraestrutura, elas devem optar por serviços de nuvem que economizam o uso de memória. Por exemplo, infraestrutura otimizada para memória e vCPUs fornecem suporte mais acessível para suporte de nível empresarial em comparação com as otimizações baseadas em Arm normalmente oferecidas pelos hyperscalers. Isso alivia parte da carga de monitoramento das equipes de TI, ao mesmo tempo em que diminui os gastos totais em nuvem.

2 – Estabelecer limites estritos de gastos

Os limites de gastos e uso têm sido a resposta do setor de tecnologia aos aumentos de preços de IA, mas não é apenas estabelecer os limites que importa. É como esses limites são definidos, comunicados e aplicados.

Em primeiro lugar, os limites de gastos devem ser específicos do uso. Os líderes devem ser capazes de usá-los como um guia para planejamento de projetos e alocação de recursos, permitindo que eles estruturem orçamentos, cronogramas e equipes de projeto com uma mentalidade voltada para a eficiência.

Quanto à comunicação, é crucial que toda a força de trabalho entenda o porquê por trás dos limites. Estamos acostumados a ver o digital como o infinito, mas nessa fase do boom de IA, estamos enfrentando as leis da física. À medida que escassez e mudanças de cobrança afetam os fluxos de trabalho diários dos funcionários, os limites de gastos devem ser apresentados como uma maneira sustentável de manter sua nova dependência de ferramentas alimentadas por IA, em vez de uma restrição.

3 – Aplicar protocolos de marcação

Os protocolos de marcação evitam o uso não gerenciado de TI que aumenta sorrateiramente os gastos de computação. Com um código de marcação robusto, os líderes de TI podem obter uma melhor compreensão do tráfego de serviços de nuvem, permitindo que as equipes identifiquem a fonte do uso excessivo e façam ajustes estratégicos para cortar recursos onde o inchaço está acontecendo. Ao mesmo tempo, os protocolos de marcação também podem mostrar onde as equipes podem precisar de uma atualização.

À medida que os contratos de nuvem existentes expiram, as empresas têm a oportunidade de reestruturar seu ecossistema de computação com uma abordagem de nuvem composta e multi-nuvem. Isso não significa necessariamente abandonar seus parceiros de hyperscalers de longa data, mas reduzir seus contratos para harmonizar com infraestruturas mais eficientes em outras partes da pilha. Soluções de nuvem alternativas, soluções de borda que descarregam a pressão sobre infraestruturas baseadas em GPU, e soluções de software de código aberto compõem uma estratégia flexível e multifornecedora que faz mais do que apenas economizar custos: aumenta o ROI de cada iniciativa de IA, maximizando o preço para desempenho, permitindo que as empresas invistam as economias de volta na inovação de IA.

Reorganizando a mentalidade de eficiência

Gerenciar os gastos de IA também é uma questão cultural. As forças de trabalho habilitadas por IA são notoriamente obcecadas por eficiência. É por isso que estão construindo agentes, automatizando suas comunicações e deixando a IA fazer o trabalho braçal enquanto expandem sua capacidade para criatividade e inovação. Mas o uso irresponsável dessas ferramentas tem o efeito oposto.

“Tokenmaxxing” e outras tendências que incentivam o uso excessivo de IA são incompatíveis com um viés para a eficiência. Se as equipes querem realmente fazer mais com menos, suas interações com a IA devem refletir esse princípio.

Isso requer mudar a cultura e a tecnologia em conjunto. Incentive o uso de prompts melhores para reduzir a carga de inferência, mas também adote infraestruturas que economizam automaticamente a inferência. Adote modelos de IA menores com casos de uso precisos. Abrace modelos e software de código aberto para reduzir as cargas de trabalho de treinamento. Empodere os desenvolvedores a resolver problemas de forma eficiente e eduque os usuários não técnicos de IA. As empresas que desejam encorajar seus funcionários a usar IA devem fazê-lo de forma responsável.

Apesar dos aumentos de preços, não aplicamos os freios na transformação de IA. Operacionalizar a IA em escala sempre foi uma empreitada cara, exigindo planejamento cuidadoso e alocação estratégica de capital para permanecer sustentável. Onde estamos agora é um ponto de estrangulamento: os movimentos que os líderes de TI fazem agora determinarão quem passará e quem ficará para trás.

Enquanto a indústria se mobiliza para resolver a crise de computação em andamento, as empresas precisam encontrar maneiras de fazer o melhor com o que têm. As empresas podem se proteger contra gastos astronômicos de IA, abordando o excesso de gastos em soluções de nuvem, economizando a inferência em uma nuvem distribuída e investindo em infraestruturas que promovam um ROI real.