Entrevistas

Sadeepa Wijesekara, vice-presidente de Private Cloud AI na HPE – Série de entrevistas

Antoine Tardif
Adicione Unite.AI às suas fontes preferidas no Google
Sadeepa Wijesekara, Vice President of Private Cloud AI at HPE
Pontos-chaveA economia da IA torna-se uma disciplina de negócios apenas quando os projetos-piloto…
Ver mais
  • A economia da IA torna-se uma disciplina de negócios apenas quando os projetos-piloto passam para a produção e as finanças entram na conversa.
  • O custo por token mede o consumo, enquanto o custo por resultado de negócio revela se o investimento realmente faz sentido.
  • Os fluxos de trabalho agênticos podem multiplicar drasticamente o consumo de tokens, mesmo com os preços de inferência a continuar a diminuir.

Sadeepa Wijesekara é vice-presidente de Private Cloud AI na Hewlett Packard Enterprise (HPE), onde lidera o trabalho com software e plataformas de IA corporativa para ambientes de nuvem privada. Seu foco inclui ajudar as organizações a implementar IA com segurança e em grande escala, alinhando as decisões de infraestrutura às necessidades do negócio. Ele traz uma perspectiva de engenharia para a economia da IA em produção, incluindo a gestão de cargas de trabalho, a seleção de modelos e os custos de manter confiáveis sistemas cada vez mais autônomos.

A Hewlett Packard Enterprise (HPE) fornece tecnologia corporativa que abrange IA, nuvem, redes, computação e armazenamento. Seu portfólio Private Cloud AI ajuda organizações a implementar cargas de trabalho de IA em infraestruturas sob seu controle, em conjunto com nuvens híbridas e serviços externos. Nesta entrevista, Wijesekara explica por que os gastos com IA devem ser avaliados com base nos resultados de negócio, como os fluxos de trabalho agênticos alteram o consumo e quais fatores financeiros e operacionais influenciam as decisões sobre modelos, orquestração e infraestrutura.

A HPE ampliou a adoção da IA para mais de 70.000 funcionários. O que essa experiência ensinou a você sobre quando a economia da IA deixa de ser uma preocupação da TI e passa a ser uma disciplina mais ampla de negócios?

A economia da IA se torna uma disciplina mais ampla de negócios quando as empresas passam dos projetos-piloto à produção. Um projeto-piloto pode mostrar se a IA é capaz de executar uma tarefa, mas também pode ocultar ineficiências, pois o número de usuários é pequeno. Quando se passa de 10 usuários para 10.000, é preciso considerar custo, latência e confiabilidade, além de entender o valor que a IA está gerando. Nesse momento, a conversa precisa envolver a área financeira e os líderes responsáveis pelos processos de negócio apoiados pela IA. A TI pode medir os recursos consumidos por um aplicativo, mas cabe aos líderes de negócios determinar se os resultados justificam esse investimento.

Muitas organizações ainda dão grande ênfase a métricas como o custo por token ao avaliar a IA generativa. Por que você considera o custo por resultado de negócio uma medida mais significativa e como as empresas devem calculá-lo na prática?

O custo por token informa quanto de IA foi consumido, mas não diz se esse consumo gerou um resultado útil. As empresas devem primeiro definir o resultado de negócio e, em seguida, calcular o custo total necessário para alcançá-lo. O modelo é apenas uma parte desse custo, que também inclui software, armazenamento, movimentação de dados, governança e pessoal. Comparar esses custos com o valor gerado em um processo de negócio específico permite às empresas avaliar melhor se o investimento faz sentido do ponto de vista econômico.

À medida que a IA deixa de se limitar a copilotos individuais e passa a incluir sistemas agênticos e multiagentes capazes de executar longas sequências de tarefas, quanto o consumo pode aumentar, mesmo que o custo subjacente da inferência continue caindo?

O consumo pode crescer muito rapidamente, pois uma única solicitação de um usuário pode desencadear muito mais trabalho nos bastidores. Um agente pode recuperar informações e acionar ferramentas enquanto executa várias etapas antes de apresentar um resultado. Em uma comparação representativa da HPE, uma interação básica com um chatbot usou cerca de 400 tokens, enquanto uma solicitação de RAG agêntico usou cerca de 21.500. Mesmo que os preços dos tokens caiam, o consumo total ainda pode aumentar bastante à medida que a IA assume tarefas mais complexas.

Como as empresas devem avaliar se um caso de uso de IA está realmente gerando valor econômico, em vez de apenas elevar métricas de produtividade ou produzir demonstrações impressionantes?

Antes de ser ampliado, um caso de uso deve estar vinculado a um plano de negócios com indicadores-chave de desempenho (KPIs) claros. As empresas precisam entender quanto custa o processo de negócio e como esse custo muda com a introdução da IA. Também precisam distinguir entre uma melhoria em uma atividade e uma melhoria no resultado do negócio. O tempo economizado é mais significativo quando permite resolver mais problemas de clientes, reduzir erros ou concluir tarefas que antes ficavam por fazer. A avaliação deve levar em conta a qualidade do resultado e qualquer revisão ou retrabalho adicional necessário. Uma demonstração bem-sucedida comprova uma capacidade; melhorias mensuráveis no processo de negócio fundamentam a decisão de ampliá-la. Em alguns casos, essa análise pode mostrar que a IA não é a solução adequada.

O roteamento de modelos e a orquestração de IA são cada vez mais discutidos como formas de controlar custos. Quanto valor as empresas podem liberar ao escolher dinamicamente entre modelos menores, modelos de fronteira, modelos especializados e software tradicional, conforme a tarefa?

Há muito valor em adequar o modelo à tarefa. Já vimos empresas direcionarem cargas de trabalho muito diferentes para o mesmo modelo de fronteira, que é caro, porque a prioridade inicial era colocar a IA em funcionamento. Isso pode ser viável com poucos usuários, mas os custos aumentam rapidamente à medida que a adoção se expande. Um modelo de fronteira pode ser adequado para raciocínios complexos, enquanto um modelo menor pode bastar para uma tarefa rotineira. Um modelo especializado pode ser mais indicado para um domínio específico, e uma tarefa previsível e baseada em regras pode ser executada com mais eficiência por um software tradicional. A orquestração ajuda a integrar essas opções em um fluxo de trabalho, recorrendo a um modelo mais capaz quando a tarefa exige. À medida que os modelos de pesos abertos se tornam mais capazes, as empresas também têm mais oportunidades de executar determinadas cargas de trabalho em sua própria infraestrutura, em vez de pagar por modelos externos. Em escala empresarial, essas decisões de encaminhamento podem reduzir significativamente os custos sem comprometer a qualidade exigida pelo negócio.

Em que momento a economia da execução de cargas de trabalho de IA deixa de favorecer o aluguel de capacidade computacional por meio de uma API ou de uma nuvem pública e passa a favorecer a propriedade ou o controle de uma parcela maior da infraestrutura subjacente? Que variáveis as empresas devem considerar ao tomar essa decisão?

Penso nisso como uma escolha entre alugar e comprar. Alugar pode fazer sentido enquanto as empresas estão experimentando ou quando a demanda varia muito. À medida que o uso aumenta e se torna mais previsível, pode começar a fazer sentido, do ponto de vista econômico, possuir ou controlar uma parcela maior da infraestrutura. Ter infraestrutura própria também abre oportunidades para realizar experimentos adicionais de IA em períodos de baixa utilização, aproveitando melhor um investimento já realizado. As empresas precisam considerar as características da carga de trabalho, além dos custos de energia, gestão e atualização dos sistemas. Para muitas grandes empresas, a abordagem mais adequada provavelmente combinará infraestrutura privada e serviços externos, conforme a carga de trabalho.

A HPE vem expandindo sua infraestrutura privada de IA à medida que as empresas levam mais cargas de trabalho à produção. Em que situações a IA privada oferece a maior vantagem econômica em comparação com o uso exclusivo de serviços de nuvem pública para consumir IA?

A IA privada pode oferecer uma forte vantagem econômica para cargas de trabalho contínuas, quando as empresas conseguem aproveitar bem a capacidade que possuem. Em uma análise da HPE baseada em determinadas premissas de carga de trabalho, estimou-se que o HPE Private Cloud AI custaria cerca de US$ 45 por nó-hora, em comparação com cerca de US$ 102 para uma configuração equivalente alugada na nuvem. Esses resultados variam conforme a carga de trabalho e devem ser recalculados para cada ambiente. A IA privada também oferece às empresas outro modelo financeiro, permitindo que a infraestrutura se torne um ativo que gera valor para a organização.

Os agentes de IA geram custos que vão além da inferência, incluindo recuperação de dados, chamadas a ferramentas, monitoramento, segurança e governança. Quais custos as organizações têm maior probabilidade de subestimar ao orçar a IA agêntica em grande escala?

Acho provável que as empresas subestimem o trabalho necessário para manter os agentes confiáveis, seguros e úteis ao longo do tempo. Além da inferência, há custos associados à recuperação e preparação de dados, ao acesso a ferramentas externas e à transferência de informações entre sistemas. Chamadas repetidas a ferramentas ou tentativas malsucedidas podem gerar despesas sem concluir a tarefa. As empresas também precisam reservar orçamento para avaliar resultados, monitorar o comportamento dos agentes, gerenciar permissões de acesso e manter controles de segurança e governança. A supervisão humana também deve entrar nesse cálculo, incluindo o tempo que as pessoas dedicam à análise de exceções ou à correção de erros. Para entender o custo de uma tarefa concluída com sucesso, é preciso ter visibilidade de todo esse fluxo de trabalho.

Você destacou a importância de acompanhar o consumo de IA em relação a cada caso de negócio. Como é uma estrutura interna eficaz de mensuração e com que frequência as organizações devem reavaliar se uma aplicação de IA ainda justifica seus custos contínuos de computação e operação?

A estrutura deve vincular diretamente o uso ao caso de negócio. As empresas precisam saber qual aplicação está consumindo recursos e que resultado se espera que ela produza. Na HPE, acompanhamos os KPIs e os custos unitários subjacentes de cada caso de uso para avaliar se ele está gerando os resultados esperados. Eu também gostaria de ver esse acompanhamento no nível de departamentos e processos de negócio individuais, para que um diretor financeiro possa entender quanto custa um processo hoje em comparação com quanto custa com IA. Esse deve ser um processo contínuo, porque o uso e a economia de uma aplicação podem mudar ao longo do tempo. As empresas também devem reavaliar a aplicação quando houver mudanças significativas em um modelo, preço ou fluxo de trabalho, pois elas podem afetar tanto o custo quanto o valor da aplicação.

Olhando de três a cinco anos à frente, à medida que a IA se incorporar à maioria dos processos de negócio, como você espera que a economia da IA empresarial evolua? A gestão do consumo de IA acabará se assemelhando a disciplinas como o FinOps para nuvem, ou as organizações precisarão de um modelo operacional totalmente novo?

Acredito que a economia da IA se apoiará em práticas de FinOps, como visibilidade dos custos, alocação e prestação de contas, ampliando-as para medir a qualidade e o valor do trabalho realizado pela IA. À medida que os agentes assumirem mais etapas de um processo de negócios, as empresas precisarão entender o custo de concluir esse processo com sucesso, incluindo novas tentativas, intervenção humana e a avaliação de se o resultado atende ao padrão exigido. Espero que isso se torne uma responsabilidade compartilhada entre as áreas de TI, finanças e operações de negócios. Ainda estamos no início do estabelecimento de formas consistentes de fazer essas comparações entre organizações e setores. Com o tempo, gostaria de ver medidas padronizadas que permitam às empresas entender com que eficiência estão operando com IA e refletir isso em seu P&L.

Obrigado pela excelente entrevista. Os leitores que quiserem saber mais sobre IA em nuvem privada, infraestrutura empresarial e expansão de cargas de trabalho de IA devem visitar a HPE.

Antoine é um líder visionário e sócio fundador da Unite.AI, movido por uma paixão inabalável por moldar e promover o futuro da IA e da robótica. Empreendedor que já fundou várias empresas, acredita que a IA transformará a sociedade tanto quanto a eletricidade e costuma falar com entusiasmo sobre o potencial das tecnologias disruptivas e da inteligência artificial geral (AGI).

Como futurista, dedica-se a explorar como essas inovações moldarão o nosso mundo. Além disso, é fundador da Securities.io, uma plataforma voltada ao investimento em tecnologias de ponta que estão redefinindo o futuro e transformando setores inteiros.