Não Construa Sua IA Empresarial com Acesso Empréstimo

Todas as aplicações e implantações de IA empresariais foram construídas até agora com a suposição de que o acesso a modelos de IA de fronteira permanecerá possível e quase ilimitado. Essa era a mentalidade certa, até agora. A tendência era que as novas capacidades dos modelos de fronteira estavam sendo comoditizadas ou abertas dentro de 6 meses e, portanto, o foco era apenas entender as capacidades futuras o mais cedo possível. As empresas, equipes ou pessoas que podiam construir produtos compreendendo e adaptando-se às novas capacidades de fronteira o mais cedo possível para construir aplicações estavam vencendo. No entanto, vários sinais podem estar indicando que essa era irá parar em breve. A decisão do Departamento de Comércio dos EUA de restringir o acesso aos modelos Fable e Mythos da Anthropic para nacionais dos EUA foi apenas um primeiro sinal. No entanto, essa restrição foi posteriormente levantada após a coordenação com a Anthropic, mostrando como as condições de acesso podem mudar rapidamente e a necessidade de sistemas de IA empresariais adaptáveis.

As quatro razões pelas quais o acesso ao modelo de fronteira não é garantido

A mentalidade de construir apenas para modelos de fronteira pode parar de ser a certa se a disponibilidade deles parar de ser garantida. Existem pelo menos quatro razões pelas quais isso pode acontecer. Primeiro, a economia da IA de fronteira é baseada em preços subsidiados que não durarão. Os preparativos recentes para a IPO da OpenAI e da Anthropic os forçaram a abrir os livros e claramente revelar o custo real dos serviços de IA patrocinados atuais, que podem não ser economicamente viáveis pós-IPO. Há rumores de que a assinatura privada de $200 oferecida pela Anthropic na verdade custa vários milhares para a empresa. Portanto, os preços dos tokens devem continuar a subir, e a era do acesso artificialmente barato aos modelos de fronteira irá acabar.

Em segundo lugar, os modelos de fronteira não estão se tornando mais baratos para executar. Ao contrário da computação clássica, onde a Lei de Moore reduziu constantemente o custo de qualquer operação ao longo do tempo, a IA não parece seguir essa curva. Os modelos estão ficando maiores, mas também mais intensivos em computação. Todos os nossos engenheiros esgotaram seus créditos Claude dentro de 10 minutos após o lançamento temporário do fable 5. Isso pode indicar que os próximos modelos de fronteira exigirão mais tokens, mais computação e mais infraestrutura a cada iteração.

Em terceiro lugar, parece que cada vez menos jogadores estão realmente permanecendo na corrida pelos verdadeiros modelos de fronteira. A Mistral, que era a esperança da Europa para competir no arena global de modelos de fronteira, revisou suas ambições para ser um modesto seguidor. Os modelos chineses são seguidores rápidos, mas continuam a ficar atrás dos melhores lançamentos dos laboratórios líderes.

Finalmente, os modelos de fronteira podem ser simplesmente muito perigosos para serem usados em todas as aplicações. Nós não usamos reatores nucleares miniaturizados em carros, em parte porque esse campo é altamente regulamentado e é perigoso. Os experimentos da própria Anthropic mostram que é muito difícil manter um modelo de fronteira sob controle para garantir que ele permaneça inofensivo enquanto preserva suas capacidades. Isso pode ser uma lição real de longo prazo e a razão subjacente por trás da regulamentação dos EUA do Fable 5. Em qualquer caso, é muito provável que os modelos de fronteira sejam tratados como ativos estratégicos por estados e, portanto, não estarão tão livremente disponíveis como estão agora.

Portanto, podemos estar entrando em um mundo onde os custos dos tokens importam e onde os modelos de fronteira não estarão disponíveis para todas as aplicações em todos os países.

Entra a camada de aplicação

Em um mundo onde nem todas as chamadas de modelo vão para o melhor modelo disponível, como podemos garantir que cada tarefa seja resolvida de forma confiável e com o melhor nível de desempenho possível? A resposta pode estar na chamada “camada de aplicação”.

O CEO da NVIDIA, Jensen Huang, descreveu a IA como um bolo de 5 camadas: energia, chips, centros de dados, modelos e aplicações. Ele argumenta que a camada de aplicação é ao mesmo tempo a mais importante e a que ainda está largamente faltando.

Para algumas aplicações, como chatbots, essa camada é extremamente fina – essencialmente apenas uma interface de chat. Em outras, como aplicações industriais e de engenharia avançadas, é muito mais importante e crítica. É a camada determinante na cadeia de valor. À medida que o acesso a um modelo de fronteira específico não estará mais garantido, o papel da camada de aplicação será uniformizar o resultado em diferentes modelos e manter os custos dos tokens sob controle.

Concretamente, se eu quiser realizar uma tarefa complexa e crítica, como redesenhar minha cadeia de manufatura para um novo modelo de aeronave, eu pedirei a um modelo de fronteira poderoso para me ajudar. O modelo pode ser capaz de descobrir como fazer isso sozinho, construir uma ferramenta de planejamento para mim e comunicar o resultado a todas as minhas equipes. No entanto, se eu mudar para um modelo mais capaz, um menos caro ou um de um provedor diferente, eu posso perder desempenho ou perder consistência em minha saída final. Em muitos casos práticos em configurações empresariais, essa imprevisibilidade não é aceitável. É aqui que entra o papel crítico da camada de aplicação: em vez de deixar o modelo operar em um espaço aberto e confiar em suas capacidades brutais para produzir o resultado, a camada de aplicação define um quadro claro, um conjunto limitado de ações disponíveis e um perímetro definido dentro do qual ele pode operar. O modelo não é mais solicitado a descobrir tudo a partir do zero; ele é dado um quadro bem definido que aumentará muito a probabilidade de que qualquer modelo se saia bem.

Do ponto de vista dos custos, meu modelo também pode decidir realizar ações de baixo nível para atingir seu objetivo. Ele pode reescrever um algoritmo de planejamento do zero, construir uma nova interface para que eu visualize seu trabalho ou até mesmo desenvolver um novo solucionador de otimização. Mas isso pode ser incrivelmente caro em tokens, enquanto diretrizes ou ferramentas pré-construídas podem ajudar o modelo a alcançar o mesmo resultado com menos tokens. Esse é o papel da camada de aplicação. A boa notícia é que os modelos tendem a ser preguiçosos e procuram caminhos mais curtos, então podemos não precisar restringi-los muito uma vez que tenham acesso ao conjunto certo de habilidades, ferramentas e recursos de computação.

Em resumo, uma boa camada de aplicação fornecerá habilidades, ferramentas e diretrizes claras para que o modelo opere de forma confiável e economicamente viável. Além de melhorar o desempenho e controlar os custos dos tokens, isso também significa que a dependência de um modelo específico diminui. Se você incorporar sua inteligência na camada de aplicação em vez de no modelo em si, o modelo subjacente se torna intercambiável. Em muitos casos, pode ser o que faz a diferença entre IA experimental e IA escalável.

Chamado à ação para líderes empresariais

Em todas as indústrias, estamos nos encontrando todos os dias com líderes empresariais que trabalham para estabelecer sua pilha de IA. A maioria das empresas está começando com um ou vários provedores de modelos de fronteira para estabelecer sua camada de modelo necessária em sua pilha. Para a camada de aplicação, elas confiam em ferramentas construídas internamente, capacidades totalmente compradas ou uma mistura de ambas.

A proibição da Anthropic foi um lembrete de que essa pilha pode ser interrompida da noite para o dia. As arquiteturas das empresas devem estar preparadas para quando isso acontecer novamente. Para estar preparado, as empresas devem considerar a velocidade de implantação, mas também construir soluções que mitigarão os efeitos das mudanças de modelo, bem como os custos crescentes dos tokens. Não é um caminho fácil, mas meu conselho seria:

• Invista em sua aplicação de forma estratégica e precoce. As empresas que perdem o trem sempre terão uma lacuna em comparação com os primeiros adotantes
• Torne a agnosticidade de modelo um princípio de design, e não uma solução
• O custo de mudar de modelo não deve ser uma questão existencial para suas operações
• Parcerie com empresas especializadas que possam benchmarkar modelos, validar o desempenho em várias configurações e ajudar a garantir garantias de desempenho de longo prazo.

As empresas que vencerão o jogo na próxima fase de IA empresarial não são necessariamente as que têm acesso aos melhores modelos, mas aquelas que construirão a camada certa em torno deles. As empresas que podem benchmarkar modelos, validar o desempenho em várias configurações e ajudar a garantir garantias de desempenho de longo prazo serão as vencedoras.