Steve Nemzer, Sr. Diretor, Crescimento e Inovação de IA, TELUS Digital – Série de Entrevistas

Steve Nemzer, Sr. Diretor, Crescimento e Inovação de IA, TELUS Digital, lidera iniciativas focadas em avançar os dados de treinamento de IA e infraestrutura para sistemas de inteligência artificial de próxima geração. Seu trabalho inclui desenvolver conjuntos de dados para modelos de pesquisa em profundidade, ambientes de aprendizado por reforço, dados de modelo de mundo, iniciativas de IA soberana e estruturas de mitigação de riscos de IA, com forte ênfase em práticas de IA responsáveis, como abordar viés de conjunto de dados e apoiar condições de trabalho justas para treinadores de IA. No início de sua carreira, Nemzer fundou a VeriTest Labs, ajudando líderes de tecnologia iniciais, incluindo Microsoft (MSFT ), Intel (INTC ), Oracle (ORCL ) e Sun Microsystems, a construir ecossistemas de software de terceiros prósperos antes de a empresa ser adquirida pela Lionbridge.

TELUS Digital é uma empresa global de serviços de tecnologia que ajuda as organizações a projetar, construir e operar plataformas digitais e soluções impulsionadas por IA. Operando em dezenas de países, a empresa fornece serviços como dados de treinamento de IA e anotação, engenharia de produtos digitais e gerenciamento de experiência do cliente. Suas plataformas e serviços apoiam empresas de várias indústrias, incluindo tecnologia, finanças, saúde, telecomunicações e jogos, à medida que modernizam suas operações e implantam capacidades de IA avançadas.

Dada sua formação em testes de IA, validação de dados e implantação responsável, como você vê a mudança da IA gerada por linguagem para modelos de mundo que visam raciocinar sobre situações e resultados do mundo real, particularmente em seu papel atual na TELUS Digital?

Os grandes modelos de linguagem (LLM) são fundamentalmente sistemas de previsão de padrões. Eles geram respostas prevendo o próximo token com base em padrões aprendidos a partir de grandes corpora estáticos. Embora isso possa parecer raciocínio, o modelo não está realmente modelando como as ações mudam o estado do mundo.

Os modelos de mundo adotam uma abordagem diferente. Em vez de prever a próxima palavra ou token, eles visam prever o próximo estado de um sistema modelando transições de estado. Isso permite que os sistemas simulem como os ambientes evoluem em resposta a ações. Na prática, isso abre a porta para o raciocínio hipotético, onde um modelo pode avaliar diferentes resultados possíveis antes de tomar uma decisão. Para sistemas interativos, isso pode apoiar uma tomada de decisão e planejamento mais confiáveis.

Essa mudança também altera a forma como pensamos sobre a implantação responsável. Com os sistemas de IA gerados tradicionais, grande parte do foco tem sido em questões como viés e alucinações. À medida que os modelos se movem em direção ao raciocínio sobre ambientes e ações, outros riscos se tornam mais proeminentes.

Por exemplo, as organizações precisam considerar a lacuna “sim-to-real”, onde os comportamentos aprendidos em ambientes simulados podem não se traduzir limpa e claramente em condições do mundo real. A mudança de distribuição também se torna uma preocupação-chave, pois os ambientes que os modelos encontram durante a implantação podem diferir dos dados nos quais foram treinados.

É aqui que os testes e a validação se tornam críticos, o que é um grande foco em meu papel na TELUS Digital. À medida que os sistemas de IA se movem além da geração de linguagem para sistemas que interagem com ambientes e tomam decisões, as organizações precisam de estruturas de avaliação rigorosas para garantir que os modelos se comportem de forma confiável em condições do mundo real.

Muitas pessoas estão familiarizadas com grandes modelos de linguagem, mas poucas entendem os modelos de mundo. Em termos simples, qual é o problema que os modelos de mundo estão tentando resolver que os LLMs fundamentalmente lutam para resolver?

Um modelo de mundo é um sistema que pode prever “o que acontece em seguida” dado um estado atual e uma ação. A fórmula é: Estado + Ação → Próximo Estado

Se eu estou segurando uma maçã e a deixo cair, um modelo de mundo prevê que a maçã cairá. Ele não sabe apenas como as maçãs “parecem” ou o que as pessoas “dizem sobre” soltar maçãs – ele prevê a consequência com base em uma compreensão da física. Um modelo de mundo sofisticado prevê o que aconteceria se eu fizesse a mesma coisa enquanto estou na Estação Espacial Internacional em vez de estar na superfície da Terra.

Isso é diferente de um LLM. Um LLM prevê: “Dado essa sequência de tokens, qual é o token que vem a seguir?” Ele é treinado em texto – o que os humanos escreveram sobre o mundo, não o mundo em si. Ele pode dizer que as maçãs caem porque leu sobre isso. Mas ele não tem um motor de física interno que simula a queda.

De outra forma, os LLMs são bons em prever estatisticamente a próxima palavra em uma resposta a uma pergunta, mas entender o mundo real vai além da descrição e coesão da linguagem. Os modelos de mundo visam entender como as situações evoluem passo a passo, qual é o próximo estado dado o estado atual e a ação que está prestes a acontecer, quais são as restrições.

Os modelos de mundo são frequentemente descritos como permitindo que os sistemas de IA simulem resultados antes de tomar ações. Como isso funciona na prática e quão perto estamos de ver isso funcionar de forma confiável fora de ambientes de pesquisa?

Um desafio ao responder a essa pergunta é que o termo “modelo de mundo” é usado de forma bastante solta, e o significado tende a mudar dependendo do contexto. Uma definição simples de modelo de mundo é que eles permitem que um agente simule seu estado atual e ambiente e preveja estados futuros, e raciocine sobre consequências downstream. Os pesquisadores tendem a categorizar os modelos de mundo de forma um pouco mais granular, com base em seus métodos de representação e processamento. Existem modelos de mundo latentes, que destilam a “essência” de um ambiente em um espaço compacto e focado. Existem modelos de mundo gerativos que “entendem” a física para criar representações visuais quadro a quadro, e existem modelos de Arquitetura de Previsão Conjunta (JEPA) que preveem resultados a partir de ações passadas.

Os modelos de mundo latentes já estão fora do laboratório e estão ajudando em aplicações como direção autônoma, operações de armazém, operações industriais e agricultura. Os modelos de mundo gerativos estão aparecendo na criação de dados sintéticos para desenvolvimento de motores de jogo, para casos de uso de veículos autônomos, casos de uso de IA incorporada para simulação de movimentos humanos em vídeo e para criar renderizações arquitetônicas,

A abordagem JEPA, favorecida por luminares da indústria como Yan LeCun, prevê resultados em um espaço de representação abstrato em vez de gerar pixels. Os robôs têm sido em grande parte confinados a ambientes controlados, mas a JEPA está mudando isso, permitindo que os robôs se movam em direção a configurações do mundo real e abertas. Os veículos autônomos são um bom exemplo – alguns estão usando o Genie 3 para gerar simulações interativas e hiper-realistas para treinamento e para lidar melhor com eventos raros, como zonas de construção.

Obviamente, ainda há muito mais testes de segurança e confiabilidade necessários para escalar esses modelos para fora de ambientes isolados e para o mundo real.

Do ponto de vista da empresa, onde você espera que os modelos de mundo forneçam valor significativo primeiro, seja em robótica, sistemas de decisão autônoma, gêmeos digitais ou configurações de negócios mais abstratas?

Minha sensação é que os gêmeos digitais provavelmente fornecerão valor prático primeiro. Replicando o estado de um sistema do mundo real para que possamos testar cenários antes de agir. Por exemplo, em um sistema de cadeia de suprimentos, um fabricante pode construir um gêmeo de sua rede de parceiros de componentes. A simulação pode ser alimentada por dados de sensores, logs, dados de telemetria e pode responder a perguntas como “O que aconteceria se o Estreito de Ormuz fosse fechado?” Então, podemos testar a reorientação de remessas antes de realmente alterar a logística real. Isso nos ajuda a mudar de monitorar um sistema ao vivo para simular um sistema ao vivo.

O valor significativo dos modelos de mundo para robótica está se movendo em paralelo. Ter robôs que entendam propriedades fundamentais da física, como atrito em uma superfície ao pegar um objeto, dará um grande impulso à implantação de IA incorporada.

Muito de sua carreira se concentrou na coleta de conjuntos de dados, anotação e validação. Como os desafios de dados mudam quando se passa do treinamento de texto estático para ensinar sistemas sobre como o mundo se comporta ao longo do tempo?

A situação de coleta de dados para habilitar os modelos de mundo requer uma grande mudança em relação aos métodos de treinamento de LLM de ontem. Primeiramente, não temos um grande corpus de dados de pré-treinamento disponível, petabytes do Common Crawl e bilhões de páginas da web. Alguns pesquisadores de robótica especularam que temos apenas 1/1000 do volume de dados necessário para treinar a inteligência física e os modelos de mundo, para chegar a um ponto de desempenho equivalente ao do GPT2.

Então, vai levar algum tempo para construir esses conjuntos de dados. No caso da IA incorporada, precisaremos de milhões de horas de conjuntos de dados de múltiplos sensores egocêntricos anotados. Alguns teleoperados, alguns de ambientes sintéticos como o Isaac Sim. Na TELUS Digital, fizemos a mudança do texto para conjuntos de dados multimodais e multissensores e conjuntos de dados de simulação. Claro que somos ajudados por nossa forte formação em coleta de dados e anotação em visão computacional. Temos sido pioneiros nessa área há muitos anos.

Além da escassez de dados de pré-treinamento e dados de ajuste fino anotados, haverá muitos outros desafios de treinamento ao escalar os modelos de mundo. Pode haver novos paradigmas transformadores (sem trocadilho) como conceitos de GPT e RL necessários para acelerar avanços de eficiência nos métodos de treinamento de modelos de mundo.

Os modelos de mundo influenciam as decisões, em vez de apenas gerar saídas. Quais novos riscos de segurança ou governança isso introduz em comparação com os sistemas de IA gerados?

Há muitos riscos de segurança e governança, pois os modelos de mundo são inherentemente destinados a apoiar operações de agente. Então, todas as preocupações que temos com a geração atual de agentes de IA ainda se aplicam ao cenário do modelo de mundo. Precisamos de supervisão humana para todas as tomadas de decisão importantes, seja relacionada à segurança de transporte, segurança ocupacional, saúde, finanças e atividades diárias.

Um exemplo específico dos modelos de mundo é a lacuna entre os dados de treinamento de simulação e os ambientes do mundo real. Uma variação superficial microscópica pode tornar o mundo real confuso para robôs que são bem treinados em simulação.

Outro risco está relacionado ao comportamento humano. À medida que os sistemas se tornam mais e mais autônomos, os humanos começarão a confiar neles pesadamente, e a supervisão pode se tornar laxa, e eventualmente o sistema não receberá as recalibrações necessárias.

O viés e a confiança permanecem como grandes barreiras para a adoção da IA. Como essas preocupações evoluem quando os sistemas de IA começam a modelar e agir em ambientes ou contextos sociais complexos do mundo real?

Desde o público em geral até a alta direção, a confiança nos modelos de IA já é bastante baixa e não vejo isso mudando muito no curto prazo.

Preocupações sobre o poder da IA sendo concentrado em poucas mãos, sobre a IA tirar empregos, o viés na IA colocando grupos sub-representados em desvantagem, modelos tomando decisões que afetam a saúde, carreira e finanças de alguém, modelos usando IP sem consentimento, bem como preocupações sobre IA deepfakes, já são muito altas. Os executivos se preocupam com a gestão de transições de força de trabalho, privacidade de dados e conformidade regulatória, e perder terreno para concorrentes em uma “corrida armamentista” de IA.

Desenvolvimentos recentes nas notícias sobre pressão do governo sobre os construtores de modelos de IA fundamentais para relaxar os termos de uso relacionados a coisas como armas autônomas ou vigilância em massa estão apenas ampliando essas preocupações. A implantação mais ampla de robôs baseados em modelos de mundo mais inteligentes e autônomos fará o mesmo.

Por outro lado, estamos vendo bolsões de adoção e confiança generalizada em IA. Um exemplo é a forma como os agentes de codificação decolaram nos últimos meses. Os gerentes de desenvolvimento de software têm alta confiança nos agentes de codificação, e há uma mudança fundamental na forma como o desenvolvimento de software está sendo feito, desde o desenvolvimento do PRD até o teste de regressão pós-lançamento. O mundo do desenvolvimento de software está evoluindo a uma velocidade vertiginosa, e muito disso se deve à confiança em agentes de codificação de alto desempenho. À medida que a confiança do usuário cresce em outros casos de uso, espero que a adoção decole de forma semelhante.

Soluções para construir confiança incluem conjuntos de dados e ambientes diversificados nas fases de treinamento, e testes de estresse e “red teaming” extensivos como uma barreira de segurança antes da implantação. A supervisão regulatória proativa é uma necessidade. Alguns sugeriram que os construtores de modelos de IA fundamentais devem ser obrigados a fornecer “Relatórios de Impacto Societal”, semelhantes a Relatórios de Impacto Ambiental (EIRs), antes de novos modelos serem lançados.

Na TELUS Digital, grande parte do trabalho envolve implantar IA em escala para empresas e usuários reais. Como ideias como modelos de mundo se intersectam com preocupações práticas, como transparência, impacto na força de trabalho e manutenção da confiança do cliente?

Para esclarecer, a TELUS Digital trabalha tanto upstream diretamente com os construtores de modelos de IA fundamentais quanto downstream com empresas que implantam modelos de IA. Nosso campo de atuação é de ponta a ponta:

A pergunta sobre preocupações práticas está relacionada à pergunta anterior sobre confiança. Vamos dar uma olhada na confiança da força de trabalho. À medida que os modelos de IA habilitados por modelos de mundo se tornam mais generalizados, os executivos precisam ser transparentes com seus funcionários, contratados e clientes. Comunicações claras são necessárias sobre o que os modelos são capazes de fazer, como foram treinados, quais dados foram usados para treiná-los, quais barreiras de segurança foram colocadas e onde a supervisão humana entra em jogo. Os líderes empresariais precisam mostrar ao atual quadro de funcionários o valor dos novos modelos, por exemplo, fazendo todo o trabalho rotineiro em um emprego. Eles precisam mostrar caminhos de transição para os trabalhadores afetados que podem estar se mudando para novos empregos emergentes à medida que os anteriores são cada vez mais feitos por modelos de IA habilitados por modelos de mundo. Os trabalhadores de colarinho branco estão lidando com isso em tempo real, e muitos empregos manuais serão afetados nos próximos anos à medida que a automação habilitada por modelos de mundo se expande.

Há uma lacuna crescente entre o que os pesquisadores de IA entendem e o que o público percebe. Como as organizações podem comunicar avanços como os modelos de mundo de uma forma que construa confiança sem superestimar suas capacidades?

Novamente, isso se resume à transparência sobre as limitações dos modelos e sobre o que os modelos são capazes de fazer. Comunicar como os modelos foram treinados para mitigar possíveis vieses. Quais barreiras de segurança humanas estão em vigor. Alguns exemplos do mundo real das capacidades e casos de uso do modelo, combinados com estudos longitudinais, podem ir longe para aumentar a confiança do público em geral e da força de trabalho.

Finalmente, qual é um conceito errado comum sobre os modelos de mundo de IA, seja excessivamente otimista ou excessivamente cauteloso, que você acredita precisar ser corrigido agora?

Na medida em que o público em geral está informado sobre os modelos de mundo, um conceito errado é que os modelos de mundo precisam entender toda a física e a ciência para serem eficazes. Os modelos de mundo serão implantados mais cedo do que se pode esperar porque os casos de uso individuais podem ser estreitados. Um veículo autônomo precisa entender apenas a dinâmica do tráfego e a física relacionada à estrada, e como as condições atuais (por exemplo, estar perto de uma escola primária ou uma prevalência de SUVs próximos com silhuetas altas) afetarão sua visão e tomada de decisão. Um veículo autônomo não precisa da física que sustenta como fazer um suflê para funcionar.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar TELUS Digital.