Rowan Stewart, Diretor Sênior de Produto, Segurança de IA e Plataforma na Transcend – Série de Entrevistas

Rowan Stewart, Diretor Sênior de Produto, Segurança de IA e Plataforma na Transcend, lidera iniciativas de produto focadas em ajudar organizações a descobrir, governar e usar dados de forma segura em sistemas de inteligência artificial. Ela traz mais de uma década de experiência em desenvolvimento de produtos de IA e aprendizado de máquina, software empresarial, processamento de linguagem natural, estratégia de dados e liderança de produto de zero a um. Antes de se juntar à Transcend, Stewart passou quase seis anos no BCG X, onde ajudou grandes empresas a desenvolver estratégias de IA, reinventar processos internos e criar produtos projetados para entregar resultados de negócios mensuráveis. No início de sua carreira, ela gerenciou o desenvolvimento de APIs de processamento de linguagem natural para inteligência de influenciadores, incluindo análise de sentimento, grafos de conhecimento, avaliação de personalidade, detecção de bots e capacidades de segurança de marca.

Transcend é a única plataforma de decisão de dados autônoma que responde à pergunta “posso usar esses dados?” para escalar o crescimento do cliente. Empresas da Fortune 500 e líderes de categorias emergentes utilizam a Transcend para codificar permissões de uso de dados diretamente nos sistemas empresariais que processam dados de clientes, fornecendo uma fonte de verdade em tempo real para consentimento, preferências e regras de negócios. O resultado é uma qualidade de dados superior, uso ético que protege a marca e conformidade pronta para auditoria em escala. Com a Transcend, as empresas podem desbloquear receita de IA, personalização e outras iniciativas de dados de primeira parte com confiança. Fundada em 2017 por Ben Brook (CEO) e Mike Farrell (CTO), a Transcend tem sede na área da Baía de São Francisco.

Você passou quase seis anos no BCG X ajudando algumas das maiores organizações do mundo a implantar soluções de IA e aprendizado de máquina antes de se mudar para a segurança e governança de IA na Transcend. Quais foram os fracassos recorrentes de governança ou pontos cegos que você observou que o convenceram de que a governança de IA precisava ser construída nos sistemas desde o início, em vez de ser adicionada posteriormente?

No BCG, eu trabalhei com empresas em todos os estágios de maturidade de IA, e um padrão ficou comigo: a governança sempre apareceu tarde. As equipes se movem rapidamente para enviar um modelo ou um produto, e a conversa sobre permissões de dados, consentimento ou supervisão realmente entra em foco logo antes da produção e se sente como um ‘pegadinha’. Tudo o que é construído nesse ponto equivale a um patch em um sistema que nunca foi projetado com governança em mente.

Essa é parte do porquê eu estava tão animado para me juntar à Transcend. Aconselhar empresas sobre o que elas devem fazer só vai até certo ponto. Eu queria ajudar a construir a infraestrutura que torna a governança a escolha fácil.

Muitas organizações estão correndo para implantar agentes de IA em todo o suporte ao cliente, operações e trabalho de conhecimento. Como governar agentes de IA autônomos difere de governar sistemas de software tradicionais ou mesmo gerações anteriores de modelos de IA?

A maioria da arquitetura de segurança empresarial assume que há um ser humano no outro lado de cada ação, e que esse ser humano pode ser identificado, confiável e, quando algo dá errado, responsabilizado. Mas os agentes não são pessoas. Eles agem por conta própria, delegam tarefas a outros agentes e encadeiam decisões de maneira que raramente mapeia para uma pessoa responsável.

Dar a um agente as mesmas permissões estáticas que você daria a um funcionário cria uma discrepância porque os agentes carecem de senso comum. A governança precisa avaliar a ação específica que o agente está prestes a tomar, naquele momento, com aqueles dados específicos. A maioria das empresas ainda está executando o playbook de gerenciamento de identidade e acesso que construíram para humanos, e muitas delas descobrirão a lacuna assim que a implantação de agentes superar a governança construída para lidar com isso.

Você trabalhou em várias ondas de inovação de IA, desde produtos de NLP e plataformas de inteligência de influenciadores até iniciativas de transformação de IA empresarial. Como a conversa sobre segurança de IA evoluiu ao longo da última década, e o que ainda a preocupa mais?

Comparar o IA de hoje (e de amanhã!) com gerações anteriores é fascinante porque é um espaço que se move incrivelmente rápido. As evoluções mais importantes dos últimos anos ou dois têm sido, obviamente, a ascensão dos agentes e a importância do gerenciamento de memória de longo prazo (OpenClaw, alguém?). Esses agentes são capazes de fazer muito mais em qualidade muito maior, o que os torna ainda mais valiosos e, claro, ainda mais arriscados.

À medida que os sistemas de IA tomam decisões usando dados de clientes e empresas, quais são os maiores mal-entendidos que as empresas têm sobre consentimento, permissões e governança de dados em ambientes impulsionados por IA?

O mal-entendido mais comum é tratar o consentimento como algo que você captura uma vez e arquiva. Um cliente concorda com um conjunto de termos no momento do cadastro, e as empresas assumem que esse acordo é válido indefinidamente, independentemente de como os dados se movem posteriormente ou quais novos sistemas eles acabam alimentando. O consentimento precisa viajar com os dados. Se alguém atualiza suas preferências ou uma nova regulamentação muda o que é permitido, essa mudança precisa aparecer em todos os lugares onde os dados vivem, e não apenas no sistema onde o consentimento foi originalmente coletado.

O segundo mal-entendido é tratar as permissões como um detalhe técnico que a equipe de TI ou jurídica lida silenciosamente nos bastidores. Uma vez que os sistemas de IA começam a tomar decisões com base nesses dados, a permissão se torna uma questão de produto e negócios, e quaisquer lacunas nela são herdadas diretamente por qualquer iniciativa de IA que se sente sobre ela.

Muitas empresas ainda dependem de políticas estáticas e revisões de conformidade periódicas. Por que essas abordagens lutam em uma era em que os sistemas de IA podem aprender continuamente, adaptar-se e interagir com outros agentes?

Uma política estática captura o que um sistema parecia e o que era considerado aceitável no momento em que alguém o escreveu. A IA não fica parada por tempo suficiente para que essa fotografia permaneça precisa. O modelo para o qual a política foi escrita pode não ser o modelo que você está executando seis meses depois, e uma revisão de conformidade trimestral ou anual não pode acompanhar um sistema que está tomando decisões e se adaptando o tempo todo.

Governar algo que se move tão rápido requer uma política que se move na mesma velocidade. Isso significa impor governança no ponto em que os dados são realmente usados, em tempo real, em vez de verificar após o fato contra um documento que já estava desatualizado no dia em que foi publicado.

O que significa governança eficaz quando as organizações começam a implantar redes de agentes de IA que colaboram entre si e acessam vários sistemas internos?

Aqui é onde os limites do controle de acesso tradicional se tornam óbvios. Um agente pode ser autorizado a ler um registro, chamar uma ferramenta e passar resultados para outro agente, e cada uma dessas etapas pode parecer razoável por si só. A ação composta (a coisa que realmente aconteceu uma vez que você encadeia essas etapas) é frequentemente algo que nenhum ser humano explicitamente aprovou. O controle de acesso tradicional pode confirmar se um agente teve permissão para tocar um sistema, embora tenha pouco a dizer sobre se os dados que ele tocou foram coletados sob um consentimento que cobre esse uso particular, ou se a cadeia resultante de ações foi algo que uma pessoa realmente assinou.

A Transcend se concentra em incorporar permissões de uso de dados diretamente nos fluxos de trabalho empresariais. Quão importante é a infraestrutura de governança em tempo real à medida que as organizações passam da experimentação de IA para a implantação em escala de produção?

Durante os testes, uma equipe pode geralmente se dar bem com revisões manuais e auditorias periódicas, porque as apostas são baixas. Em produção, especialmente com IA agente, isso quebra porque a escala é simplesmente massiva. O sistema atual de listas de verificação e reuniões é um perder-perder. As equipes de conformidade e segurança basicamente recebem uma promessa com nenhum cumprimento contínuo, enquanto a equipe de produto agora está comprometida com revisões manuais tediosas que fornecem pouco valor real ao usuário final. É quando a infraestrutura em tempo real se torna a única abordagem que funciona. Impor permissões no momento em que os dados se movem ou uma decisão é tomada, em vez de reconstruir o que aconteceu após algo ter dado errado, é o que torna a governança significativa para a conformidade e valiosa para os usuários.

Na sua opinião, quais são os riscos mais significativos associados à IA agente nos próximos três a cinco anos, e quais desses riscos estão sendo subestimados atualmente pelos líderes empresariais?

Acho que o modelo de ter agentes herdar as permissões de um usuário é mais arriscado do que percebemos. Os humanos têm julgamento, mas uma IA seguirá suas instruções direto para o abismo.

Como as equipes de produto devem equilibrar a pressão para enviar recursos de IA rapidamente com a necessidade de estabelecer governança, transparência e estruturas de responsabilidade?

Acho que uma coisa concreta é a solução para o que eu chamo de “imposto de desleixo”.

Nós nos readaptamos rapidamente para descontar a validade e o valor da saída de IA. É por isso que todos aconselham a remover travessões (mesmo que sejam apropriados) e por que um site que usa a paleta de cores padrão do Claude parece barato (mesmo que pareça bom) e por que as informações servidas pela IA são tratadas como suspeitas (mesmo que sejam verdadeiras). Isso afeta muito o valor percebido do seu produto.

A solução para o imposto de desleixo na verdade é uma melhor governança e transparência. Por exemplo, recentemente lançamos um recurso chamado Uso de IA do Fornecedor, que puxa informações publicamente disponíveis sobre os recursos de IA e a postura de governança de empresas de ponta, para ajudar as equipes de habilitação de IA, segurança e compras a fazerem seu trabalho mais rápido. Descobrimos que usar um quadro de orquestração de multiagentes, junto com coletar e apresentar evidências com links de fonte e citações para suas descobertas, resultou em uma melhoria massiva na qualidade de nossos resultados. Essa prática de coleta de evidências e QA de agente é uma vitória-vitória porque os resultados reais para o usuário são melhores, e a conformidade é mais robusta.

Olhando para o futuro, você acredita que a governança de IA eventualmente se tornará uma vantagem competitiva em vez de apenas um requisito de conformidade, e o que separará as organizações que acertam daquelas que ficam para trás?

Eu acredito, e isso volta ao mesmo padrão que eu observei no BCG. As empresas que tratavam a governança como algo a adicionar uma vez que o produto já estava no mercado estavam sempre presas no último minuto antes de escalar, e tendiam a ficar presas no “Purgatório do Piloto”. As empresas que construíram a governança no sistema desde o início são capazes de se mover com uma confiança que o outro grupo não tem, porque elas não estão constantemente se perguntando o que elas encontrarão quando finalmente olharem de perto como sua IA está realmente usando os dados.

Essa lacuna só vai aumentar à medida que a implantação de agentes acelera. As organizações que correm mais rápido para implantar agentes sem repensar como esses agentes são permissionados são as que mais provavelmente encontrarão problemas, e quando elas o fizerem, as empresas que obtiveram a infraestrutura certa já estarão operando em uma velocidade que os retardatários não podem facilmente igualar. A governança deixa de ser um item de conformidade uma vez que é a coisa que permite implantar IA mais rápido e com mais confiança do que todos que ainda estão fazendo isso manualmente.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Transcend.