Chester Leung, Co-Fundador e Diretor de Plataforma de IA da OPAQUE – Série de Entrevistas

Chester Leung é Co-Fundador e Diretor de Arquitetura de Plataforma da OPAQUE, uma startup de Série A que está construindo a plataforma de dados confidenciais e IA que permite que as equipes estendam seus pipelines de dados empresariais com uma camada confidencial, permitindo insights mais rápidos com menos esforço e privacidade e controle verificáveis.

Anteriormente, Chester foi um estudante de graduação em ciência da computação na UC Berkeley, onde publicou artigos revisados por pares em conferências de ponta e também atuou como mantenedor principal do projeto de código aberto MC2 para análise colaborativa segura e aprendizado de máquina.

Você co-fundou a Opaque após seu tempo no RISELab da UC Berkeley, onde seu trabalho conectou IA e sistemas seguros. Qual foi a lacuna específica na infraestrutura de dados empresariais que você viu que levou à criação da OPAQUE, e como sua experiência acadêmica informou a direção da empresa?

Na época, havia um foco imenso, tanto na academia quanto na indústria, em aproveitar o aprendizado de máquina para casos de uso específicos. No laboratório, tivemos a oportunidade de trabalhar em estreita colaboração com patrocinadores empresariais que nos ajudaram a moldar nosso trabalho para resolver problemas mais prementes que eles enfrentavam em suas organizações. Nosso grupo, em particular, teve a oportunidade única de trabalhar em estreita colaboração com empresas de tecnologia e serviços financeiros, colaborando para resolver problemas difíceis de privacidade em torno do uso de dados sensíveis, mas valiosos, para o aprendizado de máquina. Como todas as áreas de IA, o aprendizado de máquina depende de grandes quantidades de dados de alta qualidade para produzir insights valiosos e robustos.

Encontramos o mesmo padrão repetidamente enquanto colaborávamos com equipes de empresas como Amazon, Scotiabank e Ant Group (então Ant Financial): seus projetos impulsionados por aprendizado de máquina pararam antes de alcançar a produção devido a preocupações em torno do uso de dados sensíveis, mas críticos, para esses casos de uso. Em outras palavras, essas equipes não puderam usar a IA em projetos que sabiam que poderiam gerar valor para a empresa, não por causa de um problema técnico com a IA, mas porque não puderam obter acesso aos dados certos.

Na Opaque, estamos resolvendo um problema idêntico. Estamos ajudando as equipes a obter acesso aos dados certos, permitindo que elas desbloqueiem ou vendam suas capacidades de IA. A única mudança desde nossos dias de pesquisa é a urgência do problema: agora estamos vendo consistentemente a adoção e integração da IA, que continua a ser um imperativo estratégico empresarial.

Em um cenário em que as empresas estão investindo pesadamente em modelos de raciocínio e IA agente, por que você acredita que pipelines de dados seguros são mais importantes do que nunca?

Pipelines de dados seguros são a espinha dorsal sobre a qual as empresas constroem modelos de raciocínio e IA agente. Tudo, desde o treinamento desses modelos de raciocínio até a implantação de IA agente, envolve dados sensíveis e depende de pipelines de dados seguros.

Por exemplo, agora estamos vendo um investimento crescente na geração de dados de alta qualidade para treinar esses modelos. Alguns relatórios previram que o investimento em computação para a geração de dados de alta qualidade logo será maior do que o investimento em treinamento de modelos. É claro que a geração de dados é um processo de múltiplos passos alimentado por pipelines que produzem o IP mais valioso de uma empresa: dados de alta qualidade e específicos de domínio que podem treinar modelos que geram um valor imenso a jusante. O investimento na geração desses dados é enorme, e os dados gerados, dado seu linhagem, distinguem efetivamente uma empresa de seus concorrentes, servindo como sua vantagem competitiva. Uma empresa deve fazer tudo o que puder para manter esse pipeline seguro.

A plataforma de computação confidencial da OPAQUE permite análise em dados criptografados. Quais são os principais desafios técnicos para tornar isso escalável e amigável para desenvolvedores em ambientes empresariais?

Nossa plataforma de IA confidencial não apenas permite análise, aprendizado de máquina e IA geradora em dados criptografados, mas também fornece prova verificável de que seus dados foram usados de maneira que apenas você espera e permite.

Os principais desafios, com escalabilidade, desenvolvimento e gerenciamento, residem em tornar a orquestração da carga de trabalho segura e verificável em escala. Em particular, muitas empresas hoje usam serviços de nuvem gerenciados quando precisam escalar. Isso pode ser tanto econômico quanto conveniente. No entanto, um subconjunto do software que alimenta os serviços de nuvem gerenciados é inerentemente gerenciado pelo provedor de nuvem. Portanto, o desafio se torna: como uma organização pode garantir e verificar o software que não está sob seu controle? Se a organização retomar o controle de todo o software, o que ela terá que abrir mão por não usar um serviço gerenciado, e o que ela perde ao fazer isso?

Você disse que uma arquitetura segura por design pode fornecer uma vantagem competitiva duradoura. Pode explicar como esse princípio se desenrola na prática para equipes de IA empresariais?

Há dois ângulos para olhar para isso: um ângulo de produto e um ângulo de engenharia.

Do ângulo do produto, todos entendem que seus dados são radioativos, sua vantagem competitiva ou ambos. As empresas estão se tornando cada vez mais maduras em sua avaliação da privacidade de dados, segurança e soberania das soluções. Consequentemente, qualquer equipe que construa qualquer produto que processe dados empresariais deve fornecer garantias de que os dados processados são apenas visíveis e usados por partes e entidades autorizadas. Uma arquitetura segura por design fornece confiança de que a privacidade de dados, segurança e soberania foram considerações de primeira classe no design do produto e permite que o produto forneça essas garantias explicitamente.

Do ângulo da engenharia, uma arquitetura segura por design é mais extensível e à prova de falhas. Equipes de risco, conformidade e jurídicas estão se tornando cada vez mais rigorosas em resposta a novos riscos e regulamentações. Portanto, as organizações de engenharia devem querer construir um sistema de IA empresarial seguro desde o início, para que não precisem reprojeto e/ou corrigir seu sistema quando perceberem que seu sistema existente é insuficientemente seguro e de risco. Ter que reprojeto e corrigir custa meses, se não anos, de banda de engenharia valiosa.

À medida que os sistemas de IA autônomos evoluem, como as organizações devem repensar o papel dos dados – além de um recurso – como uma vantagem competitiva defensável?

Há um consenso crescente na indústria de que os dados podem logo ser a única vantagem competitiva que uma organização tem. Estamos vendo pesquisa e talento de engenharia, e as tecnologias e produtos brilhantes que eles constroem, saltarem de organização para organização. Como resultado, numerosas organizações são capazes de oferecer os mesmos produtos, apoiados pelas mesmas tecnologias.

O que não pode ser facilmente transferido de organização para organização, no entanto, são os dados de uma organização – a menos que sejam vazados. Além disso, são exatamente esses dados que podem tornar um produto mais atraente do que seus concorrentes – mais personalizado, personalizado e específico de domínio. As organizações devem fazer tudo o que puderem para garantir seus dados, permitindo que elas usem seus dados como a vantagem competitiva.

O que é um pipeline de IA resiliente na prática, e como ele ajuda as empresas a evitar custos ou riscos ocultos à medida que escalonam suas implantações de IA?

Um pipeline de IA resiliente é aquele que é confiável, tolerante a falhas, mas, mais importante, verificavelmente seguro de ponta a ponta. Antes do processamento, as empresas devem verificar tanto os dados que estão entrando no pipeline quanto o próprio pipeline, para garantir que não há possibilidade de o pipeline mal usar os dados. Durante o processamento, o pipeline de IA deve ser à prova de violação, para garantir que ninguém possa roubar quaisquer dados que ele está processando ou distorcer as informações que fornece. Após o processamento, o pipeline de IA deve ser verificavelmente auditável, para que uma equipe possa observar e explicar a tomada de decisão e a trajetória do pipeline de IA, e para que uma equipe possa ver o que deu errado quando algo dá errado.

É imperativo considerar como um pipeline de IA inseguro ou defeituoso pode vazar os dados de uma organização ou seu modelo proprietário, e as implicações que isso tem sobre os fatores de diferenciação ou a reputação de uma empresa. O que é mais importante, no entanto, é que, à medida que as empresas escalonam a implantação da IA em casos de uso mais críticos e impactantes, o risco de um pipeline de IA inseguro e inexplicável cresce exponencialmente. Em um mundo onde as decisões de empréstimo e contratação já são aumentadas por IA, afetando tudo, desde as finanças pessoais às carreiras, um erro intencional ou não intencional em um pipeline de IA pode ter um efeito dramático na vida de um indivíduo.

Muitas empresas se concentram na precisão do modelo ou na latência. O que elas estão perdendo quando se trata de integridade de dados e risco operacional de longo prazo?

Enquanto muitas empresas estão se concentrando no modelo ou na tecnologia de IA, sempre acreditei que os dados são o gargalo fundamental para implantar IA que gera valor.

Ter um modelo que gera rapidamente uma resposta precisa sobre um tópico que o usuário final não se importa gera zero valor. Para construir um produto único e atraente, as empresas devem garantir que seus modelos, e os produtos que eles alimentam, sejam treinados com dados de alta qualidade e relevantes. Problemas de higiene de dados que resultam de uma falta de dados de entrada de alta qualidade podem não surgir até meses depois.

Em segundo lugar, descobrimos que as empresas geralmente não têm uma boa história para detectar deriva de dados, contaminação ou vazamento, colocando em risco a integridade do modelo. Isso está intimamente ligado ao meu primeiro ponto, e, embora seja mais uma solução reativa, torna as avaliações e a observabilidade ainda mais importantes.

A OPAQUE se integra a pilhas de nuvem existentes. O que você aprendeu sobre equilibrar a facilidade de adoção com garantias de segurança fortes em implantações empresariais?

Passamos quase uma década, começando desde nossos dias de pesquisa, resolvendo esse problema. A segurança comprovada dos sistemas de IA, especialmente em um ambiente empresarial, é um problema muito difícil. Requer expertise em sistemas, segurança, criptografia e IA. Como resultado, a maioria dos sistemas que encontramos não é fundamentalmente segura – porque a segurança é tão difícil de implementar.

Na Opaque, construímos um produto que é o melhor dos dois mundos – inerentemente e verificavelmente seguro desde o início, mas facilmente implantável por meio de marketplaces de nuvem e suficientemente flexível para se integrar a novos e existentes aplicativos de IA.

Quais tipos de ameaças ou vulnerabilidades estão surgindo em torno de pipelines de IA e compartilhamento de dados que os líderes empresariais podem não apreciar totalmente?

O que estamos vendo nessa corrida ao ouro da IA é uma urgência cega para implantar agentes de IA que interagem com vários sistemas de registro. Embora esses agentes possam fornecer valor, eles também representam riscos enormes porque tocam tantos sistemas com dados valiosos. Os agentes são inerentemente não determinísticos, e vimos inúmeras instâncias em que eles saem e fazem algo que não esperamos. Em um mundo onde seus dados são sua única vantagem competitiva, os líderes empresariais devem sempre questionar se podem confiar e depender de agentes de IA que têm acesso a todos os seus dados para não mal usá-los acidentalmente ou intencionalmente.

À medida que a regulação da IA assume forma globalmente, como você vê a interação entre infraestrutura de dados segura, responsabilidade do modelo e conformidade evoluindo nos próximos anos?

Infraestrutura de dados segura verificável permite a responsabilidade do modelo e do agente. Especificamente, sem prova verificável da tomada de decisão ou do uso de ferramentas do agente ou do modelo, não podemos ter certeza de nada, então não poderemos rastrear a responsabilidade. À medida que a IA se integra cada vez mais em nossas vidas diárias, queremos mais explicabilidade e observabilidade na IA. No entanto, quando a IA pode operar à velocidade da máquina, e nós não podemos, um IA mal-intencionado pode facilmente nos enganar construindo histórias falsas. Precisamos de verificabilidade para responsabilizar a IA.

Para mim, a conformidade regulatória é muito reativa. O desenvolvimento e a aprovação de regulamentações se movem muito mais lentamente do que a inovação tecnológica. Isso será cada vez mais verdadeiro à medida que a IA nos ajuda a aumentar nosso ritmo de inovação. Embora a conformidade eventualmente leve os retardatários a adotar infraestrutura de dados segura, os primeiros adotantes e a maioria reconhecem que é fundamental para a segurança da IA e adotarão muito antes que a conformidade torne isso obrigatório. Eles entendem que a responsabilidade do agente, habilitada pela infraestrutura de dados segura, é fundamental para a adoção de seus próprios produtos impulsionados por IA.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar OPAQUE.