Dr. Peter Garraghan, CEO, CTO e Co-Fundador da Mindgard – Série de Entrevistas

Dr. Peter Garraghan é CEO, CTO e co-fundador da Mindgard, líder em Testes de Segurança de Inteligência Artificial. Fundada na Universidade de Lancaster e apoiada por pesquisas de ponta, a Mindgard permite que as organizações protejam seus sistemas de IA contra novas ameaças que as ferramentas de segurança de aplicativos tradicionais não podem abordar. Como professor de Ciência da Computação na Universidade de Lancaster, Peter é um especialista internacionalmente reconhecido em segurança de IA. Ele dedicou sua carreira a desenvolver tecnologias avançadas para combater as ameaças crescentes que enfrentam a IA. Com mais de 11,6 milhões de euros em financiamento de pesquisa e mais de 60 artigos científicos publicados, suas contribuições abrangem tanto a inovação científica quanto as soluções práticas.

Pode compartilhar a história por trás da fundação da Mindgard? O que o inspirou a mudar da academia para lançar uma startup de cibersegurança?

A Mindgard nasceu de um desejo de transformar insights acadêmicos em impacto real. Como professor especializado em sistemas de computação, segurança de IA e aprendizado de máquina, fui impulsionado a buscar ciência que gere um grande impacto na vida das pessoas. Desde 2014, tenho pesquisado IA e aprendizado de máquina, reconhecendo seu potencial para transformar a sociedade – e os imensos riscos que eles representam, desde ataques de estados-nação até interferência eleitoral. As ferramentas existentes não foram projetadas para abordar esses desafios, então liderei uma equipe de cientistas e engenheiros para desenvolver abordagens inovadoras em segurança de IA. A Mindgard surgiu como uma empresa de pesquisa focada em construir soluções tangíveis para proteger contra ameaças de IA, combinando pesquisas de ponta com um compromisso com a aplicação industrial.

Quais desafios você enfrentou ao criar uma empresa a partir de uma universidade, e como você os superou?

Oficialmente fundamos a Mindgard em maio de 2022, e embora a Universidade de Lancaster tenha oferecido um grande apoio, criar uma spin-off universitária requer mais do que apenas habilidades de pesquisa. Isso significava levantar capital, refinar a proposta de valor e preparar a tecnologia para demonstrações – tudo isso enquanto equilibrava meu papel como professor. Os acadêmicos são treinados para serem pesquisadores e buscar ciência nova. As spin-offs têm sucesso não apenas com tecnologia inovadora, mas com como essa tecnologia atende às necessidades de negócios imediatas ou futuras e entrega valor que atrai e retém usuários e clientes.

O produto principal da Mindgard é o resultado de anos de P&D. Pode falar sobre como as etapas iniciais de pesquisa evoluíram para uma solução comercial?

A jornada da pesquisa para uma solução comercial foi um processo deliberado e iterativo. Começou há mais de uma década, com minha equipe na Universidade de Lancaster explorando desafios fundamentais na segurança de IA e aprendizado de máquina. Identificamos vulnerabilidades em sistemas de IA instanciados que as ferramentas de segurança tradicionais, tanto de varredura de código quanto de firewalls, não estavam equipadas para abordar.

Com o tempo, nosso foco mudou da exploração de pesquisa para a construção de protótipos e testá-los em cenários de produção. Em colaboração com parceiros da indústria, refinamos nossa abordagem, garantindo que ela atendesse às necessidades práticas. Com muitos produtos de IA sendo lançados sem testes de segurança adequados ou garantias – um problema enfatizado por uma descoberta da Gartner de que 29% das empresas que implantam sistemas de IA relataram violações de segurança, e apenas 10% dos auditores internos têm visibilidade sobre o risco de IA – senti que o momento era certo para comercializar a solução.

Quais são alguns dos principais marcos na jornada da Mindgard desde sua criação em 2022?

Em setembro de 2023, garantimos £3 milhões em financiamento, liderados pela IQ Capital e Lakestar, para acelerar o desenvolvimento da solução da Mindgard. Conseguimos estabelecer uma grande equipe de líderes que são ex-funcionários da Snyk, Veracode e Twilio para impulsionar nossa empresa para a próxima etapa de sua jornada. Estamos orgulhosos de nosso reconhecimento como a SME de Cibersegurança Mais Inovadora do Reino Unido na Infosecurity Europe deste ano. Hoje, temos 15 funcionários em tempo integral, 10 pesquisadores de doutorado (e mais que estão sendo ativamente recrutados) e estamos ativamente recrutando analistas e engenheiros de segurança para se juntarem à equipe. Olhando para o futuro, planejamos expandir nossa presença nos EUA, com uma nova rodada de financiamento de investidores de Boston fornecendo uma base sólida para esse crescimento.

À medida que as empresas adotam cada vez mais a IA, quais são as principais ameaças de cibersegurança que elas enfrentam hoje?

Muitas organizações subestimam os riscos de cibersegurança relacionados à IA. É extremamente difícil para não especialistas entenderem como a IA realmente funciona, muito menos quais são as implicações de segurança para seus negócios. Passo um tempo considerável desmistificando a segurança de IA, mesmo com tecnólogos experientes que são especialistas em segurança de infraestrutura e proteção de dados. No final do dia, a IA é basicamente software e dados executados em hardware. Mas ela introduz vulnerabilidades únicas que diferem dos sistemas tradicionais e as ameaças do comportamento de IA são muito maiores e mais difíceis de testar em comparação com outros softwares.

Você descobriu vulnerabilidades em sistemas como os filtros de conteúdo de IA da Microsoft (MSFT ). Como essas descobertas influenciam o desenvolvimento de sua plataforma?

As vulnerabilidades que descobrimos nos filtros de conteúdo de IA da Microsoft foram menos sobre moldar o desenvolvimento de nossa plataforma e mais sobre demonstrar suas capacidades.

O Azure AI Content Safety é um serviço projetado para proteger aplicativos de IA moderando conteúdo prejudicial em texto, imagens e vídeos. As vulnerabilidades que nossa equipe descobriu afetaram a moderação de texto de IA (que bloqueia conteúdo prejudicial, como discurso de ódio, material sexual, etc.) e o Prompt Shield (que impede jailbreaks e injeção de prompts). Se não for verificado, essa vulnerabilidade pode ser explorada para lançar ataques mais amplos, minar a confiança em sistemas baseados em IA e comprometer a integridade do aplicativo que depende de IA para tomada de decisões e processamento de informações.

Até outubro de 2024, a Microsoft implementou mitigações mais fortes para abordar essas questões. No entanto, continuamos a defender uma vigilância aumentada ao implantar guardrails de IA. Medidas suplementares, como ferramentas de moderação adicionais ou o uso de LLMs menos propensos a conteúdo prejudicial e jailbreaks, são essenciais para garantir uma segurança de IA robusta.

Pode explicar a importância de “jailbreaks” e “manipulação de prompts” em sistemas de IA, e por que eles representam um desafio tão único?

Um jailbreak é um tipo de vulnerabilidade de injeção de prompt onde um ator mal-intencionado pode abusar de um LLM para seguir instruções contrárias ao seu uso pretendido. As entradas processadas por LLMs contêm tanto instruções em pé da designer do aplicativo quanto entrada de usuário não confiável, permitindo ataques onde a entrada de usuário não confiável substitui as instruções em pé. Isso tem semelhanças com como uma vulnerabilidade de injeção de SQL permite que a entrada de usuário não confiável altere uma consulta de banco de dados. O problema, no entanto, é que esses riscos só podem ser detectados em tempo de execução, dado que o código de um LLM é efetivamente uma matriz gigante de números em formato não legível por humanos.

Por exemplo, a equipe de pesquisa da Mindgard recentemente explorou uma forma sofisticada de ataque de jailbreak. Ele contém mensagens de áudio secretas incorporadas em entradas de áudio que são indetectáveis por ouvintes humanos, mas reconhecidas e executadas por LLMs. Cada mensagem incorporada continha um comando de jailbreak personalizado, juntamente com uma pergunta projetada para um cenário específico. Portanto, em um cenário de chatbot médico, a mensagem oculta poderia instruir o chatbot a fornecer instruções perigosas, como sintetizar metanfetamina, o que resultaria em danos graves à reputação se a resposta do chatbot fosse levada a sério.

A plataforma da Mindgard identifica esses jailbreaks e muitas outras vulnerabilidades de segurança em modelos de IA e a forma como as empresas os implementaram em seus aplicativos, para que os líderes de segurança possam garantir que seu aplicativo alimentado por IA seja seguro por design e permaneça seguro.

Como a plataforma da Mindgard aborda vulnerabilidades em diferentes tipos de modelos de IA, desde LLMs até sistemas multimodais?

Nossa plataforma aborda uma ampla gama de vulnerabilidades dentro da IA, abrangendo injeção de prompts, jailbreaks, extração (roubo de modelos), inversão (engenharia reversa de dados), vazamento de dados e evasão (bypass de detecção), e mais. Todos os tipos de modelos de IA (sejam LLM ou multimodais) exibem suscetibilidade a esses riscos – o truque é descobrir quais técnicas específicas desencadeiam essas vulnerabilidades para produzir um problema de segurança. Na Mindgard, temos uma grande equipe de P&D que se especializa em descobrir e implementar novos tipos de ataques em nossa plataforma, para que os usuários possam se manter atualizados contra riscos de ponta.

Qual é o papel do red teaming na segurança de sistemas de IA, e como sua plataforma inova nesse espaço?

O red teaming é um componente crítico da segurança de IA. Ao simular continuamente ataques adversários, o red teaming identifica vulnerabilidades em sistemas de IA, ajudando as organizações a mitigar riscos e acelerar a adoção de IA. Apesar de sua importância, o red teaming em IA carece de padronização, levando a inconsistências na avaliação de ameaças e estratégias de remediação. Isso torna difícil comparar objetivamente a segurança de diferentes sistemas ou rastrear ameaças de forma eficaz.

Para abordar isso, introduzimos o MITRE ATLAS Adviser, um recurso projetado para padronizar a relatórios de red teaming de IA e agilizar práticas sistemáticas de red teaming. Isso permite que as empresas gerenciem melhor os riscos atuais enquanto se preparam para ameaças futuras à medida que as capacidades de IA evoluem. Com uma biblioteca abrangente de ataques avançados desenvolvidos por nossa equipe de P&D, a Mindgard suporta red teaming de IA multimodal, cobrindo modelos tradicionais e GenAI. Nossa plataforma aborda riscos-chave para privacidade, integridade, abuso e disponibilidade, garantindo que as empresas estejam equipadas para proteger seus sistemas de IA de forma eficaz.

Como você vê seu produto se encaixando na pipeline de MLOps para empresas que implantam IA em escala?

A Mindgard é projetada para se integrar suavemente à automação de CI/CD existente e a todas as etapas do SDLC, exigindo apenas um endpoint de inferência ou API para integração de modelo. Nossa solução hoje executa Testes de Segurança de Aplicativos Dinâmicos de IA (DAST-AI). Ela capacita nossos clientes a realizar testes de segurança contínuos em todos os seus modelos de IA ao longo de todo o ciclo de vida de construção e compra. Para as empresas, é utilizada por múltiplos perfis. As equipes de segurança usam para obter visibilidade e responder rapidamente a riscos de desenvolvedores que constroem e usam IA, para testar e avaliar guardrails de IA e soluções de WAF, e para avaliar riscos entre modelos de IA personalizados e modelos de baseline. Os pentesters e analistas de segurança usam a Mindgard para dimensionar seus esforços de red teaming de IA, enquanto os desenvolvedores se beneficiam de testes contínuos integrados de seus deploys de IA.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Mindgard.