Nick Kathmann, CISO/CIO na LogicGate – Série de Entrevistas

Nicholas Kathmann é o Chief Information Security Officer (CISO) na LogicGate, onde lidera o programa de segurança de informações da empresa, supervisiona inovações de segurança de plataforma e interage com clientes sobre gerenciamento de riscos cibernéticos. Com mais de duas décadas de experiência em TI e 18+ anos em segurança cibernética, Kathmann construiu e liderou operações de segurança em pequenas empresas e empresas do Fortune 100.

LogicGate é uma plataforma de risco e conformidade que ajuda as organizações a automatizar e dimensionar seus programas de governança, risco e conformidade (GRC). Por meio de seu produto principal, Risk Cloud®, a LogicGate permite que as equipes identifiquem, avaliem e gerenciem riscos em toda a empresa com fluxos de trabalho personalizáveis, insights em tempo real e integrações. A plataforma suporta uma ampla gama de casos de uso, incluindo risco de terceiros, conformidade de segurança cibernética e gerenciamento de auditoria interna, ajudando as empresas a construir estratégias de risco mais ágeis e resilientes.

Você atua como CISO e CIO na LogicGate — como você vê a IA transformando as responsabilidades desses papéis nos próximos 2-3 anos?

A IA já está transformando ambos os papéis, mas nos próximos 2-3 anos, acredito que veremos um aumento significativo na IA Agente que tem o poder de reimaginar como lidamos com processos de negócios no dia a dia. Qualquer coisa que normalmente iria para a mesa de ajuda do IT — como redefinir senhas, instalar aplicativos e mais — pode ser tratada por um agente de IA. Outro caso de uso crítico será o uso de agentes de IA para lidar com avaliações de auditoria tediosas, permitindo que CISOs e CIOs priorizem solicitações mais estratégicas.

Com demissões cibernéticas federais e tendências de desregulação, como as empresas devem abordar a implantação de IA enquanto mantêm uma postura de segurança forte?

Enquanto estamos vendo uma tendência de desregulação nos EUA, as regulamentações estão realmente se fortalecendo na UE. Portanto, se você é uma empresa multinacional, antecipe ter que cumprir com os requisitos regulamentares globais sobre o uso responsável de IA. Para as empresas que operam apenas nos EUA, acredito que haverá um período de aprendizado em termos de adoção de IA. Acho que é importante para essas empresas formar políticas de governança de IA fortes e manter algum controle humano no processo de implantação, garantindo que nada saia do controle.

Quais são os principais pontos cegos que você vê hoje quando se trata de integrar a IA em estruturas de segurança cibernética existentes?

Embora haja alguns pontos que posso pensar, o ponto cego mais impactante seria onde seus dados estão localizados e onde eles estão sendo transmitidos. A introdução da IA só vai tornar a supervisão nessa área mais desafiadora. Fornecedores estão habilitando recursos de IA em seus produtos, mas esses dados não sempre vão diretamente para o modelo/vendedor de IA. Isso torna as ferramentas de segurança tradicionais, como DLP e monitoramento da web, efetivamente cegas.

Você disse que a maioria das estratégias de governança de IA são “tigres de papel”. Quais são os ingredientes principais de uma estrutura de governança que realmente funciona?

Quando digo “tigres de papel”, estou me referindo especificamente a estratégias de governança onde apenas uma pequena equipe conhece os processos e padrões, e eles não são aplicados ou mesmo entendidos em toda a organização. A IA é muito pervasiva, significando que afeta todos os grupos e equipes. Estratégias “tamanho único” não vão funcionar. Os ingredientes principais de uma estrutura de governança forte variam, mas IAPP, OWASP, NIST e outros órgãos consultivos têm estruturas de governança bastante boas para determinar o que avaliar. A parte mais difícil é descobrir quando os requisitos se aplicam a cada caso de uso.

Como as empresas podem evitar o desvio do modelo de IA e garantir o uso responsável ao longo do tempo sem superengenharia de suas políticas?

O desvio e a degradação são apenas parte do uso da tecnologia, mas a IA pode acelerar significativamente o processo. Mas se o desvio se tornar muito grande, medidas corretivas serão necessárias. Uma estratégia de teste abrangente que procure e meça a precisão, o viés e outras bandeiras vermelhas é necessária ao longo do tempo. Se as empresas quiserem evitar o viés e o desvio, elas precisam começar garantindo que tenham as ferramentas necessárias para identificar e medir.

Qual é o papel que os registros de alterações, atualizações de política limitadas e laços de feedback em tempo real devem desempenhar na manutenção de uma governança de IA ágil?

Embora eles desempenhem um papel agora para reduzir o risco e a responsabilidade para o provedor, os laços de feedback em tempo real dificultam a capacidade dos clientes e usuários de realizar a governança de IA, especialmente se as alterações nos mecanismos de comunicação acontecerem com muita frequência.

Quais são as preocupações que você tem em torno do viés e da discriminação da IA em underwriting ou pontuação de crédito, particularmente com os serviços “Compre Agora, Pague Depois” (BNPL)?

No ano passado, conversei com um pesquisador de IA/ML em um grande banco multinacional que havia estado experimentando IA/LLMs em seus modelos de risco. Os modelos, mesmo quando treinados em conjuntos de dados grandes e precisos, tomariam decisões realmente surpreendentes e não apoiadas para aprovar ou negar underwriting. Por exemplo, se as palavras “ótimos créditos” fossem mencionadas em uma transcrição de bate-papo ou comunicação com clientes, os modelos negariam o empréstimo por padrão — independentemente de o cliente ter dito ou o funcionário do banco ter dito. Se a IA for confiável, os bancos precisam de melhor supervisão e prestação de contas, e essas “surpresas” precisam ser minimizadas.

Qual é a sua opinião sobre como devemos auditar ou avaliar algoritmos que tomam decisões de alto risco — e quem deve ser responsabilizado?

Isso volta ao modelo de teste abrangente, onde é necessário testar e benchmarkar o algoritmo/modelo em tempo real o mais próximo possível. Isso pode ser difícil, pois a saída do modelo pode ter resultados desejáveis que precisarão de humanos para identificar outliers. Como exemplo bancário, um modelo que nega todos os empréstimos terá uma classificação de risco excelente, pois nenhum empréstimo que ele underwrite jamais irá em falência. Nesse caso, a organização que implementa o modelo/algoritmo deve ser responsabilizada pelo resultado do modelo, assim como seria se os humanos estivessem tomando a decisão.

Com mais empresas exigindo seguro cibernético, como as ferramentas de IA estão redesenhando tanto o cenário de risco quanto a própria subscrição do seguro?

As ferramentas de IA são ótimas para disseminar grandes quantidades de dados e encontrar padrões ou tendências. No lado do cliente, essas ferramentas serão instrumentais para entender o risco real da organização e gerenciar esse risco. No lado do subscritor, essas ferramentas serão úteis para encontrar inconsistências e organizações que estão se tornando imaturas com o tempo.

Como as empresas podem usar a IA para reduzir proativamente o risco cibernético e negociar melhores termos no mercado de seguros de hoje?

Hoje, a melhor maneira de usar a IA para reduzir o risco e negociar melhores termos de seguro é filtrar o ruído e as distrações, ajudando a se concentrar nos riscos mais importantes. Se você reduzir esses riscos de forma abrangente, suas taxas de seguro cibernético devem diminuir. É fácil se sentir sobrecarregado com o volume de riscos. Não se deixe abater tentando abordar todos os problemas quando se concentrar nos mais críticos pode ter um impacto muito maior.

Quais são as etapas táticas que você recomenda para as empresas que desejam implementar a IA de forma responsável — mas não sabem por onde começar?

Primeiro, você precisa entender quais são seus casos de uso e documentar os resultados desejados. Todos querem implementar a IA, mas é importante pensar nos objetivos primeiro e trabalhar de trás para frente a partir daí — algo que acho que muitas organizações têm dificuldade em fazer hoje. Uma vez que você tenha uma boa compreensão dos seus casos de uso, você pode pesquisar os diferentes quadros de IA e entender quais controles aplicáveis importam para os seus casos de uso e implementação. Uma governança de IA forte também é crítica para os negócios, para mitigação de riscos e eficiência, pois a automação é tão útil quanto a entrada de dados. As organizações que usam a IA devem fazê-lo de forma responsável, pois parceiros e prospects estão fazendo perguntas difíceis sobre a propagação e uso de IA. Não saber a resposta pode significar perder negócios, afetando diretamente a linha de fundos.

Se você tivesse que prever o maior risco de segurança relacionado à IA nos próximos cinco anos, o que seria — e como podemos nos preparar hoje?

Minha previsão é que, à medida que a IA Agente for incorporada a mais processos e aplicativos de negócios, os atacantes se engajarão em fraude e abuso para manipular esses agentes para entregar resultados maliciosos. Já vimos isso com a manipulação de agentes de atendimento ao cliente, resultando em acordos e reembolsos não autorizados. Atores ameaçadores usaram truques de linguagem para contornar políticas e interferir na tomada de decisões do agente.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar LogicGate.