Nick Kathmann, CISO/CIO da LogicGate – Série de Entrevistas

Nicholas Kathmann é o Chief Information Security Officer (CISO) da LogicGate, onde lidera o programa de segurança de informações da empresa, supervisiona inovações de segurança de plataforma e se envolve com os clientes na gestão de riscos de cibersegurança. Com mais de duas décadas de experiência em TI e 18+ anos em cibersegurança, Kathmann construiu e liderou operações de segurança em pequenas empresas e empresas do Fortune 100.

LogicGate é uma plataforma de risco e conformidade que ajuda as organizações a automatizar e dimensionar seus programas de governança, risco e conformidade (GRC). Por meio de seu produto principal, Risk Cloud®, a LogicGate permite que as equipes identifiquem, avaliem e gerenciem riscos em toda a empresa com fluxos de trabalho personalizáveis, insights em tempo real e integrações. A plataforma suporta uma ampla gama de casos de uso, incluindo risco de terceiros, conformidade de cibersegurança e gestão de auditoria interna, ajudando as empresas a construir estratégias de risco mais ágeis e resilientes.

Você atua como CISO e CIO da LogicGate — como você vê a inteligência artificial transformando as responsabilidades desses papéis nos próximos 2-3 anos?

A inteligência artificial já está transformando ambos os papéis, mas nos próximos 2-3 anos, acredito que veremos um grande aumento na inteligência artificial agente que tem o poder de reimaginar como lidamos com processos de negócios no dia a dia. Qualquer coisa que normalmente iria para uma mesa de ajuda de TI — como redefinir senhas, instalar aplicativos e mais — pode ser tratada por um agente de inteligência artificial. Outro caso de uso crítico será o uso de agentes de inteligência artificial para lidar com avaliações de auditoria tediosas, permitindo que os CISOs e CIOs priorizem solicitações mais estratégicas.

Com as demissões cibernéticas federais e as tendências de desregulamentação, como as empresas devem abordar a implantação de inteligência artificial enquanto mantêm uma postura de segurança forte?

Embora estejamos vendo uma tendência de desregulamentação nos EUA, as regulamentações estão realmente se fortalecendo na UE. Portanto, se você é uma empresa multinacional, antecipe ter que cumprir com os requisitos regulamentares globais em torno do uso responsável de inteligência artificial. Para as empresas que operam apenas nos EUA, acredito que haverá um período de aprendizado em termos de adoção de inteligência artificial. Acho que é importante para essas empresas formar políticas de governança de inteligência artificial fortes e manter algum controle humano no processo de implantação, garantindo que nada esteja saindo do controle.

Quais são os principais pontos cegos que você vê hoje quando se trata de integrar inteligência artificial em estruturas de cibersegurança existentes?

Embora haja alguns pontos que eu possa mencionar, o ponto cego mais impactante seria onde seus dados estão localizados e onde eles estão sendo transmitidos. A introdução de inteligência artificial só irá tornar a supervisão nessa área mais desafiadora. Os fornecedores estão habilitando recursos de inteligência artificial em seus produtos, mas esses dados não sempre vão diretamente para o modelo/fornecedor de inteligência artificial. Isso torna as ferramentas de segurança tradicionais, como DLP e monitoramento da web, efetivamente cegas.

Você disse que a maioria das estratégias de governança de inteligência artificial são “tigres de papel”. Quais são os ingredientes principais de uma estrutura de governança que realmente funciona?

Quando digo “tigres de papel”, estou me referindo especificamente a estratégias de governança onde apenas uma pequena equipe conhece os processos e padrões, e eles não são aplicados ou mesmo entendidos em toda a organização. A inteligência artificial é muito pervasiva, afetando todos os grupos e equipes. Estratégias do tipo “tamanho único” não funcionarão. Um time de finanças que implementa recursos de inteligência artificial em seu ERP é diferente de um time de produto que implementa um recurso de inteligência artificial em um produto específico, e a lista continua. Os ingredientes principais de uma estrutura de governança forte variam, mas órgãos consultivos como IAPP, OWASP, NIST e outros têm boas estruturas para determinar o que avaliar. A parte mais difícil é descobrir quando os requisitos se aplicam a cada caso de uso.

Como as empresas podem evitar a deriva do modelo de inteligência artificial e garantir o uso responsável ao longo do tempo sem superengenharia suas políticas?

A deriva e a degradação são apenas parte do uso da tecnologia, mas a inteligência artificial pode acelerar significativamente o processo. No entanto, se a deriva se tornar muito grande, medidas corretivas serão necessárias. Uma estratégia de teste abrangente que procure e meça a precisão, o viés e outras bandeiras vermelhas é necessária ao longo do tempo. Se as empresas quiserem evitar o viés e a deriva, elas precisam começar garantindo que tenham as ferramentas necessárias para identificar e medir.

Qual é o papel que os registros de alterações, atualizações de política limitadas e loops de feedback em tempo real devem desempenhar na manutenção de uma governança de inteligência artificial ágil?

Embora eles desempenhem um papel agora para reduzir o risco e a responsabilidade do fornecedor, os loops de feedback em tempo real dificultam a capacidade dos clientes e usuários de realizar a governança de inteligência artificial, especialmente se as alterações nos mecanismos de comunicação ocorrem com muita frequência.

Quais são as preocupações que você tem em torno do viés e da discriminação da inteligência artificial na underwriting ou pontuação de crédito, particularmente com os serviços “Compre Agora, Pague Depois” (BNPL)?

No ano passado, conversei com um pesquisador de IA/ML em um grande banco multinacional que havia experimentado com IA/LLMs em seus modelos de risco. Os modelos, mesmo quando treinados em conjuntos de dados grandes e precisos, tomavam decisões realmente surpreendentes e não apoiadas para aprovar ou negar underwriting. Por exemplo, se as palavras “grande crédito” fossem mencionadas em uma transcrição de bate-papo ou comunicações com os clientes, os modelos, por padrão, negariam o empréstimo — independentemente de quem disse isso, o cliente ou o funcionário do banco. Se a inteligência artificial for confiável, os bancos precisam de uma melhor supervisão e responsabilidade, e essas “surpresas” precisam ser minimizadas.

Qual é sua opinião sobre como devemos auditar ou avaliar algoritmos que tomam decisões de alto risco — e quem deve ser responsabilizado?

Isso volta ao modelo de teste abrangente, onde é necessário testar e benchmarkar o algoritmo/modelo em tempo real o mais próximo possível. Isso pode ser difícil, pois a saída do modelo pode ter resultados desejáveis que precisarão de humanos para identificar outliers. Como exemplo bancário, um modelo que nega todos os empréstimos terá uma classificação de risco excelente, pois nenhum empréstimo que ele underwrite jamais irá em falência. Nesse caso, a organização que implementa o modelo/algoritmo deve ser responsável pelo resultado do modelo, assim como seria se os humanos estivessem tomando a decisão.

Com mais empresas exigindo seguro cibernético, como as ferramentas de inteligência artificial estão redefinindo tanto o panorama de risco quanto a própria underwriting do seguro?

As ferramentas de inteligência artificial são excelentes em disseminar grandes quantidades de dados e encontrar padrões ou tendências. No lado do cliente, essas ferramentas serão instrumentais para entender o risco real da organização e gerenciar esse risco. No lado do underwriter, essas ferramentas serão úteis para encontrar inconsistências e organizações que estão se tornando imaturas ao longo do tempo.

Como as empresas podem usar a inteligência artificial para reduzir proativamente o risco cibernético e negociar termos melhores no mercado de seguros atual?

Hoje, a melhor maneira de usar a inteligência artificial para reduzir o risco e negociar termos de seguro melhores é filtrar o ruído e as distrações, ajudando a se concentrar nos riscos mais importantes. Se você reduzir esses riscos de forma abrangente, suas taxas de seguro cibernético devem diminuir. É fácil se sentir sobrecarregado com o volume de riscos. Não se deixe abater tentando abordar todos os problemas quando se concentrar nos mais críticos pode ter um impacto muito maior.

Quais são as etapas táticas que você recomenda para as empresas que desejam implementar a inteligência artificial de forma responsável — mas não sabem por onde começar?

Primeiro, você precisa entender quais são seus casos de uso e documentar os resultados desejados. Todos querem implementar a inteligência artificial, mas é importante pensar nos seus objetivos primeiro e trabalhar de trás para frente a partir daí — algo que acho que muitas organizações lutam para fazer hoje. Uma vez que você tenha uma boa compreensão dos seus casos de uso, você pode pesquisar os diferentes quadros de inteligência artificial e entender quais dos controles aplicáveis importam para os seus casos de uso e implementação. Uma governança de inteligência artificial forte também é crítica para os negócios, para mitigação de risco e eficiência, desde que a automação é apenas tão útil quanto a entrada de dados. As organizações que utilizam a inteligência artificial devem fazê-lo de forma responsável, pois os parceiros e prospectos estão fazendo perguntas difíceis em torno da proliferação e uso de inteligência artificial. Não saber a resposta pode significar perder negócios, afetando diretamente a linha de fundos.

Se você tivesse que prever o maior risco de segurança relacionado à inteligência artificial daqui a cinco anos, o que seria — e como podemos nos preparar hoje?

Minha previsão é que, à medida que a inteligência artificial agente é incorporada a mais processos e aplicações de negócios, os atacantes se envolverão em fraudes e abusos para manipular esses agentes para entregar resultados maliciosos. Já vimos isso com a manipulação de agentes de serviço ao cliente, resultando em acordos e reembolsos não autorizados. Os atores ameaçadores usaram truques de linguagem para contornar as políticas e interferir na tomada de decisões do agente.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar LogicGate.