Daniel Ciolek, Chefe de Pesquisa e Desenvolvimento da InvGate – Série de Entrevistas

Daniel é um profissional de TI apaixonado, com mais de 15 anos de experiência no setor. Ele tem doutorado. em Ciência da Computação e uma longa carreira em pesquisa tecnológica. Seus interesses se enquadram em diversas áreas, como Inteligência Artificial, Engenharia de Software e Computação de Alto Desempenho.

Daniel é o Chefe de Pesquisa e Desenvolvimento da InvGate, onde lidera as iniciativas de P&D. Ele trabalha junto com as equipes de Desenvolvimento de Produtos e Negócios para projetar, implementar e monitorar a estratégia de P&D da empresa. Quando não está pesquisando, ele está ensinando.

InvGateName capacita as organizações, fornecendo as ferramentas para fornecer serviços contínuos em todos os departamentos, de TI a instalações.

Quando e como você começou a se interessar por ciência da computação?

Meu interesse pela ciência da computação remonta à minha infância. Sempre fui fascinado por dispositivos eletrônicos, muitas vezes me descobrindo explorando e tentando entender como eles funcionavam. À medida que fui crescendo, essa curiosidade me levou à codificação. Ainda me lembro de como me diverti escrevendo meus primeiros programas. A partir daquele momento, não tive dúvidas de que queria seguir carreira em ciência da computação.

Atualmente, você está liderando iniciativas de P&D e implementando novas aplicações generativas de IA. Você pode discutir um pouco do seu trabalho?

Absolutamente. Em nosso departamento de P&D, abordamos problemas complexos que podem ser difíceis de representar e resolver com eficiência. Nosso trabalho não se limita a aplicações generativas de IA, mas os recentes avanços neste campo criaram uma riqueza de oportunidades que estamos ansiosos para explorar.

Um dos nossos principais objetivos na InvGate sempre foi otimizar a usabilidade do nosso software. Fazemos isso monitorando como ele é usado, identificando gargalos e trabalhando diligentemente para removê-los. Um desses gargalos que encontramos frequentemente está relacionado à compreensão e utilização da linguagem natural. Esta foi uma questão particularmente difícil de resolver sem o uso de Large Language Models (LLMs).

No entanto, com o recente surgimento de LLMs econômicos, conseguimos simplificar esses casos de uso. Nossos recursos agora incluem fornecer recomendações de redação, redigir automaticamente artigos da base de conhecimento e resumir trechos extensos de texto, entre muitos outros recursos baseados em idioma.

Na InvGate, sua equipe aplica uma estratégia chamada “IA agnóstica”. Você poderia definir o que isso significa e por que é importante?

A IA agnóstica trata fundamentalmente de flexibilidade e adaptabilidade. Essencialmente, trata-se de não se comprometer com um único modelo ou fornecedor de IA. Em vez disso, pretendemos manter as nossas opções abertas, aproveitando o melhor que cada fornecedor de IA oferece, evitando ao mesmo tempo o risco de ficarmos presos a um único sistema.

Você pode pensar assim: deveríamos usar o GPT da OpenAI, o Gemini do Google ou o Llama-2 da Meta para nossos recursos de IA generativos? Devemos optar por uma implantação em nuvem pré-paga, uma instância gerenciada ou uma implantação auto-hospedada? Estas não são decisões triviais e podem até mudar com o tempo, à medida que novos modelos são lançados e novos fornecedores entram no mercado.

A abordagem Agnóstica de IA garante que nosso sistema esteja sempre pronto para se adaptar. Nossa implementação tem três componentes principais: uma interface, um roteador e os próprios modelos de IA. A interface abstrai os detalhes de implementação do sistema de IA, facilitando a interação de outras partes do nosso software com ele. O roteador decide para onde enviar cada solicitação com base em vários fatores, como o tipo de solicitação e os recursos dos modelos de IA disponíveis. Finalmente, os modelos executam as tarefas reais de IA, que podem exigir processos personalizados de pré-processamento de dados e formatação de resultados.

Você pode descrever os aspectos metodológicos que orientam seu processo de tomada de decisão ao selecionar os modelos e fornecedores de IA mais adequados para tarefas específicas?

Para cada novo recurso que desenvolvemos, começamos criando um benchmark de avaliação. Este benchmark foi concebido para avaliar a eficiência de diferentes modelos de IA na resolução da tarefa em questão. Mas não focamos apenas no desempenho, consideramos também a velocidade e o custo de cada modelo. Isso nos dá uma visão holística do valor de cada modelo, permitindo-nos escolher a opção mais econômica para rotear solicitações.

No entanto, nosso processo não termina aí. No campo da IA, em rápida evolução, novos modelos são lançados constantemente e os existentes são atualizados regularmente. Assim, sempre que um modelo novo ou atualizado estiver disponível, executamos novamente nosso benchmark de avaliação. Isso nos permite comparar o desempenho do modelo novo ou atualizado com o da nossa seleção atual. Se um novo modelo superar o atual, atualizamos nosso módulo roteador para refletir essa mudança.

Quais são alguns dos desafios de alternar perfeitamente entre vários modelos e fornecedores de IA?

A alternância perfeita entre vários modelos e fornecedores de IA apresenta, de fato, um conjunto de desafios únicos.

Em primeiro lugar, cada fornecedor de IA requer entradas formatadas de formas específicas e os modelos de IA podem reagir de forma diferente aos mesmos pedidos. Isso significa que precisamos otimizar individualmente para cada modelo, o que pode ser bastante complexo dada a variedade de opções.

Em segundo lugar, os modelos de IA têm capacidades diferentes. Por exemplo, alguns modelos podem gerar saída no formato JSON, um recurso que se mostra útil em muitas de nossas implementações. Outros podem processar grandes quantidades de texto, permitindo-nos utilizar um contexto mais abrangente para algumas tarefas. Gerenciar essas capacidades para maximizar o potencial de cada modelo é uma parte essencial do nosso trabalho.

Finalmente, precisamos garantir que as respostas geradas pela IA sejam seguras para uso. Os modelos generativos de IA podem por vezes produzir “alucinações” ou gerar respostas falsas, fora de contexto ou mesmo potencialmente prejudiciais. Para mitigar isso, implementamos filtros rigorosos de higienização pós-processamento para detectar e filtrar respostas inadequadas.

Como a interface é projetada em seu sistema de IA agnóstico para garantir que abstraia efetivamente as complexidades das tecnologias de IA subjacentes para interações fáceis de usar?

O design da nossa interface é um esforço colaborativo entre as equipes de P&D e de engenharia. Trabalhamos recurso por recurso, definindo os requisitos e os dados disponíveis para cada recurso. Em seguida, projetamos uma API que se integra perfeitamente ao produto, implementando-a em nosso serviço de IA interno. Isto permite que as equipes de engenharia se concentrem na lógica de negócios, enquanto nosso serviço de IA lida com as complexidades de lidar com diferentes fornecedores de IA.

Este processo não depende de pesquisas de ponta, mas sim da aplicação de práticas comprovadas de engenharia de software.

Considerando as operações globais, como a InvGate lida com o desafio da disponibilidade regional e da conformidade com as regulamentações de dados locais?

Garantir a disponibilidade regional e a conformidade com os regulamentos de dados locais é uma parte crucial das nossas operações na InvGate. Selecionamos cuidadosamente fornecedores de IA que possam não apenas operar em escala, mas também manter os mais altos padrões de segurança e cumprir as regulamentações regionais.

Por exemplo, consideramos apenas fornecedores que aderem a regulamentações como o Regulamento Geral de Proteção de Dados (GDPR) na UE. Isto garante que podemos implementar os nossos serviços com segurança em diferentes regiões, com a confiança de que estamos a operar dentro do quadro jurídico local.

Os principais provedores de nuvem, como AWS, Azure e Google Cloud, atendem a esses requisitos e oferecem uma ampla gama de funcionalidades de IA, tornando-os parceiros adequados para nossas operações globais. Além disso, monitorizamos continuamente as alterações nas regulamentações locais de dados para garantir a conformidade contínua, ajustando as nossas práticas conforme necessário.

Como evoluiu a abordagem da InvGate para o desenvolvimento de soluções de TI na última década, particularmente com a integração da IA ​​Generativa?

Durante a última década, a abordagem da InvGate para o desenvolvimento de soluções de TI evoluiu significativamente. Expandimos nossa base de recursos com recursos avançados, como fluxos de trabalho automatizados, descoberta de dispositivos e banco de dados de gerenciamento de configuração (CMDB). Esses recursos simplificaram bastante as operações de TI para nossos usuários.

Recentemente, começamos a integrar GenAI em nossos produtos. Isso foi possível graças aos recentes avanços nos provedores de LLM, que começaram a oferecer soluções econômicas. A integração do GenAI permitiu-nos melhorar os nossos produtos com suporte baseado em IA, tornando as nossas soluções mais eficientes e fáceis de utilizar.

Embora ainda seja cedo, prevemos que a IA se tornará uma ferramenta onipresente nas operações de TI. Como tal, planeamos continuar a evoluir os nossos produtos integrando ainda mais as tecnologias de IA.

Você pode explicar como a IA generativa do AI Hub aumenta a velocidade e a qualidade das respostas a incidentes comuns de TI?

A IA generativa em nosso AI Hub aumenta significativamente a velocidade e a qualidade das respostas a incidentes comuns de TI. Isso é feito por meio de um processo de várias etapas:

Contato inicial: quando um usuário encontra um problema, ele pode abrir um bate-papo com nosso agente virtual (VA) com tecnologia de IA e descrever o problema. O VA pesquisa de forma autônoma na Base de Conhecimento (KB) da empresa e em um banco de dados público de guias de solução de problemas de TI, fornecendo orientação de maneira conversacional. Isso geralmente resolve o problema de forma rápida e eficiente.

Criação de ingressos: Se o problema for mais complexo, o VA pode criar um ticket, extraindo automaticamente informações relevantes da conversa.

Atribuição de ingressos: o sistema atribui o ticket a um agente de suporte com base na categoria do ticket, na prioridade e na experiência do agente com problemas semelhantes.

Interação do Agente: o agente pode entrar em contato com o usuário para obter informações adicionais ou notificá-lo de que o problema foi resolvido. A interação é aprimorada com IA, fornecendo recomendações por escrito para melhorar a comunicação.

Escalada: se o problema exigir escalonamento, os recursos de resumo automático ajudam os gerentes a compreender rapidamente o problema.

Análise pós-morte: após o fechamento do ticket, a IA realiza uma análise de causa raiz, auxiliando na análise post mortem e nos relatórios. O agente também pode usar a IA para redigir um artigo da base de conhecimento, facilitando a resolução de problemas semelhantes no futuro.

Embora já tenhamos implementado a maioria desses recursos, estamos trabalhando continuamente em novos aprimoramentos e melhorias.

Com recursos futuros, como o agente virtual MS Teams mais inteligente, quais são as melhorias esperadas nas experiências de suporte conversacional?

Um caminho promissor é estender a experiência de conversação a um “copiloto”, não apenas capaz de responder a perguntas e realizar ações simples, mas também de realizar ações mais complexas em nome dos usuários. Isto pode ser útil para melhorar as capacidades de autoatendimento dos usuários, bem como para fornecer ferramentas adicionais poderosas aos agentes. Eventualmente, essas poderosas interfaces de conversação farão da IA ​​uma companheira onipresente.

Obrigado pela ótima entrevista, os leitores que desejam saber mais devem visitar InvGateName.