Andrew Missey, CTO e Co-Fundador da Convos – Série de Entrevistas

Andrew Missey, CTO e Co-Fundador da Convos, é um engenheiro de software e líder de produto com experiência em desenvolvimento de produtos de IA, arquitetura de software, redes e engenharia de pilha completa. Antes de co-fundar a Convos, ele ajudou a desenvolver e lançar duas plataformas criativas e de marketing impulsionadas por IA na Forum3, combinando engenharia prática com gestão de produto técnico. Seus papéis anteriores na N-able (NABL ), Autoshop Solutions e Brand IQ envolveram a construção de aplicações frontend, sistemas backend, painéis de cliente e ferramentas de software internas usando tecnologias como Svelte, NestJS, Angular e JavaScript. Essa formação multidisciplinar permitiu que ele conectasse a execução técnica com a estratégia de produto à medida que lidera o desenvolvimento da plataforma de comunicações impulsionada por IA da Convos.

Convos é uma plataforma de texto controlada e impulsionada por IA projetada para ajudar campanhas políticas e empresas de comunicação a substituir a mensagens de massa unidirecionais por conversas personalizadas e bidirecionais em escala. A plataforma converte respostas em análise de sentimento em tempo real, classificações de tópicos, resultados de chamadas para ação, métricas de engajamento e insights estruturados de eleitores que as campanhas podem usar para aprimorar sua abordagem. Seu sistema de IA fechado opera dentro de materiais e guardiões de mensagens aprovados pela campanha, enquanto fornece recursos como segmentação de contatos, histórico de conversas, rastreamento de links, exportação de dados e rastros de auditoria focados em conformidade. A Convos também pode complementar a infraestrutura de texto existente de uma organização em vez de exigir que ela substitua seus sistemas de comunicação atuais.

Você co-fundou a Convos após observar como o texto político e organizacional havia se tornado principalmente uma comunicação unidirecional. Qual foi a percepção original que o convenceu de que havia uma oportunidade para transformar o texto em massa em conversas impulsionadas por IA, e quais foram os principais desafios técnicos que você enfrentou ao construir a plataforma?

A percepção veio de estar no lado receptor.

Por volta da eleição de 2024, eu estava sendo bombardeado com textos políticos, como muitas pessoas. Em algum momento, comecei a responder a eles. Eu fazia uma pergunta ou respondia, e nunca recebia nada em troca. As mensagens estavam sendo enviadas por milhões, mas no momento em que você tentava ter uma troca real, não havia ninguém lá.

Isso me pareceu uma oportunidade perdida enorme. A pessoa do outro lado já estava engajada. Eles estavam fazendo uma pergunta real. Mas nunca haveria uma resposta.

Então, a ideia por trás da Convos foi simples. Transformar a transmissão em uma conversa real, em escala, sem precisar de uma sala cheia de pessoas para atendê-la.

Os principais desafios técnicos se resumiram a três coisas: escala, latência e conformidade.

A escala é a óbvia. Você está gerenciando milhares de conversas ao mesmo tempo, e cada uma delas tem seu próprio estado e história. A latência importa mais do que as pessoas esperam. Se alguém responder e a resposta demorar muito, o momento se foi. O texto parece quase imediato, e a experiência tem que corresponder a isso.

A conformidade foi a parte mais difícil, e foi algo que priorizamos desde o início. O texto político é fortemente regulamentado, e errar não é uma opção. Muito do nosso engenharia inicial foi dedicado a garantir que o sistema permanecesse dentro da mensagem e respeitasse o consentimento e as saídas de forma que fossem além de apenas capturar a palavra “PARAR”.

A Convos opera na interseção da IA conversacional, mensagens em larga escala e análise de sentimento em tempo real. Quais lições você aprendeu com a implantação de sistemas de IA que devem engajar milhares de pessoas simultaneamente, enquanto ainda parecem pessoais e autênticos?

A lição mais importante é que “pessoal em escala” é algo que você precisa engenharia para. Isso não acontece por padrão.

Quando você está executando milhares de conversas de uma vez, a tentação é tratar todas como um grande lote. Mas a pessoa que recebe o texto não se importa com o seu lote. Para eles, é uma troca um a um, e tem que parecer assim. Isso significa que cada conversa precisa ter seu próprio contexto e história, para que uma resposta realmente responda ao que aquela pessoa específica disse, e não a algum average de todos.

Também aprendemos a prestar atenção ao que as pessoas estão realmente nos dizendo. Uma resposta não é apenas uma resposta. Ela carrega sentimento. Alguém pode responder com uma pergunta, com entusiasmo, com frustração ou com um sinal claro de que quer ser deixado em paz. Ler essas nuances corretamente é o que torna ou desfaz uma interação.

No final, a autenticidade vem de ouvir, não de soar inteligente. A troca que parece mais humana é aquela que responde à pergunta real e respeita o tempo da pessoa.

Você argumentou que muitas organizações se concentram demais em benchmarks de modelo, enquanto ignoram a personalidade e o estilo de comunicação. Por que você acredita que a personalidade está se tornando um fator crítico na implantação de IA empresarial, e como as organizações devem avaliá-la?

Os benchmarks medem a capacidade. Eles não medem o ajuste.

Um modelo pode pontuar extremamente bem em raciocínio ou codificação e ainda ser a escolha errada para uma conversa com um eleitor. A forma como ele formula as coisas, como soa quente ou formal, se ele sabe quando ser breve, tudo isso importa enormemente uma vez que uma pessoa real está no outro lado.

Em nosso mundo, o modelo não está resolvendo um problema de matemática. Ele está representando uma campanha em uma mensagem de texto. Cada campanha tem sua própria voz, e o modelo precisa corresponder a ela, em vez de impor a sua própria. Se o tom estiver errado, não importa o quão inteligente o modelo subjacente seja. A interação falha.

Há também um lado de capacidade que os benchmarks perdem. Uma campanha pode dar ao agente orientações detalhadas sobre o que dizer, o que evitar e como lidar com tópicos específicos. O modelo precisa seguir todas essas orientações consistentemente, ao longo de uma longa troca. Alguns modelos são muito melhores do que outros em manter instruções complexas sem se desviar ao meio da conversa. Essa capacidade também é parte da personalidade, porque um modelo que soa ótimo, mas para de seguir suas instruções, não é um que você possa colocar diante de pessoas reais.

É por isso que a personalidade está se tornando um fator real na implantação empresarial. À medida que os modelos se tornam mais capazes em geral, a lacuna bruta de capacidade entre eles diminui. O que resta é o caráter. Como eles se comunicam e se mantêm dentro das linhas que você define.

A forma de avaliá-la não é em uma leaderboard. É testar modelos no seu caso de uso real, com o seu conteúdo real, e ler as saídas do jeito que o usuário final faria. Colocamos os modelos através do mesmo tipo de trocas que eles lidariam em produção e julgamos se a conversa parece certa. Isso nos diz muito mais do que uma pontuação de benchmark.

Sua equipe testou vários modelos líderes e observou diferenças significativas em como eles se saem em tarefas. O que você aprendeu sobre as forças e fraquezas dos principais LLMs atuais, e por que alguns são mais adequados para trabalho conversacional do que outros?

O que aprendemos é que não há um único melhor modelo. Há apenas o melhor modelo para um determinado trabalho.

Alguns modelos são excelentes em seguir instruções com precisão, o que importa quando você precisa que o sistema permaneça dentro de limites estritos. Alguns são mais fortes em tom conversacional natural. Alguns são mais rápidos, o que é sua própria força quando a latência é parte da experiência. Outros são melhores em raciocinar através de um pedido complicado, mas se sentem rígidos ou demoram muito para responder em uma troca casual.

Para o trabalho conversacional específico, as qualidades que importam não são sempre as que recebem manchetes. A velocidade importa. A consistência importa. Saber quando ser breve importa. Um modelo que escreve uma resposta linda de três parágrafos é frequentemente a escolha errada quando a resposta certa é uma frase.

Nada disso aparece em uma leaderboard. Você só aprende isso colocando os modelos diante do trabalho real e prestando atenção em como eles lidam com isso.

Muitas empresas estão adotando estratégias de multi-modelo em vez de confiar em um único provedor de IA. Quais são as vantagens de construir sistemas que podem alternar entre modelos, e quais considerações arquitetônicas são necessárias para tornar isso possível?

A principal vantagem é que você não está preso.

Se você constrói tudo em torno de um provedor, você herda todas as suas restrições. Seu preço, seus limites de taxa, sua latência, seus tempos de inatividade e seu cronograma de lançamento se tornam seus. Uma abordagem de multi-modelo permite que você encaminhe cada tarefa para o modelo que a lida melhor, e isso lhe dá um lugar para ir quando um provedor tem um dia ruim.

Isso também permite que você ajuste o custo ao trabalho. Não toda interação precisa do seu modelo mais poderoso e mais caro. Ser capaz de enviar o trabalho simples para um modelo mais leve e reservar o modelo pesado para os casos difíceis faz uma grande diferença em escala.

A arquitetura é o que torna isso possível, e a decisão-chave é construir uma camada de abstração entre sua aplicação e qualquer modelo específico. Seu sistema não deve conversar diretamente com a API de um provedor em todo o código. Ele deve conversar com sua própria interface interna, e essa interface decide qual modelo realmente lida com a solicitação.

Uma vez que você tenha isso, você pode adicionar lógica de roteamento, fallbacks quando um provedor falha e a capacidade de trocar modelos sem reescrever sua aplicação. Você também precisa de tratamento consistente de prompts e saídas entre modelos, porque cada um se comporta um pouco diferente, e seu sistema precisa suavizar essas diferenças.

Isso é mais trabalho no início. Mas isso compra flexibilidade que é muito difícil de adicionar mais tarde.

Você recentemente destacou como os modelos de IA evoluem rapidamente, com novos lançamentos às vezes mudando características de desempenho de maneiras inesperadas. Como as empresas devem equilibrar o desejo de adotar os modelos mais recentes com a necessidade de estabilidade, confiabilidade e desempenho previsível?

A resposta honesta é que um novo modelo não é uma atualização até que você tenha provado que é.

Cada lançamento é emocionante, e há uma pressão real para adotar a última coisa imediatamente. Mas vimos novos modelos mudarem de comportamento de maneiras que não esperávamos. Algo que funcionava de forma confiável começa a responder de forma ligeiramente diferente, e em um sistema de produção essas pequenas mudanças se somam.

A forma como lidamos com isso é simples. Nenhum modelo vai para nosso pipeline até que o tenhamos testado manualmente. Quando um novo lançamento sai, não aceitamos os benchmarks ou o anúncio como verdade. Sentamos e executamos através das mesmas situações que o sistema lidaria em produção e lemos as saídas nós mesmos.

Essa etapa prática não é opcional para nós. Um modelo pode parecer melhor no papel e ainda lidar com uma troca real de forma que não estamos confortáveis em colocar diante de eleitores. A única forma de saber é colocá-lo nas mesmas situações que nosso sistema lida todos os dias e ver como ele realmente responde.

Isso é outro lugar onde a camada de abstração ganha seu valor. Porque nossa aplicação não depende de um modelo específico, podemos trazer um novo lançamento, testá-lo contra as conversas que realmente lidamos e compará-lo honestamente com o que estamos executando. Se ele atende ao padrão, mudamos. Se não, esperamos.

As alucinações continuam sendo um dos principais obstáculos para a adoção de IA empresarial, especialmente quando os modelos trabalham com grandes conjuntos de dados e informações complexas. Quais técnicas práticas se provaram mais eficazes na redução de alucinações em ambientes de produção?

A técnica mais eficaz que encontramos é restringir o que o modelo é permitido saber.

Muita alucinação vem de pedir a um modelo que responda a partir de seu próprio conhecimento geral, onde ele preencherá lacunas com algo que soe correto. Fazemos o oposto. Nossa IA trabalha estritamente com as informações fornecidas pela campanha. Ela não tem acesso à internet aberta e não está tirando proveito de alguma vaga memória do mundo.

Se a resposta não está no material que foi dado, a resposta correta é dizer que não tem essa informação. Essa única fronteira remove um enorme risco.

Não paramos por aí, no entanto. Temos várias verificações em vigor para garantir que uma resposta corresponda às informações fornecidas pela campanha. Mesmo após o modelo gerar uma resposta, essa resposta é verificada contra as informações da campanha antes de ir a qualquer lugar. Se algo não corresponde, não é enviado.

Além disso, as técnicas práticas são sobre aterramento e guardiões. Dê ao modelo o contexto específico e relevante que ele precisa para a tarefa em frente, em vez de uma grande pilha indiferenciada de dados. Quanto mais focado as informações, menos espaço há para se desviar.

Também colocamos limites claros sobre o que o sistema é permitido fazer e dizer, e monitoramos conversas reais em vez de supor que tudo está bem. Você não pega problemas confiando no modelo. Você os pega observando a saída.

Em um espaço regulamentado como o texto político, uma resposta inventada é uma responsabilidade, então projetamos o sistema para preferir transparência em vez de adivinhar.

À medida que as organizações implantam agentes de IA em suporte ao cliente, comunicação, marketing e operações, quais erros você vê as equipes repetidamente cometendo ao mudar de projetos-piloto para implantações em escala de produção?

O erro que vejo mais é que as equipes testam se seu agente funciona, mas não se ele pode ser quebrado.

Não consigo contar quantas vezes uma empresa lançou um chatbot de IA e, dentro de um dia, alguém online o “jailbreakou” para dizer algo que nunca deveria ter dito. Ele é levado para fora das instruções, enganado para sair do roteiro ou manipulado para representar a marca de uma forma que acaba sendo uma captura de tela que todos estão passando.

Isso acontece porque, em um piloto, todos se comportam bem. Você está testando o agente com pessoas razoáveis fazendo perguntas razoáveis, e ele parece ótimo. A produção é o oposto. No momento em que algo é público, uma porção das pessoas que falam com ele está ativamente tentando atrapalhá-lo.

Se você não testou para o caso adversarial, você não testou realmente. Você tem que tentar quebrar seu próprio sistema antes que alguém mais o faça. Empurre-o, alimente-o com entradas estranhas e hostis e veja se ele mantém suas fronteiras quando alguém está deliberadamente trabalhando contra ele.

O outro erro repetido é supor que um demonstração que funciona é um sistema que funciona. Um piloto é um punhado de conversas assistidas no caminho feliz. A produção é milhares de pessoas a todas as horas se comportando de maneiras que você não antecipou, e os casos de bordo que você dispensou se tornam eventos diários em escala.

Meu conselho é gastar menos tempo aperfeiçoando a demonstração e mais tempo tentando quebrar a coisa você mesmo. Se ela não consegue sobreviver a você atacando, ela não sobreviverá a ser pública.

Os agentes de IA estão se tornando cada vez mais capazes de lidar com conversas que antes exigiam pessoal humano. Onde você vê o equilíbrio entre automação e supervisão humana nos próximos cinco anos, e quais fluxos de trabalho você acredita que devem sempre manter um humano no loop?

Isso é difícil, e não acho que alguém saiba exatamente onde a linha cai em cinco anos. A forma como penso sobre isso é que o valor real da IA é como um multiplicador de força. Ela permite que um pequeno grupo de pessoas faça muito mais do que poderiam sozinhos.

As equipes que obtêm mais proveito dessas ferramentas as estão usando exatamente dessa forma. A IA lida com o volume e a repetição, e as pessoas gastam seu tempo em julgamento, estratégia e situações que realmente precisam de um humano. Esse é um objetivo muito diferente do que tentar remover as pessoas da imagem.

Quando o objetivo é substituição pura, você tende a empurrar a tecnologia além do que ela é realmente boa, e ela falha de maneiras visíveis e caras. Quando o objetivo é multiplicar as pessoas, você deixa a IA fazer o que ela faz bem e mantém os humanos onde eles adicionam o mais valor. A segunda abordagem funciona melhor, e é mais honesta sobre onde a tecnologia realmente está hoje.

Nos próximos cinco anos, espero que os agentes assumam mais e mais da carga conversacional rotineira, e eles devem. Esse trabalho não precisa de uma pessoa observando cada palavra.

Os fluxos de trabalho que devem sempre manter um humano envolvido são aqueles onde as apostas são altas ou a situação é genuinamente nova. Qualquer coisa que toque consentimento, conformidade ou uma decisão que seria difícil de reverter. Uma pessoa deve ser dona da direção, e a IA deve ajudá-la a cobrir muito mais terreno do que poderia de outra forma.

Olhando para o futuro, quais desenvolvimentos em IA conversacional você está mais animado, e como você imagina que plataformas como a Convos evoluirão à medida que os modelos se tornam mais capazes, multimodais e autônomos?

O que me anima mais é que as conversas vão continuar melhorando.

À medida que os modelos melhoram, as trocas que nossa plataforma lida se tornam mais naturais e mais úteis sem que precisemos reconstruir a fundação cada vez. Porque projetamos o sistema para se mover entre modelos, podemos trazer essas melhorias à medida que elas chegam.

Multimodal é o desenvolvimento que estou assistindo mais de perto. Atualmente, a conversa é texto. À medida que os modelos lidam com imagens e outros formatos de forma mais capaz, há uma oportunidade real de tornar essas trocas mais ricas enquanto mantém a imediatez que faz com que o texto funcione.

Sobre autonomia, estou otimista, mas cuidadoso. Modelos mais capazes estão sendo lançados mensalmente, e eles serão capazes de lidar com muito mais sozinhos. Mas em um espaço regulamentado, mais autonomia tem que vir com mais disciplina, não menos. As fronteiras importam mais à medida que a capacidade cresce.

Eu me envolvi nisso porque fui a pessoa que enviou um texto para o vazio e não recebeu nada em troca. Essa ainda é o problema que mais me preocupa. Não importa o quão capazes esses modelos se tornem, a medida que retorno é simples. A pessoa do outro lado se sente ouvida?

Obrigado pela ótima entrevista, leitores que desejam aprender mais devem visitar Convos.