Andrew Missey, CTO y Co-Fundador de Convos – Serie de Entrevistas

Andrew Missey, CTO y Co-Fundador de Convos, es un ingeniero de software y líder de productos con experiencia en el desarrollo de productos de inteligencia artificial, arquitectura de software, redes y ingeniería de full-stack. Antes de co-fundar Convos, ayudó a desarrollar y lanzar dos plataformas creativas y de marketing impulsadas por inteligencia artificial en Forum3, combinando la ingeniería práctica con la gestión de productos técnicos. Sus roles anteriores en N-able (NABL ), Autoshop Solutions y Brand IQ involucraron la creación de aplicaciones frontend, sistemas backend, paneles de control de clientes y herramientas de software internas utilizando tecnologías como Svelte, NestJS, Angular y JavaScript. Esta formación multidisciplinaria le ha permitido combinar la ejecución técnica con la estrategia de productos mientras lidera el desarrollo de la plataforma de comunicaciones impulsada por inteligencia artificial de Convos.

Convos es una plataforma de mensajería controlada impulsada por inteligencia artificial diseñada para ayudar a las campañas políticas y firmas de comunicaciones a reemplazar la mensajería masiva unidireccional con conversaciones personalizadas y bidireccionales a gran escala. La plataforma convierte las respuestas en análisis de sentimiento en tiempo real, clasificaciones de temas, resultados de llamadas a la acción, métricas de participación y conocimientos estructurados de votantes que las campañas pueden utilizar para refinar su alcance. Su sistema de inteligencia artificial de sistema cerrado opera dentro de materiales y guardrails de mensajería aprobados por la campaña, mientras ofrece características como segmentación de contactos, historial de conversaciones, seguimiento de enlaces, exportación de datos y auditorías de cumplimiento. Convos también puede complementar la infraestructura de mensajería existente de una organización en lugar de requerir que reemplace sus sistemas de comunicaciones actuales.

Co-fundaste Convos después de observar cómo la mensajería política y organizacional se había convertido en gran medida en una comunicación unidireccional. ¿Cuál fue la idea original que te convenció de que había una oportunidad para transformar la mensajería masiva en conversaciones impulsadas por inteligencia artificial, y cuáles fueron los mayores desafíos técnicos que enfrentaste al construir la plataforma?

La idea surgió de estar en el extremo receptor.

Alrededor de las elecciones de 2024, me bombardeaban con textos políticos, al igual que mucha gente. En algún momento, comencé a responder a ellos. Hacía una pregunta o respondía, y nunca recibía respuesta. Los mensajes se enviaban por millones, pero en el momento en que intentabas tener un intercambio real, no había nadie allí.

Me pareció una oportunidad perdida enorme. La persona del otro lado ya estaba comprometida. Estaba haciendo una pregunta real. Pero nunca se enviaba respuesta.

Así que la idea detrás de Convos fue simple. Convertir la transmisión en una conversación real, a gran escala, sin necesidad de una habitación llena de personas para atenderla.

Los mayores desafíos técnicos se redujeron a tres cosas: escala, latencia y cumplimiento.

La escala es la obvia. Estás gestionando miles de conversaciones al mismo tiempo, y cada una tiene su propio estado e historia. La latencia es más importante de lo que la gente espera. Si alguien responde y la respuesta tarda demasiado, el momento se pierde. El texto parece casi instantáneo, y la experiencia debe coincidir con eso.

El cumplimiento fue la parte más difícil, y fue algo que priorizamos desde el principio. La mensajería política está altamente regulada, y equivocarse no es una opción. Gran parte de nuestra ingeniería inicial se centró en asegurarnos de que el sistema se mantuviera dentro del mensaje y respetara el consentimiento y las cancelaciones de manera que va más allá de simplemente capturar la palabra “ALTO”.

Convos opera en la intersección de la inteligencia artificial conversacional, la mensajería a gran escala y el análisis de sentimiento en tiempo real. ¿Qué lecciones has aprendido al desplegar sistemas de inteligencia artificial que deben comprometer a miles de personas simultáneamente mientras siguen sintiéndose personales y auténticos?

La lección más grande es que “personal a gran escala” es algo que debes ingeniar. No sucede por defecto.

Cuando estás ejecutando miles de conversaciones a la vez, la tentación es tratarlas como un gran lote. Pero la persona que recibe el texto no se preocupa por tu lote. Para ellos es un intercambio uno a uno, y debe sentirse de esa manera. Eso significa que cada conversación debe llevar su propio contexto e historia, para que una respuesta realmente responda a lo que esa persona específica dijo, no a algún promedio de todos.

También aprendimos a prestar mucha atención a lo que la gente nos está diciendo realmente. Una respuesta no es solo una respuesta. Lleva sentimiento. Alguien puede responder con una pregunta, con entusiasmo, con frustración o con una señal clara de que quiere ser dejado solo. Leer esas nuances correctamente es lo que hace o deshace una interacción.

Al final, la autenticidad proviene de escuchar, no de sonar inteligente. El intercambio que se siente más humano es el que responde a la pregunta real y respeta el tiempo de la persona.

<strong HAS argumentado que muchas organizaciones se enfocan demasiado en las pruebas de modelo mientras pasan por alto la personalidad y el estilo de comunicación. ¿Por qué crees que la personalidad se está convirtiendo en un factor crítico en la implementación de inteligencia artificial empresarial, y cómo deben evaluarla las organizaciones?

Las pruebas de modelo miden la capacidad. No miden el ajuste.

Un modelo puede obtener una puntuación extremadamente alta en razonamiento o codificación y aún ser la elección equivocada para una conversación con un votante. La forma en que formula las cosas, lo cálido o formal que suena, si sabe cuándo ser breve, todo eso importa enormemente una vez que una persona real está en el otro extremo.

En nuestro mundo, el modelo no está resolviendo un problema de matemáticas. Está representando a una campaña en un mensaje de texto. Cada campaña tiene su propia voz, y el modelo debe coincidir con ella en lugar de imponer la suya. Si el tono es incorrecto, no importa cuán inteligente sea el modelo subyacente. La interacción falla.

También hay un lado de capacidad que las pruebas de modelo pasan por alto. Una campaña puede dar al agente orientación detallada sobre qué decir, qué evitar y cómo manejar temas específicos. El modelo debe seguir todo, consistentemente, a lo largo de un largo intercambio. Algunos modelos son mucho mejores que otros para mantener instrucciones complejas sin desviarse a mitad de la conversación. Esa capacidad también es parte de la personalidad, porque un modelo que suena genial pero deja de seguir sus instrucciones no es uno que puedas poner frente a personas reales.

Esa es la razón por la que la personalidad se está convirtiendo en un factor real en la implementación empresarial. A medida que los modelos se vuelven más capaces en general, la brecha de capacidad cruda entre ellos se reduce. Lo que queda es el carácter. Cómo se comunican y si se mantienen dentro de los límites que estableces.

La forma de evaluarlo no es en una clasificación. Es probar modelos en su caso de uso real, con su contenido real, y leer los resultados de la manera que lo haría su usuario final. Ponemos a los modelos a través del mismo tipo de intercambios que manejarán en producción y los juzgamos por si la conversación se siente correcta. Eso te dice mucho más que una puntuación de prueba.

<strong Tu equipo ha probado varios modelos líderes y ha observado diferencias significativas en cómo se desempeñan en diferentes tareas. ¿Qué has aprendido sobre las fortalezas y debilidades de los principales modelos de lenguaje grande, y por qué algunos están mejor adaptados para el trabajo conversacional que otros?

Lo que hemos aprendido es que no hay un solo mejor modelo. Solo hay el mejor modelo para un trabajo determinado.

Algunos modelos son excelentes para seguir instrucciones con precisión, lo que importa cuando necesitas que el sistema se mantenga dentro de límites estrictos. Algunos son más fuertes en un tono conversacional natural. Algunos son más rápidos, lo que es su propia fuerza cuando la latencia es parte de la experiencia. Otros son mejores para razonar a través de una solicitud complicada, pero se sienten rígidos o tardan demasiado en responder en un intercambio casual.

Para el trabajo conversacional en particular, las cualidades que importan no siempre son las que obtienen titulares. La velocidad importa. La consistencia importa. Saber cuándo ser breve importa. Un modelo que escribe una hermosa respuesta de tres párrafos a menudo es la elección equivocada cuando la respuesta correcta es una oración.

Nada de esto aparece en una clasificación. Solo lo aprendes poniendo a los modelos frente al trabajo real y prestando atención a cómo lo manejan.

<strong Muchas empresas están adoptando cada vez más estrategias de multi-modelo en lugar de depender de un solo proveedor de inteligencia artificial. ¿Cuáles son las ventajas de construir sistemas que pueden cambiar entre modelos, y qué consideraciones arquitectónicas son necesarias para hacer que eso sea posible?

La principal ventaja es que no estás bloqueado.

Si construyes todo alrededor de un proveedor, heredas todas sus limitaciones. Sus precios, sus límites de velocidad, su latencia, sus interrupciones y su calendario de lanzamiento se convierten en los tuyos. Un enfoque de multi-modelo te permite enviar cada tarea al modelo que la maneje mejor, y te da un lugar adonde ir cuando un proveedor tiene un mal día.

También te permite igualar el costo con el trabajo. No todas las interacciones necesitan tu modelo más poderoso y más costoso. Poder enviar el trabajo simple a un modelo más ligero y reservar el modelo pesado para los casos difíciles hace una gran diferencia a gran escala.

La arquitectura es lo que hace que esto sea posible, y la decisión clave es construir una capa de abstracción entre tu aplicación y cualquier modelo específico. Tu sistema no debe hablar directamente con la API de un proveedor en todo el código. Debe hablar con tu propia interfaz interna, y esa interfaz decide qué modelo maneja realmente la solicitud.

Una vez que tengas eso, puedes agregar lógica de enrutamiento, respaldos cuando un proveedor falla y la capacidad de cambiar modelos sin volver a escribir tu aplicación. También necesitas un manejo consistente de prompts y resultados a través de los modelos, porque cada uno se comporta un poco de manera diferente, y tu sistema debe suavizar esas diferencias.

Es más trabajo al principio. Pero te compra flexibilidad que es muy difícil de agregar más tarde.

<strong Recientemente destacaste cómo evolucionan rápidamente los modelos de inteligencia artificial, con nuevos lanzamientos que a veces cambian las características de rendimiento de manera inesperada. ¿Cómo deben equilibrar las empresas el deseo de adoptar los modelos más recientes con la necesidad de estabilidad, confiabilidad y rendimiento predecible?

La respuesta honesta es que un nuevo modelo no es una mejora hasta que hayas probado que lo es.

Cada lanzamiento es emocionante, y hay una gran presión para adoptar lo último de inmediato. Pero hemos visto que los nuevos modelos cambian de comportamiento de maneras que no esperábamos. Algo que funcionaba de manera confiable comienza a responder de manera ligeramente diferente, y en un sistema de producción esas pequeños cambios se suman.

La forma en que lo manejamos es simple. Ningún modelo entra en nuestra canalización hasta que lo hemos probado a mano nosotros mismos. Cuando se lanza un nuevo modelo, no tomamos las pruebas o el anuncio en su valor. Nos sentamos y lo ejecutamos a través de sus pasos en el mismo tipo de conversaciones que manejaría en producción, y leemos los resultados nosotros mismos.

Ese paso práctico no es opcional para nosotros. Un modelo puede parecer mejor en papel y aún así manejar un intercambio real de una manera que no estamos cómodos poniendo frente a votantes. La única forma de saber es ponerlo a través de las mismas situaciones que nuestro sistema maneja todos los días y ver cómo responde en realidad.

Esta es otra área donde la capa de abstracción gana su sueldo. Debido a que nuestra aplicación no depende de un modelo específico, podemos traer un nuevo lanzamiento, probarlo contra las conversaciones que realmente manejamos y compararlo honestamente con lo que estamos ejecutando actualmente. Si supera la prueba, cambiamos. Si no, esperamos.

<strong Las alucinaciones siguen siendo uno de los mayores obstáculos para la adopción de inteligencia artificial empresarial, especialmente cuando los modelos trabajan con grandes conjuntos de datos y información compleja. ¿Qué técnicas prácticas han demostrado ser más efectivas para reducir las alucinaciones en entornos de producción?

La técnica más efectiva que hemos encontrado es limitar lo que el modelo está permitido saber.

Mucha alucinación proviene de pedirle a un modelo que responda desde su propio conocimiento general, donde estará encantado de llenar los vacíos con algo que suene correcto. Hacemos lo contrario. Nuestro modelo de inteligencia artificial trabaja estrictamente desde la información que la campaña ha proporcionado. No tiene acceso a Internet y no se basa en algún vago recuerdo del mundo.

Si la respuesta no está en el material que se le dio, la respuesta correcta es decir que no tiene esa información. Ese límite simple elimina un enorme riesgo.

No nos detenemos ahí, sin embargo. Tenemos múltiples verificaciones en lugar para asegurarnos de que una respuesta coincida con lo que la campaña proporcionó. Incluso después de que el modelo genera una respuesta, esa respuesta se cruza con la información de la campaña antes de que vaya a cualquier lugar. Si algo no coincide, no se envía.

Más allá de eso, las técnicas prácticas son sobre anclaje y guardrails. Dale al modelo el contexto específico y relevante que necesita para la tarea que tiene frente a él en lugar de un gran montón indiferenciado de datos. La información más enfocada, menos espacio hay para divagar.

También ponemos límites claros sobre lo que el sistema está permitido hacer y decir, y monitoreamos conversaciones reales en lugar de asumir que todo está bien. No atrapas problemas confiando en el modelo. Los atrapas observando la salida.

En un espacio regulado como la mensajería política, una respuesta inventada es una responsabilidad, así que diseñamos el sistema para preferir la transparencia a la suposición.

<strong A medida que las organizaciones despliegan agentes de inteligencia artificial en soporte al cliente, comunicaciones, marketing y operaciones, ¿qué errores ves que los equipos cometen una y otra vez al pasar de proyectos piloto a despliegues a gran escala?

El error que veo más a menudo es que los equipos prueban si su agente funciona, pero no si puede ser roto.

No puedo contar cuántas veces una empresa ha lanzado un chatbot de inteligencia artificial y, dentro de un día, alguien en línea ha pirateado para que diga algo que nunca debía decir. Se le hace hablar fuera de sus instrucciones, se le engaña para que se salga del guión o se le manipula para que represente a la marca de una manera que termina siendo una captura de pantalla que todos están pasando.

Eso sucede porque en un piloto, todos se comportan bien. Estás probando al agente con personas razonables que hacen preguntas razonables, y se ve genial. La producción es lo opuesto. En el momento en que algo es público, una parte de la gente que le habla está activamente tratando de hacerlo tropezar.

Si no has probado el caso adversario, no has probado realmente. Tienes que intentar romper tu propio sistema antes de que alguien más lo haga. Empújalo, alimenta las entradas extrañas y hostiles, y mira si mantiene sus límites cuando alguien está trabajando en su contra de manera deliberada.

El otro error repetido es asumir que un demo que funciona es un sistema que funciona. Un piloto es un puñado de conversaciones vigiladas en el camino feliz. La producción es miles de personas a todas horas comportándose de maneras que no anticipaste, y los casos de borde que desestimaste se convierten en eventos diarios a gran escala.

Mi consejo es pasar menos tiempo perfeccionando el demo y más tiempo tratando de romper la cosa tú mismo. Si no puede sobrevivir a que lo ataquen, no sobrevivirá a ser público.

<strong Los agentes de inteligencia artificial se están convirtiendo cada vez más en capaces de manejar conversaciones que antes requerían personal humano. ¿Dónde ves el equilibrio entre la automatización y la supervisión humana en los próximos cinco años, y qué flujos de trabajo crees que siempre deben mantener a un humano en el bucle?

Esto es difícil, y no creo que nadie sepa honestamente dónde cae la línea en cinco años. La forma en que lo pienso es que el valor real de la inteligencia artificial es como un multiplicador de fuerza. Le permite a un pequeño grupo de personas hacer mucho más de lo que podrían hacer solos.

Los equipos que obtienen más provecho de estas herramientas las están utilizando exactamente de esa manera. La inteligencia artificial maneja el volumen y la repetición, y las personas pasan su tiempo en juicio, estrategia y situaciones que realmente necesitan un ser humano. Ese es un objetivo muy diferente al de tratar de reemplazar a las personas.

Cuando el objetivo es el reemplazo puro, tiendes a empujar la tecnología más allá de lo que es realmente buena. Y falla de maneras que son visibles y costosas. Cuando el objetivo es multiplicar a tus personas, dejas que la inteligencia artificial haga lo que hace bien y mantienes a los humanos donde agregan más valor. El segundo enfoque funciona mejor, y es más honesto sobre dónde está la tecnología en realidad hoy en día.

En los próximos cinco años, espero que los agentes tomen más y más de la carga conversacional rutinaria, y deberían. Ese trabajo no necesita a una persona vigilando cada palabra.

Los flujos de trabajo que siempre deben mantener a un humano involucrado son aquellos donde las apuestas son altas o la situación es genuinamente nueva. Cualquier cosa que toque el consentimiento, el cumplimiento o una decisión que sería difícil de revertir. Una persona debe poseer la dirección, y la inteligencia artificial debe ayudarlos a cubrir mucho más terreno de lo que podrían hacer de otra manera.

<strong Mirando hacia adelante, ¿qué desarrollos en inteligencia artificial conversacional te emocionan más, y cómo visualizas que las plataformas como Convos evolucionarán a medida que los modelos se vuelven más capaces, multimodales y autónomos?

Lo que más me emociona es que las conversaciones seguirán mejorando.

A medida que los modelos mejoran, los intercambios que maneja nuestra plataforma se vuelven más naturales y más útiles sin que tengamos que reconstruir los cimientos cada vez. Debido a que diseñamos el sistema para cambiar entre modelos, podemos traer esas mejoras a medida que llegan.

Multimodal es el desarrollo que estoy observando más de cerca. Ahora mismo, la conversación es texto. A medida que los modelos manejan imágenes y otros formatos más capaces, hay una oportunidad real de hacer que estos intercambios sean más ricos mientras se mantiene la inmediatez que hace que el texto funcione.

En cuanto a la autonomía, soy optimista pero cuidadoso. Los modelos más capaces se lanzan mensualmente, y podrán manejar mucho por sí solos. Pero en un espacio regulado, más autonomía tiene que venir con más disciplina, no menos. Los límites importan más a medida que crece la capacidad.

Me metí en esto porque era la persona que estaba enviando mensajes al vacío y no obteniendo respuesta. Ese sigue siendo el problema que más me preocupa. No importa cuán capaces se vuelvan estos modelos, la medida que siempre vuelvo a considerar es simple. ¿La persona del otro lado se siente escuchada?

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Convos.