Zuzanna Stamirowska, Co-Fundadora y CEO de Pathway – Serie de Entrevistas

Zuzanna Stamirowska, Co-Fundadora y CEO de Pathway, es una investigadora convertida en constructora que anteriormente trabajó en fenómenos emergentes y evolución de redes a gran escala. Sus proyectos fueron reconocidos por la Academia Nacional de Ciencias de EE. UU. y tiene un doctorado en Sistemas Complejos. Zuzanna, junto con el CTO Jan Chorowski y el CSO Adrian Kosowski, lidera un equipo que ya ha construido herramientas de inteligencia artificial abiertas con más de 62.000 estrellas en GitHub.

Pathway está reinventando la forma en que los modelos de inteligencia artificial piensan, con el objetivo de crear sistemas que operen continuamente y se adapten en lugar de funcionar en lotes. Detrás de escena, su herramienta y arquitectura permiten que los modelos procesen, aprendan y evolucionen en tiempo real. La empresa ha atraído el respaldo de luminarias como Lukasz Kaiser (co-inventor de los Transformadores) y prominentes firmas de capital de riesgo.

¿Qué te motivó a lanzar Pathway, y cómo influyó tu experiencia en sistemas complejos, teoría de juegos y fenómenos emergentes en la visión y dirección técnica de la empresa?

Queríamos crear inteligencia artificial que piense y se adapte como los humanos. Nos dimos cuenta de que esto significa sistemas de inteligencia artificial (modelos de aprendizaje profundo o tuberías de aprendizaje de máquina construidas a partir de un número mayor de ladrillos) que serían capaces de aprender continuamente en función de los datos del entorno, mejorar con la experiencia y, a veces, “corregir” sus puntos de vista anteriores del mundo. De hecho, obtuvimos bastante cobertura sobre el tema de “desaprendizaje de máquina”. Además de los modelos, dichos sistemas necesitaban una capa completa de ingeniería para capturar los datos en su fuente y alimentarlos inmediatamente a los sistemas dinámicos.

Habiendo trabajado en la emergencia en redes complejas, desarrollé una serie de hipótesis que acabamos aplicando directamente o casi directamente en BDH. Resulta gracioso que hice algunas apuestas con mis colegas (Adrian, CSO, y Jan, CTO) y gané un par de botellas de cognac realmente bueno. Primero, creíamos que la inteligencia natural resulta de una estructura y acción emergente de las neuronas en el cerebro (esto es obvio, no hay apuesta aquí). Segundo, desde mi investigación anterior, sabía que, en general, la función da forma a la red (gané esta apuesta). En trabajos anteriores, descubrí esto para el comercio, y los neurocientíficos habían estudiado esto para los nervios y sentidos en ratones, etc. Tercero, era el hecho de que esta configuración de la estructura de la red debe seguir algunas reglas muy locales vinculadas al llamado “vecindario” de cada ubicación de la red (en este caso, un nodo es una neurona) (gané esta apuesta). Los otros elementos provinieron de mi conocimiento de sistemas de interacción de partículas, piensa, por ejemplo, en el magnetismo, donde las partículas ajustan sus giros a un campo externo y crean algún tipo de “orden espontáneo”. Esta fue la clase de matemáticas que utilicé mientras trabajaba en la teoría de juegos en grafos. Al reunir todo esto, desde el primer día de la existencia de la empresa, tuvimos una fuerte convicción de que la dispersión (estructuras similares a grafos) sería una piedra angular en el avance de la inteligencia artificial.

La consideración de una noción de tiempo fue crítica y también bastante característica de mi experiencia, porque la emergencia generalmente ocurre con el tiempo.

¿Cuándo lanzaste la empresa en 2020, cuáles fueron tus primeras hipótesis sobre lo que los sistemas de inteligencia artificial del futuro deberían hacer de manera diferente, y cómo han evolucionado esas visiones?

Teníamos una fuerte convicción desde el inicio de que la inteligencia artificial necesitaba ser en vivo, adaptable e integrada en procesos a gran escala. Debería aprender directamente de la fuente, con los datos más crudos posibles.

Primero, lo hicimos para enfoques de aprendizaje de máquina más clásicos, y en el camino, construimos capas de ingeniería que permiten que dichos sistemas se desplieguen fácilmente en el mundo real. Ahora, hemos llevado este enfoque al aprendizaje profundo.

Sabíamos que los elementos de tiempo y estructura (redes) serían clave para el avance hacia la inteligencia artificial general. Tenemos esto escrito en algunos de nuestros documentos fundadores de 2020.

¿Puedes explicarnos la arquitectura “post-Transformer” que estás introduciendo y cómo difiere de los sistemas basados en Transformadores actuales?

Nuestra nueva arquitectura, llamada Baby Dragon Hatchling (BDH), conecta formalmente cómo los Transformadores procesan la información con cómo emerge la razonamiento en el cerebro.
BDH se comporta como un sistema físico: un modelo de computación similar al cerebro en el que las neuronas hacen un esfuerzo colaborativo para descubrir el siguiente hecho más relevante. El razonamiento contextual no está limitado por limitaciones de ingeniería, como la longitud de contexto fija del Transformador, sino que se escala con la cantidad de neuronas del modelo.

Al poner todo esto en términos más técnicos, a diferencia del Transformador, en BDH tenemos atención lineal, vectores de clave-consulta dispersos y no hay límites en el tamaño de la ventana de contexto.

Este enfoque abre la puerta a sistemas que aprenden mientras realizan, sostienen largas cadenas de razonamiento y se adaptan continuamente en contexto.

Una característica central del sistema es la localidad: los datos importantes se encuentran justo al lado de los sitios en los que se procesan. Esto minimiza la comunicación y elimina el cuello de botella más doloroso de todos para los modelos de razonamiento durante la inferencia: la banda de ancho de memoria a núcleo.

¿Cómo se inspira tu enfoque en el razonamiento humano, particularmente al permitir la adaptabilidad y el aprendizaje continuo sin necesidad de volver a entrenar?

BDH acerca la inteligencia natural y la inteligencia artificial.

Esta arquitectura se inspira en la forma en que las neuronas y sinapsis funcionan en el cerebro. Mapea los mecanismos de atención biológicos a la noción computacional de atención en el aprendizaje de máquina, creando un puente escalable entre los Transformadores y el cerebro.

BDH acerca la atención a los parámetros del modelo, presentándolos como dos reflejos de la misma dinámica del sistema similar al cerebro, con la atención cambiando a un ritmo rápido a medida que se conocen nuevos hechos durante el razonamiento, y los parámetros del modelo cambiando más lentamente a medida que el sistema cambia sus hábitos a largo plazo. Esto es más cercano a cómo creemos que funciona el razonamiento en el cerebro.

Vemos BDH como un hito hacia el diseño de sistemas de inteligencia artificial que razonan a mitad de tarea, mejoran con la experiencia y se adaptan sin necesidad de volver a entrenar, propiedades que asociamos con el razonamiento humano.

Una de las desafíos en la inteligencia artificial es equilibrar la estabilidad con la adaptabilidad — ¿cómo garantizas que los sistemas puedan aprender en tiempo real sin perder el conocimiento previo?

BDH se basa en su estructura sin escala y estados de neuronas localizados para sostener el razonamiento a lo largo de horizontes de tiempo largos, equilibrando la estabilidad y la capacidad de integrar nuevos conocimientos y observaciones. Este equilibrio natural de salud es fácil de extraer y seguir a lo largo de la vida útil de un modelo.

Con BDH estamos poniendo el razonamiento como la piedra angular de la inteligencia. Con el trabajo actual, hacemos progreso en una hipótesis sobre el papel del conocimiento en los grandes modelos de lenguaje: no se trata tanto de lo que es “verdadero”, sino de lo que es “útil” en un contexto determinado para avanzar en una cadena de razonamiento determinada. Por ejemplo, si el conocimiento se contextualiza, de repente no hay contradicción entre nuestro mundo que sigue las leyes de la naturaleza y el hecho de que conocemos un cuento popular que admite la existencia de hadas y magia. De la misma manera, no hay contradicción para un modelo que considere varias hipótesis de predicción diferentes, con suposiciones más y menos optimistas, en una sola cadena de pensamiento.

Los modelos basados en BDH adquieren nuevos hechos durante su vida útil de manera contextualizada. Pueden autocorregirse debido a esto. Al exponer estadísticas fáciles de seguir de la actividad de las neuronas y un control granular sobre la transferencia de conocimiento del contexto a los parámetros del modelo, la arquitectura ayuda a reducir el riesgo de que los contextos “obsoletos” resurjan en un momento inoportuno.

¿Cuáles son los compromisos de ingeniería al construir un motor de procesamiento de datos en vivo que pueda sostener estas capacidades a escala?

La oferta empresarial de Pathway se basa en el motor de procesamiento de datos más rápido del mercado. Ese motor subyace a nuestra capacidad para manejar entradas en tiempo real y reaccionar a nueva información con baja latencia. Con el avance actual de BDH, garantizamos que esta adaptabilidad en tiempo real se extiende hasta los modelos de inteligencia artificial fundamentales utilizados en los despliegues. Nuestro objetivo general para despliegues a gran escala es alejarnos de la optimización estática hacia la construcción de infraestructura que pueda manejar razonamiento a largo plazo.

¿Cuáles son los casos de uso más convincentes que realmente exigen esta próxima etapa de la inteligencia artificial, y dónde fallan los sistemas basados en Transformadores actuales?

Muchas innovaciones han extendido la funcionalidad de la inteligencia artificial generativa para adaptarse rápidamente a nueva información y depender profundamente del “tiempo en la tarea”, pero nada ha podido reemplazar aún la contratación de una persona altamente talentosa.

La respuesta rápida y directa es que estamos hablando de cualquier tarea que actualmente requiera más de 2 horas y 17 minutos de trabajo coherente por un experto humano. Este es el límite actual de GPT5 según METER.

Hemos tenido grandes discusiones con socios de diseño en la empresa que requieren personalización profunda, modelos que aprenden en el trabajo con datos escasos y la seguridad del despliegue.

BDH hace que sea relativamente sencillo para una empresa abordar procesos complejos como:

• Cerrar un trimestre para una empresa pública
• Generación dinámica de los siguientes mejores cursos de acción en entornos de alto riesgo es muy relevante tanto en ventas como en defensa.
• Gestión de inversiones

La OTAN ya está utilizando la tecnología de Pathway para procesar datos militares y sociales en vivo, permitiendo sistemas de planificación que se adaptan a medida que las situaciones evolucionan. La Poste está utilizando la inteligencia artificial en vivo de Pathway para gestionar dinámicamente sus operaciones en tiempo real. Industrias como las finanzas y la salud, donde los datos son escasos o sensibles, pueden beneficiarse de modelos que requieren menos datos pero entregan conocimientos más profundos y juicios más confiables.

¿Puedes compartir ejemplos de cómo organizaciones como la OTAN, La Poste o Formula 1 han aplicado tu tecnología y el impacto que ha tenido?

La OTAN, La Poste y los equipos de Formula 1 son ya adoptadores tempranos de la tecnología de Pathway.

Pathway ofrece a la OTAN tecnología de procesamiento de datos robusta e innovadora para desbloquear nuevas capacidades para usos críticos a gran escala. Con nuestro demostrador funcional, la Herramienta de Habilitación de Simulación de Refuerzo (REST), desarrollamos la piedra angular para el desarrollo posterior de soluciones de inteligencia artificial apoyadas para la OTAN. Al utilizar Pathway para conectar datos de código abierto, aceleramos la conciencia situacional y la llevamos al nivel que la OTAN requirió para operar con éxito en la década de 2020.

La Poste utiliza Pathway para mejorar procesos relacionados con sus unidades de transporte. Con el Marco de Trabajo de Pathway, La Poste anticipa sus operaciones automáticamente en tiempo real y genera análisis cualitativo en vivo de sus operaciones de transporte. Con Pathway, la empresa ha podido optimizar dinámicamente su logística, reducir los tiempos de entrega, los tiempos de procesamiento / tiempos de espera, y aumentar la confiabilidad. Además, han logrado reducciones significativas en los costos operativos (reducción del 50% en el costo total de propiedad en algunos casos).

El equipo de carreras de Formula 1 utiliza Pathway para adaptar su estrategia bajo condiciones de alta presión y en tiempo real. La empresa quería una plataforma para que los usuarios crearan funciones definidas por el usuario (UDF) de manera independiente y alimentaran varias necesidades comerciales, desde deportes electrónicos / simulación de carreras hasta coches y carreras de Formula 1. El Marco de Datos en Vivo de Pathway permite transformaciones de datos avanzadas en el equipo de carreras de Formula 1 a la menor latencia (velocidades de procesamiento 90 veces más rápidas que antes).

¿Cuáles son los obstáculos más grandes para desplegar sistemas adaptativos en industrias como la salud o la defensa, y cómo los abordas?

Por diseño, los LLM actuales generan contenido que es “nuevo” sin juicio real, llámalo el ‘gen’ en la inteligencia artificial generativa. Muchas industrias altamente reguladas necesitan gobernanza por definición y son reacias a desplegar procesos comerciales impulsados por inteligencia artificial sin repetibilidad, confianza y observabilidad. Irónicamente, para desplegar inteligencia artificial, estas empresas a menudo “simplifican” la funcionalidad y introducen complejidad adicional para facilitar el cumplimiento de las regulaciones.

Por diseño, BDH permite a una empresa observar y adaptarse a lo que sucede dentro del modelo. Esta observabilidad a lo largo de períodos prolongados de “razonamiento” da a la empresa la confianza para abordar procesos comerciales más largos y complejos. BDH es, por diseño, observable y consciente del eje del tiempo para los procesos comerciales. No hay necesidad de conjuntos de datos perfectos y enormes para el aprendizaje, ni de ventanas de contexto extremadamente largas, ni de lógica de pegamento para la observabilidad.

¿Qué consideraciones éticas o salvaguardas son esenciales a medida que los sistemas de inteligencia artificial comienzan a aprender y adaptarse en tiempo real?

Los sistemas que aprenden con la experiencia en realidad tienen mejores posibilidades de ser seguros que los actuales basados en Transformadores. Un elemento de esto es el hecho de que, con el aprendizaje continuo, tienen la oportunidad de autocorregirse y actualizar sus preconcepciones si estaban equivocados.

Para garantizar la seguridad de dichos sistemas, necesitan recibir retroalimentación con el tiempo. Lo que significa que necesitamos seguir alimentándolos con datos frescos y potencialmente garantizar bucles de retroalimentación para que comprendan los efectos de su propio funcionamiento. Esto se acerca al Aprendizaje de Refuerzo.

En segundo lugar, un modelo basado en BDH ofrece interpretación, lo que facilita entender cómo funciona, dando a los humanos un mejor control sobre ellos.

¿Qué se necesitaría para que un paradigma “post-Transformer” se convirtiera en mainstream en toda la comunidad de inteligencia artificial?

Un modelo en el mercado que sea extremadamente útil y tenga costos de inferencia significativamente más bajos mientras es más rápido. Creemos que hay una victoria de mercado que lograr, especialmente en la empresa.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Pathway.