Entrevistas
Yubei Chen, Co-Fundador de Aizip Inc – Serie de Entrevistas
Yubei Chen es co-fundador de Aizip inc., una empresa que construye los modelos de inteligencia artificial más pequeños y eficientes del mundo. También es profesor asistente en el Departamento de Ingeniería Eléctrica y Computación (ECE) de la Universidad de California, Davis. La investigación de Chen se encuentra en la intersección de la neurociencia computacional y el aprendizaje profundo no supervisado (auto-supervisado), lo que mejora nuestra comprensión de los principios computacionales que gobiernan el aprendizaje de representaciones no supervisadas en cerebros y máquinas, y redefine nuestras ideas sobre las estadísticas de señales naturales.
Antes de unirse a UC Davis, Chen realizó su investigación postdoctoral con el profesor Yann LeCun en el Centro de Ciencia de Datos de NYU (CDS) y la Investigación de Inteligencia Artificial Fundamental de Meta (FAIR). Completó su doctorado en el Centro de Neurociencia Teórica de Redwood y la Investigación de Inteligencia Artificial de Berkeley (BAIR), UC Berkeley, asesorado por el profesor Bruno Olshausen.
Aizip desarrolla soluciones de inteligencia artificial ultra-eficientes optimizadas para dispositivos de borde, que ofrecen modelos compactos para aplicaciones de visión, audio, series temporales, lenguaje y fusión de sensores. Sus productos permiten tareas como el reconocimiento de rostros y objetos, la detección de palabras clave, el análisis de ECG/EEG y los chatbots en dispositivos, todos impulsados por TinyML. A través de su plataforma de fábrica de nanotecnología de IA, Aizipline, la empresa acelera el desarrollo de modelos utilizando modelos fundamentales y generativos para impulsar la automatización completa del diseño de IA. La serie de modelos de lenguaje pequeños de Aizip (300M-2B parámetros) admite una amplia gama de dispositivos, lo que lleva capacidades inteligentes al borde.
Usted hizo su investigación postdoctoral con Yann LeCun en NYU y Meta FAIR. ¿Cómo trabajando con él y su investigación en UC Berkeley definieron su enfoque para construir soluciones de inteligencia artificial para el mundo real?
En Berkeley, mi trabajo estaba profundamente arraigado en la investigación científica y el rigor matemático. Mi investigación de doctorado, que combinaba ingeniería eléctrica, ciencias de la computación y neurociencia computacional, se centró en comprender los sistemas de inteligencia artificial desde una perspectiva de “caja blanca”, o desarrollar métodos para revelar las estructuras subyacentes de los datos y los modelos de aprendizaje. Trabajé en la construcción de modelos de inteligencia artificial interpretables y de alto rendimiento, y técnicas de visualización que ayudaron a abrir los sistemas de inteligencia artificial de caja negra.
En Meta FAIR, el enfoque estaba en la ingeniería de sistemas de inteligencia artificial para lograr un rendimiento de clase mundial a escala. Con acceso a recursos computacionales de clase mundial, exploré los límites del aprendizaje auto-supervisado y contribuí a lo que ahora llamamos “modelos del mundo” — sistemas de inteligencia artificial que aprenden de los datos y imaginan entornos posibles. Esta experiencia dual — comprensión científica en Berkeley y escalado impulsado por la ingeniería en Meta — me ha dado una perspectiva integral sobre el desarrollo de inteligencia artificial. Destacó la importancia que tanto la perspicacia teórica como la implementación práctica tienen cuando se desarrollan soluciones de inteligencia artificial para aplicaciones del mundo real.
Su trabajo combina neurociencia computacional con inteligencia artificial. ¿Cómo influyen las ideas de la neurociencia en la forma en que desarrolla modelos de inteligencia artificial?
En neurociencia computacional, estudiamos cómo el cerebro procesa la información midiendo sus respuestas a varios estímulos, similar a cómo probamos los modelos de inteligencia artificial para comprender sus mecanismos internos. Al comienzo de mi carrera, desarrollé técnicas de visualización para analizar incrustaciones de palabras — descomponiendo palabras como “manzana” en sus elementos semánticos constituyentes, como “fruta” y “tecnología”. Más tarde, este enfoque se expandió a modelos de inteligencia artificial más complejos como transformadores y modelos de lenguaje grandes, lo que ayudó a revelar cómo procesan y almacenan el conocimiento.
Estos métodos paralelan técnicas en neurociencia, como el uso de electrodos o fMRI para estudiar la actividad cerebral. Sondear las representaciones internas de un modelo de inteligencia artificial nos permite comprender sus estrategias de razonamiento y detectar propiedades emergentes, como neuronas de conceptos que se activan para ideas específicas (como la característica del puente Golden Gate que Anthropic encontró al mapear Claude). Esta línea de investigación ahora es ampliamente adoptada en la industria porque ha demostrado habilitar tanto la interpretación como las intervenciones prácticas, eliminando sesgos de los modelos. Así, los enfoques inspirados en la neurociencia esencialmente nos ayudan a hacer que la inteligencia artificial sea más explicable, confiable y eficiente.
¿Qué lo inspiró a co-fundar Aizip? ¿Puede compartir el viaje desde el concepto hasta el lanzamiento de la empresa?
Como investigador fundamental de inteligencia artificial, gran parte de mi trabajo era teórico, pero quería cerrar la brecha entre la investigación y las aplicaciones del mundo real. Co-fundé Aizip para llevar innovaciones de inteligencia artificial de vanguardia al uso práctico, particularmente en entornos con recursos limitados. En lugar de construir grandes modelos fundamentales, nos centramos en desarrollar los modelos de inteligencia artificial más pequeños y eficientes del mundo, que se optimizarían para dispositivos de borde.
El viaje básicamente comenzó con una observación clave: mientras que los avances de la inteligencia artificial estaban escalando rápidamente, las aplicaciones del mundo real a menudo requerían modelos ligeros y altamente eficientes. Vimos una oportunidad para abrir un nuevo camino que equilibrara el rigor científico con la implementación práctica. Al aprovechar ideas del aprendizaje auto-supervisado y arquitecturas de modelos compactas, Aizip ha podido entregar soluciones de inteligencia artificial que operan de manera eficiente en el borde y abren nuevas posibilidades para la inteligencia artificial en sistemas incrustados, IoT y más allá.
Aizip se especializa en modelos de inteligencia artificial pequeños para dispositivos de borde. ¿Qué brecha en el mercado vio que llevó a este enfoque?
La industria de la inteligencia artificial se ha centrado en gran medida en escalar los modelos hacia arriba, pero las aplicaciones del mundo real a menudo exigen lo contrario — alta eficiencia, bajo consumo de energía y latencia mínima. Muchos modelos de inteligencia artificial de hoy son demasiado costosos en términos computacionales para su implementación en dispositivos pequeños y embebidos. Vimos una brecha en el mercado para soluciones de inteligencia artificial que pudieran ofrecer un rendimiento sólido mientras operaban dentro de restricciones de recursos extremas.
Reconocimos que no es necesario que todas las aplicaciones de inteligencia artificial se ejecuten en modelos masivos, y que tampoco sería escalable depender de modelos de ese tamaño para todo. En su lugar, nos centramos en optimizar algoritmos para lograr la máxima eficiencia mientras se mantiene la precisión. Al diseñar modelos de inteligencia artificial adaptados para aplicaciones de borde — ya sea en sensores inteligentes, dispositivos portátiles o automatización industrial — habilitamos que la inteligencia artificial se ejecute en lugares donde los modelos tradicionales serían impracticables. Nuestro enfoque hace que la inteligencia artificial sea más accesible, escalable y eficiente en términos de energía, desbloqueando nuevas posibilidades para la innovación impulsada por la inteligencia artificial más allá de la nube.
Aizip ha estado a la vanguardia del desarrollo de Modelos de Lenguaje Pequeños (SLM). ¿Cómo ve la competencia o el complemento de los SLM con modelos más grandes como GPT-4?
Los SLM y los modelos más grandes como GPT-4 no están necesariamente en competencia directa porque atienden necesidades diferentes. Los modelos más grandes son poderosos en términos de generalización y razonamiento profundo, pero requieren recursos computacionales sustanciales. Los SLM están diseñados para la eficiencia y la implementación en dispositivos de borde de baja potencia. Complementan a los modelos más grandes al habilitar capacidades de inteligencia artificial en aplicaciones del mundo real donde importan la potencia de cálculo, la latencia y los costos — como en dispositivos IoT, dispositivos portátiles y automatización industrial. A medida que crece la adopción de la inteligencia artificial, vemos surgir un enfoque híbrido, donde los modelos grandes basados en la nube manejan consultas complejas mientras que los SLM proporcionan inteligencia localizada en tiempo real en el borde.
¿Cuáles son los mayores desafíos técnicos para hacer que los modelos de inteligencia artificial sean lo suficientemente eficientes para dispositivos de borde de baja potencia?
Uno de los desafíos fundamentales es la falta de una comprensión teórica completa de cómo funcionan los modelos de inteligencia artificial. Sin una base teórica clara, los esfuerzos de optimización a menudo son empíricos, lo que limita los beneficios de eficiencia. Además, el aprendizaje humano ocurre de diversas maneras que los paradigmas actuales de aprendizaje automático no capturan completamente, lo que hace difícil diseñar modelos que imiten la eficiencia humana.
Desde una perspectiva de ingeniería, impulsar la inteligencia artificial para que funcione dentro de restricciones extremas requiere soluciones innovadoras en la compresión de modelos, cuantización y diseño de arquitectura. Otro desafío es crear modelos de inteligencia artificial que puedan adaptarse a una variedad de dispositivos y entornos mientras mantienen la robustez. A medida que la inteligencia artificial interactúa cada vez más con el mundo físico a través de IoT y sensores, la necesidad de interfaces naturales y eficientes — como voz, gestos y otras entradas no tradicionales — se vuelve crítica. La inteligencia artificial en el borde se trata de redefinir cómo los usuarios interactúan con el mundo digital de manera fluida.
¿Puede compartir algunos detalles sobre el trabajo de Aizip con empresas como Softbank?
Recientemente nos asociamos con SoftBank en un proyecto de acuicultura que ganó un premio de innovación CES — uno del que estamos especialmente orgullosos. Desarrollamos un modelo de inteligencia artificial eficiente y basado en el borde para una aplicación de conteo de peces que puede ser utilizada por operadores de acuicultura para granjas de peces. Esta solución aborda un desafío crítico en la cría de peces que puede crear problemas de sostenibilidad, desperdicio de alimentos y rentabilidad. La industria ha sido lenta para adoptar la inteligencia artificial como solución debido a la energía y la conectividad poco confiables en el mar, lo que hace que las soluciones de inteligencia artificial basadas en la nube sean poco prácticas.
Para resolver esto, desarrollamos una solución basada en el dispositivo. Combinamos simulaciones de gráficos computacionales de SoftBank para datos de entrenamiento con nuestros modelos de inteligencia artificial compactos y creamos un sistema altamente preciso que se ejecuta en teléfonos inteligentes. En pruebas de campo subacuáticas, logró una tasa de reconocimiento del 95%, mejorando dramáticamente la precisión del conteo de peces. Esto permitió a los granjeros optimizar las condiciones de almacenamiento, determinar si los peces debían transportarse vivos o congelados, y detectar posibles enfermedades o problemas de salud en los peces.
Ese avance mejora la eficiencia, reduce los costos y minimiza la dependencia del trabajo manual. Más ampliamente, muestra cómo la inteligencia artificial puede tener un impacto tangible en problemas del mundo real.
Aizip ha introducido el concepto de “fábrica de nanotecnología de IA”. ¿Podría explicar qué significa esto y cómo automatiza el desarrollo de modelos de inteligencia artificial?
La fábrica de nanotecnología de IA es nuestra canalización interna de automatización del diseño de IA, inspirada en la Automatización del Diseño de Electrónica (EDA) en la fabricación de semiconductores. Al comienzo de cualquier campo de tecnología emergente, hay mucho esfuerzo manual involucrado, por lo que la automatización se vuelve clave para acelerar el progreso y escalar soluciones a medida que el campo madura.
En lugar de simplemente usar la inteligencia artificial para acelerar otras industrias, nos preguntamos, ¿puede la inteligencia artificial acelerar su propio desarrollo? La fábrica de nanotecnología de IA automatiza cada etapa del desarrollo de modelos de inteligencia artificial, desde el procesamiento de datos hasta el diseño de arquitectura, la selección de modelos, el entrenamiento, la cuantización, la implementación y la depuración. Al aprovechar la inteligencia artificial para optimizar su propio desarrollo, hemos podido reducir el tiempo de desarrollo para nuevos modelos en un factor promedio de 10. En algunos casos, más de 1,000 veces. Esto significa que un modelo que una vez tomó más de un año para desarrollar ahora puede crearse en solo unas horas.
Otro beneficio es que esta automatización también garantiza que las soluciones de inteligencia artificial sean viables económicamente para una amplia gama de aplicaciones, lo que hace que la implementación de la inteligencia artificial en el mundo real sea más accesible y escalable.
¿Cómo ve evolucionar el papel de la inteligencia artificial de borde en los próximos cinco años?
La inteligencia artificial de borde promete transformar la forma en que interactuamos con la tecnología, similar a cómo los teléfonos inteligentes revolucionaron el acceso a Internet. La mayoría de las aplicaciones de inteligencia artificial de hoy están basadas en la nube, pero esto está comenzando a cambiar a medida que la inteligencia artificial se mueve más cerca de los sensores y dispositivos que interactúan con el mundo físico. Este cambio destaca una necesidad crítica de procesamiento en tiempo real y eficiente en el borde.
En los próximos cinco años, esperamos que la inteligencia artificial de borde permita interacciones más naturales entre humanos y computadoras, como el reconocimiento de voz y gestos, y otras interfaces intuitivas, lo que eliminaría la dependencia de barreras tradicionales como teclados y pantallas táctiles. La inteligencia artificial también se integrará más en entornos cotidianos como hogares inteligentes o automatización industrial para permitir la toma de decisiones en tiempo real con latencia mínima.
Otra tendencia clave será el aumento de la autonomía de los sistemas de inteligencia artificial de borde. Los modelos de inteligencia artificial se volverán más auto-optimizables y adaptables gracias a avances en la automatización al estilo de la fábrica de nanotecnología de IA, lo que reducirá la necesidad de intervención humana en la implementación y el mantenimiento. Esto abrirá nuevas oportunidades en una variedad de industrias como la atención médica, la automotriz y la agricultura.
¿Qué dispositivos impulsados por inteligencia artificial de Aizip está más emocionado de ver en el futuro?
Estamos trabajando para expandir los casos de uso de nuestros modelos en nuevas industrias, y una de las que nos emociona especialmente es un agente de inteligencia artificial para el sector automotriz. Hay un creciente impulso, particularmente entre los fabricantes de automóviles chinos, para desarrollar asistentes de voz impulsados por modelos de lenguaje que se sientan más como ChatGPT dentro de la cabina. El desafío es que la mayoría de los asistentes actuales todavía dependen de la nube, especialmente para diálogos naturales y flexibles. Solo tareas de comando y control básicas (como “encienda el aire acondicionado” o “abra el maletero”) suelen ejecutarse localmente en el vehículo, y la naturaleza rígida de esos comandos puede convertirse en una distracción para los conductores si no los tienen memorizados con precisión total.
Hemos desarrollado una serie de agentes de inteligencia artificial ultra-eficientes y basados en SLM llamados Gizmo que actualmente se utilizan en una variedad de aplicaciones para diferentes industrias, y estamos trabajando para implementarlos como “co-pilotos” en cabinas de vehículos. Gizmo está entrenado para comprender la intención de manera más sutil, y cuando sirve como agente de inteligencia artificial de un vehículo, podría ejecutar comandos a través de lenguaje conversacional y libre. Por ejemplo, el agente podría ajustar la temperatura de la cabina si el conductor simplemente dijera “tengo frío”, o responder a una solicitud como “mañana conduzco a Boston, ¿qué debo usar?” verificando el clima y ofreciendo una sugerencia.
Como funcionan localmente y no dependen de la nube, estos agentes continúan funcionando en zonas muertas o áreas con mala conectividad, como túneles, montañas o carreteras rurales. También mejoran la seguridad al dar a los conductores un control total por voz sin quitar su atención del camino. Y, en una nota separada y más ligera, también mencionaría que actualmente estamos en el proceso de poner en producción un modelo de karaoke impulsado por inteligencia artificial para vehículos y altavoces Bluetooth, que se ejecuta localmente como el co-piloto. Básicamente, toma cualquier entrada de audio y elimina las voces humanas de ella, lo que permite crear una versión de karaoke de cualquier canción en tiempo real. Así, aparte de ayudar a los clientes a gestionar los controles en el coche de manera más segura, también estamos buscando formas de hacer que la experiencia sea más divertida.
Este tipo de soluciones, las que hacen una diferencia significativa en la vida cotidiana de las personas, son las que nos enorgullecen más.
Aizip desarrolla soluciones de inteligencia artificial ultra-eficientes optimizadas para dispositivos de borde, que ofrecen modelos compactos para aplicaciones de visión, audio, series temporales, lenguaje y fusión de sensores. Sus productos permiten tareas como el reconocimiento de rostros y objetos, la detección de palabras clave, el análisis de ECG/EEG y los chatbots en dispositivos, todos impulsados por TinyML. A través de su plataforma de fábrica de nanotecnología de IA, Aizipline, la empresa acelera el desarrollo de modelos utilizando modelos fundamentales y generativos para impulsar la automatización completa del diseño de IA. La serie de modelos de lenguaje pequeños de Aizip (300M-2B parámetros) admite una amplia gama de dispositivos, lo que lleva capacidades inteligentes al borde.
Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Aizip.
