Avi Baum, CTO en Hailo – Serie de entrevistas

Avi Baum, CTO en Hailo, lidera la visión tecnológica y la innovación de productos de la empresa. Anteriormente, se desempeñó como CTO de Conectividad Inalámbrica en Texas Instruments (TXN ), donde impulsó estrategias para los MCUs conectados en los mercados de IoT y IIoT, y ocupó puestos de arquitectura y liderazgo senior en las Fuerzas de Defensa de Israel.

Hailo es una empresa israelí de chips de IA que se especializa en procesadores de IA de borde de alto rendimiento y bajo consumo para aplicaciones como vehículos autónomos, cámaras inteligentes y robótica, respaldados por una suite de software integral y un ecosistema de socios globales.

¿Puede compartir qué lo llevó originalmente al campo de la IA de borde y cómo sus primeras experiencias de ingeniería dieron forma a su pensamiento sobre el diseño de procesadores?

Mi carrera me llevó a áreas de mercados emergentes. Durante mi permanencia en TI (Texas Instruments), un líder en semiconductores con un legado de larga data, tuve la oportunidad de liderar el diseño y la arquitectura a nivel de sistema, encabezando el departamento de definición de productos y posteriormente desempeñándome como CTO de este departamento. Esto me llevó a explorar continuamente las tecnologías que están surgiendo y que probablemente darán forma al futuro cercano.

Cuando fundamos Hailo en 2017, estaba claro que la IA, que había comenzado a prosperar en la nube, también tenía el potencial de convertirse en una tecnología habilitadora para los dispositivos de borde. Así que establecimos el curso y comenzamos este viaje.

¿Por qué TOPS (tera operaciones por segundo) ya no es una referencia suficiente para evaluar el rendimiento del procesador a medida que la IA generativa se expande en el borde?

TOPS ha sido durante mucho tiempo la métrica para evaluar el hardware de IA, pero en la era de la IA generativa en el borde, ya no es suficiente. La naturaleza de los modelos clásicos es traducir grandes cantidades de datos en información significativa, por lo que la cantidad de cómputo necesaria para procesar los datos de entrada aumenta con la cantidad de datos que deben procesarse. Los modelos para estas tareas suelen ser más pequeños en tamaño que la cantidad de datos que procesan, lo que hace que el ancho de banda atribuido a la accesibilidad de los parámetros del modelo sea relativamente despreciable.

Los modelos generativos, sin embargo, son notablemente más grandes – en el dominio de miles de millones de parámetros, y en estos casos, el ancho de banda de memoria se convierte en un factor no despreciable.

En lugar de centrarse solo en TOPS, es fundamental evaluar cómo un procesador equilibra el cómputo y la memoria en condiciones del mundo real. No se trata de perseguir el número más alto; se trata de ajustar la arquitectura a las cargas de trabajo que debe manejar.

¿Por qué el ancho de banda de memoria se está convirtiendo en un cuello de botella más crítico que el cómputo en las cargas de trabajo de IA de borde, especialmente para LLM y VLM?

Para las cargas de trabajo de IA de borde, particularmente aquellas que involucran LLM o VLM, el ancho de banda de memoria se está convirtiendo rápidamente en el cuello de botella principal. Estos modelos suelen variar desde 0,5 a 8 mil millones de parámetros, excediendo la capacidad de la memoria integrada y requiriendo acceso a la memoria externa como DRAM. Esto aumenta dramáticamente la demanda de ancho de banda de memoria. Por ejemplo, un modelo de 1.000 millones de parámetros puede entregar hasta ~40 tokens por segundo en condiciones óptimas con una interfaz LPDDR4X estándar, pero mantener esa tasa con un modelo de 4.000 millones de parámetros requiere más de cuatro veces ese ancho de banda. Sin él, el rendimiento se resiente, no porque el cómputo sea limitado, sino porque el procesador no puede alimentar los datos lo suficientemente rápido. Este desequilibrio entre el cómputo y la memoria es uno de los desafíos más apremiantes en la implementación de IA generativa en el borde. Esto se ve aún más amplificado en arquitecturas que computan capa por capa, donde los resultados intermedios también aumentan el tráfico de memoria y aún más tensan el ancho de banda.

¿Cómo deben replantear las equipos de productos su estrategia de referencia cuando diseñan para aplicaciones de borde del mundo real?

Los equipos de productos deben alejarse de depender de una sola métrica de rendimiento como TOPS y adoptar una estrategia de referencia que refleje las realidades de la implementación de borde. Eso comienza por comprender el caso de uso específico, la carga de trabajo real que el procesador debe manejar y identificar el “punto de trabajo”: la intersección de las restricciones de potencia, costo y latencia. A partir de ahí, se trata de evaluar cómo el cómputo y la memoria interactúan bajo esas condiciones. Un procesador con un alto TOPS no entregará si el ancho de banda de memoria es limitado, y más memoria no ayudará si la capacidad de cómputo es insuficiente.

Los equipos deben evaluar si el procesador puede mantener el rendimiento a través de tareas como la percepción, la mejora y las cargas de trabajo generativas, cada una con demandas muy diferentes. El objetivo no es optimizar para especificaciones pico, sino garantizar un rendimiento equilibrado en todo el rango de casos de uso esperados en entornos del mundo real.

Esto es un cambio natural desde medidas “estériles” a enfoques más intrincados que reflejan cómo se utilizan las plataformas y cómo se califican – similar a lo que sucedió con otras arquitecturas que se convirtieron en mainstream (por ejemplo, SPEC, Coremark, 3DMark, etc.).

¿Cómo influyen las restricciones de potencia y costo en las decisiones de arquitectura detrás de los procesadores de Hailo, especialmente para dispositivos de borde orientados al consumidor?

La potencia y el costo son dos de las restricciones más definitorias al diseñar procesadores de IA para dispositivos de borde, especialmente en productos orientados al consumidor. En dispositivos compactos como sensores de IoT o asistentes de hogar inteligentes, los presupuestos de potencia son ajustados y a menudo no hay enfriamiento activo, por lo que la eficiencia energética se vuelve crítica. Cada recurso adicional de cómputo o memoria agrega consumo de potencia y calor, lo que impacta directamente la usabilidad y la vida útil de la batería.

El costo es igualmente influyente. Los dispositivos para consumidores deben permanecer dentro de puntos de precio competitivos, lo que significa que el procesador solo puede incluir tanto TOPS y memoria antes de que se vuelva económicamente inviable. Estas restricciones fuerzan decisiones arquitectónicas difíciles. En Hailo, priorizamos diseños que entreguen el equilibrio correcto de cómputo y memoria para satisfacer las necesidades de aplicaciones del mundo real dentro de un sobre ajustado de potencia y costo, garantizando que la IA de borde se vuelva viable, eficiente y escalable en una amplia gama de productos para consumidores.

¿Podría explicar cómo define un “punto de trabajo” para una aplicación y por qué eso es tan importante en la implementación de IA de borde?

Definir el “punto de trabajo” es uno de los pasos más importantes al diseñar un sistema. Se refiere a la intersección de las restricciones de potencia, costo y latencia que dan forma a lo que es realista en una implementación específica. A diferencia de en la nube, donde se puede arrojar más cómputo o memoria a un problema, los dispositivos de borde operan dentro de un sobre fijo. Eso significa que hay que tomar decisiones deliberadas basadas en los requisitos reales de la aplicación. Por ejemplo, un sensor de IoT podría priorizar la eficiencia energética sobre el rendimiento bruto, mientras que un sistema autónomo podría exigir una latencia ultrabaja independientemente del consumo de potencia. Una vez que se establece el punto de trabajo, se puede evaluar si el procesador tiene el equilibrio correcto de cómputo y memoria para satisfacer esa necesidad. No se trata de maximizar las especificaciones en todas las direcciones; se trata de garantizar un rendimiento sostenido y confiable en las condiciones del mundo real que la aplicación enfrentará.

En general, el punto de trabajo es donde se quiere que los indicadores clave de rendimiento estén en su óptimo. No lograrlo podría resultar en un funcionamiento subóptimo bajo los escenarios de uso más típicos de la plataforma.

Como ejemplo simple, se podría hacer que un sistema de análisis de IA sea extremadamente eficiente cuando la entrada está en una resolución muy alta, pero si esto se despliega en sistemas que nunca alcanzan esta resolución, esta optimización es inútil.

¿Cómo aborda la optimización en modelos multimodales, donde el video, el audio y el lenguaje a menudo se combinan en dispositivos modernos?

Los modelos multimodales requieren un equilibrio reflexivo de recursos de cómputo y memoria. Cada modalidad estresa el sistema de manera diferente: el video es intensivo en cómputo debido a las altas resoluciones y tasas de cuadros, mientras que el lenguaje y el audio son más compactos pero colocan demandas más pesadas en el ancho de banda de memoria. En aplicaciones como el procesamiento de visión-lenguaje, esta división se vuelve clara (aunque esto no es una garantía, sino un escenario típico): el procesamiento de video impulsa el cómputo, mientras que el modelo de lenguaje puede golpear rápidamente los cuellos de botella de memoria.

Nos acercamos a la optimización examinando cómo estas cargas de trabajo interactúan a lo largo de la tubería y asegurándonos de que el procesador esté arquitectónicamente diseñado para respaldarlos simultáneamente, sin dejar que una modalidad comprometa el rendimiento de otra.

¿Cómo complica el aumento del tamaño del modelo en el borde la latencia y el consumo de potencia, y qué papel juega la arquitectura a nivel de sistema en la solución de ese problema?

A medida que el tamaño del modelo aumenta en el borde, la latencia y el consumo de potencia se vuelven más difíciles de gestionar. Los modelos más grandes dependen más del acceso a la memoria externa, lo que aumenta tanto el uso de energía como el retraso, especialmente cuando el ancho de banda de memoria se convierte en un cuello de botella. Por ejemplo, escalar de un modelo de 1.000 millones de parámetros a uno de 4.000 millones de parámetros requeriría más de cuatro veces el ancho de banda para mantener el mismo rendimiento – pero en la práctica, el rendimiento no se escala linealmente debido a las limitaciones del ancho de banda y del sistema.

No se trata solo de tener un alto TOPS o una gran memoria; se trata de cómo esos componentes interactúan. Un diseño equilibrado garantiza que el cómputo, la memoria y el ancho de banda trabajen juntos de manera eficiente, evitando que un recurso limite todo el sistema.

¿Cómo diseña Hailo para la protección contra el futuro, considerando lo rápidamente que están evolucionando los modelos de IA, las cargas de trabajo y los requisitos de implementación?

La protección contra el futuro en la IA de borde significa diseñar procesadores que puedan manejar una amplia gama de cargas de trabajo en evolución. En Hailo, nos centramos en arquitecturas equilibradas que no están adaptadas a una sola tarea, sino que pueden respaldar desde funciones perceptivas como la detección de objetos hasta modelos generativos como VLM. Cada tipo de carga de trabajo estresa el cómputo y la memoria de manera diferente, por lo que diseñamos para la flexibilidad, evitando cuellos de botella al cambiar entre ellas. También tenemos en cuenta los límites del mundo real de potencia, costo y latencia en las aplicaciones. Al priorizar la diversidad de cargas de trabajo y el equilibrio de recursos, aspiramos a respaldar la próxima generación de implementaciones de IA de borde en casos de uso tanto de consumidores como industriales.

Aún así, un tamaño no puede adaptarse a todos, y el portafolio apunta a aplicaciones específicas y trata de ajustarse dentro del presupuesto disponible, por ejemplo, de potencia, factor de forma, y eso define un “punto de trabajo”.

¿Cuál es el papel del ecosistema de desarrolladores en maximizar el valor de un procesador, y cómo garantiza que los equipos puedan aprovechar al máximo las capacidades de Hailo?

Como dispositivo programable, es esencial tener herramientas fáciles de usar para que los desarrolladores puedan aprovechar el potencial del procesador, acortar el camino hacia la implementación y habilitar nuevos casos de uso. Al proporcionar un entorno bien respaldado alrededor de nuestros procesadores, ayudamos a los equipos a dar vida a aplicaciones de IA en una variedad de casos de uso.

¿Qué consejo daría a los ingenieros o CTO que eligen su primer acelerador de IA para un producto de próxima generación que se está construyendo hoy?

Con las condiciones maduras, creo que hay mucho potencial de innovación, lo que nos permite traducir la imaginación en productos reales. En un entorno en constante cambio, elegir un acelerador que permita un ciclo de concepto a implementación rápido es fundamental.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Hailo.