Phillip Burr, Jefe de Producto en Lumai – Serie de Entrevistas

Phillip Burr es el Jefe de Producto en Lumai, con más de 25 años de experiencia en gestión de productos globales, lanzamiento al mercado y roles de liderazgo en empresas líderes de semiconductores y tecnología, y un historial comprobado de creación y escalado de productos y servicios.

Lumai es una empresa de tecnología de vanguardia con sede en el Reino Unido que desarrolla procesadores de computación óptica 3D para acelerar las cargas de trabajo de inteligencia artificial. Al realizar multiplicaciones de matrices y vectores utilizando haces de luz en tres dimensiones, su tecnología ofrece hasta 50 veces el rendimiento y un 90% menos de consumo de energía en comparación con los aceleradores basados en silicio tradicionales. Esto la hace particularmente adecuada para tareas de inferencia de IA, incluidos modelos de lenguaje grande, al tiempo que reduce significativamente los costos energéticos y el impacto ambiental.

¿Qué inspiró la fundación de Lumai, y cómo evolucionó la idea desde la investigación en la Universidad de Oxford hasta una empresa comercial?

La chispa inicial se encendió cuando uno de los fundadores de Lumai, el Dr. Xianxin Guo, recibió una beca de investigación 1851 en la Universidad de Oxford. Los entrevistadores entendieron el potencial de la computación óptica y preguntaron si Xianxin consideraría patentes y crear una empresa si su investigación era exitosa. Esto encendió la mente creativa de Xianxin y, cuando él, junto con otro de los cofundadores de Lumai, el Dr. James Spall, demostraron que utilizando la luz para realizar cálculos en el corazón de la IA podría aumentar drásticamente el rendimiento de la IA y reducir la energía, se sentaron las bases. Sabían que el hardware de IA basado en silicio existente (y todavía) luchaba por aumentar el rendimiento sin aumentar significativamente la potencia y el costo, y, por lo tanto, si podían resolver este problema utilizando computación óptica, podrían crear un producto que los clientes deseaban. Llevaron esta idea a algunos inversionistas de capital de riesgo que los respaldaron para formar Lumai. Lumai recientemente cerró su segunda ronda de financiación, recaudando más de $10 millones y trayendo a nuevos inversionistas que también creen que la computación óptica puede seguir escalando y satisfacer la creciente demanda de rendimiento de IA sin aumentar la potencia.

Ha tenido una carrera impresionante en Arm, indie Semiconductor (INDI ) y más — ¿qué lo llevó a unirse a Lumai en esta etapa?

La respuesta breve es equipo y tecnología. Lumai tiene un equipo impresionante de expertos en óptica, aprendizaje automático y centros de datos, que aportan experiencia de empresas como Meta, Intel (INTC ), Altera, Maxeler, Seagate e IBM (además de mi propia experiencia en Arm, indie, Mentor Graphics y Motorola). Sabía que un equipo de personas tan destacadas, enfocadas en resolver el desafío de reducir el costo de la inferencia de IA, podría hacer cosas increíbles.

Creo firmemente que el futuro de la IA exige nuevos avances innovadores en computación. La promesa de poder ofrecer 50 veces el rendimiento de computación de IA, así como reducir el costo de la inferencia de IA a 1/10 en comparación con las soluciones actuales, era una oportunidad demasiado buena como para perderla.

¿Cuáles fueron algunos de los desafíos técnicos o comerciales tempranos que su equipo fundador enfrentó al escalar desde un avance en la investigación hasta una empresa lista para producir?

El avance en la investigación demostró que la óptica podía usarse para multiplicaciones de matrices y vectores rápidas y muy eficientes. A pesar de los avances técnicos, el mayor desafío fue convencer a la gente de que Lumai podría tener éxito donde otras startups de computación óptica habían fallado. Tuvo que pasar tiempo explicando que el enfoque de Lumai era muy diferente y que, en lugar de confiar en un solo chip 2D, utilizaban óptica 3D para alcanzar los niveles de escala y eficiencia. Por supuesto, hay muchos pasos para ir desde la investigación de laboratorio a la tecnología que se puede implementar a gran escala en un centro de datos. Reconocimos muy temprano que la clave del éxito era traer a ingenieros que tienen experiencia en el desarrollo de productos en grandes volúmenes y en centros de datos. Otra área es el software: es esencial que los marcos y modelos de IA estándar puedan beneficiarse del procesador de Lumai, y que proporcionemos las herramientas y marcos para que esto sea lo más sencillo posible para los ingenieros de software de IA.

La tecnología de Lumai se dice que utiliza multiplicación de matrices y vectores ópticos 3D. ¿Puede explicarlo en términos simples para una audiencia general?

Los sistemas de IA necesitan realizar muchas operaciones matemáticas llamadas multiplicación de matrices y vectores. Estas operaciones son el motor que impulsa las respuestas de la IA. En Lumai, hacemos esto utilizando luz en lugar de electricidad. Aquí está cómo funciona:

1. Codificamos la información en haces de luz
2. Estos haces de luz viajan a través del espacio 3D
3. La luz interactúa con lentes y materiales especiales
4. Estas interacciones completan la operación matemática

Al utilizar las tres dimensiones del espacio, podemos procesar más información con cada haz de luz. Esto hace que nuestro enfoque sea muy eficiente, reduciendo la energía, el tiempo y el costo necesarios para ejecutar sistemas de IA.

¿Cuáles son las principales ventajas de la computación óptica sobre las GPU y enfoques fotónicos integrados tradicionales basados en silicio?

Debido a que la tasa de avance en la tecnología de silicio ha disminuido significativamente, cada paso hacia arriba en el rendimiento de un procesador de IA de silicio solo (como una GPU) resulta en un aumento significativo en la potencia. Las soluciones de silicio solo consumen una cantidad increíble de potencia y están persiguiendo rendimientos decrecientes, lo que las hace increíblemente complejas y costosas. La ventaja de utilizar óptica es que, una vez en el dominio óptico, prácticamente no se consume potencia. La energía se utiliza para entrar en el dominio óptico, pero, por ejemplo, en el procesador de Lumai, podemos lograr más de 1.000 operaciones de cálculo por cada haz de luz, cada ciclo, lo que lo hace muy eficiente. Esta escalabilidad no se puede lograr utilizando fotónica integrada debido a las limitaciones de tamaño físico y ruido de señal, con el número de operaciones de cálculo de la solución de silicio-fotónica en solo 1/8 de lo que Lumai puede lograr hoy en día.

¿Cómo logra el procesador de Lumai una inferencia casi sin latencia, y por qué es este un factor tan crítico para las cargas de trabajo de IA modernas?

Aunque no afirmaríamos que el procesador de Lumai ofrece una latencia cero, ejecuta una operación de multiplicación de matrices y vectores muy grande (1024 x 1024) en un solo ciclo. Las soluciones de silicio solo dividen una matriz en matrices más pequeñas, que se procesan individualmente paso a paso y luego los resultados se combinan. Esto lleva tiempo y resulta en más memoria y energía utilizada. Reducir el tiempo, la energía y el costo del procesamiento de IA es crítico tanto para permitir que más empresas se beneficien de la IA como para permitir la IA avanzada de la manera más sostenible.

¿Puede explicarnos cómo su factor de forma compatible con PCIe se integra con la infraestructura de centro de datos existente?

El procesador de Lumai utiliza tarjetas de factor de forma PCIe junto con una CPU estándar, todo dentro de una estantería estándar de 4U. Estamos trabajando con una serie de proveedores de equipo de estantería de centro de datos para que el procesador de Lumai se integre con su propio equipo. Utilizamos interfaces de red estándar, software estándar, etc., para que, externamente, el procesador de Lumai parezca cualquier otro procesador de centro de datos.
El consumo de energía de los centros de datos es una creciente preocupación global. ¿Cómo se posiciona Lumai como una solución sostenible para el cómputo de IA?

El consumo de energía de los centros de datos está aumentando a un ritmo alarmante. Según un informe del Laboratorio Nacional Lawrence Berkeley, el consumo de energía de los centros de datos en EE. UU. podría triplicarse para 2028, consumiendo hasta el 12% de la energía del país. Algunos operadores de centros de datos están considerando la instalación de energía nuclear para proporcionar la energía necesaria. La industria necesita considerar enfoques diferentes para la IA, y creemos que la óptica es la respuesta a esta crisis energética.

¿Puede explicar cómo la arquitectura de Lumai evita los cuellos de botella de escalabilidad de los enfoques de silicio y fotónica actuales?

El rendimiento del primer procesador de Lumai es solo el comienzo de lo que se puede lograr. Esperamos que nuestra solución siga proporcionando grandes avances en el rendimiento: al aumentar las velocidades de reloj óptico y los anchos de vector, todo sin un aumento correspondiente en la energía consumida. No hay otra solución que pueda lograr esto. Los enfoques de silicio solo seguirán consumiendo más costo y potencia para cada aumento en el rendimiento. La fotónica de silicio no puede lograr el ancho de vector necesario y, por lo tanto, las empresas que estaban considerando la fotónica integrada para el cómputo de centros de datos han pasado a abordar otras partes del centro de datos, por ejemplo, interconexión óptica o conmutación óptica.

¿Qué papel cree que desempeñará la computación óptica en el futuro de la IA — y más ampliamente, en la computación en general?

La óptica en su conjunto desempeñará un papel enorme en los centros de datos en el futuro — desde la interconexión óptica, la red óptica, la conmutación óptica y, por supuesto, el procesamiento de IA óptico. Las demandas que la IA está colocando en los centros de datos son el principal impulsor de este movimiento hacia la óptica. La interconexión óptica permitirá conexiones más rápidas entre los procesadores de IA, lo cual es esencial para los grandes modelos de IA. La conmutación óptica permitirá una red más eficiente, y el procesamiento óptico permitirá un procesamiento de IA más rápido, más eficiente en términos de energía y de menor costo. Colectivamente, ayudarán a permitir una IA aún más avanzada, superando los desafíos de la desaceleración de la escalabilidad del silicio en el lado de cómputo y las limitaciones de velocidad del cobre en el lado de interconexión.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Lumai.