Jay Dawani es cofundador y director ejecutivo de Lemurian Labs - Serie de entrevistas

Jay Dawani es cofundador y director ejecutivo de Lemurian Labs. Laboratorios lemurianos tiene la misión de ofrecer computadoras con IA asequibles, accesibles y eficientes, impulsada por la creencia de que la IA no debe ser un lujo sino una herramienta accesible para todos. El equipo fundador de Lemurian Labs combina experiencia en inteligencia artificial, compiladores, algoritmos numéricos y arquitectura informática, unidos por un único propósito: reimaginar la computación acelerada.

¿Puedes explicarnos tus antecedentes y w?¿Qué te llevó a la IA para empezar?

Absolutamente. Había estado programando desde que tenía 12 años y construyendo mis propios juegos y cosas así, pero en realidad me metí en la IA cuando tenía 15 años gracias a un amigo de mi padre al que le gustaban las computadoras. Alimentó mi curiosidad y me dio libros para leer, como 'La computadora y el cerebro' de Von Neumann, 'Perceptrones' de Minsky, 'La IA: un enfoque moderno' de Russel y Norvig. Estos libros influyeron mucho en mi forma de pensar y entonces me pareció casi obvio que la IA iba a ser transformadora y que yo tenía que ser parte de este campo. 

Cuando llegó el momento de ir a la universidad, realmente quería estudiar IA, pero no encontré ninguna universidad que ofreciera eso, así que decidí especializarme en matemáticas aplicadas y poco después de llegar a la universidad me enteré de los resultados de AlexNet en ImageNet, que Fue realmente emocionante. En ese momento, tenía este momento de ahora o nunca en mi cabeza y me dediqué a leer todos los artículos y libros que pude conseguir relacionados con las redes neuronales y busqué a todos los líderes en el campo para aprender de ellos, porque ¿cómo? A menudo uno puede estar presente en el nacimiento de una nueva industria y aprender de sus pioneros. 

Muy rápidamente me di cuenta de que no disfruto la investigación, pero sí disfruto resolviendo problemas y creando productos habilitados para IA. Eso me llevó a trabajar en automóviles y robots autónomos, inteligencia artificial para el descubrimiento de materiales, modelos generativos para simulaciones multifísicas, simuladores basados ​​en inteligencia artificial para capacitar a conductores de carreras profesionales y ayudar con la configuración de automóviles, robots espaciales, comercio algorítmico y mucho más. 

Ahora, después de haber hecho todo eso, estoy tratando de controlar el costo de la capacitación y la implementación de la IA porque ese será el mayor obstáculo que enfrentaremos en nuestro camino para lograr un mundo donde cada persona y empresa pueda tener acceso a la IA y beneficiarse de ella. de la forma más económica posible.

Muchas empresas que trabajan en informática acelerada tienen fundadores que han desarrollado carreras en semiconductores e infraestructura. ¿Cómo cree que su experiencia pasada en IA y matemáticas afecta su capacidad para comprender el mercado y competir de manera efectiva?

De hecho, creo que no venir de la industria me da la ventaja de tener la ventaja de ser un outsider. He descubierto que con bastante frecuencia el hecho de no tener conocimiento de las normas de la industria o de los conocimientos convencionales le da a uno la libertad de explorar más libremente y profundizar más que la mayoría de los demás, porque no hay prejuicios. 

Tengo la libertad de hacer preguntas "tontas" y probar suposiciones de una manera que la mayoría de los demás no lo harían porque muchas cosas son verdades aceptadas. En los últimos dos años he tenido varias conversaciones con gente dentro de la industria donde son muy dogmáticos sobre algo pero no pueden decirme el origen de la idea, lo cual me parece muy desconcertante. Me gusta entender por qué se tomaron ciertas decisiones y qué suposiciones o condiciones existían en ese momento y si aún se mantienen. 

Al tener experiencia en IA, tiendo a adoptar una visión del software observando dónde están las cargas de trabajo hoy en día, y aquí están todas las formas posibles en las que pueden cambiar con el tiempo, y modelando todo el proceso de aprendizaje automático para entrenamiento e inferencia para comprender los cuellos de botella, lo que indica mí dónde están las oportunidades para entregar valor. Y como vengo de una formación matemática, me gusta modelar cosas para acercarme lo más posible a la verdad y que eso me guíe. Por ejemplo, hemos creado modelos para calcular el rendimiento del sistema para el costo total de propiedad y podemos medir el beneficio que podemos brindar a los clientes con software y/o hardware y comprender mejor nuestras limitaciones y las diferentes perillas disponibles para nosotros, y docenas de Otros modelos para varias cosas. Nos basamos mucho en los datos y utilizamos los conocimientos de estos modelos para guiar nuestros esfuerzos y compensaciones. 

Parece que el progreso en la IA se debe principalmente al escalamiento, lo que requiere exponencialmente más computación y energía. Parece que estamos en una carrera armamentista en la que todas las empresas intentan construir el modelo más grande, y parece que no hay un final a la vista. ¿Crees que hay una salida a esto?

Siempre hay maneras. El escalado ha demostrado ser extremadamente útil y no creo que hayamos visto el final todavía. Muy pronto veremos cómo se entrenan modelos con un coste de al menos mil millones de dólares. Si desea ser un líder en IA generativa y crear modelos básicos de vanguardia, deberá gastar al menos unos pocos miles de millones al año en computación. Ahora, existen límites naturales al escalamiento, como poder construir un conjunto de datos lo suficientemente grande para un modelo de ese tamaño, obtener acceso a personas con los conocimientos adecuados y acceso a suficiente computación. 

El aumento continuo del tamaño del modelo es inevitable, pero tampoco podemos convertir toda la superficie de la Tierra en una supercomputadora del tamaño de un planeta para entrenar y servir a los LLM por razones obvias. Para controlar esto, tenemos varios botones con los que podemos jugar: mejores conjuntos de datos, nuevas arquitecturas de modelos, nuevos métodos de entrenamiento, mejores compiladores, mejoras y explotaciones algorítmicas, mejores arquitecturas informáticas, etc. Si hacemos todo eso, se pueden encontrar aproximadamente tres órdenes de magnitud de mejora. Ésa es la mejor salida. 

Usted cree en el pensamiento de los primeros principios, ¿cómo moldea esto su forma de pensar sobre cómo dirige Lemurian Labs?

Definitivamente empleamos muchos principios básicos en Lemurian. Siempre he encontrado que la sabiduría convencional es engañosa porque ese conocimiento se formó en un momento determinado en el que se mantenían ciertas suposiciones, pero las cosas siempre cambian y es necesario volver a probar las suposiciones con frecuencia, especialmente cuando se vive en un mundo que avanza tan rápidamente. 

A menudo me encuentro haciendo preguntas como "esto parece una muy buena idea, pero ¿por qué podría no funcionar?" o "¿qué tiene que ser verdad para que esto funcione?" o "¿qué sabemos que son verdades absolutas y ¿Cuáles son las suposiciones que estamos haciendo y por qué?”, o “¿por qué creemos que este enfoque particular es la mejor manera de resolver este problema?”. El objetivo es invalidar y acabar con las ideas de la forma más rápida y económica posible. Queremos intentar maximizar la cantidad de cosas que estamos probando en un momento dado. Se trata de estar obsesionado con el problema que debe resolverse y no ser demasiado obstinado sobre qué tecnología es mejor. Demasiadas personas tienden a centrarse demasiado en la tecnología y terminan malinterpretando los problemas de los clientes y pasando por alto las transiciones que ocurren en la industria, lo que podría invalidar su enfoque y provocar su incapacidad para adaptarse al nuevo estado del mundo.

Pero el pensamiento de primeros principios no es tan útil por sí solo. Tendemos a combinarlo con el backcasting, que básicamente significa imaginar un resultado futuro ideal o deseado y trabajar hacia atrás para identificar los diferentes pasos o acciones necesarios para lograrlo. Esto garantiza que convergeremos en una solución significativa que no sólo sea innovadora sino que también esté basada en la realidad. No tiene sentido dedicar tiempo a encontrar la solución perfecta sólo para darse cuenta de que no es factible construirla debido a una variedad de limitaciones del mundo real, como recursos, tiempo, regulaciones o construir una solución aparentemente perfecta, pero luego descubrirla. ha hecho que sea demasiado difícil de adoptar para los clientes.

De vez en cuando nos encontramos en una situación en la que necesitamos tomar una decisión pero no tenemos datos, y en este escenario empleamos hipótesis mínimas comprobables que nos dan una señal sobre si algo tiene sentido o no con la menor cantidad de tiempo posible. del gasto energético. 

Todo esto combinado nos brinda agilidad, ciclos de iteración rápidos para eliminar riesgos de elementos rápidamente y nos ha ayudado a ajustar estrategias con gran confianza y lograr grandes avances en problemas muy difíciles en un período de tiempo muy corto. 

Al principio estabas centrado en borde AI¿Qué le hizo reenfocarse y pasarse a la computación en la nube?

Comenzamos con la IA de vanguardia porque en ese momento estaba muy concentrado en tratar de resolver un problema muy particular al que me había enfrentado al tratar de marcar el comienzo de un mundo de robótica autónoma de propósito general. La robótica autónoma promete ser el mayor cambio de plataforma en nuestra historia colectiva, y parecía que teníamos todo lo necesario para construir un modelo básico para la robótica, pero nos faltaba el chip de inferencia ideal con el equilibrio adecuado entre rendimiento, latencia y eficiencia energética. y programabilidad para ejecutar dicho modelo básico.

No estaba pensando en el centro de datos en este momento porque había más que suficientes empresas centrándose allí y esperaba que lo resolvieran. Diseñamos una arquitectura realmente poderosa para este espacio de aplicaciones y nos estábamos preparando para grabarla, y luego quedó muy claro que el mundo había cambiado y que el problema realmente estaba en el centro de datos. El ritmo al que los LLM escalaban y consumían computación supera con creces el ritmo del progreso en informática, y cuando se tiene en cuenta la adopción, comienza a pintar un panorama preocupante. 

Parecía que aquí es donde deberíamos centrar nuestros esfuerzos, para reducir el coste energético de la IA en los centros de datos tanto como sea posible sin imponer restricciones sobre dónde y cómo debería evolucionar la IA. Y entonces, nos pusimos a trabajar para resolver este problema. 

¿Puedes compartir la historia del génesis de la cofundación de Lemurian Labs?

La historia comienza a principios de 2018. Estaba trabajando en el entrenamiento de un modelo básico para la autonomía de propósito general junto con un modelo de simulación multifísica generativa para entrenar al agente y ajustarlo para diferentes aplicaciones, y algunas otras cosas para ayudar a escalar a múltiples aplicaciones. -Entornos de agentes. Pero muy rápidamente agoté la cantidad de computación que tenía y estimé que necesitaría más de 20,000 GPU V100. Intenté recaudar lo suficiente para tener acceso a la computación, pero el mercado aún no estaba preparado para ese tipo de escala. Sin embargo, me hizo pensar en el lado de la implementación y me senté a calcular cuánto rendimiento necesitaría para servir este modelo en los entornos de destino y me di cuenta de que no existía ningún chip que pudiera llevarme allí. 

Un par de años después, en 2020, me reuní con Vassil, mi eventual cofundador, para ponerme al día y le compartí los desafíos que atravesé al construir un modelo básico para la autonomía, y él sugirió construir un chip de inferencia que pudiera ejecutar los cimientos. modelo, y compartió que había estado pensando mucho en los formatos numéricos y que mejores representaciones ayudarían no solo a hacer que las redes neuronales conservaran la precisión en anchos de bits más bajos, sino también a crear arquitecturas más potentes. 

Era una idea intrigante, pero estaba fuera de mi alcance. Pero no me abandonó, lo que me llevó a pasar meses y meses aprendiendo las complejidades de la arquitectura informática, conjuntos de instrucciones, tiempos de ejecución, compiladores y modelos de programación. Con el tiempo, la creación de una empresa de semiconductores empezó a tener sentido y formé una tesis sobre cuál era el problema y cómo abordarlo. Y luego, hacia finales de año, comenzamos Lemurian. 

Usted ha hablado anteriormente sobre la necesidad de abordar primero el software al construir hardware, ¿podría explicar sus puntos de vista sobre por qué el problema de hardware es ante todo un problema de software?

Lo que mucha gente no se da cuenta es que el lado del software de los semiconductores es mucho más difícil que el hardware en sí. Construir una arquitectura de computadora útil para que los clientes la usen y se beneficien es un problema completo, y si no tiene esa comprensión y preparación, terminará con una arquitectura hermosa que es muy eficaz y eficiente. pero totalmente inutilizable por los desarrolladores, que es lo realmente importante. 

Por supuesto, también existen otros beneficios al adoptar un enfoque de software primero, como un tiempo de comercialización más rápido. Esto es crucial en el mundo actual en rápido movimiento, donde ser demasiado optimista sobre una arquitectura o característica podría significar perder el mercado por completo. 

No tomar una primera visión del software generalmente da como resultado no haber eliminado los riesgos de las cosas importantes necesarias para la adopción del producto en el mercado, no poder responder a los cambios en el mercado, por ejemplo, cuando las cargas de trabajo evolucionan de manera inesperada, y tener hardware infrautilizado. No todas son grandes cosas. Ésa es una de las principales razones por las que nos preocupamos mucho por centrarnos en el software y por la que nuestra opinión es que no se puede ser una empresa de semiconductores sin ser realmente una empresa de software. 

¿Puedes hablar sobre tus objetivos inmediatos de la pila de software?

Cuando estábamos diseñando nuestra arquitectura y pensando en la hoja de ruta con miras al futuro y dónde estaban las oportunidades para lograr más rendimiento y eficiencia energética, empezó a quedar muy claro que íbamos a ver mucha más heterogeneidad, lo que crearía muchos problemas. en software. Y no sólo necesitamos poder programar productivamente arquitecturas heterogéneas, sino que tenemos que lidiar con ellas a escala de centro de datos, lo cual es un desafío como no nos hemos enfrentado antes. 

Esto nos preocupó porque la última vez que tuvimos que pasar por una transición importante fue cuando la industria pasó de arquitecturas de un solo núcleo a arquitecturas de múltiples núcleos, y en ese momento se necesitaron 10 años para que el software funcionara y la gente lo usara. No podemos darnos el lujo de esperar 10 años para descubrir un software que se adapte a la heterogeneidad a escala; hay que resolverlo ahora. Y entonces, nos pusimos a trabajar para comprender el problema y lo que debe existir para que exista esta pila de software. 

Actualmente estamos colaborando con muchas de las principales empresas de semiconductores y hiperescaladores/proveedores de servicios en la nube y lanzaremos nuestra pila de software en los próximos 12 meses. Es un modelo de programación unificado con un compilador y un tiempo de ejecución capaz de apuntar a cualquier tipo de arquitectura y orquestar el trabajo en clústeres compuestos por diferentes tipos de hardware, y es capaz de escalar desde un solo nodo hasta un clúster de mil nodos para obtener el mayor rendimiento posible. .

Gracias por la gran entrevista, los lectores que deseen obtener más información deben visitar Laboratorios lemurianos.