Lin Qiao, CEO y Co-Fundador de Fireworks AI – Serie de Entrevistas

Lin Qiao, fue anteriormente jefe de PyTorch de Meta y es el Co-Fundador y CEO de Fireworks AI. Fireworks AI es una plataforma de producción de IA diseñada para desarrolladores, Fireworks se asocia con los principales investigadores de IA generativa del mundo para ofrecer los mejores modelos, a las velocidades más rápidas. Fireworks AI recientemente recaudó una $25M Serie A.

¿Qué te atrajo inicialmente a la informática?

Mi papá era un ingeniero mecánico senior en un astillero, donde construía barcos de carga desde cero. Desde muy joven, aprendí a leer los ángulos y medidas precisos de los planos de los barcos, y me encantaba.

Me interesé mucho por las ciencias STEM desde la escuela secundaria en adelante, todo lo relacionado con matemáticas, física y química lo devoraba. Uno de mis proyectos de la escuela secundaria fue aprender a programar en BASIC, y codifiqué un juego sobre una serpiente que se comía su propia cola. Después de eso, supe que la informática estaba en mi futuro.

Mientras estabas en Meta, lideraste a más de 300 ingenieros de clase mundial en frameworks y plataformas de IA, donde construiste y desplegaste Caffe2 y, más tarde, PyTorch. ¿Cuáles fueron algunos de tus principales logros en esta experiencia?

Las empresas de gran tecnología como Meta siempre están cinco o más años por delante de la curva. Cuando me uní a Meta en 2015, estábamos al comienzo de nuestro viaje en IA, haciendo la transición de CPUs a GPUs. Teníamos que diseñar la infraestructura de IA desde cero. Modelos como Caffe2 fueron innovadores cuando se crearon, pero la IA evolucionó tan rápido que pronto se volvieron obsoletos. Desarrollamos PyTorch y todo el sistema que lo rodea como solución.

PyTorch es donde aprendí sobre los principales obstáculos que enfrentan los desarrolladores en la carrera por construir IA. El primer desafío es encontrar una arquitectura de modelo estable y confiable que sea de baja latencia y flexible, para que los modelos puedan escalar. El segundo desafío es el costo total de propiedad, para que las empresas no quiebren al intentar crecer sus modelos.

Mi tiempo en Meta me mostró lo importante que es mantener modelos y frameworks como PyTorch de código abierto. Fomenta la innovación. No habríamos crecido tanto en PyTorch sin oportunidades de iteración de código abierto. Además, es imposible estar al día con todas las últimas investigaciones sin colaboración.

¿Puedes discutir qué te llevó a lanzar Fireworks AI?

He estado en la industria tecnológica durante más de 20 años, y he visto una ola tras otra de cambios a nivel de industria, desde la nube hasta las aplicaciones móviles. Pero este cambio en IA es un realineamiento tectónico completo. Vi a muchas empresas luchando con este cambio. Todos querían moverse rápido y priorizar la IA, pero les faltaba la infraestructura, los recursos y el talento para hacerlo. Cuanto más hablaba con estas empresas, más me daba cuenta de que podía solucionar esta brecha en el mercado.

Lancé Fireworks AI tanto para solucionar este problema como para servir como una extensión del increíble trabajo que logramos en PyTorch. Incluso inspiró nuestro nombre. PyTorch es la antorcha que sostiene el fuego, pero queremos que ese fuego se extienda por todas partes. De ahí: Fireworks.

Siempre he sido apasionado de democratizar la tecnología, y hacer que sea asequible y simple para que los desarrolladores innoven, independientemente de sus recursos. Es por eso que tenemos una interfaz tan amigable y sistemas de soporte sólidos para empoderar a los constructores para que hagan realidad sus visiones.

¿Puedes discutir qué es la IA centrada en el desarrollador y por qué es tan importante?

Es simple: “centrada en el desarrollador” significa priorizar las necesidades de los desarrolladores de IA. Por ejemplo, crear herramientas, comunidades y procesos que hagan que los desarrolladores sean más eficientes y autónomos.

Las plataformas de IA centradas en el desarrollador, como Fireworks, deben integrarse en los flujos de trabajo y pilas de tecnología existentes. Deben hacer que sea simple para los desarrolladores experimentar, cometer errores y mejorar su trabajo. Deben fomentar la retroalimentación, porque son los propios desarrolladores quienes entienden lo que necesitan para tener éxito. Por último, se trata de más que ser solo una plataforma. Se trata de ser una comunidad, una en la que los desarrolladores colaboradores puedan empujar los límites de lo que es posible con la IA.

La plataforma GenAI que has desarrollado es un avance significativo para los desarrolladores que trabajan con grandes modelos de lenguaje (LLM). ¿Puedes elaborar sobre las características y beneficios únicos de tu plataforma, especialmente en comparación con soluciones existentes?

Nuestro enfoque completo como plataforma de producción de IA es único, pero algunas de nuestras mejores características son:

Inferencia eficiente: Ingenieramos Fireworks AI para la eficiencia y la velocidad. Los desarrolladores que utilizan nuestra plataforma pueden ejecutar sus aplicaciones LLM a la latencia más baja posible y al costo más bajo. Logramos esto con las últimas técnicas de optimización de modelos y servicios, incluyendo caché de prompts, fragmentación adaptable, cuantización, procesamiento continuo, FireAttention y más.

Soporte asequible para modelos ajustados con LoRA: Ofrecemos un servicio asequible de modelos ajustados con LoRA (adaptación de rango bajo) a través de multi-inquilinos en modelos base. Esto significa que los desarrolladores pueden experimentar con muchos casos de uso diferentes o variaciones del mismo modelo sin gastar una fortuna.

Interfaz y API simples: Nuestras interfaces y API son directas y fáciles de integrar en las aplicaciones de los desarrolladores. Nuestras API también son compatibles con OpenAI para facilitar la migración.

Modelos pre-entrenados y modelos ajustados: Proporcionamos más de 100 modelos pre-entrenados que los desarrolladores pueden usar directamente. Cubrimos los mejores LLM, modelos de generación de imágenes, modelos de incrustación, etc. Pero los desarrolladores también pueden optar por alojar y servir sus propios modelos personalizados. También ofrecemos servicios de ajuste automático para ayudar a los desarrolladores a personalizar estos modelos personalizados con sus datos exclusivos.

Colaboración comunitaria: Creemos en la ética de colaboración comunitaria del código abierto. Nuestra plataforma fomenta (pero no requiere) que los desarrolladores compartan sus modelos ajustados y contribuyan a un banco creciente de activos y conocimientos de IA. Todos se benefician del crecimiento de nuestra experiencia colectiva.

¿Puedes discutir el enfoque híbrido que se ofrece entre la paralelización de modelos y la paralelización de datos?

La paralelización de los modelos de aprendizaje automático mejora la eficiencia y la velocidad de la formación del modelo y ayuda a los desarrolladores a manejar modelos más grandes que un solo GPU no puede procesar.

La paralelización de modelos implica dividir un modelo en varias partes y entrenar cada parte en procesadores separados. Por otro lado, la paralelización de datos divide los conjuntos de datos en subconjuntos y entrena un modelo en cada subconjunto al mismo tiempo en procesadores separados. Un enfoque híbrido combina estos dos métodos. Los modelos se dividen en partes separadas, que se entrenan en subconjuntos diferentes de datos, mejorando la eficiencia, la escalabilidad y la flexibilidad.

Fireworks AI es utilizado por más de 20,000 desarrolladores y actualmente sirve más de 60 mil millones de tokens diarios. ¿Cuáles han sido los desafíos que has enfrentado al escalar tus operaciones a este nivel, y cómo los has superado?

Sé honesto, ha habido muchas montañas altas que cruzar desde que fundamos Fireworks AI en 2022.

Nuestros clientes primero vinieron a nosotros en busca de soporte de baja latencia porque estaban construyendo aplicaciones para consumidores, prosumidores o otros desarrolladores, todos los cuales necesitan soluciones rápidas. Luego, cuando las aplicaciones de nuestros clientes comenzaron a escalar rápidamente, se dieron cuenta de que no podían costear los costos típicos asociados con esa escala. Entonces, nos pidieron que los ayudáramos a reducir el costo total de propiedad (TCO), lo cual hicimos. Luego, nuestros clientes querían migrar de OpenAI a modelos OSS, y nos pidieron que proporcionáramos una calidad igual o mejor que OpenAI. Hicimos que sucediera también.

Cada paso en la evolución de nuestro producto fue un problema desafiante para resolver, pero significó que las necesidades de nuestros clientes realmente dieron forma a Fireworks en lo que es hoy: un motor de inferencia de velocidad relámpago con un bajo TCO. Además, proporcionamos una variedad de modelos de alta calidad, listos para usar, para que los desarrolladores puedan elegir, o servicios de ajuste para que los desarrolladores puedan crear los suyos.

Con los rápidos avances en IA y aprendizaje automático, las consideraciones éticas son más importantes que nunca. ¿Cómo aborda Fireworks AI las preocupaciones relacionadas con el sesgo, la privacidad y el uso ético de la IA?

Tengo dos hijas adolescentes que usan aplicaciones de genAI como ChatGPT con frecuencia. Como madre, me preocupa que encuentren contenido engañoso o inapropiado, porque la industria apenas comienza a abordar el problema crítico de la seguridad del contenido. Meta está haciendo mucho con el proyecto Purple Llama, y los nuevos modos SD3 de Stability AI son geniales. Ambas empresas están trabajando duro para traer seguridad a sus nuevos modelos Llama3 y SD3 con múltiples capas de filtros. El modelo de salvaguardia de entrada-salida, Llama Guard, recibe un buen uso en nuestra plataforma, pero su adopción no es igual a la de otros LLM. La industria en su conjunto todavía tiene un largo camino que recorrer para traer la seguridad del contenido y la ética de la IA al primer plano.

En Fireworks nos importa profundamente la privacidad y la seguridad. Somos compatibles con HIPAA y SOC2, y ofrecemos conectividad de VPC y VPN seguras. Las empresas confían en Fireworks con sus datos y modelos exclusivos para construir su ventaja comercial.

¿Cuál es tu visión para cómo evolucionará la IA?

Al igual que AlphaGo demostró autonomía mientras aprendía a jugar ajedrez por sí mismo, creo que veremos aplicaciones de genAI que se vuelvan más y más autónomas. Las aplicaciones enrutarán y dirigirán automáticamente las solicitudes al agente o API correcto para procesarlas, y corregirán el curso hasta que obtengan la salida correcta. Y en lugar de que un modelo que llama a una función polle a otros como controlador, veremos agentes más autoorganizados y autocoordinados trabajando en armonía para resolver problemas.

La inferencia relámpago de Fireworks, los modelos que llaman a funciones y el servicio de ajuste han allanado el camino para esta realidad. Ahora depende de los desarrolladores innovadores hacer que suceda.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Fireworks AI.