Lin Qiao, CEO y cofundador de Fireworks AI – Serie de entrevistas

Lin Qiao, fue anteriormente jefe de PyTorch de Meta y es el cofundador y CEO de Fireworks AI. Fireworks AI es una plataforma de producción de IA que está diseñada para desarrolladores, Fireworks se asocia con los principales investigadores de IA generativa del mundo para ofrecer los mejores modelos, a las velocidades más rápidas. Fireworks AI recientemente recaudó una $25M Serie A.

¿Qué te atrajo inicialmente a la informática?

Mi papá era un ingeniero mecánico senior en un astillero, donde construía barcos de carga desde cero. Desde muy joven, aprendí a leer los ángulos y medidas precisas de los planos de los barcos, y me encantaba.

Estaba muy interesado en STEM desde la escuela secundaria en adelante – todo lo relacionado con matemáticas, física y química lo devoraba. Uno de mis proyectos de la escuela secundaria fue aprender a programar en BASIC, y codifiqué un juego sobre una serpiente que se comía su propia cola. Después de eso, supe que la informática estaba en mi futuro.

Mientras estabas en Meta, lideraste a más de 300 ingenieros de clase mundial en frameworks y plataformas de IA, donde construiste y desplegaste Caffe2 y más tarde PyTorch. ¿Cuáles fueron algunas de tus conclusiones clave de esta experiencia?

Las grandes empresas de tecnología como Meta siempre están cinco o más años por delante de la curva. Cuando me uní a Meta en 2015, estábamos al comienzo de nuestro viaje en IA – haciendo la transición de CPUs a GPUs. Teníamos que diseñar la infraestructura de IA desde cero. Modelos como Caffe2 fueron innovadores cuando se crearon, pero la IA evolucionó tan rápido que pronto se volvieron obsoletos. Desarrollamos PyTorch y todo el sistema que lo rodea como solución.

PyTorch es donde aprendí sobre los mayores obstáculos que enfrentan los desarrolladores en la carrera por construir IA. El primer desafío es encontrar una arquitectura de modelo estable y confiable que sea de baja latencia y flexible para que los modelos puedan escalar. El segundo desafío es el costo total de propiedad, para que las empresas no quiebren al intentar crecer sus modelos.

Mi tiempo en Meta me mostró lo importante que es mantener modelos y frameworks como PyTorch de código abierto. Fomenta la innovación. No habríamos crecido tanto como lo hicimos en PyTorch sin las oportunidades de iteración de código abierto. Además, es imposible mantenerse al día con todas las últimas investigaciones sin colaboración.

¿Puedes discutir qué te llevó a lanzar Fireworks AI?

He estado en la industria de la tecnología durante más de 20 años, y he visto una ola tras otra de cambios a nivel de industria – desde la nube hasta las aplicaciones móviles. Pero este cambio en IA es un reajuste tectónico completo. Vi a muchas empresas luchando con este cambio. Todos querían moverse rápido y poner a la IA en primer lugar, pero les faltaba la infraestructura, los recursos y el talento para hacer que sucediera. Cuanto más hablaba con estas empresas, más me daba cuenta de que podía solucionar esta brecha en el mercado.

Lancé Fireworks AI tanto para solucionar este problema como para servir como una extensión del increíble trabajo que logramos en PyTorch. Incluso inspiró nuestro nombre. PyTorch es la antorcha que sostiene el fuego – pero queremos que ese fuego se extienda por todas partes. De ahí: Fireworks.

Siempre he sido apasionado de democratizar la tecnología, y hacer que sea asequible y simple para que los desarrolladores innoven sin importar sus recursos. Es por eso que tenemos una interfaz de usuario tan amigable y sistemas de soporte sólidos para empoderar a los constructores para que hagan realidad sus visiones.

¿Puedes discutir qué es la IA centrada en el desarrollador y por qué es tan importante?

Es simple: “centrada en el desarrollador” significa priorizar las necesidades de los desarrolladores de IA. Por ejemplo: crear herramientas, comunidades y procesos que hagan que los desarrolladores sean más eficientes y autónomos.

Las plataformas de IA centradas en el desarrollador como Fireworks deben integrarse en los flujos de trabajo y pilas de tecnología existentes. Deben hacer que sea simple para los desarrolladores experimentar, cometer errores y mejorar su trabajo. Deben fomentar la retroalimentación, porque son los desarrolladores mismos quienes entienden lo que necesitan para tener éxito. Por último, se trata de más que ser solo una plataforma. Se trata de ser una comunidad – una en la que los desarrolladores colaboradores puedan empujar los límites de lo que es posible con la IA.

La plataforma de GenAI que has desarrollado es un avance significativo para los desarrolladores que trabajan con grandes modelos de lenguaje (LLM). ¿Puedes elaborar sobre las características y beneficios únicos de tu plataforma, especialmente en comparación con las soluciones existentes?

Nuestro enfoque completo como plataforma de producción de IA es único, pero algunas de nuestras mejores características son:

Inferencia eficiente – Ingenieros de Fireworks AI para la eficiencia y la velocidad. Los desarrolladores que utilizan nuestra plataforma pueden ejecutar sus aplicaciones de LLM a la latencia más baja posible y al costo más bajo. Logramos esto con las últimas técnicas de optimización de modelos y servicios, incluyendo caché de prompts, particionado adaptable, cuantización, procesamiento por lotes continuo, FireAttention y más.

Soporte asequible para modelos ajustados con LoRA – Ofrecemos un servicio asequible de modelos ajustados con baja adaptación de rango (LoRA) a través de multi-inquilino en modelos base. Esto significa que los desarrolladores pueden experimentar con muchos diferentes casos de uso o variaciones del mismo modelo sin gastar una fortuna.

Interfaz y API sencillas – Nuestras interfaces y API son directas y fáciles de integrar en sus aplicaciones para los desarrolladores. Nuestras API también son compatibles con OpenAI para facilitar la migración.

Modelos preentrenados y modelos ajustados – Proporcionamos más de 100 modelos preentrenados que los desarrolladores pueden usar fuera de la caja. Cubrimos los mejores LLM, modelos de generación de imágenes, modelos de incrustación, etc. Pero los desarrolladores también pueden elegir alojar y servir sus propios modelos personalizados. También ofrecemos servicios de ajuste autónomo para ayudar a los desarrolladores a personalizar estos modelos personalizados con sus datos exclusivos.

Colaboración comunitaria: Creemos en la ética de código abierto de la colaboración comunitaria. Nuestra plataforma fomenta (pero no requiere) que los desarrolladores compartan sus modelos ajustados y contribuyan a un banco creciente de activos y conocimientos de IA. Todos se benefician del crecimiento de nuestra experiencia colectiva.

¿Puedes discutir el enfoque híbrido que se ofrece entre la paralelización de modelos y la paralelización de datos?

La paralelización de los modelos de aprendizaje automático mejora la eficiencia y la velocidad de la formación y el procesamiento de los modelos, y ayuda a los desarrolladores a manejar modelos más grandes que un solo GPU no puede procesar.

La paralelización de modelos implica dividir un modelo en varias partes y entrenar cada parte en procesadores separados. Por otro lado, la paralelización de datos divide los conjuntos de datos en subconjuntos y entrena un modelo en cada subconjunto al mismo tiempo en procesadores separados. Un enfoque híbrido combina estos dos métodos. Los modelos se dividen en partes separadas, que se entrenan en diferentes subconjuntos de datos, mejorando la eficiencia, la escalabilidad y la flexibilidad.

Fireworks AI es utilizada por más de 20,000 desarrolladores y actualmente sirve más de 60 mil millones de tokens diarios. ¿Cuáles han sido los desafíos que has enfrentado al escalar tus operaciones a este nivel, y cómo los has superado?

Soy honesto, ha habido muchas montañas altas que cruzar desde que fundamos Fireworks AI en 2022.

Nuestros clientes primero vinieron a nosotros en busca de soporte de baja latencia porque estaban construyendo aplicaciones para consumidores, prosumidores o otros desarrolladores – todas audiencias que necesitan soluciones rápidas. Luego, cuando las aplicaciones de nuestros clientes comenzaron a escalar rápidamente, se dieron cuenta de que no podían pagar los costos típicos asociados con esa escala. Luego, nuestros clientes querían migrar de OpenAI a modelos de código abierto, y nos pidieron que proporcionáramos una calidad igual o incluso mejor que OpenAI. Hicimos que sucediera también.

Cada paso en la evolución de nuestro producto fue un problema desafiante para resolver, pero significó que las necesidades de nuestros clientes realmente dieron forma a Fireworks en lo que es hoy: un motor de inferencia de alta velocidad con un bajo costo total de propiedad. Además, proporcionamos una variedad de modelos de alta calidad listos para usar para elegir, o servicios de ajuste para que los desarrolladores creen los suyos.

Con los rápidos avances en IA y aprendizaje automático, las consideraciones éticas son más importantes que nunca. ¿Cómo aborda Fireworks AI las preocupaciones relacionadas con el sesgo, la privacidad y el uso ético de la IA?

Tengo dos hijas adolescentes que usan aplicaciones de genAI como ChatGPT con frecuencia. Como madre, me preocupa que encuentren contenido engañoso o inapropiado, porque la industria apenas comienza a abordar el problema crítico de la seguridad del contenido. Meta está haciendo mucho con el proyecto Purple Llama, y los nuevos modos SD3 de Stability AI son geniales. Ambas empresas están trabajando duro para traer seguridad a sus nuevos modelos Llama3 y SD3 con múltiples capas de filtros. El modelo de seguridad de entrada-salida, Llama Guard, obtiene un buen uso en nuestra plataforma, pero su adopción no es comparable con otros LLM todavía. La industria en su conjunto todavía tiene un largo camino que recorrer para llevar la seguridad del contenido y la ética de la IA al frente.

En Fireworks nos preocupamos profundamente por la privacidad y la seguridad. Somos compatibles con HIPAA y SOC2, y ofrecemos conectividad VPC y VPN seguras. Las empresas confían en Fireworks con sus datos y modelos exclusivos para construir su ventaja comercial.

¿Cuál es tu visión para cómo evolucionará la IA?

Al igual que AlphaGo demostró autonomía mientras aprendía a jugar ajedrez por sí mismo, creo que veremos aplicaciones de genAI que se vuelvan más y más autónomas. Las aplicaciones automáticamente enrutaran y dirigirán solicitudes al agente o API correcto para procesar, y corregirán el curso hasta que obtengan la salida correcta. Y en lugar de que un modelo que llama a una función llame a otros como controlador, veremos más agentes autoorganizados y autocoordinados que trabajan en armonía para resolver problemas.

La inferencia de alta velocidad de Fireworks, los modelos que llaman a funciones y el servicio de ajuste han allanado el camino para esta realidad. Ahora depende de los innovadores desarrolladores hacer que suceda.

Gracias por la gran entrevista, los lectores que deseen aprender más deben visitar Fireworks AI.