Lin Qiao, director ejecutivo y cofundador de Fireworks AI - Serie de entrevistas

Lin Qiao, anteriormente fue director de PyTorch de Meta y es cofundador y director ejecutivo de Fireworks AI. IA de fuegos artificiales Fireworks es una plataforma de producción de IA diseñada para desarrolladores. Fireworks se asocia con los principales investigadores de IA generativa del mundo para ofrecer los mejores modelos, a las velocidades más rápidas. La IA de fuegos artificiales planteó recientemente una $ 25M Serie A.

¿Qué te atrajo inicialmente de la informática?

Mi padre era un ingeniero mecánico de alto nivel en un astillero, donde construía barcos de carga desde cero. Desde muy joven aprendí a leer los ángulos y medidas precisos de los planos de barcos, y me encantó.

Me interesé mucho en STEM desde la escuela secundaria en adelante: todo lo que devoraba eran matemáticas, física y química. Una de mis tareas en la escuela secundaria era aprender programación BÁSICA y codifiqué un juego sobre una serpiente que se come la cola. Después de eso, supe que la informática estaba en mi futuro.

Mientras estuvo en Meta, dirigió a más de 300 ingenieros de clase mundial en marcos y plataformas de IA donde construyó e implementó Caffe2 y, más tarde, PyTorch. ¿Cuáles fueron algunas de las conclusiones clave de esta experiencia?

Las grandes empresas tecnológicas como Meta siempre van cinco o más años por delante de la curva. Cuando me uní a Meta en 2015, estábamos al comienzo de nuestro viaje hacia la IA: haciendo el cambio de CPU a GPU. Tuvimos que diseñar la infraestructura de IA desde cero. Modelos como Caffe2 fueron innovadores cuando se crearon, pero la IA evolucionó tan rápido que rápidamente quedaron obsoletos. Desarrollamos PyTorch y todo el sistema que lo rodea como una solución.

PyTorch es donde aprendí sobre los mayores obstáculos que enfrentan los desarrolladores en la carrera por desarrollar IA. El primer desafío es encontrar una arquitectura de modelo estable y confiable que tenga baja latencia y sea flexible para que los modelos puedan escalar. El segundo desafío es el costo total de propiedad, para que las empresas no quiebren tratando de hacer crecer sus modelos.

Mi tiempo en Meta me mostró lo importante que es mantener modelos y marcos como PyTorch de código abierto. Fomenta la innovación. No habríamos crecido tanto como lo hicimos en PyTorch sin oportunidades de iteración de código abierto. Además, es imposible mantenerse actualizado sobre las últimas investigaciones sin colaboración.

¿Puedes hablarnos de qué te llevó a lanzar Fireworks AI?

He estado en la industria de la tecnología durante más de 20 años y he visto oleada tras oleada de cambios a nivel industrial, desde la nube a las aplicaciones móviles. Pero este cambio de IA es un realineamiento tectónico completo. Vi muchas empresas luchando con este cambio. Todos querían actuar rápido y poner la IA en primer lugar, pero carecían de la infraestructura, los recursos y el talento para hacerlo realidad. Cuanto más hablaba con estas empresas, más me daba cuenta de que podía resolver este vacío en el mercado.

Lancé Fireworks AI para resolver este problema y servir como una extensión del increíble trabajo que logramos en PyTorch. ¡Incluso inspiró nuestro nombre! PyTorch es la antorcha que sostiene el fuego, pero queremos que ese fuego se extienda por todas partes. De ahí: fuegos artificiales.

Siempre me ha apasionado democratizar la tecnología y hacer que sea asequible y sencilla para los desarrolladores innovar independientemente de sus recursos. Es por eso que tenemos una interfaz tan fácil de usar y sistemas de soporte sólidos para capacitar a los constructores para que hagan realidad sus visiones.

¿Podrías hablarnos de qué es la IA centrada en el desarrollador y por qué es tan importante?

Es simple: "centrado en el desarrollador" significa priorizar las necesidades de los desarrolladores de IA. Por ejemplo: crear herramientas, comunidades y procesos que hagan a los desarrolladores más eficientes y autónomos.

Las plataformas de IA centradas en los desarrolladores, como Fireworks, deberían integrarse en los flujos de trabajo y las pilas de tecnología existentes. Deberían facilitar que los desarrolladores experimenten, cometan errores y mejoren su trabajo. Deben fomentar la retroalimentación, porque son los propios desarrolladores los que entienden lo que necesitan para tener éxito. Por último, se trata de algo más que ser una plataforma. Se trata de ser una comunidad, una en la que los desarrolladores colaboradores puedan superar los límites de lo que es posible con la IA.

La plataforma GenAI que ha desarrollado es un avance significativo para los desarrolladores que trabajan con modelos de lenguajes grandes (LLM). ¿Puede dar más detalles sobre las características y beneficios únicos de su plataforma, especialmente en comparación con las soluciones existentes?

Todo nuestro enfoque como plataforma de producción de IA es único, pero algunas de nuestras mejores características son:

Inferencia eficiente: diseñamos Fireworks AI para lograr eficiencia y velocidad. Los desarrolladores que utilizan nuestra plataforma pueden ejecutar sus aplicaciones LLM con la menor latencia y costo posibles. Logramos esto con las últimas técnicas de optimización de modelos y servicios, incluido el almacenamiento en caché rápido, fragmentación adaptable, cuantificación, procesamiento por lotes continuo, FireAttention y más.

Soporte asequible para modelos ajustados por LoRA: ofrecemos un servicio asequible de modelos ajustados de adaptación de rango bajo (LoRA) a través de arrendamiento múltiple en modelos base. Esto significa que los desarrolladores pueden experimentar con muchos casos de uso diferentes o variaciones del mismo modelo sin gastar mucho dinero.

Interfaces y API simples: nuestras interfaces y API son sencillas y fáciles de integrar para los desarrolladores en sus aplicaciones. Nuestras API también son compatibles con OpenAI para facilitar la migración.

Modelos disponibles en el mercado y modelos optimizados: proporcionamos más de 100 modelos previamente entrenados que los desarrolladores pueden usar de inmediato. Cubrimos los mejores LLM, modelos de generación de imágenes, modelos de incrustación, etc. Pero los desarrolladores también pueden optar por alojar y servir sus propios modelos personalizados. También ofrecemos servicios de ajuste de autoservicio para ayudar a los desarrolladores a adaptar estos modelos personalizados con sus datos patentados.

Colaboración comunitaria: creemos en el espíritu de colaboración comunitaria del código abierto. Nuestra plataforma alienta (pero no exige) a los desarrolladores a compartir sus modelos perfeccionados y contribuir a un banco cada vez mayor de activos y conocimientos de IA. Todos se benefician del aumento de nuestra experiencia colectiva.

¿Podrías hablar sobre el enfoque híbrido que se ofrece entre el paralelismo de modelos y el paralelismo de datos?

La paralelización de modelos de aprendizaje automático mejora la eficiencia y la velocidad del entrenamiento de modelos y ayuda a los desarrolladores a manejar modelos más grandes que una sola GPU no puede procesar.

El paralelismo de modelos implica dividir un modelo en varias partes y entrenar cada parte en procesadores separados. Por otro lado, el paralelismo de datos divide los conjuntos de datos en subconjuntos y entrena un modelo en cada subconjunto al mismo tiempo en procesadores separados. Un enfoque híbrido combina estos dos métodos. Los modelos se dividen en partes separadas, cada una de las cuales se entrena con diferentes subconjuntos de datos, lo que mejora la eficiencia, la escalabilidad y la flexibilidad.

Más de 20,000 desarrolladores utilizan Fireworks AI y actualmente sirve más de 60 millones de tokens diarios. ¿Qué desafíos ha enfrentado al escalar sus operaciones a este nivel y cómo los ha superado?

Seré honesto, ha habido muchas montañas altas que cruzar desde que fundamos Fireworks AI en 2022.

Nuestros clientes acudieron primero a nosotros en busca de soporte de latencia muy baja porque están creando aplicaciones para consumidores, prosumidores u otros desarrolladores, todos ellos públicos que necesitan soluciones rápidas. Luego, cuando las aplicaciones de nuestros clientes comenzaron a escalar rápidamente, se dieron cuenta de que no podían afrontar los costos típicos asociados con esa escala. Luego nos pidieron que los ayudáramos a reducir el costo total de propiedad (TCO), lo cual hicimos. Luego, nuestros clientes querían migrar de OpenAI a modelos OSS y nos pidieron que ofreciéramos una calidad igual o incluso mejor que OpenAI. Nosotros también hicimos que eso sucediera.

Cada paso en la evolución de nuestro producto fue un problema difícil de abordar, pero significó que las necesidades de nuestros clientes realmente dieron forma a Fireworks hasta convertirlo en lo que es hoy: un motor de inferencia ultrarrápido con un bajo costo total de propiedad. Además, ofrecemos una variedad de modelos listos para usar de alta calidad para elegir o servicios de ajuste para que los desarrolladores creen los suyos propios.

Con los rápidos avances en inteligencia artificial y aprendizaje automático, las consideraciones éticas son más importantes que nunca. ¿Cómo aborda Fireworks AI las preocupaciones relacionadas con los prejuicios, la privacidad y el uso ético de la IA?

Tengo dos hijas adolescentes que usan aplicaciones genAI como ChatGPT con frecuencia. Como madre, me preocupa que encuentren contenido engañoso o inapropiado, porque la industria recién está comenzando a abordar el problema crítico de la seguridad del contenido. Meta está haciendo mucho con el proyecto Purple Llama y los nuevos modos SD3 de Stability AI son geniales. Ambas empresas están trabajando arduamente para brindar seguridad a sus nuevos modelos Llama3 y SD3 con múltiples capas de filtros. El modelo de protección de entrada-salida, Llama Guard, se utiliza mucho en nuestra plataforma, pero su adopción aún no está a la par con la de otros LLM. La industria en su conjunto todavía tiene un largo camino por recorrer para llevar la seguridad del contenido y la ética de la IA a un primer plano.

En Fireworks nos preocupamos profundamente por la privacidad y la seguridad. Cumplimos con HIPAA y SOC2 y ofrecemos conectividad VPC y VPN segura. Las empresas confían en Fireworks sus datos y modelos patentados para construir su foso comercial.

¿Cuál es su visión sobre cómo evolucionará la IA?

Así como AlphaGo demostró autonomía mientras aprendía a jugar al ajedrez por sí solo, creo que veremos que las aplicaciones genAI se volverán cada vez más autónomas. Las aplicaciones enrutarán y dirigirán automáticamente las solicitudes al agente o API correcto para procesarlas y corregir el rumbo hasta que recuperen el resultado correcto. Y en lugar de que un modelo de llamada de funciones sondee a otros como controlador, veremos más agentes autoorganizados y autocoordinados trabajando al unísono para resolver problemas.

La inferencia ultrarrápida, los modelos de llamada de funciones y el servicio de ajuste de Fireworks han allanado el camino para esta realidad. Ahora depende de los desarrolladores innovadores hacerlo realidad.

Gracias por la gran entrevista, los lectores que deseen obtener más información deben visitar IA de fuegos artificiales.