Lin Qiao, CEO e Co-Fundador da Fireworks AI – Série de Entrevistas

Lin Qiao, foi anteriormente chefe do PyTorch da Meta e é o Co-Fundador e CEO da Fireworks AI. Fireworks AI é uma plataforma de produção de IA construída para desenvolvedores, Fireworks parceira com os principais pesquisadores de IA geradora do mundo para servir os melhores modelos, às velocidades mais rápidas. Fireworks AI recentemente levantou um $25M Série A.

O que inicialmente o atraiu para a ciência da computação?

Meu pai era um engenheiro mecânico muito sênior em um estaleiro, onde ele construía navios de carga do zero. Desde muito jovem, eu aprendi a ler os ângulos e medidas precisos dos projetos de navios, e eu amava isso.

Eu estava muito interessado em STEM a partir do ensino fundamental – tudo em matemática, física e química eu devorava. Uma das minhas tarefas no ensino médio foi aprender programação em BASIC, e eu codifiquei um jogo sobre uma cobra comendo sua própria cauda. Depois disso, eu sabia que a ciência da computação estava no meu futuro.

Enquanto estava na Meta, você liderou mais de 300 engenheiros de classe mundial em frameworks e plataformas de IA, onde você construiu e implantou Caffe2 e, posteriormente, PyTorch. Quais foram algumas das suas principais conclusões dessa experiência?

Empresas de Big Tech como a Meta estão sempre cinco ou mais anos à frente da curva. Quando eu me juntei à Meta em 2015, estávamos no início de nossa jornada de IA – fazendo a transição de CPUs para GPUs. Tivemos que projetar a infraestrutura de IA do zero. Modelos como Caffe2 foram revolucionários quando foram criados, mas a IA evoluiu tão rapidamente que eles rapidamente se tornaram obsoletos. Desenvolvemos PyTorch e todo o sistema em torno dele como uma solução.

PyTorch é onde eu aprendi sobre os principais obstáculos que os desenvolvedores enfrentam na corrida para construir IA. O primeiro desafio é encontrar arquitetura de modelo estável e confiável que seja de baixa latência e flexível, para que os modelos possam escalar. O segundo desafio é o custo total de propriedade, para que as empresas não fiquem falidas tentando crescer seus modelos.

Meu tempo na Meta me mostrou o quão importante é manter modelos e frameworks como PyTorch de código aberto. Isso incentiva a inovação. Nós não teríamos crescido tanto quanto tínhamos no PyTorch sem oportunidades de iteração de código aberto. Além disso, é impossível estar atualizado sobre todas as últimas pesquisas sem colaboração.

Pode discutir o que o levou a lançar a Fireworks AI?

Eu estou na indústria de tecnologia por mais de 20 anos, e eu vi onda após onda de mudanças no setor – desde a nuvem até aplicativos móveis. Mas essa mudança de IA é um realinhamento tectônico completo. Eu vi muitas empresas lutando com essa mudança. Todos queriam se mover rapidamente e colocar a IA em primeiro lugar, mas eles careciam da infraestrutura, recursos e talento para torná-lo real. Quanto mais eu conversava com essas empresas, mais eu me dava conta de que eu podia resolver essa lacuna no mercado.

Eu lancei a Fireworks AI tanto para resolver esse problema quanto para servir como uma extensão do incrível trabalho que realizamos no PyTorch. Isso até inspirou nosso nome! PyTorch é a tocha que segura o fogo – mas queremos que esse fogo se espalhe por todos os lugares. Daí: Fireworks.

Eu sempre fui apaixonado por democratizar a tecnologia e torná-la acessível e simples para os desenvolvedores inovarem, independentemente de seus recursos. É por isso que temos uma interface tão amigável e fortes sistemas de suporte para empoderar os construtores a trazer seus sonhos à vida.

Pode discutir o que é IA centrada no desenvolvedor e por que isso é tão importante?

É simples: “centrada no desenvolvedor” significa priorizar as necessidades dos desenvolvedores de IA. Por exemplo: criar ferramentas, comunidades e processos que tornem os desenvolvedores mais eficientes e autônomos.

Plataformas de IA centradas no desenvolvedor, como a Fireworks, devem se integrar aos fluxos de trabalho e pilhas de tecnologia existentes. Elas devem tornar fácil para os desenvolvedores experimentar, cometer erros e melhorar seu trabalho. Elas devem encorajar feedback, porque são os próprios desenvolvedores que entendem o que precisam para ser bem-sucedidos. Por fim, é mais do que apenas ser uma plataforma. É sobre ser uma comunidade – uma onde os desenvolvedores colaboradores possam empurrar os limites do que é possível com a IA.

A Plataforma GenAI que você desenvolveu é um avanço significativo para os desenvolvedores que trabalham com grandes modelos de linguagem (LLMs). Pode elaborar sobre as características e benefícios únicos da sua plataforma, especialmente em comparação com soluções existentes?

Nossa abordagem como plataforma de produção de IA é única, mas algumas de nossas melhores características são:

Inferência eficiente – Nós projetamos a Fireworks AI para eficiência e velocidade. Os desenvolvedores que usam nossa plataforma podem executar seus aplicativos LLM com a menor latência possível e custo. Nós alcançamos isso com as últimas técnicas de otimização de modelo e serviço, incluindo cache de prompt, sharding adaptável, quantização, batching contínuo, FireAttention e mais.

Suporte acessível para modelos ajustados LoRA – Nós oferecemos suporte acessível para modelos ajustados LoRA (Low-Rank Adaptation) via multi-locatário em modelos base. Isso significa que os desenvolvedores podem experimentar muitos diferentes casos de uso ou variações no mesmo modelo sem quebrar o banco.

Interfaces e APIs simples – Nossas interfaces e APIs são diretas e fáceis para os desenvolvedores integrarem em seus aplicativos. Nossas APIs também são compatíveis com OpenAI para facilitar a migração.

Modelos prontos para uso e modelos ajustados – Nós fornecemos mais de 100 modelos pré-treinados que os desenvolvedores podem usar prontamente. Nós cobrimos os melhores LLMs, modelos de geração de imagens, modelos de incorporação, etc. Mas os desenvolvedores também podem escolher hospedar e servir seus próprios modelos personalizados. Nós também oferecemos serviços de ajuste auto-atendido para ajudar os desenvolvedores a personalizar esses modelos personalizados com seus dados proprietários.

Colaboração da comunidade: Nós acreditamos no ethos de colaboração de código aberto da comunidade. Nossa plataforma encoraja (mas não exige) os desenvolvedores a compartilhar seus modelos ajustados e contribuir para um banco crescente de ativos de IA e conhecimento. Todos se beneficiam do crescimento de nossa expertise coletiva.

Pode discutir a abordagem híbrida que é oferecida entre paralelismo de modelo e paralelismo de dados?

Paralelizar modelos de aprendizado de máquina melhora a eficiência e a velocidade do treinamento do modelo e ajuda os desenvolvedores a lidar com modelos maiores que um único GPU não pode processar.

O paralelismo de modelo envolve dividir um modelo em várias partes e treinar cada parte em processadores separados. Por outro lado, o paralelismo de dados divide os conjuntos de dados em subconjuntos e treina um modelo em cada subconjunto ao mesmo tempo em processadores separados. Uma abordagem híbrida combina esses dois métodos. Modelos são divididos em partes separadas, que são treinadas em subconjuntos diferentes de dados, melhorando a eficiência, escalabilidade e flexibilidade.

Fireworks AI é usada por mais de 20.000 desenvolvedores e atualmente está servindo mais de 60 bilhões de tokens por dia. Quais desafios você enfrentou ao escalar suas operações para esse nível, e como você os superou?

Eu serei honesto, houve muitas montanhas altas para cruzar desde que fundamos a Fireworks AI em 2022.

Nossos clientes primeiro nos procuraram procurando suporte de baixa latência porque eles estão construindo aplicativos para consumidores, prosumidores ou outros desenvolvedores – todos os públicos que precisam de soluções rápidas. Então, quando os aplicativos de nossos clientes começaram a escalar rapidamente, eles perceberam que não podiam pagar os custos típicos associados a essa escala. Eles então nos pediram para ajudar a reduzir o custo total de propriedade (TCO), o que fizemos. Então, nossos clientes queriam migrar do OpenAI para modelos OSS, e eles nos pediram para fornecer qualidade igual ou melhor do que a do OpenAI. Nós fizemos isso também.

Cada etapa na evolução de nosso produto foi um problema desafiador para resolver, mas significou que as necessidades de nossos clientes verdadeiramente moldaram a Fireworks no que ela é hoje: um motor de inferência de velocidade relâmpago com baixo TCO. Além disso, fornecemos uma variedade de modelos de alta qualidade, prontos para uso, para escolher, ou serviços de ajuste para os desenvolvedores criarem seus próprios.

Com os avanços rápidos em IA e aprendizado de máquina, considerações éticas são mais importantes do que nunca. Como a Fireworks AI aborda preocupações relacionadas a viés, privacidade e uso ético da IA?

Eu tenho duas filhas adolescentes que usam aplicativos de genAI, como o ChatGPT, com frequência. Como mãe, eu me preocupo com elas encontrando conteúdo enganoso ou inapropriado, porque a indústria está apenas começando a lidar com o problema crítico da segurança do conteúdo. A Meta está fazendo muito com o projeto Purple Llama, e os novos modos SD3 da Stability AI são ótimos. Ambas as empresas estão trabalhando arduamente para trazer segurança para seus novos modelos Llama3 e SD3 com múltiplas camadas de filtros. O modelo de segurança de entrada-saída, Llama Guard, obtém um bom uso em nossa plataforma, mas sua adoção não está em pé de igualdade com outros LLMs ainda. A indústria como um todo ainda tem um longo caminho a percorrer para trazer segurança de conteúdo e ética de IA para o primeiro plano.

Nós, na Fireworks, nos importamos profundamente com a privacidade e a segurança. Nós somos compatíveis com HIPAA e SOC2, e oferecemos conectividade VPC e VPN seguras. As empresas confiam na Fireworks com seus dados e modelos proprietários para construir seu negócio.

Qual é sua visão para como a IA evoluirá?

Assim como o AlphaGo demonstrou autonomia enquanto aprendia a jogar xadrez sozinho, eu acho que veremos aplicações de genAI se tornarem mais e mais autônomas. Aplicativos automaticamente rotearão e direcionarão solicitações para o agente ou API certa para processar, e corrigirão o curso até obter a saída certa. E, em vez de um modelo de chamada de função polindo os outros como controlador, veremos mais agentes auto-organizados e auto-coordenados trabalhando em uníssono para resolver problemas.

A inferência relâmpago da Fireworks, os modelos de chamada de função e o serviço de ajuste pavimentaram o caminho para essa realidade. Agora é com os desenvolvedores inovadores para torná-la real.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Fireworks AI.