Lin Qiao, CEO & Co-Founder von Fireworks AI – Interview-Serie

Lin Qiao war früher Leiter von Metas PyTorch und ist Co-Founder und CEO von Fireworks AI. Fireworks AI ist eine Produktions-AI-Plattform, die für Entwickler entwickelt wurde. Fireworks partners with der Welt führenden generativen AI-Forschern, um die besten Modelle mit den schnellsten Geschwindigkeiten anzubieten. Fireworks AI hat kürzlich eine $25M Series A Finanzierungsrunde abgeschlossen.

Was hat Sie ursprünglich zur Informatik hingezogen?

Mein Vater war ein sehr erfahrener Maschinenbauingenieur in einer Werft, wo er Frachschiffe von Grund auf baute. Von klein auf lernte ich, die präzisen Winkel und Maße von Schiffbauplänen zu lesen, und ich liebte es.

Ich war sehr in STEM-Disziplinen interessiert, von der Mittelschule an – alles, was mit Mathematik, Physik und Chemie zu tun hatte, habe ich verschlungen. Eine meiner Aufgaben in der High School war, BASIC-Programmierung zu lernen, und ich programmierte ein Spiel über eine Schlange, die ihren eigenen Schwanz aß. Danach wusste ich, dass die Informatik meine Zukunft war.

Während Ihrer Zeit bei Meta haben Sie über 300 weltweit führende Ingenieure in AI-Frameworks und -Plattformen geleitet, wo Sie Caffe2 und später PyTorch entwickelt und bereitgestellt haben. Was waren einige Ihrer wichtigsten Erkenntnisse aus dieser Erfahrung?

Große Technologieunternehmen wie Meta sind immer fünf oder mehr Jahre vor der Kurve. Als ich 2015 zu Meta kam, waren wir am Anfang unserer AI-Reise – wir wechselten von CPUs zu GPUs. Wir mussten die AI-Infrastruktur von Grund auf entwerfen. Modelle wie Caffe2 waren bahnbrechend, als sie entwickelt wurden, aber die AI entwickelte sich so schnell, dass sie schnell veraltet waren. Wir entwickelten PyTorch und das gesamte System darum herum als Lösung.

PyTorch ist der Ort, an dem ich die größten Herausforderungen kennengelernt habe, denen Entwickler bei der Entwicklung von AI gegenüberstehen. Die erste Herausforderung ist die Suche nach stabilen und zuverlässigen Modellarchitekturen, die niedrige Latenz und Flexibilität bieten, damit Modelle skaliert werden können. Die zweite Herausforderung ist die Gesamtkosten, damit Unternehmen nicht bankrott gehen, wenn sie ihre Modelle wachsen lassen.

Meine Zeit bei Meta hat mir gezeigt, wie wichtig es ist, Modelle und Frameworks wie PyTorch Open-Source zu halten. Es fördert die Innovation. Wir hätten nicht so viel gewachsen, wie wir es bei PyTorch getan haben, ohne Open-Source-Möglichkeiten für die Iteration. Außerdem ist es unmöglich, auf dem neuesten Stand der Forschung zu bleiben, ohne Zusammenarbeit.

Können Sie über die Gründe sprechen, die Sie dazu veranlasst haben, Fireworks AI zu gründen?

Ich bin über 20 Jahre in der Technologiebranche tätig und habe Wellen um Wellen von branchenweiten Veränderungen gesehen – von der Cloud zu mobilen Apps. Aber diese AI-Veränderung ist eine vollständige tektonische Neuausrichtung. Ich sah viele Unternehmen, die mit dieser Veränderung kämpften. Jeder wollte schnell vorankommen und AI an erste Stelle setzen, aber sie hatten nicht die Infrastruktur, Ressourcen und Talente, um es zu schaffen. Je mehr ich mit diesen Unternehmen sprach, desto mehr erkannte ich, dass ich diese Lücke im Markt schließen konnte.

Ich gründete Fireworks AI, um dieses Problem zu lösen und als Erweiterung der unglaublichen Arbeit, die wir bei PyTorch geleistet haben. Es inspirierte sogar unseren Namen! PyTorch ist die Fackel, die das Feuer hält – aber wir wollen, dass dieses Feuer überall verbreitet wird. Daher: Fireworks.

Ich bin immer leidenschaftlich für die Demokratisierung von Technologie und die Möglichkeit, es Entwicklern zu ermöglichen, unabhängig von ihren Ressourcen zu innovieren. Deshalb haben wir eine benutzerfreundliche Oberfläche und starke Support-Systeme, um Entwickler zu befähigen, ihre Visionen zu verwirklichen.

Können Sie über die Bedeutung von Entwickler-zentrierter AI sprechen?

Es ist einfach: “Entwickler-zentriert” bedeutet, die Bedürfnisse von AI-Entwicklern zu priorisieren. Zum Beispiel: die Schaffung von Tools, Communities und Prozessen, die Entwickler effizienter und autonomer machen.

Entwickler-zentrierte AI-Plattformen wie Fireworks sollten in bestehende Workflows und Technologie-Stapel integriert werden. Sie sollten es Entwicklern ermöglichen, einfach zu experimentieren, Fehler zu machen und ihre Arbeit zu verbessern. Sie sollten Feedback fördern, da es die Entwickler selbst sind, die verstehen, was sie benötigen, um erfolgreich zu sein. Letztendlich geht es darum, mehr als nur eine Plattform zu sein. Es geht darum, eine Community zu sein – eine, in der sich Entwickler zusammenkommen können, um die Grenzen dessen zu erweitern, was mit AI möglich ist.

Die GenAI-Plattform, die Sie entwickelt haben, ist ein bedeutender Fortschritt für Entwickler, die mit großen Sprachmodellen (LLMs) arbeiten. Können Sie über die einzigartigen Funktionen und Vorteile Ihrer Plattform sprechen, insbesondere im Vergleich zu bestehenden Lösungen?

Unsere gesamte Herangehensweise als AI-Produktionsplattform ist einzigartig, aber einige unserer besten Funktionen sind:

Effiziente Inferenz – Wir haben Fireworks AI für Effizienz und Geschwindigkeit entwickelt. Entwickler, die unsere Plattform verwenden, können ihre LLM-Anwendungen mit der niedrigsten möglichen Latenz und Kosten ausführen. Wir erreichen dies durch die neuesten Modell- und Service-Optimierungstechniken, einschließlich Prompt-Caching, adaptiver Sharding, Quantisierung, kontinuierlicher Batch-Verarbeitung, FireAttention und mehr.

Erschwingliche Unterstützung für LoRA-feinjustierte Modelle – Wir bieten eine erschwingliche Dienstleistung für die Feinjustierung von Low-Rank-Adaptations- (LoRA-) Modellen über Multi-Tenancy auf Basis-Modellen an. Dies bedeutet, dass Entwickler viele verschiedene Anwendungsfälle oder Variationen desselben Modells ausprobieren können, ohne bankrott zu gehen.

Einfache Schnittstellen und APIs – Unsere Schnittstellen und APIs sind einfach und leicht für Entwickler zu integrieren. Unsere APIs sind auch OpenAI-kompatibel, um den Wechsel zu erleichtern.

Vorab trainierte Modelle und feinjustierte Modelle – Wir bieten über 100 vorab trainierte Modelle an, die Entwickler sofort verwenden können. Wir decken die besten LLMs, Bildgenerierungsmodelle, Embedding-Modelle usw. ab. Entwickler können jedoch auch ihre eigenen benutzerdefinierten Modelle hosten und bereitstellen. Wir bieten auch Selbstbedienung-Feinjustierungsdienste an, um Entwicklern zu helfen, diese benutzerdefinierten Modelle mit ihren eigenen Daten anzupassen.

Community-Zusammenarbeit: Wir glauben an die Open-Source-Ethik der Community-Zusammenarbeit. Unsere Plattform ermutigt (aber erfordert nicht) Entwickler, ihre feinjustierten Modelle zu teilen und zur wachsenden Bank von AI-Assets und -Wissen beizutragen. Jeder profitiert von der Erweiterung unserer kollektiven Expertise.

Können Sie über den hybriden Ansatz sprechen, der zwischen Modell-Parallelismus und Daten-Parallelismus angeboten wird?

Die Parallelisierung von Machine-Learning-Modellen verbessert die Effizienz und Geschwindigkeit der Modelltraining und hilft Entwicklern, größere Modelle zu verarbeiten, die ein einzelner GPU nicht verarbeiten kann.

Modell-Parallelismus beinhaltet die Aufteilung eines Modells in mehrere Teile und das Training jedes Teils auf separaten Prozessoren. Andererseits teilt Daten-Parallelismus die Datenmengen in Untermengen auf und trainiert ein Modell auf jeder Untermenge gleichzeitig auf separaten Prozessoren. Ein hybrider Ansatz kombiniert diese beiden Methoden. Modelle werden in separate Teile aufgeteilt, die jeweils auf verschiedenen Datenmengen trainiert werden, was die Effizienz, Skalierbarkeit und Flexibilität verbessert.

Fireworks AI wird von über 20.000 Entwicklern verwendet und dient derzeit über 60 Milliarden Token pro Tag. Welche Herausforderungen haben Sie bei der Skalierung Ihres Betriebs auf dieses Level erlebt, und wie haben Sie sie überwunden?

Ich werde ehrlich sein, es gab viele hohe Berge, die wir seit der Gründung von Fireworks AI im Jahr 2022 überwinden mussten.

Unsere Kunden kamen ursprünglich zu uns, weil sie sehr niedrige Latenz unterstützten, da sie Anwendungen für Verbraucher, Prosumer oder andere Entwickler bauten – alle Zielgruppen, die schnelle Lösungen benötigen. Dann, als die Anwendungen unserer Kunden schnell skalierten, erkannten sie, dass sie die typischen Kosten, die mit dieser Skalierung verbunden sind, nicht bezahlen konnten. Sie baten uns dann, bei der Senkung der Gesamtkosten (TCO) zu helfen, was wir auch taten. Dann wollten unsere Kunden von OpenAI zu OSS-Modellen migrieren und baten uns, eine Qualität zu bieten, die mit OpenAI vergleichbar oder sogar besser ist. Wir haben das auch geschafft.

Jeder Schritt in der Entwicklung unseres Produkts war ein schwieriges Problem, das wir lösen mussten, aber es bedeutete, dass die Bedürfnisse unserer Kunden Fireworks AI wirklich zu dem gemacht haben, was es heute ist: ein blitzschneller Inferenz-Motor mit niedrigen TCO. Außerdem bieten wir eine Auswahl an hochwertigen, vorab trainierten Modellen an, oder Feinjustierungsdienste, damit Entwickler ihre eigenen Modelle erstellen können.

Angesichts der schnellen Fortschritte im Bereich KI und maschinellem Lernen sind ethische Überlegungen wichtiger denn je. Wie geht Fireworks AI mit Bedenken hinsichtlich Bias, Datenschutz und ethischer Nutzung von KI um?

Ich habe zwei Teenager-Töchter, die genAI-Apps wie ChatGPT oft verwenden. Als Mutter mache ich mir Sorgen, dass sie irreführende oder unangemessene Inhalte finden, da die Branche gerade erst beginnt, das kritische Problem der Inhaltsicherheit zu lösen. Meta unternimmt viel mit dem Purple-Llama-Projekt, und Stability AIs neue SD3-Modi sind großartig. Beide Unternehmen arbeiten hart daran, Sicherheit in ihre neuen Llama3- und SD3-Modelle mit mehreren Filter-Ebenen zu bringen. Das Input-Output-Sicherheitsmodell, Llama Guard, wird auf unserer Plattform gut genutzt, aber seine Verbreitung ist noch nicht mit anderen LLMs vergleichbar. Die Branche als Ganzes hat noch einen langen Weg vor sich, um Inhaltsicherheit und KI-Ethik in den Vordergrund zu stellen.

Wir bei Fireworks legen großen Wert auf Datenschutz und Sicherheit. Wir sind HIPAA- und SOC2-konform und bieten sichere VPC- und VPN-Verbindungen an. Unternehmen vertrauen Fireworks ihre proprietären Daten und Modelle an, um ihren Geschäfts-Vorteil aufzubauen.

Was ist Ihre Vision für die Zukunft der KI?

Genau wie AlphaGo Autonomie demonstrierte, während es selbstständig Schach lernte, denke ich, dass wir genAI-Anwendungen sehen werden, die immer autonomer werden. Apps werden automatisch Anfragen an den richtigen Agenten oder die richtige API weiterleiten, um sie zu verarbeiten, und Kurskorrekturen vornehmen, bis sie die richtige Ausgabe erhalten. Und anstelle eines funktionsaufrufenden Modells, das von anderen als Controller abgefragt wird, werden wir mehr selbstorganisierte, selbstkoordinierte Agenten sehen, die zusammenarbeiten, um Probleme zu lösen.

Fireworks’ blitzschnelle Inferenz, funktionsaufrufende Modelle und Feinjustierungsdienste haben den Weg für diese Realität geebnet. Jetzt liegt es an den innovativen Entwicklern, es zu verwirklichen.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Fireworks AI besuchen.