Lin Qiao, CEO und Mitbegründer von Fireworks AI – Interviewreihe

Lin Qiao war früher Leiter von Metas PyTorch und ist Mitbegründer und CEO von Fireworks AI. Feuerwerks-KI ist eine Produktions-KI-Plattform, die für Entwickler entwickelt wurde. Fireworks arbeitet mit den weltweit führenden generativen KI-Forschern zusammen, um die besten Modelle mit den schnellsten Geschwindigkeiten bereitzustellen. Fireworks AI hat kürzlich eine erstellt 25 Mio. USD Serie A..

Was hat Sie ursprünglich an der Informatik interessiert?

Mein Vater war ein sehr leitender Maschinenbauingenieur auf einer Werft, wo er Frachtschiffe von Grund auf baute. Schon in jungen Jahren habe ich gelernt, die genauen Winkel und Maße von Schiffsplänen zu lesen, und es hat mir sehr gut gefallen.

Ich habe mich seit der Mittelschule sehr für MINT interessiert – alles, was ich in Mathematik, Physik und Chemie gelernt habe. Eine meiner High-School-Aufgaben bestand darin, BASIC-Programmierung zu lernen, und ich programmierte ein Spiel über eine Schlange, die ihren Schwanz frisst. Danach wusste ich, dass Informatik meine Zukunft ist.

Während Ihrer Zeit bei Meta haben Sie mehr als 300 erstklassige Ingenieure in KI-Frameworks und -Plattformen geleitet, wo Sie Caffe2 und später PyTorch entwickelt und bereitgestellt haben. Was waren Ihre wichtigsten Erkenntnisse aus dieser Erfahrung?

Big-Tech-Unternehmen wie Meta sind der Zeit immer fünf oder mehr Jahre voraus. Als ich 2015 zu Meta kam, standen wir am Anfang unserer KI-Reise – mit der Umstellung von CPUs auf GPUs. Wir mussten die KI-Infrastruktur von Grund auf entwerfen. Modelle wie Caffe2 waren bahnbrechend, als sie entwickelt wurden, aber die KI entwickelte sich so schnell, dass sie schnell veraltet war. Als Lösung haben wir PyTorch und das gesamte System drumherum entwickelt.

In PyTorch habe ich etwas über die größten Hürden erfahren, mit denen Entwickler im Wettlauf um die Entwicklung von KI konfrontiert sind. Die erste Herausforderung besteht darin, eine stabile und zuverlässige Modellarchitektur mit geringer Latenz und Flexibilität zu finden, damit Modelle skaliert werden können. Die zweite Herausforderung sind die Gesamtbetriebskosten, damit Unternehmen nicht in Konkurs gehen, wenn sie versuchen, ihre Modelle zu erweitern.

Meine Zeit bei Meta hat mir gezeigt, wie wichtig es ist, Modelle und Frameworks wie PyTorch Open Source zu halten. Es fördert Innovation. Ohne Open-Source-Möglichkeiten zur Iteration wären wir nicht so stark gewachsen wie bei PyTorch. Außerdem ist es ohne Zusammenarbeit unmöglich, über die neuesten Forschungsergebnisse auf dem Laufenden zu bleiben.

Können Sie erläutern, was Sie zur Einführung von Fireworks AI geführt hat?

Ich bin seit mehr als 20 Jahren in der Technologiebranche tätig und habe eine Welle nach der anderen Veränderungen auf Branchenebene erlebt – von der Cloud zu mobilen Apps. Aber diese KI-Verschiebung ist eine völlige tektonische Neuausrichtung. Ich habe viele Unternehmen gesehen, die mit dieser Veränderung zu kämpfen hatten. Jeder wollte schnell vorankommen und die KI an die erste Stelle setzen, aber es fehlte an Infrastruktur, Ressourcen und Talent, um dies zu verwirklichen. Je mehr ich mit diesen Unternehmen sprach, desto klarer wurde mir, dass ich diese Marktlücke schließen konnte.

Ich habe Fireworks AI gestartet, um dieses Problem zu lösen und als Erweiterung der unglaublichen Arbeit zu dienen, die wir bei PyTorch geleistet haben. Es hat sogar unseren Namen inspiriert! PyTorch ist die Fackel, die das Feuer hält – aber wir wollen, dass sich das Feuer überall ausbreitet. Daher: Feuerwerk.

Es war mir schon immer ein großes Anliegen, Technologie zu demokratisieren und es Entwicklern erschwinglich und einfach zu machen, unabhängig von ihren Ressourcen Innovationen zu entwickeln. Deshalb verfügen wir über eine so benutzerfreundliche Oberfläche und leistungsstarke Supportsysteme, die Bauherren die Möglichkeit geben, ihre Visionen zum Leben zu erwecken.

Könnten Sie erläutern, was entwicklerzentrierte KI ist und warum sie so wichtig ist?

Es ist ganz einfach: „Entwicklerzentriert“ bedeutet, den Bedürfnissen von KI-Entwicklern Priorität einzuräumen. Zum Beispiel: Erstellen von Tools, Communities und Prozessen, die Entwickler effizienter und autonomer machen.

Entwicklerzentrierte KI-Plattformen wie Fireworks sollten in bestehende Arbeitsabläufe und Tech-Stacks integriert werden. Sie sollten es Entwicklern erleichtern, zu experimentieren, Fehler zu machen und ihre Arbeit zu verbessern. Sie sollten Feedback fördern, denn es sind die Entwickler selbst, die verstehen, was sie brauchen, um erfolgreich zu sein. Schließlich geht es um mehr als nur darum, eine Plattform zu sein. Es geht darum, eine Community zu sein – eine Community, in der zusammenarbeitende Entwickler die Grenzen dessen erweitern können, was mit KI möglich ist.

Die von Ihnen entwickelte GenAI-Plattform ist ein bedeutender Fortschritt für Entwickler, die mit großen Sprachmodellen (LLMs) arbeiten. Können Sie die einzigartigen Funktionen und Vorteile Ihrer Plattform näher erläutern, insbesondere im Vergleich zu bestehenden Lösungen?

Unser gesamter Ansatz als KI-Produktionsplattform ist einzigartig, aber einige unserer besten Funktionen sind:

Effiziente Inferenz – Wir haben Fireworks AI im Hinblick auf Effizienz und Geschwindigkeit entwickelt. Entwickler, die unsere Plattform nutzen, können ihre LLM-Anwendungen mit der geringstmöglichen Latenz und Kosten ausführen. Dies erreichen wir mit den neuesten Modell- und Serviceoptimierungstechniken, einschließlich promptem Caching, anpassbarem Sharding, Quantisierung, kontinuierlichem Batching, FireAttention und mehr.

Erschwinglicher Support für LoRA-abgestimmte Modelle – Wir bieten einen erschwinglichen Service für Low-Rank-Adaptation (LoRA) feinabgestimmte Modelle über Mandantenfähigkeit auf Basismodellen. Das bedeutet, dass Entwickler mit vielen verschiedenen Anwendungsfällen oder Variationen desselben Modells experimentieren können, ohne viel Geld auszugeben.

Einfache Schnittstellen und APIs – Unsere Schnittstellen und APIs sind unkompliziert und können von Entwicklern einfach in ihre Anwendungen integriert werden. Unsere APIs sind außerdem OpenAI-kompatibel, um die Migration zu erleichtern.

Standardmodelle und fein abgestimmte Modelle – Wir bieten mehr als 100 vorab trainierte Modelle, die Entwickler sofort verwenden können. Wir decken die besten LLMs, Bilderzeugungsmodelle, Einbettungsmodelle usw. ab. Entwickler können sich aber auch dafür entscheiden, ihre eigenen benutzerdefinierten Modelle zu hosten und bereitzustellen. Wir bieten auch Self-Service-Feinabstimmungsdienste an, um Entwicklern dabei zu helfen, diese benutzerdefinierten Modelle mit ihren proprietären Daten anzupassen.

Community-Zusammenarbeit: Wir glauben an den Open-Source-Ethos der Community-Zusammenarbeit. Unsere Plattform ermutigt Entwickler (aber verlangt nicht davon), ihre fein abgestimmten Modelle zu teilen und zu einem wachsenden Bestand an KI-Ressourcen und -Wissen beizutragen. Jeder profitiert vom Ausbau unseres kollektiven Fachwissens.

Könnten Sie den hybriden Ansatz diskutieren, der zwischen Modellparallelität und Datenparallelität angeboten wird?

Die Parallelisierung von Modellen für maschinelles Lernen verbessert die Effizienz und Geschwindigkeit des Modelltrainings und hilft Entwicklern bei der Handhabung größerer Modelle, die eine einzelne GPU nicht verarbeiten kann.

Bei der Modellparallelität wird ein Modell in mehrere Teile aufgeteilt und jeder Teil auf separaten Prozessoren trainiert. Andererseits unterteilt die Datenparallelität Datensätze in Teilmengen und trainiert ein Modell für jede Teilmenge gleichzeitig auf verschiedenen Prozessoren. Ein hybrider Ansatz kombiniert diese beiden Methoden. Modelle sind in separate Teile unterteilt, die jeweils auf unterschiedliche Teilmengen von Daten trainiert werden, wodurch Effizienz, Skalierbarkeit und Flexibilität verbessert werden.

Fireworks AI wird von über 20,000 Entwicklern verwendet und stellt derzeit täglich über 60 Milliarden Token bereit. Vor welchen Herausforderungen standen Sie bei der Skalierung Ihres Betriebs auf dieses Niveau, und wie haben Sie diese gemeistert?

Ich bin ehrlich, seit wir Fireworks AI im Jahr 2022 gegründet haben, mussten viele hohe Berge überquert werden.

Unsere Kunden kamen zunächst auf der Suche nach Unterstützung mit sehr geringer Latenz zu uns, weil sie Anwendungen für Verbraucher, Prosumer oder andere Entwickler erstellen – alles Zielgruppen, die schnelle Lösungen benötigen. Als dann die Anwendungen unserer Kunden schnell zu skalieren begannen, stellten sie fest, dass sie sich die typischen, mit dieser Skalierung verbundenen Kosten nicht leisten konnten. Sie baten uns dann, bei der Senkung der Gesamtbetriebskosten (TCO) zu helfen, was wir auch taten. Dann wollten unsere Kunden von OpenAI auf OSS-Modelle migrieren und baten uns, eine gleichwertige oder sogar bessere Qualität als OpenAI bereitzustellen. Auch das haben wir möglich gemacht.

Jeder Schritt in der Weiterentwicklung unseres Produkts war ein herausforderndes Problem, aber es bedeutete, dass die Bedürfnisse unserer Kunden Fireworks wirklich zu dem machten, was es heute ist: eine blitzschnelle Inferenz-Engine mit niedrigen Gesamtbetriebskosten. Darüber hinaus bieten wir sowohl eine Auswahl hochwertiger, sofort einsatzbereiter Modelle als auch Feinabstimmungsdienste für Entwickler an, damit diese ihre eigenen Modelle erstellen können.

Angesichts der rasanten Fortschritte bei KI und maschinellem Lernen sind ethische Überlegungen wichtiger denn je. Wie geht Fireworks AI auf Bedenken im Zusammenhang mit Voreingenommenheit, Datenschutz und ethischem Einsatz von KI ein?

Ich habe zwei Töchter im Teenageralter, die häufig GenAI-Apps wie ChatGPT verwenden. Als Mutter mache ich mir Sorgen, dass sie irreführende oder unangemessene Inhalte finden, da die Branche gerade erst anfängt, sich mit dem kritischen Problem der Inhaltssicherheit auseinanderzusetzen. Meta macht viel mit dem Purple Llama-Projekt und die neuen SD3-Modi von Stability AI sind großartig. Beide Unternehmen arbeiten hart daran, ihre neuen Llama3- und SD3-Modelle mit mehreren Filterschichten sicherer zu machen. Das Input-Output-Schutzmodell Llama Guard wird auf unserer Plattform zwar häufig genutzt, seine Akzeptanz ist jedoch noch nicht auf dem Niveau anderer LLMs. Die gesamte Branche hat noch einen langen Weg vor sich, um Inhaltssicherheit und KI-Ethik in den Vordergrund zu rücken.

Wir bei Fireworks legen großen Wert auf Datenschutz und Sicherheit. Wir sind HIPAA- und SOC2-konform und bieten sichere VPC- und VPN-Konnektivität. Unternehmen vertrauen Fireworks ihre proprietären Daten und Modelle beim Aufbau ihres Geschäftsgrabens an.

Was ist Ihre Vision für die Weiterentwicklung der KI?

So wie AlphaGo Autonomie bewiesen hat, indem es selbständig Schach spielen lernte, werden genAI-Anwendungen meiner Meinung nach immer autonomer werden. Apps leiten Anfragen automatisch an den richtigen Agenten oder die richtige API weiter, um sie zu verarbeiten und zu korrigieren, bis sie die richtige Ausgabe erhalten. Und anstatt dass ein Funktionsaufrufmodell als Controller andere abfragt, werden wir mehr selbstorganisierte, selbstkoordinierte Agenten sehen, die gemeinsam an der Lösung von Problemen arbeiten.

Die blitzschnelle Inferenz, die Funktionsaufrufmodelle und der Feinabstimmungsservice von Fireworks haben den Weg für diese Realität geebnet. Jetzt liegt es an innovativen Entwicklern, dies zu verwirklichen.

Vielen Dank für das tolle Interview, Leser, die mehr erfahren möchten, sollten vorbeischauen Feuerwerks-KI.