Lin Qiao, CEO & Co-Founder of Fireworks AI – Wywiad z serii

Lin Qiao, był wcześniej szefem Meta’s PyTorch i jest współzałożycielem oraz CEO Fireworks AI. Fireworks AI to platforma produkcyjna AI, zbudowana dla deweloperów, Fireworks współpracuje z wiodącymi na świecie badaczami generatywnego AI, aby służyć najlepszym modelom, z największą szybkością. Fireworks AI niedawno pozyskał 25M Series A.

Czym pierwotnie zainteresowało Cię informatykę?

Mój ojciec był bardzo doświadczonym inżynierem mechanicznym w stoczni, gdzie budował statki cargo od podstaw. Od młodego wieku nauczyłem się czytać precyzyjne kąty i pomiary planów statku, i uwielbiałem to.

Byłem bardzo zainteresowany naukami ścisłymi od szkoły średniej – wszystko, co dotyczyło matematyki, fizyki i chemii, pochłaniałem. Jednym z moich zadań w szkole średniej było nauczenie się programowania w języku BASIC, i napisałem grę o wężu, który zjada swój ogon. Po tym wiedziałem, że informatyka jest moją przyszłością.

Podczas pracy w Meta kierowałeś ponad 300 światowej klasy inżynierów w dziedzinie AI frameworków i platform, gdzie zbudowałeś i wdrożyłeś Caffe2, a później PyTorch. Jakie były Twoje najważniejsze wnioski z tego doświadczenia?

Duże firmy technologiczne, takie jak Meta, zawsze są pięć lub więcej lat przed resztą. Kiedy dołączyłem do Meta w 2015 roku, byliśmy na początku naszej podróży z AI – przechodziliśmy od CPU do GPU. Musieliśmy zaprojektować infrastrukturę AI od podstaw. Modele, takie jak Caffe2, były przełomowe, kiedy zostały stworzone, ale AI ewoluowało tak szybko, że szybko stały się przestarzałe. Rozwinęliśmy PyTorch i cały system wokół niego jako rozwiązanie.

PyTorch to miejsce, gdzie nauczyłem się o największych przeszkodach, z którymi spotykają się deweloperzy w wyścigu, aby zbudować AI. Pierwszym wyzwaniem jest znalezienie stabilnej i niezawodnej architektury modelu, która jest niską latencją i elastyczna, aby modele mogły skalować. Drugim wyzwaniem jest całkowity koszt posiadania, aby firmy nie zbankrutowały, starając się rozwijać swoje modele.

Mój czas w Meta pokazał mi, jak ważne jest, aby trzymać modele i ramy, takie jak PyTorch, open-source. Zachęca to do innowacji. Nie rozwinęlibyśmy się tak bardzo w PyTorch, gdyby nie możliwości open-source do iteracji. Poza tym, jest to niemożliwe, aby być na bieżąco z wszystkimi najnowszymi badaniami bez współpracy.

Czy możesz omówić, co skłoniło Cię do uruchomienia Fireworks AI?

Byłem w branży technologicznej przez ponad 20 lat i widziałem falę po fali przemian na poziomie branży – od chmury do aplikacji mobilnych. Ale ta zmiana AI jest całkowitym przesunięciem tektonicznym. Zobaczyłem wiele firm, które zmagają się z tą zmianą. Każdy chciał działać szybko i postawić AI na pierwszym miejscu, ale brakowało im infrastruktury, zasobów i talentów, aby to zrobić. Im więcej rozmawiałem z tymi firmami, tym bardziej uświadomiłem sobie, że mogę rozwiązać tę lukę na rynku.

Uruchomiłem Fireworks AI, aby rozwiązać ten problem i posłużyć jako kontynuacja niesamowitej pracy, którą osiągnęliśmy w PyTorch. To nawet zainspirowało naszą nazwę! PyTorch to pochodnia trzymająca ogień – ale chcemy, aby ten ogień rozprzestrzenił się wszędzie. Stąd: Fireworks.

Zawsze byłem pasjonatem demokratyzacji technologii i robienia jej dostępną i prostą dla deweloperów, aby innowować, niezależnie od ich zasobów. Dlatego mamy taki przyjazny interfejs i silne systemy wsparcia, aby umożliwić budowniczym urzeczywistnić swoje wizje.

Czy możesz omówić, co to jest developer-centric AI i dlaczego jest to takie ważne?

To proste: “developer-centric” oznacza priorytet dla potrzeb deweloperów AI. Na przykład: tworzenie narzędzi, społeczności i procesów, które sprawiają, że deweloperzy są bardziej wydajni i samodzielni.

Platformy AI developer-centric, takie jak Fireworks, powinny integrować się z istniejącymi workflow i tech stackami. Powinny sprawiać, że deweloperzy mogą eksperymentować, popełniać błędy i ulepszać swoją pracę. Powinny zachęcać do feedbacku, ponieważ to deweloperzy sami rozumieją, czego potrzebują, aby być skutecznymi. Ostatecznie, chodzi o więcej niż tylko o platformę. Chodzi o to, aby być społecznością – jedną, w której współpracujący deweloperzy mogą posunąć granice tego, co możliwe z AI.

Platforma GenAI, którą opracowaliście, jest znaczącym postępem dla deweloperów pracujących z dużymi modelami językowymi (LLM). Czy możesz wyjaśnić unikalne funkcje i korzyści Twojej platformy, szczególnie w porównaniu z istniejącymi rozwiązaniami?

Nasze całkowite podejście jako platformy produkcyjnej AI jest unikalne, ale niektóre z naszych najlepszych funkcji to:

Wydajna inferencja – Zaprojektowaliśmy Fireworks AI z myślą o wydajności i szybkości. Deweloperzy korzystający z naszej platformy mogą uruchamiać swoje aplikacje LLM z najniższą możliwą latencją i kosztem. Osiągamy to za pomocą najnowszych technik optymalizacji modelu i usługi, w tym buforowania, adaptacyjnego shardingu, kwantyzacji, ciągłego batching’u, FireAttention i innych.

Przystępna obsługa modeli LoRA-tuned – Oferujemy przystępną usługę adaptacji niskiego rzędu (LoRA) dostrajania modeli za pomocą wielokrotnego użycia modeli podstawowych. Oznacza to, że deweloperzy mogą eksperymentować z wieloma różnymi przypadkami użycia lub wariacjami na tym samym modelu, bez zubożenia.

Proste interfejsy i API – Nasze interfejsy i API są proste i łatwe do zintegrowania z aplikacjami deweloperów. Nasze API są również kompatybilne z OpenAI, aby ułatwić migrację.

Gotowe do użycia modele i dostrajane modele – Zapewniamy ponad 100 wstępnie wytrenowanych modeli, które deweloperzy mogą używać od razu. Zawieramy najlepsze LLM, modele generowania obrazów, modele osadzania itp. Ale deweloperzy mogą również wybrać hosting i obsługę własnych niestandardowych modeli. Oferujemy również samodzielne usługi dostrajania, aby pomóc deweloperom dostosować te niestandardowe modele z ich własnymi danymi.

Współpraca społeczności: Wierzymy w etos open-source współpracy społeczności. Nasza platforma zachęca (ale nie wymaga) deweloperów do udostępniania swoich dostrajanych modeli i przyczyniania się do rosnącego banku aktywów i wiedzy AI. Każdy korzysta na rosnącej naszej kolektywnej ekspertyzy.

Czy możesz omówić hybrydowe podejście, które oferuje pomiędzy modelową a danych równoległością?

Równoległość modeli maszynowego uczenia się poprawia wydajność i szybkość szkolenia modelu i pomaga deweloperom radzić sobie z większymi modelami, które jeden GPU nie może przetworzyć.

Modelowa równoległość polega na podzieleniu modelu na wiele części i szkoleniu każdej części na oddzielnych procesorach. Z drugiej strony, równoległość danych polega na podzieleniu zbioru danych na podzbiory i szkoleniu modelu na każdym podzbiorze w tym samym czasie na oddzielnych procesorach. Podejście hybrydowe łączy te dwie metody. Modele są dzielone na oddzielne części, które są szkolone na różnych podzbiorach danych, poprawiając wydajność, skalowalność i elastyczność.

Fireworks AI jest używany przez ponad 20 000 deweloperów i obecnie obsługuje ponad 60 miliardów tokenów dziennie. Jakie wyzwania stanęły przed Tobą przy skalowaniu operacji do tego poziomu i jak je pokonałeś?

Będę szczery, było wiele wysokich gór do przejścia, odkąd założyliśmy Fireworks AI w 2022 roku.

Nasi klienci pierwotnie przychodzili do nas, szukając bardzo niskiej latencji, ponieważ budowali aplikacje dla konsumentów, prosumatorów lub innych deweloperów – wszystkich odbiorców, którzy potrzebują szybkich rozwiązań. Następnie, kiedy aplikacje naszych klientów zaczęły szybko skalować, zrealizowali, że nie mogą sobie pozwolić na typowe koszty związane z tym skalowaniem. Następnie poprosili nas o pomoc w obniżeniu całkowitego kosztu posiadania (TCO), co zrobiliśmy. Następnie nasi klienci chcieli przemieścić się z OpenAI do modeli OSS, i poprosili nas o zapewnienie równych lub nawet lepszych jakości niż OpenAI. To również zrobiliśmy.

Każdy krok w ewolucji naszego produktu był wyzwaniem do rozwiązania, ale oznaczało to, że potrzeby naszych klientów kształtowały Fireworks w to, czym jest dzisiaj: błyskawiczny silnik inferencyjny o niskim TCO. Dodatkowo zapewniamy asortyment wysokiej jakości, gotowych do użycia modeli do wyboru, lub usługi dostrajania dla deweloperów, aby stworzyć swoje własne.

Z szybkim postępem w AI i maszynowym uczeniu się, zagadnienia etyczne są ważniejsze niż kiedykolwiek. Jak Fireworks AI rozwiązuje problemy związane z uprzedzeniami, prywatnością i etycznym użyciem AI?

Mam dwie nastolatki, które używają aplikacji genAI, takich jak ChatGPT, często. Jako mama, martwię się o to, że znajdą mylące lub nieodpowiednie treści, ponieważ branża dopiero zaczyna rozwiązywać krytyczny problem bezpieczeństwa treści. Meta robi wiele z projektem Purple Llama, a nowe tryby SD3 Stability AI są wspaniałe. Obie firmy pracują ciężko, aby przynieść bezpieczeństwo do swoich nowych modeli Llama3 i SD3 z wieloma warstwami filtrów. Model wejścia-wyjścia, Llama Guard, jest używany w naszej platformie, ale jego przyjęcie nie jest jeszcze na poziomie innych LLM. Cała branża ma jeszcze długi sposób, aby przynieść bezpieczeństwo treści i etykę AI do pierwszego planu.

My w Fireworks AI dbamy głęboko o prywatność i bezpieczeństwo. Jesteśmy zgodni z HIPAA i SOC2, i oferujemy bezpieczne połączenia VPC i VPN. Firmy ufają Fireworks AI swoimi danymi i modelami, aby zbudować swoje przewagi konkurencyjne.

Jakie jest Twoje wizja ewolucji AI?

Podobnie jak AlphaGo demonstrowało autonomię, ucząc się grać w szachy samodzielnie, myślę, że zobaczymy aplikacje genAI, które staną się coraz bardziej autonomiczne. Aplikacje będą automatycznie kierować i przekierowywać żądania do odpowiedniego agenta lub API do przetworzenia, i korygować, aż do uzyskania odpowiedniego wyjścia. I zamiast jednego modelu wywołującego inny jako kontroler, zobaczymy więcej samoorganizujących się, samokoordynujących agentów pracujących w zgodzie, aby rozwiązać problemy.

Błyskawiczna inferencja Fireworks, wywołujące modele i usługi dostrajania otworzyły drogę do tej rzeczywistości. Teraz to zależy od innowacyjnych deweloperów, aby to zrobić.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Fireworks AI.