Lin Qiao, CEO & Co-Founder of Fireworks AI – Wywiad

Lin Qiao, były szef Meta’s PyTorch i współzałożyciel oraz CEO Fireworks AI. Fireworks AI to platforma AI produkcyjna zaprojektowana dla deweloperów, Fireworks współpracuje ze światowymi liderami w dziedzinie generatywnego AI, aby zapewnić najlepsze modele, przy najwyższych prędkościach. Fireworks AI niedawno pozyskał $25M Series A.

Czym pierwotnie zainteresował się pan komputerami?

Mój ojciec był bardzo doświadczonym inżynierem mechanicznym w stoczni, gdzie budował statki cargo od podstaw. Od młodego wieku nauczyłem się czytać precyzyjne kąty i pomiary planów statków, i uwielbiałem to.

Byłem bardzo zainteresowany naukami ścisłymi od szkoły średniej – wszystkim, co dotyczyło matematyki, fizyki i chemii, pochłaniałem. Jednym z moich zadań w szkole średniej było nauczenie się programowania w języku BASIC, i napisałem grę o wężu zjadającym swój ogon. Po tym wiedziałem, że komputerowa nauka jest moją przyszłością.

Podczas pracy w Meta kierował pan ponad 300 światowej klasy inżynierami w dziedzinie AI frameworków i platform, gdzie zbudował i wdrożył Caffe2, a później PyTorch. Jakie były najważniejsze wnioski z tego doświadczenia?

Duże firmy technologiczne, takie jak Meta, zawsze są pięć lub więcej lat przed resztą. Kiedy dołączyłem do Meta w 2015 roku, byliśmy na początku naszej podróży z AI – przechodziliśmy z procesorów CPU na GPU. Musieliśmy zaprojektować infrastrukturę AI od podstaw. Modele, takie jak Caffe2, były przełomowe, kiedy zostały stworzone, ale AI ewoluował tak szybko, że szybko stały się przestarzałe. Rozwinęliśmy PyTorch i cały system wokół niego jako rozwiązanie.

PyTorch to miejsce, gdzie nauczyłem się o największych przeszkodach, z którymi spotykają się deweloperzy w wyścigu, aby zbudować AI. Pierwszym wyzwaniem jest znalezienie stabilnej i niezawodnej architektury modelu, która jest niską latencją i elastyczna, aby modele mogły skalować. Drugim wyzwaniem jest całkowity koszt posiadania, aby firmy nie zbankrutowały, starając się rozwijać swoje modele.

Mój czas w Meta pokazał mi, jak ważne jest utrzymanie modeli i frameworków, takich jak PyTorch, w otwartej licencji. Zachęca to do innowacji. Nie rozwinęlibyśmy się tak bardzo w PyTorch, gdyby nie otwarta licencja na iterację. Poza tym, jest to niemożliwe, aby być na bieżąco z wszystkimi najnowszymi badaniami bez współpracy.

Czy mógłby pan omówić, co skłoniło go do uruchomienia Fireworks AI?

Byłem w branży technologicznej przez ponad 20 lat i widziałem falę po fali przemian w branży – od chmury do aplikacji mobilnych. Ale ta zmiana AI jest całkowitą przebudową. Zobaczyłem wiele firm, które mają trudności z tą zmianą. Każdy chciał poruszać się szybko i stawiać AI na pierwszym miejscu, ale brakowało im infrastruktury, zasobów i talentów, aby to zrobić. Im więcej rozmawiałem z tymi firmami, tym bardziej zdałem sobie sprawę, że mogę rozwiązać tę lukę na rynku.

Uruchomiłem Fireworks AI, aby rozwiązać ten problem i posłużyć jako rozszerzenie niesamowitej pracy, którą osiągnęliśmy w PyTorch. To nawet zainspirowało naszą nazwę! PyTorch to pochodnia trzymająca ogień – ale chcemy, aby ten ogień rozprzestrzenił się wszędzie. Stąd: Fireworks.

Zawsze byłem pasjonatem demokratyzacji technologii i robienia jej taniej i prostszej dla deweloperów, aby innowować, niezależnie od ich zasobów. Dlatego mamy tak przyjazny interfejs i silne systemy wsparcia, aby umożliwić budowniczym realizację ich wizji.

Czy mógłby pan omówić, co to jest developer-centric AI i dlaczego jest to takie ważne?

To proste: “developer-centric” oznacza priorytetowanie potrzeb deweloperów AI. Na przykład: tworzenie narzędzi, społeczności i procesów, które sprawiają, że deweloperzy są bardziej wydajni i samodzielni.

Platformy AI, takie jak Fireworks, powinny integrować się z istniejącymi workflow i tech stackami. Powinny sprawiać, że jest łatwo dla deweloperów eksperymentować, popełniać błędy i ulepszać swoją pracę. Powinny zachęcać do feedbacku, ponieważ to deweloperzy sami rozumieją, czego potrzebują, aby odnieść sukces. Ostatecznie, to nie tylko platforma, ale społeczność – tam, gdzie współpracujący deweloperzy mogą posunąć granice tego, co możliwe z AI.

Platforma GenAI, którą pan rozwinął, jest znaczącym postępem dla deweloperów pracujących z dużymi modelami językowymi (LLM). Czy mógłby pan omówić unikalne funkcje i korzyści tej platformy, szczególnie w porównaniu z istniejącymi rozwiązaniami?

Nasze całkowite podejście jako platformy AI produkcyjnej jest unikalne, ale niektóre z naszych najlepszych funkcji to:

Wydajna inferencja – Zaprojektowaliśmy Fireworks AI z myślą o wydajności i prędkości. Deweloperzy korzystający z naszej platformy mogą uruchamiać swoje aplikacje LLM przy najniższej możliwej latencji i koszcie. Osiągamy to dzięki najnowszym technikom optymalizacji modelu i usługi, w tym buforowania, adaptacyjnego shardingu, kwantyzacji, ciągłego batchingu, FireAttention i więcej.

Przystępne wsparcie dla modeli LoRA-tuned – Oferujemy przystępne usługi modeli LoRA-tuned za pomocą wielokrotnego użycia modeli podstawowych. To oznacza, że deweloperzy mogą eksperymentować z wieloma różnymi przypadkami użycia lub wariantami modelu bez wydawania fortuny.

Proste interfejsy i API – Nasze interfejsy i API są proste i łatwe do zintegrowania z aplikacjami deweloperów. Nasze API są również kompatybilne z OpenAI, aby ułatwić migrację.

Gotowe do użycia modele i modele dostosowane – Zapewniamy ponad 100 wstępnie przeszkolonych modeli, które deweloperzy mogą używać bezpośrednio. Zawierają one najlepsze LLM, modele generacji obrazu, modele osadzania i wiele więcej. Deweloperzy mogą również wybrać hosting i obsługę własnych modeli niestandardowych. Oferujemy również samodzielne usługi dostosowywania, aby pomóc deweloperom dostosować te niestandardowe modele z ich własnymi danymi.

Współpraca społeczności: Wierzymy w otwarte podejście do współpracy społeczności. Nasza platforma zachęca (ale nie wymaga) deweloperów do udostępniania swoich modeli dostosowanych i przyczyniania się do rosnącego banku aktywów i wiedzy AI. Każdy korzysta na rosnącej kolektywnej ekspertyzie.

Czy mógłby pan omówić hybrydowe podejście, które oferuje pomiędzy paralelizmem modelu a paralelizmem danych?

Paralelizacja modeli maszynowych poprawia wydajność i prędkość szkolenia modelu i pomaga deweloperom radzić sobie z większymi modelami, które jeden procesor GPU nie może przetworzyć.

Paralelizm modelu polega na podzieleniu modelu na wiele części i szkoleniu każdej części na oddzielnych procesorach. Z drugiej strony, paralelizm danych polega na podzieleniu zbioru danych na podzbiory i szkoleniu modelu na każdym podzbiorze w tym samym czasie na oddzielnych procesorach. Podejście hybrydowe łączy te dwie metody. Modele są dzielone na oddzielne części, które są szkolone na różnych podzbiorach danych, co poprawia wydajność, skalowalność i elastyczność.

Fireworks AI jest używany przez ponad 20 000 deweloperów i obecnie obsługuje ponad 60 miliardów tokenów dziennie. Jakie wyzwania pan spotkał przy skalowaniu operacji do tego poziomu, i jak je pan pokonał?

Będę szczery, było wiele wysokich gór do przejścia od momentu założenia Fireworks AI w 2022 roku.

Nasi klienci najpierw przychodzili do nas, szukając bardzo niskiej latencji, ponieważ budowali aplikacje dla konsumentów, prosumenów lub innych deweloperów – wszystkich audytoriów, którzy potrzebują szybkich rozwiązań. Następnie, kiedy aplikacje naszych klientów zaczęły szybko skalować, zrealizowali, że nie mogą sobie pozwolić na typowe koszty związane z tym skalowaniem. Wtedy poprosili nas o pomoc w obniżeniu całkowitego kosztu posiadania (TCO), co zrobiliśmy. Następnie nasi klienci chcieli przemieścić się z OpenAI do modeli OSS, i poprosili nas o zapewnienie jakości porównywalnej lub nawet lepszej niż OpenAI. To również zrobiliśmy.

Każdy krok w ewolucji naszego produktu był trudnym problemem do rozwiązania, ale oznaczało to, że potrzeby naszych klientów naprawdę ukształtowały Fireworks w to, czym jest dzisiaj: błyskawicznie szybki silnik inferencyjny z niskim TCO. Ponadto zapewniamy zarówno wybór wysokiej jakości, gotowych do użycia modeli, jak i usługi dostosowywania dla deweloperów, aby mogli tworzyć własne.

Z szybkim postępem w AI i maszynowym uczeniu się, zagadnienia etyczne są ważniejsze niż kiedykolwiek. Jak Fireworks AI zajmuje się problemami związanymi z uprzedzeniami, prywatnością i etycznym użyciem AI?

Mam dwie nastolatki, które często używają aplikacji genAI, takich jak ChatGPT. Jako mama, martwię się o to, że znajdą mylące lub nieodpowiednie treści, ponieważ branża dopiero zaczyna rozwiązywać krytyczny problem bezpieczeństwa treści. Meta robi wiele w ramach projektu Purple Llama, a nowy model SD3 od Stability AI jest wspaniały. Obie firmy pracują ciężko, aby przynieść bezpieczeństwo do swoich nowych modeli Llama3 i SD3 z wieloma warstwami filtrów. Model input-output safeguard, Llama Guard, jest używany w naszej platformie, ale jego przyjęcie nie jest jeszcze na poziomie innych LLM. Cała branża ma jeszcze długą drogę do przebycia, aby przynieść bezpieczeństwo treści i etykę AI do przodu.

My w Fireworks dbamy o prywatność i bezpieczeństwo. Jesteśmy zgodni z HIPAA i SOC2, i oferujemy bezpieczne połączenia VPC i VPN. Firmy ufają Fireworks z ich własnymi danymi i modelami, aby zbudować swoją przewagę.

Jaka jest pana wizja przyszłości AI?

Podobnie jak AlphaGo wykazał autonomię, ucząc się grać w szachy samodzielnie, myślę, że zobaczymy aplikacje genAI, które staną się coraz bardziej autonomiczne. Aplikacje będą automatycznie kierować i przekierowywać żądania do odpowiedniego agenta lub API do przetworzenia, i poprawiać się, aż uzyskają odpowiedni wynik. I zamiast jednego modelu wywołującego inne jako kontroler, zobaczymy więcej samoorganizujących się, samokoordynujących agentów pracujących w zgodzie, aby rozwiązać problemy.

Fireworks’ błyskawicznie szybka inferencja, modele wywołujące funkcje i usługa dostosowywania przygotowały drogę do tej rzeczywistości. Teraz to zależy od innowacyjnych deweloperów, aby to zrobić.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Fireworks AI.