Lin Qiao, dyrektor generalny i współzałożyciel Fireworks AI – seria wywiadów

Lin Qiao był wcześniej szefem PyTorch firmy Meta oraz współzałożycielem i dyrektorem generalnym Fireworks AI. Fajerwerki AI to produkcyjna platforma AI stworzona dla programistów. Fireworks współpracuje z wiodącymi na świecie badaczami generatywnej sztucznej inteligencji, aby udostępniać najlepsze modele z największą szybkością. AI Fireworks podniosła ostatnio a 25 mln USD Seria A.

Co początkowo przyciągnęło Cię do informatyki?

Mój tata był starszym inżynierem mechanikiem w stoczni, gdzie od podstaw budował statki towarowe. Od najmłodszych lat uczyłem się czytać dokładne kąty i wymiary planów statków i bardzo mi się to podobało.

Od gimnazjum bardzo interesowałem się STEM – pochłaniałem całą matematykę, fizykę i chemię. Jednym z moich zadań w szkole średniej była nauka programowania w języku BASIC i napisałem grę o wężu zjadającym własny ogon. Już wtedy wiedziałem, że moją przyszłością jest informatyka.

W Meta kierowałeś ponad 300 światowej klasy inżynierami zajmującymi się frameworkami i platformami AI, gdzie zbudowałeś i wdrożyłeś Caffe2, a później PyTorch. Jakie były Twoje najważniejsze wnioski z tego doświadczenia?

Firmy z branży Big Tech, takie jak Meta, zawsze wyprzedzają konkurencję o pięć lub więcej lat. Kiedy dołączyłem do Meta w 2015 roku, byliśmy na początku naszej podróży ze sztuczną inteligencją – przejścia z procesorów na procesory graficzne. Musieliśmy zaprojektować infrastrukturę AI od podstaw. Modele takie jak Caffe2 były przełomowe w momencie ich tworzenia, ale sztuczna inteligencja ewoluowała tak szybko, że szybko stała się przestarzała. Jako rozwiązanie opracowaliśmy PyTorch i cały otaczający go system.

W PyTorch dowiedziałem się o największych przeszkodach, jakie stoją przed programistami w wyścigu o budowanie sztucznej inteligencji. Pierwszym wyzwaniem jest znalezienie stabilnej i niezawodnej architektury modelu, która charakteryzuje się niskimi opóźnieniami i jest elastyczna, dzięki czemu modele można skalować. Drugim wyzwaniem jest całkowity koszt posiadania, aby firmy nie bankrutowały, próbując rozwijać swoje modele.

Mój czas w Meta pokazał mi, jak ważne jest utrzymywanie modeli i frameworków takich jak PyTorch jako open source. Zachęca do innowacji. Nie rozwinęlibyśmy się tak bardzo, jak w PyTorch, gdyby nie możliwości iteracji w postaci open source. Poza tym nie da się być na bieżąco ze wszystkimi najnowszymi badaniami bez współpracy.

Czy możesz omówić, co skłoniło Cię do uruchomienia Fireworks AI?

Pracuję w branży technologicznej od ponad 20 lat i widziałem falę za falą zmian na poziomie branży – od chmury po aplikacje mobilne. Ale ta zmiana AI jest całkowitą zmianą tektoniczną. Widziałem, że wiele firm borykało się z tą zmianą. Każdy chciał działać szybko i stawiać sztuczną inteligencję na pierwszym miejscu, ale brakowało im infrastruktury, zasobów i talentu, aby to urzeczywistnić. Im więcej rozmawiałem z tymi firmami, tym bardziej zdawałem sobie sprawę, że mogę wypełnić tę lukę na rynku.

Uruchomiłem Fireworks AI zarówno po to, aby rozwiązać ten problem, jak i poszerzyć niesamowitą pracę, którą wykonaliśmy w PyTorch. To nawet zainspirowało naszą nazwę! PyTorch to pochodnia podtrzymująca ogień – ale chcemy, aby ten ogień rozprzestrzeniał się wszędzie. Stąd: Fajerwerki.

Zawsze pasjonowałem się demokratyzacją technologii oraz zapewnianiem programistom przystępnej i prostej możliwości wprowadzania innowacji niezależnie od posiadanych zasobów. Dlatego mamy tak przyjazny dla użytkownika interfejs i silne systemy wsparcia, które umożliwiają konstruktorom urzeczywistnianie ich wizji.

Czy mógłbyś omówić, czym jest sztuczna inteligencja zorientowana na programistów i dlaczego jest ona tak ważna?

To proste: „skoncentrowany na programistach” oznacza nadanie priorytetu potrzebom twórców sztucznej inteligencji. Na przykład: tworzenie narzędzi, społeczności i procesów, dzięki którym programiści będą bardziej wydajni i autonomiczni.

Platformy AI zorientowane na programistów, takie jak Fireworks, powinny integrować się z istniejącymi przepływami pracy i stosami technologii. Powinny ułatwiać programistom eksperymentowanie, popełnianie błędów i ulepszanie swojej pracy. Powinni zachęcać do wyrażania opinii, ponieważ sami jej twórcy rozumieją, czego potrzebują, aby odnieść sukces. Wreszcie, chodzi o coś więcej niż tylko bycie platformą. Chodzi o bycie społecznością – taką, w której współpracujący programiści mogą przesuwać granice możliwości AI.

Opracowana przez Ciebie platforma GenAI stanowi znaczący postęp dla programistów pracujących z dużymi modelami językowymi (LLM). Czy możesz opisać unikalne funkcje i zalety swojej platformy, zwłaszcza w porównaniu z istniejącymi rozwiązaniami?

Całe nasze podejście jako platformy produkcyjnej AI jest wyjątkowe, ale niektóre z naszych najlepszych funkcji to:

Efektywne wnioskowanie — opracowaliśmy sztuczną inteligencję Fireworks pod kątem wydajności i szybkości. Programiści korzystający z naszej platformy mogą uruchamiać swoje aplikacje LLM przy najniższych możliwych opóźnieniach i kosztach. Osiągamy to dzięki najnowszym technikom optymalizacji modeli i usług, w tym szybkiemu buforowaniu, adaptowalnemu fragmentowaniu, kwantyzacji, ciągłemu przetwarzaniu wsadowemu, FireAttention i nie tylko.

Niedrogie wsparcie dla modeli dostrojonych do LoRA – Oferujemy niedrogą usługę dostrojonych modeli adaptacyjnych niskiej rangi (LoRA) w ramach modeli podstawowych obsługujących wielu użytkowników. Oznacza to, że programiści mogą eksperymentować z wieloma różnymi przypadkami użycia lub odmianami tego samego modelu bez rozbijania banku.

Proste interfejsy i interfejsy API — nasze interfejsy i interfejsy API są proste i łatwe dla programistów do integracji z ich aplikacjami. Nasze interfejsy API są również kompatybilne z OpenAI, co ułatwia migrację.

Modele gotowe i modele dopracowane — udostępniamy ponad 100 wstępnie wyszkolonych modeli, z których programiści mogą korzystać od razu po wyjęciu z pudełka. Zajmujemy się najlepszymi LLM, modelami generowania obrazów, modelami osadzania itp. Ale programiści mogą również zdecydować się na hostowanie i obsługę własnych, niestandardowych modeli. Oferujemy również samoobsługowe usługi dostrajania, które pomagają programistom dostosować te niestandardowe modele na podstawie ich zastrzeżonych danych.

Współpraca społecznościowa: wierzymy w etos współpracy społecznościowej oparty na otwartym kodzie źródłowym. Nasza platforma zachęca (ale nie wymaga) programistów do dzielenia się swoimi dopracowanymi modelami i wnoszenia wkładu w rosnący bank zasobów i wiedzy AI. Wszyscy czerpią korzyści z rozwijania naszej wspólnej wiedzy specjalistycznej.

Czy mógłbyś omówić podejście hybrydowe oferowane pomiędzy równoległością modelu a równoległością danych?

Równoległe modele uczenia maszynowego poprawiają wydajność i szybkość uczenia modeli oraz pomagają programistom obsługiwać większe modele, których nie jest w stanie przetworzyć pojedynczy procesor graficzny.

Równoległość modelu polega na podzieleniu modelu na wiele części i uczeniu każdej części na oddzielnych procesorach. Z drugiej strony równoległość danych dzieli zbiory danych na podzbiory i trenuje model na każdym podzbiorze w tym samym czasie na oddzielnych procesorach. Podejście hybrydowe łączy te dwie metody. Modele są podzielone na osobne części, z których każda jest trenowana na różnych podzbiorach danych, co poprawia wydajność, skalowalność i elastyczność.

Z Fireworks AI korzysta ponad 20,000 60 programistów i obecnie obsługuje ponad XNUMX miliardów tokenów dziennie. Z jakimi wyzwaniami się spotkałeś, skalując swoje operacje do tego poziomu, i jak sobie z nimi poradziłeś?

Będę szczery, odkąd w 2022 roku założyliśmy Fireworks AI, było wiele wysokich gór do pokonania.

Nasi klienci po raz pierwszy przyszli do nas, szukając wsparcia o bardzo małych opóźnieniach, ponieważ tworzą aplikacje dla konsumentów, prosumentów lub innych programistów — wszystkich odbiorców, którzy potrzebują szybkich rozwiązań. Następnie, gdy aplikacje naszych klientów zaczęły szybko się skalować, zdali sobie sprawę, że nie mogą sobie pozwolić na typowe koszty związane z taką skalą. Następnie poprosili nas o pomoc w obniżeniu całkowitego kosztu posiadania (TCO), co też uczyniliśmy. Następnie nasi klienci chcieli migrować z modeli OpenAI do modeli OSS i poprosili nas o zapewnienie jakości na poziomie OpenAI lub nawet lepszej. To też nam się udało.

Każdy etap ewolucji naszego produktu był trudnym problemem do rozwiązania, ale oznaczał, że potrzeby naszych klientów naprawdę ukształtowały firmę Fireworks tym, czym jest dzisiaj: błyskawicznym silnikiem wnioskowania o niskim całkowitym koszcie posiadania. Ponadto zapewniamy zarówno asortyment wysokiej jakości gotowych modeli do wyboru, jak i usługi dostrajania dla programistów, aby mogli stworzyć własne.

W obliczu szybkiego postępu w sztucznej inteligencji i uczeniu maszynowym względy etyczne są ważniejsze niż kiedykolwiek. W jaki sposób sztuczna inteligencja Fireworks rozwiązuje problemy związane z uprzedzeniami, prywatnością i etyką wykorzystania sztucznej inteligencji?

Mam dwie nastoletnie córki, które często korzystają z aplikacji genAI, takich jak ChatGPT. Jako mama martwię się, że znajdą wprowadzające w błąd lub nieodpowiednie treści, ponieważ branża dopiero zaczyna stawiać czoła krytycznemu problemowi bezpieczeństwa treści. Meta dużo robi z projektem Purple Llama, a nowe tryby SD3 Stability AI są świetne. Obie firmy ciężko pracują, aby zapewnić bezpieczeństwo swoim nowym modelom Llama3 i SD3 z wieloma warstwami filtrów. Model zabezpieczenia wejścia-wyjścia, Llama Guard, jest rzeczywiście szeroko stosowany na naszej platformie, ale jego zastosowanie nie jest jeszcze porównywalne z innymi LLM. Cała branża ma jeszcze długą drogę do przebycia, aby na pierwszy plan wysunąć bezpieczeństwo treści i etykę sztucznej inteligencji.

W Fireworks bardzo dbamy o prywatność i bezpieczeństwo. Jesteśmy zgodni z HIPAA i SOC2 i oferujemy bezpieczną łączność VPC i VPN. Firmy powierzają Fireworks swoje zastrzeżone dane i modele, aby zbudować fosę biznesową.

Jaka jest Twoja wizja ewolucji sztucznej inteligencji?

Tak jak AlphaGo wykazało autonomię podczas samodzielnej nauki gry w szachy, tak myślę, że aplikacje genAI staną się coraz bardziej autonomiczne. Aplikacje automatycznie kierują żądania do odpowiedniego agenta lub interfejsu API w celu przetworzenia i skorygowania przebiegu, dopóki nie uzyskają właściwych danych wyjściowych. Zamiast odpytywania modelu przez jedną funkcję od innych w roli kontrolera, zobaczymy więcej samoorganizujących się, samokoordynujących się agentów pracujących zgodnie w celu rozwiązania problemów.

Błyskawiczne wnioskowanie, modele wywoływania funkcji i usługi dostrajania oferowane przez program Fireworks utorowały drogę tej rzeczywistości. Teraz zadaniem innowacyjnych programistów jest urzeczywistnienie tego.

Dziękuję za wspaniały wywiad. Czytelnicy chcący dowiedzieć się więcej powinni odwiedzić nas Fajerwerki AI.