David Driggers, CTO Cirrascale – Seria wywiadów

David Driggers jest Dyrektorem ds. Technologii w Cirrascale Cloud Services, wiodącym dostawcą rozwiązań infrastrukturalnych dla głębokiego uczenia się. Kierując się wartościami takimi jak integralność, elastyczność i skupienie na kliencie, Cirrascale dostarcza innowacyjne, oparte na chmurze rozwiązania Infrastructure-as-a-Service (IaaS). Współpracując z liderami ekosystemu AI, takimi jak Red Hat i WekaIO, Cirrascale zapewnia łatwy dostęp do zaawansowanych narzędzi, umożliwiając klientom napędzanie postępu w głębokim uczeniu się przy jednoczesnym utrzymaniu przewidywalnych kosztów.

Cirrascale jest jedynym dostawcą usług GPUaaS, który współpracuje z dużymi firmami półprzewodnikowymi, takimi jak NVIDIA (NVDA ), AMD, Cerebras (CBRS ) i Qualcomm. Jak ta unikalna pozycja korzystnie wpływa na Twoich klientów pod względem wydajności i skalowalności?

Gdy branża ewoluuje od modeli szkoleniowych do wdrożenia tych modeli, zwanych Inferencją, nie ma jednego, uniwersalnego rozwiązania. W zależności od rozmiaru i wymagań dotyczących opóźnień modelu, różne przyspieszacze oferują różne wartości, które mogą być istotne. Czas odpowiedzi, zalety kosztów na token lub wydajności na wat mogą wszystkie wpływać na koszty i doświadczenia użytkownika. Ponieważ Inferencja jest przeznaczona do produkcji, te funkcje/możliwości mają znaczenie.

Co wyróżnia chmurę innowacji AI Cirrascale spośród innych dostawców usług GPUaaS w obsłudze przepływów pracy AI i głębokiego uczenia się?

Chmura innowacji AI Cirrascale pozwala użytkownikom na próbowanie nowych technologii w bezpieczny, wspomagany i w pełni obsługiwany sposób, co nie jest możliwe w innych chmurach. Może to pomóc nie tylko w decyzjach dotyczących technologii chmury, ale także w potencjalnych zakupach na miejscu.

Jak platforma Cirrascale zapewnia bezproblemową integrację dla startupów i przedsiębiorstw o różnych potrzebach przyspieszania AI?

Cirrascale przyjmuje podejście rozwiązywania problemów w chmurze. Oznacza to, że zarówno dla startupów, jak i przedsiębiorstw oferujemy rozwiązanie typu turnkey, które obejmuje zarówno Dev-Ops, jak i Infra-Ops. Podczas gdy nazywamy to bare-metal, aby odróżnić nasze oferty od tych, które są współdzielone lub wirtualizowane, Cirrascale w pełni konfiguruje wszystkie aspekty oferty, w tym serwery, sieci, pamięć masową, bezpieczeństwo i dostęp użytkowników, zanim przekaże usługę naszym klientom. Nasi klienci mogą natychmiast zacząć korzystać z usługi, zamiast musieć konfigurować wszystko sami.

Jak Cirrascale rozwiązuje problemy, takie jak jakość danych, ograniczenia infrastruktury i wysokie koszty, które utrudniają firmom wdrożenie szerszych inicjatyw AI?

Chociaż Cirrascale nie oferuje usług związanych z jakością danych, współpracujemy z firmami, które mogą pomóc w rozwiązaniu problemów z danymi. Jeśli chodzi o infrastrukturę i koszty, Cirrascale może dostosować rozwiązanie do konkretnych potrzeb klienta, co skutkuje lepszą wydajnością i kosztami związanymi z wymaganiami klienta.

Jak zmienia się krajobraz przedsiębiorczego AI w najbliższej przyszłości, biorąc pod uwagę postępy Google (GOOGL ) w zakresie komputingu kwantowego (Willow) i modeli AI (Gemini 2.0)?

Komputery kwantowe są jeszcze daleko od bycia gotowe do użytku przez większość ludzi ze względu na brak programistów i gotowych programów, które mogą wykorzystać ich funkcje. Gemini 2.0 i inne duże oferty, takie jak GPT4 i Claude, z pewnością zyskają popularność wśród klientów przedsiębiorstw, ale duża część rynku przedsiębiorstw nie jest jeszcze przygotowana do zaufania swoich danych stronie trzeciej, a zwłaszcza tym, które mogą wykorzystywać te dane do szkolenia swoich modeli.

Jakie są Twoje najważniejsze rekomendacje dla firm, które próbują znaleźć odpowiednią równowagę między mocą, ceną i wydajnością w rozwiązaniach AI?

Testuj, testuj, testuj. Jest to kluczowe dla firmy, aby przetestować swój model na różnych platformach. Produkcja jest inna niż rozwój – koszty mają znaczenie w produkcji. Szkolenie może być jednorazowe, ale inferencja jest na zawsze. Jeśli wymagania dotyczące wydajności mogą być spełnione przy niższych kosztach, te oszczędności wpływają na wynik finansowy i mogą nawet sprawić, że rozwiązanie stanie się wykonalne. Często wdrożenie dużego modelu jest zbyt drogie, aby było praktyczne. Użytkownicy końcowi powinni również szukać firm, które mogą pomóc w tym testowaniu, ponieważ często inżynier ML może pomóc w wdrożeniu w przeciwieństwie do naukowca, który stworzył model.

Jak Cirrascale dostosowuje swoje rozwiązania do rosnącego popytu na aplikacje AI generatywne, takie jak LLM i modele generowania obrazów?

Cirrascale oferuje najszerszy wybór przyspieszaczy AI, a z rozprzestrzenianiem się LLM i modeli GenAI o różnym rozmiarze i zakresie (takich jak scenariusze wielomodalne) oraz wsadowe i czasie rzeczywistym, jest to prawdziwy wybór konia dla przebiegu.

Czy możesz podać przykłady, jak Cirrascale pomaga firmom pokonywać bariery opóźnień i transferu danych w przepływach pracy AI?

Cirrascale ma wiele centrów danych w wielu regionach i nie traktuje łączności sieciowej jako źródła zysku. Pozwala to naszym użytkownikom na “dopasowanie” połączeń niezbędnych do przenoszenia danych, a także wykorzystanie więcej niż jednej lokalizacji, jeśli opóźnienie jest kluczową cechą. Ponadto, poprzez profilowanie rzeczywistych obciążeń, Cirrascale może pomóc w balansowaniu opóźnień, wydajności i kosztów, aby dostarczyć najlepszą wartość po spełnieniu wymagań dotyczących wydajności.

Jakie nowe trendy w sprzęcie AI lub infrastrukturze są Ci najbardziej interesujące, i jak Cirrascale przygotowuje się do nich?

Jesteśmy najbardziej zainteresowani nowymi procesorami, które są zaprojektowane specjalnie do inferencji w przeciwieństwie do ogólnych procesorów GPU, które pasują dobrze do szkolenia, ale nie są zoptymalizowane do przypadków użycia inferencji, które mają odmiennie wymagania obliczeniowe niż szkolenie.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Cirrascale Cloud Services.