David Driggers, CTO společnosti Cirrascale – rozhovor

David Driggers je chief technology officer ve společnosti Cirrascale Cloud Services, která je předním poskytovatelem řešení pro hluboké učení. Společnost Cirrascale se řídí hodnotami integrity, agility a zaměření na zákazníky a nabízí inovativní, cloud-based Infrastructure-as-a-Service (IaaS) řešení. Díky partnerství se společnostmi jako Red Hat a WekaIO zajišťuje Cirrascale bezproblémový přístup k pokročilým nástrojům, které umožňují zákazníkům pohánět pokrok v hlubokém učení a současně udržovat předvídatelné náklady.

Cirrascale je jediným poskytovatelem GPUaaS, který spolupracuje s významnými polovodičovými společnostmi, jako jsou NVIDIA (NVDA ), AMD, Cerebras (CBRS ) a Qualcomm. Jak tato jedinečná pozice prospívá vašim zákazníkům z hlediska výkonu a škálovatelnosti?
Jak se průmysl vyvíjí od trénování modelů k nasazení těchto modelů, nazývaných Inferencing, neexistuje žádný univerzální přístup. V závislosti na velikosti a požadavcích na latenci modelu nabízí různé akcelerátory různé hodnoty, které mohou být důležité. Čas na odpověď, výhody nákladů na tokeny nebo výkon na watt mohouすべて ovlivnit náklady a uživatelský zážitek. Protože Inferencing je pro produkci, tyto funkce/kapacity záleží.

Co odlišuje AI Innovation Cloud společnosti Cirrascale od ostatních poskytovatelů GPUaaS při podpoře AI a hlubokých učení?
AI Innovation Cloud společnosti Cirrascale umožňuje uživatelům vyzkoušet v bezpečném, asistovaném a plně podporovaném prostředí nové technologie, které nejsou dostupné v žádné jiné cloudové službě. To může pomoci nejen při rozhodování o cloudových technologiích, ale také při potenciálních nákupech na místě.

Jak zajistí platforma společnosti Cirrascale bezproblémovou integraci pro startupy a podniky s rozdílnými potřebami urychlení AI?
Společnost Cirrascale přistupuje k řešení svého cloudu komplexně. To znamená, že pro startupy i podniky nabízíme komplexní řešení, které zahrnuje jak Dev-Ops, tak Infra-Ops. Ačkoli naše nabídky nazýváme „bare-metal“, aby byly odlišeny od sdílených nebo virtualizovaných nabídek, společnost Cirrascale plně konfiguruje všechny aspekty nabídky, včetně plné konfigurace serverů, sítí, úložišť, zabezpečení a požadavků na přístup uživatele, ještě předtím, než službu předáme našim klientům. Naši klienti mohou okamžitě začít službu využívat, aniž by museli sami konfigurovat vše.

Příležitosti pro podniky, aby přijaly AI, jsou omezovány faktory, jako je kvalita dat, omezení infrastruktury a vysoké náklady. Jak společnost Cirrascale řeší tyto výzvy pro podniky, které rozšiřují iniciativy AI?
Ačkoli společnost Cirrascale nenabízí služby související s kvalitou dat, spolupracujeme se společnostmi, které mohou pomoci s problémy souvisejícími s daty. Pokud jde o infrastrukturu a náklady, společnost Cirrascale může přizpůsobit řešení konkrétním potřebám klienta, což vede k lepšímu celkovému výkonu a souvisejícím nákladům specifickým pro požadavky zákazníka.

Jak vidíte budoucí krajinu podnikového AI s ohledem na pokroky Googlu v oblasti kvantového počítání (Willow) a modelů AI (Gemini 2.0)?
Kvantové počítání je pro většinu lidí stále ještě daleko od hlavní sezóny kvůli nedostatku programátorů a hotových programů, které by mohly využít jeho funkcí. Gemini 2.0 a další velké nabídky, jako je GPT4 a Claude, jistě získají určitou podporu od podnikových zákazníků, ale velká část podnikového trhu není v současné době připravena důvěřovat svá data třetím stranám, zejména těm, které by mohly použít tato data k trénování svých modelů.

Nalezení správné rovnováhy mezi výkonem, cenou a výkonností je kritické pro škálování řešení AI. Jaké jsou vaše hlavní doporučení pro společnosti, které se snaží najít tuto rovnováhu?
Testovat, testovat, testovat. Je zásadní, aby společnost otestovala svůj model na různých platformách. Produkce se liší od vývoje – náklady jsou důležité v produkci. Trénování může být jednou věcí, ale inferencing je navždy. Pokud lze požadavky na výkon splnit za nižší náklady, tyto úspory se promítnou do výsledku a možná i do životaschopnosti řešení. Často je nasazení velkého modelu příliš drahé na to, aby bylo prakticky využitelné. Koncoví uživatelé by také měli hledat společnosti, které jim mohou pomoci s tímto testováním, protože často může inženýr strojového učení pomoci s nasazením, na rozdíl od datového vědce, který vytvořil model.

Jak společnost Cirrascale přizpůsobuje svá řešení rostoucí poptávce po generativních aplikacích AI, jako jsou LLM a modely generování obrázků?
Společnost Cirrascale nabízí nejširší škálu urychlovačů AI a s rostoucí popularitou LLM a modelů generativního AI, které se liší jak velikostí, tak rozsahem (jako multimodální scénáře), a také mezi dávkovým a reálným časem, je to skutečně otázka „koně pro kurz“.

Můžete uvést příklady toho, jak společnost Cirrascale pomáhá podnikům překonat problémy s latencí a přenosem dat v pracovních postupech AI?
Společnost Cirrascale má mnoho datových center v různých regionech a nepovažuje síťové připojení za zdroj zisku. To umožňuje našim uživatelům „správně dimenzovat“ potřebná připojení pro přesun dat a také využít více než jednu lokalitu, pokud je latence kritickou funkcí. Kromě toho, díky profilování skutečných zátěží, může společnost Cirrascale pomoci s vyvažováním latence, výkonu a nákladů, aby poskytla nejlepší hodnotu po splnění požadavků na výkon.

Jaké jsou nejzajímavější trendy v oblasti hardwaru nebo infrastruktury AI, které vás nejvíce zajímají, a jak se na ně společnost Cirrascale připravuje?
Jsme nejvíce nadšení z nových procesorů, které jsou speciálně navrženy pro inferencing, na rozdíl od obecných GPU procesorů, které se hodí pro trénování, ale nejsou optimalizovány pro použití v případech inferencing, které mají odlišné výpočetní požadavky než trénování.

Děkuji za skvělý rozhovor, čtenáři, kteří si chtějí přečíst více, by měli navštívit Cirrascale Cloud Services.