David Driggers, CTO von Cirrascale – Interview-Serie

David Driggers ist der Chief Technology Officer bei Cirrascale Cloud Services, einem führenden Anbieter von Deep-Learning-Infrastrukturlösungen. Cirrascale bietet innovative, cloud-basierte Infrastructure-as-a-Service-(IaaS)-Lösungen an, die von den Werten Integrität, Agilität und Kundenorientierung geleitet werden. Durch die Partnerschaft mit AI-Ökosystem-Führern wie Red Hat und WekaIO stellt Cirrascale einen nahtlosen Zugang zu fortschrittlichen Tools sicher, damit Kunden Fortschritte im Deep Learning erzielen können, während sie gleichzeitig vorhersehbare Kosten aufrechterhalten.

Cirrascale ist der einzige GPUaaS-Anbieter, der mit großen Halbleiterunternehmen wie NVIDIA (NVDA ), AMD, Cerebras (CBRS ) und Qualcomm zusammenarbeitet. Wie profitieren Ihre Kunden von dieser einzigartigen Positionierung in Bezug auf Leistung und Skalierbarkeit?
Da sich die Branche von der Ausbildung von Modellen zur Bereitstellung dieser Modelle, auch Inferencing genannt, entwickelt, gibt es keine Lösung, die für alle Fälle passt. Je nach Größe und Latenzanforderungen des Modells bieten verschiedene Beschleuniger unterschiedliche Vorteile, die wichtig sein können. Die Zeit, um eine Antwort zu erhalten, die Kosten pro Token oder die Leistung pro Watt können alle die Kosten und den Benutzererlebnis beeinflussen. Da Inferencing für die Produktion bestimmt ist, sind diese Funktionen/Capabilities wichtig.

Was unterscheidet die AI-Innovations-Cloud von Cirrascale von anderen GPUaaS-Anbietern bei der Unterstützung von AI- und Deep-Learning-Workflows?
Die AI-Innovations-Cloud von Cirrascale ermöglicht es Benutzern, neue Technologien in einer sicheren, unterstützten und vollständig unterstützten Weise auszuprobieren, die in keiner anderen Cloud verfügbar sind. Dies kann nicht nur bei Cloud-Technologie-Entscheidungen helfen, sondern auch bei potenziellen On-Site-Käufen.

Wie stellt Cirrascales Plattform eine nahtlose Integration für Start-ups und Unternehmen mit unterschiedlichen AI-Beschleunigungsanforderungen sicher?
Cirrascale verfolgt einen Lösungsansatz für unsere Cloud. Das bedeutet, dass wir für Start-ups und Unternehmen eine Komplettlösung anbieten, die sowohl Dev-Ops als auch Infra-Ops umfasst. Wir bezeichnen unsere Angebote als Bare-Metal, um sie von geteilten oder virtualisierten Angeboten abzugrenzen. Cirrascale konfiguriert alle Aspekte des Angebots, einschließlich Server, Netzwerk, Speicher, Sicherheit und Benutzerzugriff, bevor wir den Service an unsere Kunden übergeben. Unsere Kunden können den Service sofort nutzen, ohne dass sie alles selbst konfigurieren müssen.

Die Unternehmensweite Einführung von KI wird durch Barrieren wie Datenqualität, Infrastruktur Einschränkungen und hohe Kosten behindert. Wie geht Cirrascale diese Herausforderungen für Unternehmen an, die KI-Initiativen skalieren?
Cirrascale bietet keine Datenqualitätsdienste an, aber wir arbeiten mit Unternehmen zusammen, die bei Datenproblemen helfen können. Was Infrastruktur und Kosten betrifft, kann Cirrascale eine Lösung anbieten, die speziell auf die Bedürfnisse eines Kunden zugeschnitten ist, was zu einer besseren Gesamtleistung und Kosten führt, die den Anforderungen des Kunden entsprechen.

Wie sehen Sie die Zukunft der Unternehmens-KI mit den Fortschritten von Google (GOOGL ) im Bereich des Quantencomputing (Willow) und KI-Modellen (Gemini 2.0)?
Quantencomputing ist noch weit von der Hauptzeit für die meisten Menschen entfernt, da es an Programmierern und vorgefertigten Programmen mangelt, die die Funktionen nutzen können. Gemini 2.0 und andere große Angebote wie GPT4 und Claude werden sicherlich von einigen Unternehmenskunden angenommen, aber ein großer Teil des Unternehmensmarktes ist derzeit nicht bereit, seine Daten mit Drittanbietern zu teilen, insbesondere wenn diese Daten verwendet werden, um ihre Modelle zu trainieren.

Wie finden Unternehmen das richtige Gleichgewicht zwischen Leistung, Preis und Leistung bei der Skalierung von KI-Lösungen?
Testen, testen, testen. Es ist entscheidend für ein Unternehmen, sein Modell auf verschiedenen Plattformen zu testen. Die Produktion ist anders als die Entwicklung – die Kosten sind in der Produktion wichtig. Das Training kann ein einmaliger Vorgang sein, aber das Inferencing ist für immer. Wenn die Leistungsanforderungen zu einem geringeren Preis erfüllt werden können, fallen diese Einsparungen auf die Unternehmensbilanz und können die Lösung sogar rentabel machen. Oftmals ist die Bereitstellung eines großen Modells zu teuer, um praktikabel zu sein. Endbenutzer sollten auch nach Unternehmen suchen, die bei diesem Testen helfen können, da ein ML-Ingenieur bei der Bereitstellung gegenüber dem Datenwissenschaftler, der das Modell erstellt hat, helfen kann.

Wie passt Cirrascale seine Lösungen an die wachsende Nachfrage nach generativen KI-Anwendungen wie LLMs und Bildgenerierungsmodellen an?
Cirrascale bietet die breiteste Palette an KI-Beschleunigern an, und mit der Verbreitung von LLMs und GenAI-Modellen, die sowohl in Größe als auch in Umfang (wie multi-modale Szenarien) variieren, und Batch- vs. Echtzeit, ist es wirklich ein Pferd-für-einen-Kurs-Szenario.

Können Sie Beispiele dafür nennen, wie Cirrascale Unternehmen bei der Überwindung von Latenz- und Datenübertragungs-Engpässen in KI-Workflows hilft?
Cirrascale hat zahlreiche Rechenzentren in mehreren Regionen und betrachtet die Netzwerkverbindung nicht als Gewinnzentrum. Dies ermöglicht es unseren Benutzern, die Verbindungen “right-size” zu machen, die zum Übertragen von Daten erforderlich sind, sowie mehrere Standorte zu nutzen, wenn die Latenz ein kritischer Faktor ist. Durch die Profilierung der tatsächlichen Workloads kann Cirrascale auch bei der Balance zwischen Latenz, Leistung und Kosten helfen, um den besten Wert zu liefern, nachdem die Leistungsanforderungen erfüllt sind.

Welche aufkommenden Trends im Bereich KI-Hardware oder -Infrastruktur sind Sie am meisten begeistert und wie bereitet sich Cirrascale darauf vor?
Wir sind am meisten begeistert von neuen Prozessoren, die speziell für das Inferencing entwickelt wurden, im Gegensatz zu generischen GPU-basierten Prozessoren, die sich gut für das Training eignen, aber nicht für Inferencing-Use-Cases optimiert sind, die andere Rechenanforderungen haben als das Training.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Cirrascale Cloud Services besuchen.