David Driggers, CTO của Cirrascale – Loạt phỏng vấn

David Driggers là Giám đốc Công nghệ tại Dịch vụ Đám mây Cirrascale, một nhà cung cấp hàng đầu về các giải pháp cơ sở hạ tầng học sâu. Với các giá trị như tính toàn vẹn, linh hoạt và tập trung vào khách hàng, Cirrascale cung cấp các giải pháp Cơ sở hạ tầng như một Dịch vụ (IaaS) dựa trên đám mây sáng tạo. Thông qua việc hợp tác với các nhà lãnh đạo hệ sinh thái AI như Red Hat và WekaIO, Cirrascale đảm bảo việc truy cập liền mạch vào các công cụ tiên tiến, giúp khách hàng thúc đẩy tiến bộ trong học sâu đồng thời duy trì chi phí dự đoán.

Cirrascale là nhà cung cấp GPUaaS duy nhất hợp tác với các công ty bán dẫn lớn như NVIDIA (NVDA ), AMD, Cerebras (CBRS ) và Qualcomm. Làm thế nào vị trí độc đáo này mang lại lợi ích cho khách hàng của bạn về hiệu suất và khả năng mở rộng?

Khi ngành công nghiệp phát triển từ việc huấn luyện mô hình đến việc triển khai các mô hình này được gọi là suy luận, không có giải pháp nào phù hợp với tất cả. Tùy thuộc vào kích thước và yêu cầu độ trễ của mô hình, các bộ tăng tốc khác nhau cung cấp các giá trị khác nhau có thể quan trọng. Thời gian trả lời, lợi thế chi phí mỗi token hoặc hiệu suất mỗi watt đều có thể ảnh hưởng đến chi phí và trải nghiệm người dùng. Vì suy luận là cho sản xuất, những tính năng/capability này rất quan trọng.

Điều gì khiến Đám mây Đổi mới AI của Cirrascale khác biệt so với các nhà cung cấp GPUaaS khác trong việc hỗ trợ các công việc học sâu và AI?

Đám mây Đổi mới AI của Cirrascale cho phép người dùng thử nghiệm các công nghệ mới trong một môi trường an toàn, được hỗ trợ và đầy đủ. Điều này không chỉ giúp khách hàng đưa ra quyết định về công nghệ đám mây mà còn hỗ trợ việc mua sắm tại chỗ.

Làm thế nào nền tảng của Cirrascale đảm bảo tích hợp liền mạch cho các công ty khởi nghiệp và doanh nghiệp với nhu cầu tăng tốc AI đa dạng?

Cirrascale áp dụng cách tiếp cận giải pháp cho đám mây của mình. Điều này có nghĩa là cho cả các công ty khởi nghiệp và doanh nghiệp, chúng tôi cung cấp một giải pháp toàn diện bao gồm cả Dev-Ops và Infra-Ops. Mặc dù chúng tôi gọi nó là “bare-metal” để phân biệt các dịch vụ của mình với các dịch vụ được chia sẻ hoặc ảo hóa, Cirrascale vẫn cấu hình đầy đủ tất cả các khía cạnh của dịch vụ, bao gồm cấu hình máy chủ, mạng, lưu trữ, bảo mật và yêu cầu truy cập người dùng trước khi chuyển dịch vụ sang cho khách hàng. Khách hàng của chúng tôi có thể bắt đầu sử dụng dịch vụ ngay lập tức mà không cần phải cấu hình mọi thứ themselves.

Việt Nam đang phải đối mặt với các rào cản như chất lượng dữ liệu, hạn chế cơ sở hạ tầng và chi phí cao khi áp dụng AI trên toàn doanh nghiệp. Làm thế nào Cirrascale giải quyết những thách thức này cho các doanh nghiệp đang mở rộng các sáng kiến AI?

Mặc dù Cirrascale không cung cấp dịch vụ chất lượng dữ liệu, chúng tôi hợp tác với các công ty có thể hỗ trợ giải quyết các vấn đề về dữ liệu. Về cơ sở hạ tầng và chi phí, Cirrascale có thể tùy chỉnh một giải pháp cụ thể cho nhu cầu của từng khách hàng, dẫn đến hiệu suất và chi phí tốt hơn liên quan đến yêu cầu của khách hàng.

Với những tiến bộ của Google (GOOGL ) trong lĩnh vực tính toán lượng tử (Willow) và mô hình AI (Gemini 2.0), bạn nhìn thấy thế giới AI doanh nghiệp thay đổi như thế nào trong tương lai gần?

Tính toán lượng tử vẫn còn khá xa so với thời điểm chín muồi cho hầu hết mọi người do thiếu các lập trình viên và chương trình sẵn có có thể tận dụng các tính năng của nó. Gemini 2.0 và các dịch vụ quy mô lớn khác như GPT4 và Claude chắc chắn sẽ nhận được sự quan tâm từ khách hàng doanh nghiệp, nhưng một phần lớn của thị trường doanh nghiệp không sẵn sàng tin tưởng dữ liệu của họ với các bên thứ ba, đặc biệt là những bên có thể sử dụng dữ liệu đó để huấn luyện mô hình của họ.

Tìm kiếm sự cân bằng giữa quyền lực, giá cả và hiệu suất là rất quan trọng để mở rộng các giải pháp AI. Những khuyến nghị hàng đầu của bạn cho các công ty đang điều hướng sự cân bằng này là gì?

Thử nghiệm, thử nghiệm, thử nghiệm. Điều quan trọng là một công ty phải thử nghiệm mô hình của mình trên các nền tảng khác nhau. Sản xuất khác với phát triển – chi phí là một yếu tố quan trọng trong sản xuất. Huấn luyện có thể là một lần và xong, nhưng suy luận là mãi mãi. Nếu các yêu cầu về hiệu suất có thể được đáp ứng với chi phí thấp hơn, thì những tiết kiệm đó sẽ thuộc về lợi nhuận và thậm chí có thể khiến giải pháp trở nên khả thi. Quite thường, việc triển khai một mô hình lớn quá tốn kém để sử dụng. Người dùng cuối cũng nên tìm kiếm các công ty có thể giúp họ thử nghiệm, vì thường một kỹ sư học máy có thể giúp với việc triển khai so với nhà khoa học dữ liệu tạo ra mô hình.

Làm thế nào Cirrascale đang thích nghi các giải pháp của mình để đáp ứng nhu cầu ngày càng tăng về các ứng dụng AI tạo sinh, như mô hình ngôn ngữ lớn và mô hình tạo hình ảnh?

Cirrascale cung cấp loạt các bộ tăng tốc AI rộng nhất, và với sự phổ biến của các mô hình LLM và GenAI với kích thước và phạm vi khác nhau (như các kịch bản đa phương thức), và批 xử lý vs. thời gian thực, thực sự là một tình huống “ngựa cho từng khóa học”.

Có thể bạn cung cấp các ví dụ về cách Cirrascale giúp các doanh nghiệp vượt qua các nút thắt về độ trễ và chuyển giao dữ liệu trong các công việc AI?

Cirrascale có nhiều trung tâm dữ liệu ở nhiều khu vực và không coi kết nối mạng là một trung tâm lợi nhuận. Điều này cho phép người dùng của chúng tôi “định kích thước đúng” các kết nối cần thiết để di chuyển dữ liệu, cũng như sử dụng nhiều vị trí nếu độ trễ là một tính năng quan trọng. Ngoài ra, bằng cách phân tích các khối lượng công việc thực tế, Cirrascale có thể hỗ trợ việc cân bằng độ trễ, hiệu suất và chi phí để cung cấp giá trị tốt nhất sau khi đáp ứng các yêu cầu về hiệu suất.

Những xu hướng mới nổi trong lĩnh vực phần cứng hoặc cơ sở hạ tầng AI nào mà bạn quan tâm nhất, và Cirrascale đang chuẩn bị cho chúng như thế nào?

Chúng tôi quan tâm nhất về các bộ xử lý mới được thiết kế riêng cho suy luận so với các bộ xử lý GPU dựa trên bộ xử lý chung may mắn phù hợp khá tốt cho việc huấn luyện, nhưng không được tối ưu hóa cho các trường hợp sử dụng suy luận vốn có các yêu cầu tính toán khác nhau so với huấn luyện.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm có thể truy cập Dịch vụ Đám mây Cirrascale.