Ken Claffey, CEO của VDURA – Loạt phỏng vấn: Một cuộc trò chuyện trở lại

Ken Claffey, CEO và Chủ tịch của VDURA, là một nhà lãnh đạo kinh doanh và sản phẩm giàu kinh nghiệm, có chuyên môn sâu về cơ sở hạ tầng đám mây và doanh nghiệp, phát triển phần cứng và phần mềm, và thúc đẩy tăng trưởng chiến lược trên các chức năng sản phẩm, hoạt động và tiếp thị. Trong suốt sự nghiệp của mình, ông đã xây dựng và lãnh đạo các đội toàn cầu có hiệu suất cao, thực hiện chiến lược doanh nghiệp, thúc đẩy tăng trưởng doanh thu và đổi mới sản phẩm, và chuyển đổi các doanh nghiệp hoạt động kém. Trước khi trở thành CEO của VDURA, Claffey đã giữ các vị trí lãnh đạo cấp cao tại Seagate Technology (STX ), nơi ông từng là Phó Chủ tịch và Tổng Giám đốc phụ trách hệ thống doanh nghiệp và P&L, và các vị trí lãnh đạo trước đó tại Xyratex, Adaptec và Eurologic, mang lại nhiều năm kinh nghiệm trong lĩnh vực lưu trữ doanh nghiệp và tính toán hiệu suất cao.

VDURA là một công ty cơ sở hạ tầng dữ liệu định nghĩa bằng phần mềm, xây dựng các giải pháp lưu trữ hiện đại được tối ưu hóa cho các công việc trí tuệ nhân tạo và tính toán hiệu suất cao dưới khẩu hiệu “tốc độ gặp độ bền”. Nền tảng Dữ liệu VDURA của công ty kết hợp hiệu suất của hệ thống tệp song song flash đầu tiên với khả năng chống chịu của lưu trữ đối tượng trong một kiến trúc thống nhất có thể mở rộng tuyến tính trên hàng nghìn khách hàng và nút trong khi đơn giản hóa hoạt động và giảm tổng chi phí sở hữu. Ban đầu được thành lập với tên Panasas và được đổi thương hiệu vào năm 2024, nền tảng của VDURA hỗ trợ môi trường trên cơ sở, đám mây và hỗn hợp với tự động hóa tiên tiến, tăng tốc siêu dữ liệu và hiệu suất có thể mở rộng được thiết kế để duy trì các cụm GPU và bảo vệ dữ liệu cho các trường hợp sử dụng trí tuệ nhân tạo và tính toán hiệu suất cao của doanh nghiệp, nghiên cứu và nhiệm vụ quan trọng.

Làm thế nào hành trình của bạn qua HPC và lưu trữ doanh nghiệp đã định hình quan điểm của bạn rằng lưu trữ đang trở thành ràng buộc xác định trong cơ sở hạ tầng trí tuệ nhân tạo?

Đã xây dựng các hệ thống lưu trữ cho một số môi trường tính toán đòi hỏi khắt khe nhất trên thế giới, bạn sẽ phát triển trực giác về nơi thực sự có các nút thắt so với nơi mọi người giả định chúng tồn tại. Tại Xyratex và thông qua công việc ClusterStor tại Seagate, chúng tôi đã giải quyết các vấn đề lưu trữ cho các siêu máy tính mà vật lý là không thể tha thứ. Bạn либо cấp dữ liệu cho máy tính hoặc bạn không.

Điều tôi thấy bây giờ trong cơ sở hạ tầng trí tuệ nhân tạo là ràng buộc cơ bản相同, chỉ được mặc trong kinh tế khác. Sự cuồng nhiệt GPU trong thị trường Neocloud là có thể hiểu được. NVIDIA (NVDA ) đã tạo ra một tài nguyên khan hiếm và biến đổi. Nhưng giả định rằng lưu trữ sẽ chỉ mở rộng cùng với nó, với chi phí thấp và dễ dàng, luôn sẽ bị vỡ. Nó đã bị vỡ. Lưu trữ hiện đang có xu hướng chiếm 20 đến 30 phần trăm ngân sách cơ sở hạ tầng trí tuệ nhân tạo trong các triển khai all-flash, tăng nhanh hơn bất kỳ thành phần nào khác. Khi bạn đã dành cả sự nghiệp để theo dõi lưu trữ trở thành ràng buộc liên kết trong mọi môi trường tính toán lớn, bạn sẽ ngừng ngạc nhiên khi phần còn lại của thị trường bắt kịp với thực tế đó.

Tại sao việc lập kế hoạch lưu trữ đã bị hạ cấp trong cuộc chinh phục cơ sở hạ tầng Neocloud?

Một số giả định cấu trúc hội tụ tại chính thời điểm sai lầm. Đầu tiên, giá flash tạm thời thuận lợi. SSD NVMe có giá phải chăng và dồi dào đến mức việc đi all-flash cảm thấy như một mặc định hợp lý. Đó không phải là sự khôn ngoan về kiến trúc. Đó là một sản phẩm của một cửa sổ kinh tế tạm thời mà các nhà vận hành nhầm lẫn với một điều kiện vĩnh viễn.

Thứ hai, động lực cạnh tranh đã tưởng thưởng cho số lượng GPU trên hết mọi thứ khác. Thị trường Neocloud đang được đánh giá dựa trên số lượng chip NVIDIA mà bạn có thể lắp ráp. Lưu trữ chỉ là một mục 10 phần trăm, dễ dàng lướt qua quy trình mua sắm mà không cần kiểm tra sâu sắc. Thứ ba, quyết định all-flash cảm thấy an toàn vì nó loại bỏ sự phức tạp. Một cấp, một loại phương tiện, đơn giản để mua sắm và vận hành. Vấn đề là “đơn giản” và “bền vững về kinh tế” đã ngừng trở thành cùng một điều ngay từ khi nguồn cung NAND thắt chặt và giá tăng vọt. Đến lúc đó, các quyết định cơ sở hạ tầng đã bị khóa.

Điều gì làm cho các nhà vận hành ngạc nhiên nhất khi họ thấy lưu trữ ảnh hưởng đến việc sử dụng GPU như thế nào?

Mối quan hệ này trực tiếp hơn những gì hầu hết các nhà vận hành nhận ra cho đến khi họ nhìn thấy GPU nhàn rỗi. Các lần chạy đào tạo với việc tạo điểm kiểm tra thường xuyên tạo ra nhu cầu ghi chép đột biến có thể làm chậm máy tính nếu lớp lưu trữ không thể hấp thụ chúng đủ nhanh. Các đường ống dữ liệu để tiền xử lý và nhập dữ liệu tạo ra nhu cầu thông lượng đọc liên tục mà, nếu không được đáp ứng, sẽ làm cho GPU đói việc.

Hướng dẫn của chính NVIDIA về DGX định lượng điều này: đào tạo LLM dựa trên văn bản yêu cầu khoảng 0,5 GB/s thông lượng đọc trên mỗi GPU, trong khi các công việc trí tuệ nhân tạo và trực quan hóa vật lý yêu cầu khoảng 4 GB/s đọc và 2 GB/s ghi trên mỗi GPU. Nếu kiến trúc lưu trữ của bạn không thể cung cấp điều đó, bạn không chạy GPU của mình ở công suất. Bạn đang chạy chúng ở phân số mà lưu trữ của bạn cho phép.

Kiến trúc rất quan trọng ở quy mô cụm. Một hệ thống lưu trữ đặt một trung gian giữa ổ đĩa và khách hàng có thể hiển thị thông lượng hàng đầu tương đương trên một ổ đĩa đơn, nhưng ở quy mô bạn có thể cần ba lần số ổ đĩa để bão hòa cùng một đội GPU. Ba lần số SSD, ba lần công suất, ba lần không gian giá đỡ. Toán học về sử dụng hợp nhất nhanh chóng.

Điều gì có thể xuất hiện từ sự khác biệt về chi phí thuần túy từ việc lựa chọn SSD và thiết kế kiến trúc ngay cả khi các chỉ số thông lượng hàng đầu xuất hiện tương tự?

Đây là nơi các nhà vận hành gặp rắc rối nghiêm trọng, vì các số liệu hàng đầu có thể thực sự gây hiểu lầm. Hãy lấy một ví dụ đại diện. Một SSD QLC NVMe 122,88 TB có giá khoảng 27.000 đô la. Một ổ đĩa 7,68 TB từ cùng một thế hệ cung cấp thông lượng tuần tự tương đương với giá khoảng 1.800 đô la. Đối với một cụm 4.096 GPU trên thông số kỹ thuật Enhanced của NVIDIA, quyết định chọn容量 đơn này tạo ra hóa đơn flash dao động từ 600.000 đô la đến 9,6 triệu đô la. Thông lượng là cơ bản giống nhau. Biến số duy nhất là bạn chọn đậu多少 dữ liệu lạnh trên phương tiện cao cấp cung cấp không có lợi thế hiệu suất bổ sung.

Trên hết, thiết kế kiến trúc quyết định số lượng ổ đĩa ở quy mô cụm. Một kiến trúc cung cấp khoảng 5,8 GB/s thông lượng đọc đo lường trên mỗi SSD cần khoảng 353 ổ đĩa để bão hòa một cụm 4.096 GPU. Một kiến trúc cung cấp khoảng 1,9 GB/s trên mỗi SSD, do sự chồng chéo trung gian, cần hơn 1.000. Ở 12.000 đô la mỗi ổ đĩa 30 TB, sự khác biệt này không phải là một lỗi làm tròn – đó là một câu hỏi về mô hình kinh doanh.

Làm thế nào các nhà vận hành nên suy nghĩ lại về lưu trữ all-flash so với lưu trữ phân cấp khi giá flash tăng và nguồn cung NAND vẫn bị hạn chế?

Điểm xuất phát là chấp nhận rằng tiền đề kinh tế đằng sau cơ sở hạ tầng trí tuệ nhân tạo all-flash luôn là điều kiện, không phải nền tảng. Giá CEO của Phison đã mô tả khả năng sản xuất NAND hiệu quả được phân bổ cho đến năm 2026. Goldman Sachs (GS ) dự đoán giá DRAM tăng hai chữ số hàng quý trong cùng kỳ. Mặc định all-flash có ý nghĩa khi flash rẻ và dồi dào. Nó không còn nữa.

Khung đúng đắn là hỏi flash thực sự là gì. Flash là một phương tiện hiệu suất. Nó nên được quy mô để bão hòa nhu cầu thông lượng GPU, không hơn. Mọi thứ khác, bao gồm dữ liệu lạnh, điểm kiểm tra không được đọc tích cực và tập dữ liệu đào tạo lưu trữ, thuộc về ổ cứng mật độ cao, vẫn còn rẻ hơn nhiều lần mỗi TB.

Cái bẫy mà các nhà vận hành rơi vào là đối xử với phân cấp như một phụ kiện: mua một lớp chính all-flash, thêm một cửa hàng đối tượng riêng cho dữ liệu lạnh và kết nối chúng với các bộ di chuyển dữ liệu bên ngoài. Điều đó giới thiệu một ngăn xếp phần mềm thứ hai, một mặt phẳng dữ liệu thứ hai, sự phức tạp của mạng và chi phí vận hành. Cách tiếp cận của hyperscaler, chạy SSD và HDD trong cùng một ngăn xếp phần mềm với phân cấp hiệu suất cao bản địa và không có bộ di chuyển dữ liệu bên ngoài, giữ lưu trữ gần 10 phần trăm ngân sách cơ sở hạ tầng trong khi vẫn bão hòa mỗi GPU.

Các nhà vận hành Neocloud có thể học được gì từ các lựa chọn thiết kế lưu trữ của hyperscaler?

Bài học quan trọng nhất là Google (GOOGL ), Meta và Microsoft (MSFT ) không chạy all-flash, và họ có nhiều kinh nghiệm về công việc trí tuệ nhân tạo hơn bất kỳ ai. Họ triển khai các kiến trúc phân cấp hỗn hợp với phân cấp thông minh: đủ flash NVMe để bão hòa thông lượng GPU, sau đó thoát đến các ổ cứng mật độ cao khi vật lý cho phép. Đây không phải là một sở thích triết học. Đó là một yêu cầu kinh tế được thúc đẩy bởi một sự hiểu biết rõ ràng về vật lý công việc trí tuệ nhân tạo.

Bài học thứ hai là tích hợp kiến trúc. Hyperscalers không giải quyết phân cấp bằng cách gắn các hệ thống riêng biệt lại với nhau. Họ chạy SSD và HDD trên cùng một ngăn xếp phần mềm, cùng một mặt phẳng dữ liệu, với phân cấp như một hoạt động hàng đầu trong hệ thống lưu trữ, không phải là một công việc hàng loạt được quản lý bởi một công cụ riêng biệt. Sự tích hợp này là điều cho phép họ giữ cho lưu trữ kinh tế ở quy mô khổng lồ trong khi vẫn duy trì các đảm bảo hiệu suất mà đội GPU của họ yêu cầu.

Bài học thứ ba là bảo hiểm độ bền. AWS S3 cung cấp 11 chữ số độ bền. Azure Blob cung cấp 12 hoặc nhiều hơn. Các kiến trúc HPC cũ được xây dựng trên RAID cục bộ có thể rơi dưới 5 chữ số ở quy mô tùy thuộc vào tốc độ lỗi ổ đĩa và cửa sổ xây dựng lại, có thể mất hàng nghìn tệp mỗi năm trên một corpus tỷ tệp. Mã hóa xóa mạng hiện đại với bảo vệ đa cấp có thể vượt qua 11 chữ số. Khoảng cách giữa hai thực tế này là sự khác biệt giữa một hệ thống lưu trữ mà bạn thực sự có thể bảo hiểm SLA và một hệ thống mà bạn không thể.

Làm thế nào các đội cơ sở hạ tầng nên định lượng tác động kinh tế của khả năng sẵn sàng lưu trữ đối với các đội GPU?

Toán học là đáng lo ngại khi bạn chạy nó một cách trung thực. Sự cố lưu trữ chung không tạo ra sự thiếu hụt SLA tỷ lệ. Nó tạo ra vi phạm đồng thời trên mọi giá đỡ GPU kết nối với lưu trữ đó. Một cụm 5.000 GPU với khả năng sẵn sàng lưu trữ 98 phần trăm không cung cấp sự thiếu hụt hiệu suất 2 phần trăm. Nó tạo ra 876.000 giờ tính toán GPU bị mất mỗi năm. Ở chi phí mỗi giờ GPU đại diện, điều đó dịch thành hàng triệu đô la tính toán nhàn rỗi hàng năm, cộng với tín dụng SLA nợ trên mọi giá đỡ bị ảnh hưởng đồng thời.

Sự cố lưu trữ trong một cụm lớn có bán kính ảnh hưởng là toàn bộ cụm. Các đội cơ sở hạ tầng cần mô hình hóa điều này một cách rõ ràng: chi phí hàng năm của tính toán nhàn rỗi tại số khả năng sẵn sàng lưu trữ hiện tại, nghĩa vụ tín dụng SLA gắn với mỗi cấp khả năng sẵn sàng và rủi ro churn khách hàng từ các sự cố SLA? CoreWeave (CRWV ) và Oracle (ORCL ) đã cung cấp thời gian hoạt động giá đỡ 99 phần trăm. Các nhà cung cấp không thể khớp với điều đó đang mất các thỏa thuận ngay bây giờ, và các thỏa thuận mà họ đang mất là ngày càng nhiều hợp đồng doanh nghiệp có giá trị cao mà thị trường Neocloud cần để chứng minh kinh tế lâu dài của nó.

Làm thế nào các kiến trúc lưu trữ khác nhau so sánh về hiệu suất trên mỗi watt trong các môi trường bị hạn chế bởi công suất?

Nó xuất hiện trong gần như mọi cuộc trò chuyện cơ sở hạ tầng nghiêm túc bây giờ, và sự khác biệt không phải là nhỏ. Đó là nhân lên. Dựa trên thông số kỹ thuật được xuất bản và các cấu hình tương đương, cung cấp khoảng 1.340 GB/s thông lượng đọc, một kiến trúc tiêu thụ 55 kW trong khi kiến trúc khác đạt được đầu ra tương tự ở khoảng 16 kW. Đó là sự khác biệt 3,4 lần về hiệu suất trên mỗi watt. Trong một trung tâm dữ liệu nơi các công việc trí tuệ nhân tạo đang tiêu thụ 40 đến 250 kilowatt trên mỗi giá đỡ chống lại một kết nối lưới cố định, các watt lưu trữ bị浪 phí là các GPU mà bạn không thể triển khai. Tài liệu BlueField-4 của NVIDIA tuyên bố rõ ràng rằng khả năng cung cấp năng lượng là ràng buộc chính cho việc mở rộng các nhà máy trí tuệ nhân tạo.

Cũng có một hiệu ứng thứ hai mà các nhà vận hành hiếm khi tính đến. Một số kiến trúc lưu trữ yêu cầu 5 GB RAM và một đến bốn lõi CPU chuyên dụng bị khóa vĩnh viễn trên mỗi nút GPU chỉ để đạt được hiệu suất lưu trữ đỉnh. Trên một cụm 500 nút, đó là 2,5 TB RAM và lên đến 2.000 lõi CPU không có sẵn cho các công việc trí tuệ nhân tạo. Khi bạn đang trả 30.000 đô la hoặc nhiều hơn cho mỗi GPU, mọi lõi bị đánh cắp và mọi gigabyte bị khóa đều là một loại thuế trực tiếp đối với khoản đầu tư tính toán mà lẽ ra là điểm của cơ sở hạ tầng.

Làm thế nào kiến trúc lưu trữ ảnh hưởng trực tiếp đến khả năng cạnh tranh SLA khi các đảm bảo thời gian hoạt động tiếp cận 99 phần trăm?

Lưu trữ là bán kính ảnh hưởng lớn nhất trong bất kỳ cụm GPU nào, điều này làm cho nó trở thành biến số quan trọng nhất trong bất kỳ cam kết SLA trung thực nào. Hệ thống xếp hạng ClusterMAX 2.0 của SemiAnalysis, đang trở thành một tiêu chuẩn có ảnh hưởng trong việc mua sắm Neocloud, làm cho các SLA trở thành một yếu tố rõ ràng trong các cuộc đàm phán về giá. Các nhà cung cấp không có SLA cạnh tranh đang mất các thỏa thuận ngay bây giờ.

Chiều độ bền cũng quan trọng không kém và ít được thảo luận. Các khách hàng doanh nghiệp đã được điều hòa bởi AWS S3 và Azure Blob để mong đợi 11 đến 12 chữ số độ bền. Các kiến trúc HPC cũ được xây dựng trên RAID cục bộ có thể rơi dưới 5 chữ số ở quy mô tùy thuộc vào tốc độ lỗi ổ đĩa và cửa sổ xây dựng lại, có thể mất hàng nghìn tệp mỗi năm trên một corpus tỷ tệp. Mã hóa xóa mạng hiện đại với bảo vệ đa cấp có thể vượt qua 11 chữ số. Khoảng cách giữa hai thực tế này là sự khác biệt giữa một hệ thống lưu trữ mà bạn thực sự có thể bảo hiểm SLA và một hệ thống mà bạn không thể.

Các khả năng lưu trữ nào có khả năng quyết định sự sống còn của Neocloud trong dài hạn thông qua quá trình hợp nhất?

Các nhà vận hành sẽ sống sót là những người đã giải quyết được phương trình tổng chi phí sở hữu trên toàn bộ ngăn xếp cơ sở hạ tầng, không chỉ là phương trình mua sắm GPU. Điều đó có nghĩa là một số khả năng cụ thể.

Thứ nhất, một kiến trúc phần mềm định nghĩa thống nhất chạy flash và đĩa trên cùng một mặt phẳng dữ liệu với phân cấp hiệu suất cao bản địa, không có bộ di chuyển dữ liệu bên ngoài, không có ngăn xếp phần mềm thứ hai, không có sự phức tạp vận hành được giới thiệu bằng cách gắn các hệ thống riêng biệt lại với nhau. Thứ hai, lưu trữ có thể cưỡi các đường cong chi phí độc lập cho flash và đĩa khi các thị trường này di chuyển độc lập với nhau, điều mà chúng sẽ làm. Thứ ba, các hệ thống tự chữa lành có thể duy trì khả năng sẵn sàng cao mà không cần các quản trị viên chuyên dụng thực hiện phục hồi thủ công vào lúc 3 giờ sáng. Lưu trữ vận hành phức tạp là một chi phí vô hình hợp nhất ở quy mô. Thứ tư, độ bền có thể được bảo hiểm một cách đáng tin cậy trong một SLA chống lại các tiêu chuẩn của hyperscaler.

Điểm rộng hơn là rằng làn sóng hợp nhất đang tách cơ sở hạ tầng được xây dựng cho các điểm chuẩn ngày đầu tiên khỏi cơ sở hạ tầng được xây dựng cho kinh tế năm thứ ba. Giá cho thuê H100 đã giảm hơn 60 phần trăm từ đỉnh. Thị trường không còn thưởng cho việc tích lũy GPU. Nó đang đòi hỏi bằng chứng về lợi nhuận từ vốn đầu tư. Kiến trúc lưu trữ là nơi chứng minh điều đó tồn tại, vì đó là nơi tỷ lệ sử dụng GPU, cam kết SLA, hiệu suất năng lượng và cấu trúc chi phí dài hạn đều hội tụ.

Tin nhắn của bạn dành cho các nhà vận hành Neocloud đang đánh giá chiến lược lưu trữ của họ ngày hôm nay là gì?

Đừng để quyết định lưu trữ là quyết định bạn đưa ra theo mặc định. Mọi phần khác của ngăn xếp cơ sở hạ tầng đều nhận được sự kiểm tra kỹ lưỡng về kỹ thuật và tài chính. Lưu trữ nên không khác gì. Các nhà vận hành sẽ ở đây trong ba năm là những người đã xem xét kỹ lưỡng chi phí thực mỗi giờ tính toán GPU hữu ích, hiểu được thái độ sẵn sàng thực sự của họ và đảm bảo rằng họ được quy mô cho công việc chứ không phải cho một捷径 mua sắm.

Cửa sổ để làm điều này đúng đang thu hẹp lại. Quá trình hợp nhất đã bắt đầu, và kinh tế là không thể tha thứ. Nhưng đối với các nhà vận hành sẵn sàng suy nghĩ lại lớp lưu trữ với cùng sự nghiêm túc mà họ áp dụng cho việc chọn GPU, cơ hội là đáng kể. Lưu trữ được thực hiện đúng không chỉ giảm chi phí. Nó mở khóa giá trị đầy đủ của mỗi GPU trong giá đỡ.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm về ngăn xếp công nghệ này nên truy cập VDURA. Họ cũng có thể đọc cuộc phỏng vấn trước của chúng tôi với Ken Claffey.