Elad Raz, CEO của NextSilicon – Loạt Phỏng Vấn

Elad Raz, CEO của NextSilicon, là một doanh nhân giàu kinh nghiệm và lãnh đạo công nghệ được kính trọng rộng rãi vì chuyên môn sâu về hệ thống cấp thấp, bảo mật, mạng và phát triển hệ thống tệp. Trong suốt sự nghiệp bao gồm các vai trò kỹ sư quân sự hàng đầu, lãnh đạo phần mềm cao cấp, xây dựng công ty và đầu tư dài hạn, Raz đã dẫn đầu các dự án phức tạp, quan trọng về mặt nhiệm vụ trên các nội bộ của hệ điều hành và tích hợp phần cứng-phần mềm. Trước khi thành lập NextSilicon, ông đã xây dựng và thoát khỏi nhiều công ty công nghệ, giữ các vai trò lãnh đạo cấp cao tại một công ty bán dẫn hàng đầu và đầu tư vào một danh mục đầu tư đa dạng các công ty khởi nghiệp, kết hợp độ sâu kỹ thuật thực hành với khả năng thực hiện mạnh mẽ và tầm nhìn chiến lược dài hạn.

NextSilicon là một công ty tính toán hiệu suất cao và bán dẫn của Israel được thành lập vào năm 2017, đang định nghĩa lại kiến trúc tính toán cho các khối lượng công việc đòi hỏi khắt khe như Trí tuệ nhân tạo và tính toán khoa học. Công ty đã phát triển một nền tảng tính toán thông minh được định nghĩa bằng phần mềm, được thiết kế để cung cấp hiệu suất và hiệu quả cao mà không yêu cầu các nhà phát triển viết lại ứng dụng. Bằng cách tập trung vào khả năng thích ứng ở cấp độ phần cứng, NextSilicon nhằm giải quyết các nút thắt cơ bản trong các trung tâm dữ liệu và môi trường siêu tính hiện đại, định vị mình như một giải pháp thay thế thế hệ tiếp theo cho các bộ tăng tốc truyền thống.

Bạn có thể cho chúng tôi biết về hành trình dẫn đến việc thành lập NextSilicon của bạn không? Ý tưởng ban đầu được kích hoạt như thế nào và những trải nghiệm đầu tiên của bạn với tính toán đã định hình tầm nhìn của bạn như thế nào?

Tôi đã bị thu hút bởi máy tính từ khi còn là một đứa trẻ. Sự thu hút đó đã dẫn tôi từ việc chỉnh sửa các máy Commodore 64 và Atari cũ (mà tôi vẫn thu thập cho đến ngày nay) đến việc đồng sáng lập các công ty khởi nghiệp và cuối cùng là bán công ty trước đó của tôi cho Mellanox. Nhưng ngay cả với những thành công ban đầu đó, tôi vẫn tiếp tục thấy thách thức giống nhau trong ngành công nghiệp này. Khi các khối lượng công việc tính toán trở nên phức tạp hơn, kiến trúc CPU và GPU truyền thống đang đạt đến giới hạn về hiệu suất, hiệu quả năng lượng và khả năng mở rộng. Cho dù tối ưu hóa thuật toán hay chạy mô phỏng quy mô lớn, rõ ràng là kiến trúc hiện tại đang buộc các khối lượng công việc phải thích nghi với phần cứng – không phải ngược lại.

Ngọn lửa cho NextSilicon bắt nguồn từ thách thức lặp đi lặp lại này và đặt ra câu hỏi: Nếu chúng ta có thể lật ngược kịch bản và xây dựng kiến trúc tính toán thích nghi với các khối lượng công việc, thay vì buộc các khối lượng công việc phải thích nghi với phần cứng? Sự tiếp xúc sớm của tôi với thiết kế thuật toán và phần cứng đã dạy tôi rằng đột phá thực sự sẽ đến từ việc kết hợp cả hai trong thời gian thực. Đó là nền tảng của Kiến trúc Tính toán Thông minh (ICA) và tầm nhìn định hướng của NextSilicon từ đầu.

Maverick-2 được mô tả là Bộ Tăng tốc Tính toán Thông minh thích nghi với các khối lượng công việc thời gian thực. Kiến trúc của nó khác với GPU hoặc FPGA truyền thống như thế nào và điều gì cho phép mức độ thích nghi đó?

CPU và GPU đã thay đổi thế giới của chúng ta và phục vụ chúng ta tốt. Nhưng chúng không được thiết kế để đáp ứng nhu cầu của các khối lượng công việc Trí tuệ nhân tạo và tính toán hiệu suất cao (HPC) hiện đại trong các lĩnh vực như khoa học, thời tiết, năng lượng và quốc phòng. Các khối lượng công việc này có sự phụ thuộc dữ liệu phức tạp, mẫu truy cập bộ nhớ và mẫu tính toán mà các bộ xử lý hiện tại không được thiết kế để xử lý. Kết quả là các nút thắt làm chậm sự đổi mới.

Sự khác biệt chính của Maverick-2 là phương pháp mới kết hợp một động cơ dữ liệu có thể cấu hình lại với tối ưu hóa phần mềm thời gian thực. Sự khác biệt kiến trúc chính là phần cứng được cấu hình dựa trên khối lượng công việc của bạn, không phải ngược lại. Đối với Maverick-2, tính khả dụng của dữ liệu thúc đẩy tính toán, thay vì bộ đếm chương trình thúc đẩy thực hiện lệnh như trong các bộ xử lý truyền thống. Điều này cho phép chúng tôi tạo ra các đơn vị xử lý ảo được định nghĩa bằng phần mềm có thể được cấu hình và cấu hình lại trong thời gian thực để phù hợp với các mẫu khối lượng công việc cụ thể.

Kết quả nói lên tất cả: Maverick-2 cung cấp hơn 4 lần hiệu suất trên mỗi watt so với GPU và hơn 20 lần so với CPU, đồng thời giảm chi phí hoạt động hơn một nửa. Do đó, các nhà nghiên cứu và kỹ sư có thể chạy các mô phỏng lớn, không đều đặn nhanh hơn và hiệu quả hơn, mở khóa thông tin và đột phá trong một phần nhỏ của thời gian.

Bạn đã báo cáo đạt được hơn 4× hiệu suất trên mỗi watt so với GPU và hơn 20× so với CPU cao cấp. Những đổi mới chính nào thúc đẩy những lợi ích về hiệu suất đó trong các khối lượng công việc thực tế?

Lợi ích về hiệu suất đến từ một số đổi mới chính hoạt động cùng nhau.

Thứ nhất, chúng tôi đã rời bỏ mô hình Von Neumann đã thống trị tính toán trong 80 năm. Thay vì thực hiện lệnh tuần tự, Maverick-2 sử dụng kiến trúc dữ liệu luồng nơi tính toán theo sự sẵn có của dữ liệu. Điều này cơ bản phù hợp hơn với các khối lượng công việc không đều, đòi hỏi nhiều bộ nhớ.

Thứ hai, kiến trúc tự tối ưu hóa của chúng tôi tạo ra các lõi xử lý được định nghĩa bằng phần mềm trong thời gian thực. Phần cứng thích nghi với nhu cầu của mỗi ứng dụng mà không yêu cầu viết lại mã – bạn nhận được tối ưu hóa mà không có gánh nặng.

Thứ ba, và điều này rất quan trọng: chúng tôi tập trung vào hiệu suất thực tế, bền vững, không phải đỉnh lý thuyết. Nhiều kiến trúc trông tuyệt vời trên giấy nhưng thất bại trong các khối lượng công việc thực tế. Maverick-2 duy trì hiệu quả trên AI, HPC và cơ sở dữ liệu vector bằng cách liên tục thích nghi với nhu cầu của khối lượng công việc.

Maverick-2 hỗ trợ C/C++, Fortran, OpenMP và Kokkos ngay từ đầu mà không yêu cầu thay đổi mã. Các nhà phát triển đã phản ứng như thế nào với khả năng tương thích này và kế hoạch của bạn để hỗ trợ CUDA, ROCm hoặc các khung AI phổ biến là gì?

Các nhà phát triển yêu thích Maverick-2 là một “thay thế thực sự”. Họ có thể chạy các ứng dụng hiện có ngay lập tức mà không có rào cản cổng mà ngành công nghiệp này phải đối mặt. Chúng tôi hiện hỗ trợ C/C++, Fortran, OpenMP và Kokkos ngay từ đầu, với CUDA, ROCm và các khung AI chính như TensorFlow, JAX, PyTorch và ONNX đang được phát triển tích cực. Điều này loại bỏ sự khóa của nhà cung cấp và viết lại mã tốn kém, cho phép khách hàng đánh giá và áp dụng các kiến trúc mới mà không làm gián đoạn quy trình làm việc của họ.

Làm thế nào hệ thống tối ưu hóa dựa trên đo đạc của Maverick-2 hoạt động phía sau cảnh? Những gì được tham gia vào việc tạo hồ sơ và cấu hình lại chip trong thời gian thực?

Hãy nghĩ về tối ưu hóa hệ thống của chúng tôi như một vòng lặp liên tục: trong quá trình thực hiện, hệ thống đo đạc của chúng tôi đo hàng trăm chỉ số hiệu suất (ví dụ: băng thông bộ nhớ, sử dụng, độ sâu hàng đợi). Tất cả dữ liệu đó được cung cấp cho trình tối ưu hóa thời gian chạy xác định xem cấu hình phần cứng hiện tại vẫn tối ưu cho khối lượng công việc và nhu cầu dự kiến của nó hay không. Nếu không, nó có thể phân vùng lại tài nguyên, sắp xếp lại đường dẫn dữ liệu và điều chỉnh đường ống tính toán liên tục, có nghĩa là ứng dụng không ngừng. Điều này xảy ra trong vài毫 giây, vì vậy ứng dụng duy trì hiệu quả đỉnh nhất quán khi hồ sơ tính toán của nó thay đổi.

Có những loại khối lượng công việc hoặc trường hợp biên cụ thể nào mà việc điều chỉnh hiệu suất thời gian chạy có thể kém hiệu quả hơn hoặc giới thiệu các thỏa hiệp về độ trễ hoặc năng lượng?

Bất kỳ kiến trúc nào cũng sẽ có sự thỏa hiệp. Maverick-2 vượt trội trong các khối lượng công việc phức tạp, không đều với các mẫu tính toán và truy cập dữ liệu thay đổi. Đối với các khối lượng công việc có thể dự đoán cao, cố định, một GPU được điều chỉnh tốt có thể rất hiệu quả mà không có gánh nặng của sự thích nghi. Trong những trường hợp đó, khả năng thích nghi của chúng tôi vẫn cung cấp hiệu suất vững chắc, nhưng lợi thế tương đối có thể nhỏ hơn.

Thiết kế của NextSilicon là tất cả về tính linh hoạt và cạnh tranh trong các trường hợp đơn giản, nhưng chuyển đổi trong những trường hợp thách thức.

Tại sao bạn quyết định ưu tiên thị trường HPC từ sớm, khi hầu hết các công ty khởi nghiệp đều vội vàng tham gia vào AI? Làm thế nào điều đó đã định hình chiến lược sản phẩm và kinh doanh của bạn?

HPC đại diện cho tiền tuyến của sự phức tạp tính toán và giải quyết vấn đề cho các tập dữ liệu lớn, truy cập bộ nhớ không đều và mẫu tính toán không thể đoán trước. Nếu bạn có thể xây dựng một kiến trúc mà ở đó thịnh hành – chẳng hạn như chạy mô phỏng quy mô exabyte trong mô hình hóa khí hậu hoặc vật lý hạt, nó sẽ vượt trội trong AI cũng vậy.

Bằng cách tập trung vào HPC trước, chúng tôi đã chứng minh Maverick-2 trên các khối lượng công việc đòi hỏi khắt khe nhất trong mô hình hóa khí hậu, vật lý và khoa học sự sống. Điều đó đã mang lại cho chúng tôi uy tín, dữ liệu hiệu suất thực tế và một sản phẩm trưởng thành trước khi di chuyển sâu vào các thị trường AI. Bây giờ, chúng tôi được định vị để phục vụ cả hai, mà không phải thỏa hiệp kiến trúc của mình để tận dụng các xu hướng hoặc nhu cầu ngắn hạn.

Giờ mà Maverick-2 đã được sản xuất và triển khai trên hàng chục khách hàng, bạn có thể chia sẻ các ví dụ về cách nó được sử dụng không? Bất kỳ kết quả hoặc điểm chuẩn cụ thể nào từ các triển khai hàng đầu?

Một ví dụ nổi bật là việc triển khai của chúng tôi tại Phòng thí nghiệm Quốc gia Sandia, nơi Maverick-2 đang cung cấp năng lượng cho siêu máy tính Spectra của họ như một phần của chương trình Vanguard-II. Chúng tôi đang chứng kiến hiệu suất vượt trội ngay từ đầu mà không yêu cầu sửa đổi mã. Chúng tôi cũng đang làm việc với ODISSEE (Giải pháp trực tuyến đòi hỏi dữ liệu cho khoa học trong kỷ nguyên exabyte), mang lại các tổ chức nghiên cứu hàng đầu để xử lý dữ liệu quy mô exabyte từ Máy va chạm Hadron lớn độ sáng cao của CERN và Đài quan sát Square Kilometre Array. Vai trò Maverick-2 sẽ đóng là giải quyết thách thức xử lý petabyte dữ liệu thực nghiệm thô trong một phần nhỏ của thời gian và năng lượng trước đây. Mục tiêu cuối cùng là cho phép phân tích vật lý nhanh hơn và khám phá thiên văn.

Bạn đã huy động được hơn 300 triệu đô la, với các vòng chính được công bố vào năm 2021 và gần đây. Bạn có thể chia sẻ cách tài trợ đó đã tăng tốc phát triển sản phẩm và phạm vi thị trường của bạn không?

Tài trợ cho phép chúng tôi làm ba điều. Thứ nhất, chúng tôi có thể đẩy kiến trúc xa hơn, không chỉ cải tiến dần dần, mà là những tiến bộ cơ bản khiến Maverick-2 sẵn sàng sản xuất. Thứ hai, chúng tôi đã mở rộng quy trình sản xuất và chuỗi cung ứng của mình để đáp ứng nhu cầu ngày càng tăng, một thách thức không nhỏ đối với silicon mới. Thứ ba, chúng tôi đã mở rộng hệ sinh thái phần mềm của mình để cho phép khách hàng tích hợp và triển khai nhanh hơn.

Điều đó cũng cho phép chúng tôi thiết lập các quan hệ đối tác chiến lược với các trung tâm siêu tính toán và nhà cung cấp đám mây, cho phép chúng tôi简 hóa quy trình từ khái niệm đến triển khai và mở rộng nhanh hơn nhiều so với các công ty khởi nghiệp phần cứng truyền thống.

Trong một cảnh quan bao gồm Cerebras, SambaNova và Nvidia, bạn nhìn thấy NextSilicon định vị mình như thế nào? Phương pháp tiếp cận thị trường của bạn là gì như một người thách thức?

Chúng tôi xem NextSilicon như một công ty công nghệ hơn là chỉ một công ty chip. Chúng tôi tối ưu hóa mọi khối lượng công việc, cung cấp khả năng thích nghi và không khóa khách hàng vào lập trình hoặc phần cứng độc quyền. Khách hàng của chúng tôi có thể mang mã hiện có của mình và đạt được gia tốc ngay lập tức mà không có chu kỳ cổng dài hoặc khóa nhà cung cấp vào một hệ sinh thái duy nhất, chẳng hạn như CUDA. Điều này quan trọng đặc biệt khi các khối lượng công việc AI phát triển vượt ra ngoài việc đào tạo thuần túy. Các mô hình suy luận, suy luận mở rộng và cửa sổ ngữ cảnh lớn đòi hỏi các mẫu tính toán khác nhau: truy cập bộ nhớ động, tính toán chiều dài thay đổi và phân bổ tài nguyên thích nghi. Đây không phải là những vấn đề bạn giải quyết bằng cách có thêm kiến trúc cố định.

Chiến lược tiếp cận thị trường của chúng tôi tập trung vào việc giải quyết những vấn đề khó khăn nhất trước: làm việc với các tổ chức nghiên cứu, phòng thí nghiệm quốc gia và doanh nghiệp nơi hiệu suất, hiệu quả năng lượng và linh hoạt là rất quan trọng. Từ đó, chúng tôi mở rộng vào các thị trường AI và dữ liệu rộng lớn hơn. Ngành công nghiệp này bị chi phối bởi các kiến trúc cố định. Chúng tôi đang cung cấp một điều gì đó khác biệt, khả năng thích nghi được xây dựng ngay từ đầu. AI đang chuyển từ quy mô thuần túy sang trí tuệ. Các mô hình lớn hơn đang cho phép suy luận thông minh hơn, từ các提示 ngắn đến sự hiểu biết ngữ cảnh dài. Trong quá trình chuyển đổi này, các kiến trúc thích nghi sẽ không chỉ là mới mẻ; chúng sẽ là thiết yếu.

Cảm ơn bạn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập NextSilicon.