Ludovic Larzul, Người sáng lập và Giám đốc điều hành của Mipsology – Loạt phỏng vấn

Ludovic Larzul là người sáng lập và Giám đốc điều hành của Mipsology, một công ty khởi nghiệp đột phá tập trung vào gia tốc hóa học sâu cho suy luận. Họ đã tạo ra công nghệ để tăng tốc tính toán của mạng nơ-ron và che giấu phần cứng tăng tốc cho người dùng AI. Zebra của Mipsology là bộ tăng tốc thương mại đầu tiên封装 các bảng FPGA để cung cấp hiệu suất cao và dễ sử dụng.

Điều gì đầu tiên đã thu hút bạn đến với AI và vi mạch?

Tôi đã làm việc trong thiết kế một loại siêu máy tính cụ thể trong khoảng 20 năm với công ty trước của tôi EVE, trước khi nó được приобрет bởi Synopsys vào năm 2012. Những máy tính này, cũng được gọi là máy mô phỏng ASIC, được sử dụng bởi nhiều công ty thiết kế ASIC trên toàn thế giới. Tôi khá thích sự phức tạp và đa dạng của công việc đó. Để thành công, bạn phải (a) hiểu điện tử, phần mềm, thuật toán phức tạp, cách thiết kế chip và cách đảm bảo chúng hoạt động tốt, kiến trúc chip, năng lượng, và nhiều công nghệ sâu khác, (b) dự đoán chính xác nhu cầu của khách hàng vài năm trước, (c) đổi mới liên tục, và (d) như một công ty khởi nghiệp, đánh bại cạnh tranh với ít tài nguyên hơn. Sau 20 năm thành công, tôi đang tìm kiếm một thách thức mới. Đây là thời điểm khi AI bắt đầu trở lại vào tâm điểm. AlexNet đã tạo ra một bước nhảy vĩ đại trong việc hiểu hình ảnh (và nhìn lại, nó vẫn còn trong giai đoạn sơ khai). Học sâu là hoàn toàn mới nhưng đầy hứa hẹn (Ai nhớ khi nó mất vài ngày để có được kết quả trên một mạng đơn giản?). Tôi thấy rằng khá “thú vị”, nhưng nhận ra có nhiều thách thức.

Điều gì đã truyền cảm hứng cho việc thành lập Mipsology?

Tôi không biết liệu tôi có thể sử dụng từ “truyền cảm hứng” hay không. Ban đầu, nó giống như: “Chúng ta có thể làm điều gì đó khác biệt và tốt hơn không?” Nó bắt đầu với những giả định về những gì người dùng AI sẽ thích và làm, và vài năm tiếp theo được dành để tìm ra những giải pháp tốt hơn dựa trên đó. Tôi nghĩ rằng hơn là truyền cảm hứng, tôi sẽ nói rằng những người tôi làm việc cùng thích được tốt nhất trong những gì họ tạo ra, với một thái độ cạnh tranh tích cực. Điều đó tạo ra một đội mạnh có thể giải quyết các vấn đề mà người khác không thể giải quyết một cách đầy đủ.

Mipsology sử dụng bảng FPGA thay vì GPU. Bạn có thể mô tả FPGA là gì?

FPGA là các thành phần điện tử có thể được lập trình ở mức phần cứng. Bạn có thể tưởng tượng nó như một bộ Lego — vài triệu cái. Mỗi khối nhỏ thực hiện một hoạt động đơn giản như giữ giá trị, hoặc các hoạt động phức tạp hơn như cộng. Bằng cách nhóm tất cả các khối này, có thể tạo ra một hành vi cụ thể sau khi chip được sản xuất. Điều này ngược lại với GPU và hầu hết các chip khác, được thiết kế cho một chức năng cụ thể và không thể thay đổi sau đó.

Một số, như CPU và GPU, có thể được lập trình, nhưng chúng không song song như FPGA. Tại bất kỳ thời điểm nào, một FPGA thực hiện vài triệu hoạt động đơn giản. Và điều này có thể xảy ra sáu đến bảy trăm triệu lần mỗi giây. Vì chúng có thể lập trình, những gì chúng làm có thể thay đổi tại bất kỳ thời điểm nào để thích ứng với các vấn đề khác nhau, vì vậy sức mạnh tính toán phi thường có thể hiệu quả. FPGA đã gần như ở khắp mọi nơi, bao gồm cả trạm gốc của điện thoại di động, mạng, vệ tinh, xe hơi, v.v. Người dùng không biết chúng tốt, vì chúng không rõ ràng như một CPU như trong máy tính xách tay của bạn.

Điều gì làm cho các bảng FPGA trở thành giải pháp vượt trội so với GPU phổ biến hơn?

FPGA vượt trội ở nhiều khía cạnh. Hãy tập trung vào một số khía cạnh quan trọng.

GPU được thiết kế để hiển thị hình ảnh, chủ yếu cho trò chơi. Chúng đã được tìm thấy phù hợp với một số tính toán trong AI vì sự tương đồng của các hoạt động. Nhưng chúng vẫn chủ yếu dành cho trò chơi, điều này có nghĩa là chúng đi kèm với các hạn chế không phù hợp với mạng nơ-ron.

Lập trình của chúng cũng bị giới hạn ở các lệnh đã quyết định hai hoặc ba năm trước khi chúng có sẵn. Vấn đề là mạng nơ-ron đang phát triển nhanh hơn so với thiết kế của ASIC, và GPU là ASIC. Vì vậy, nó giống như dự đoán tương lai: không đơn giản để đúng. Bạn có thể thấy xu hướng, nhưng chi tiết là những gì thực sự ảnh hưởng đến hiệu suất. Ngược lại, vì FPGA có thể lập trình ở mức phần cứng, chúng tôi có thể dễ dàng theo kịp sự tiến bộ của AI. Điều này cho phép chúng tôi cung cấp một sản phẩm tốt hơn với hiệu suất cao hơn và đáp ứng nhu cầu của khách hàng mà không cần phải chờ đợi thế hệ silicon tiếp theo.

Hơn nữa, GPU được thiết kế để trở thành sản phẩm tiêu dùng. Tuổi thọ của chúng được thiết kế để ngắn, vì các công ty thiết kế GPU muốn bán các GPU mới vài năm sau cho người chơi game. Điều này không hoạt động tốt trong các hệ thống điện tử cần phải đáng tin cậy trong nhiều năm. FPGA được thiết kế để mạnh mẽ và sử dụng 24/7 trong nhiều năm.

Các lợi thế nổi tiếng khác của FPGA bao gồm:

• Có nhiều lựa chọn có thể phù hợp với các lĩnh vực cụ thể như mạng hoặc xử lý video
• Chúng hoạt động tốt trong trung tâm dữ liệu cũng như ở biên hoặc nhúng
• Chúng không yêu cầu làm mát cụ thể (rất ít làm mát bằng nước như GPU lớn)

Một điểm hạn chế chính là FPGA khó lập trình. Nó đòi hỏi kiến thức cụ thể. Mặc dù các công ty bán FPGA đã cố gắng bắc cầu khoảng cách phức tạp, nhưng nó vẫn không đơn giản như CPU. Trên thực tế, GPU cũng không đơn giản. Nhưng phần mềm che giấu lập trình của chúng cho AI làm cho kiến thức đó không cần thiết. Đó là vấn đề mà Mipsology là người đầu tiên giải quyết: loại bỏ nhu cầu lập trình hoặc có kiến thức về FPGA cho tính toán AI.

Có những hạn chế hiện tại nào đối với các bảng FPGA?

Một số bảng FPGA giống như một số bảng GPU. Chúng có thể được cắm vào khe cắm PCIe của máy tính. Một lợi thế nổi tiếng, ngoài tuổi thọ tôi đã đề cập trước đó, là tiêu thụ năng lượng thường thấp hơn so với GPU. Một lợi thế khác ít được biết đến là có nhiều bảng FPGA hơn so với bảng GPU. Có nhiều FPGA hơn cho nhiều thị trường, điều này dẫn đến nhiều bảng hơn phù hợp với các lĩnh vực khác nhau của thị trường. Điều này đơn giản có nghĩa là có nhiều khả năng tính toán mạng nơ-ron ở mọi nơi với chi phí thấp hơn. GPU bị hạn chế; chúng phù hợp với trung tâm dữ liệu, nhưng không nhiều hơn.

Zebra của Mipsology là bộ tăng tốc thương mại đầu tiên封装 các bảng FPGA để cung cấp hiệu suất cao và dễ sử dụng. Bạn có thể mô tả Zebra là gì?

Đối với những người quen thuộc với AI và GPU, mô tả dễ nhất là Zebra là đối với FPGA những gì Cuda/CuDNN là đối với GPU. Đó là một ngăn xếp phần mềm hoàn toàn che giấu FPGA đằng sau các khuôn khổ thông thường như PyTorch hoặc TensorFlow. Chúng tôi chủ yếu nhắm vào suy luận cho hình ảnh và video. Zebra bắt đầu với một mạng nơ-ron đã được đào tạo thường ở dạng điểm nổi, và không cần nỗ lực thủ công hoặc công cụ độc quyền, chạy trên bất kỳ thẻ dựa trên FPGA nào. Nó đơn giản như: cắm thẻ FPGA, tải trình điều khiển, nguồn môi trường Zebra, và khởi chạy cùng ứng dụng suy luận như ứng dụng chạy trên CPU hoặc GPU. Chúng tôi có định lượng riêng của mình để giữ lại độ chính xác, và hiệu suất là ngoài hộp. Không có công cụ độc quyền mà người dùng phải học, và nó không mất hàng giờ thời gian kỹ sư để có được thông lượng cao hoặc độ trễ thấp. Điều này có nghĩa là đơn giản chuyển đổi nhanh, cũng giảm chi phí và thời gian đưa ra thị trường.

Các loại ứng dụng nào mà Zebra được thiết kế tốt nhất?

Zebra là một động cơ tăng tốc rất chung, vì vậy nó có thể tăng tốc tính toán cho bất kỳ ứng dụng nào cần tính toán mạng nơ-ron, với trọng tâm chính vào hình ảnh và video vì nhu cầu tính toán lớn hơn cho loại dữ liệu này. Chúng tôi đã nhận được yêu cầu từ các thị trường rất khác nhau, nhưng chúng đều tương tự khi nói đến tính toán mạng nơ-ron. Tất cả chúng đều yêu cầu phân loại, phân đoạn, siêu phân giải, định vị cơ thể, v.v.

Khi Zebra chạy trên FPGA, bất kỳ loại thẻ nào cũng có thể được sử dụng. Một số có thông lượng cao và thường được sử dụng trong trung tâm dữ liệu. Những thẻ khác phù hợp hơn để sử dụng ở biên hoặc nhúng. Tầm nhìn của chúng tôi là, nếu một FPGA có thể phù hợp, người dùng có thể sử dụng Zebra để tăng tốc tính toán mạng nơ-ron ngay lập tức. Và nếu GPU hoặc CPU được sử dụng, Zebra có thể thay thế chúng và giảm chi phí cho cơ sở hạ tầng AI. Hầu hết các công ty chúng tôi nói chuyện đều gặp phải các vấn đề tương tự: họ có thể triển khai nhiều ứng dụng dựa trên AI hơn, nhưng chi phí đang hạn chế họ.

Đối với một công ty muốn sử dụng Zebra, quy trình là gì?

Đơn giản chỉ cần cho chúng tôi biết tại support@mipsology.com và chúng tôi sẽ giúp bạn bắt đầu.

Có điều gì khác bạn muốn chia sẻ về Mipsology?

Chúng tôi rất khuyến khích về phản hồi chúng tôi nhận được từ cộng đồng AI về giải pháp Zebra của chúng tôi. Cụ thể, chúng tôi được告知 rằng đây có thể là bộ tăng tốc tốt nhất trên thị trường. Sau chỉ vài tháng, chúng tôi tiếp tục thêm vào một hệ sinh thái ngày càng phát triển của các đối tác quan tâm, bao gồm Xilinx, Dell, Western Digital (WDC ), Avnet, TUL và Advantech, để đặt tên một vài.

Tôi thực sự thích tìm hiểu về công nghệ đột phá này. Người đọc muốn tìm hiểu thêm nên truy cập Mipsology.

https://www.youtube.com/watch?v=sIBEg_eGU8g