Orr Danon, CEO & Co-Founder của Hailo – Loạt Phỏng Vấn

Orr Danon là CEO & Co-Founder của Hailo, một công ty có nhiệm vụ cho phép các công nghệ thông minh đạt được tiềm năng tối đa. Giải pháp mà Hailo đưa ra đã bắc cầu giữa các công nghệ AI hiện tại và tương lai với khả năng tính toán cần thiết để cung cấp năng lượng cho các ứng dụng này. Công ty tập trung vào việc xây dựng các bộ xử lý AI hiệu quả và紧凑 đủ để tính toán và giải thích một lượng lớn dữ liệu trong thời gian thực.

Bạn có thể chia sẻ câu chuyện về sự hình thành của Hailo không?

Tôi đồng sáng lập Hailo vào năm 2017 cùng với các đồng nghiệp mà tôi đã gặp trước đó trong đơn vị công nghệ tinh hoa của Lực lượng Phòng vệ Israel (IDF). Trong khi làm việc với các đồng sáng lập Rami Feig và Avi Baum về các giải pháp IoT (Internet of Things), một cấu trúc ít được biết đến – “Deep Learning” – liên tục xuất hiện trong quá trình nghiên cứu của chúng tôi. Cuối cùng, chúng tôi đã tập hợp các chuyên gia trong lĩnh vực này để phát triển một giải pháp học sâu mới nhằm giải quyết những hạn chế của kiến trúc máy tính cũ để cho phép các thiết bị thông minh hoạt động hiệu quả và hiệu quả hơn ở rìa. Sau khi Rami qua đời, đội ngũ Hailo đã thực hiện tầm nhìn của anh – tạo ra bộ xử lý AI đột phá của Hailo.

Bạn có thể giải thích ngắn gọn tại sao tính toán biên thường là giải pháp vượt trội so với tính toán đám mây không?

Khi chúng tôi bắt đầu Hailo, các công nghệ AI phá vỡ thường bị giới hạn ở đám mây hoặc các trung tâm dữ liệu lớn, vì chúng tốn kém, đòi hỏi sức mạnh tính toán cao và phần cứng rộng lớn để chạy, và tiêu thụ một lượng năng lượng đáng kể. Chúng tôi tin rằng AI đang giúp tạo ra một thế giới tốt hơn, an toàn hơn, hiệu quả hơn và thú vị hơn, nhưng để điều này xảy ra, AI cần có sẵn ở rìa cũng như vậy. Đối với việc triển khai các ứng dụng thời gian thực và thấp độ trễ trên các thiết bị như máy ảnh kết nối mạng, phương tiện và thiết bị IoT, việc xử lý tại nguồn là điều cần thiết cho hoạt động hiệu quả. Với AI biên, chúng ta có thể tận dụng đầy đủ một số trường hợp sử dụng chính để thúc đẩy tương lai của các thành phố thông minh, giao thông thông minh, lái xe tự động, hệ thống quản lý video (VMS), Công nghiệp 4.0 và hơn thế nữa.

Có những thách thức gì khi xử lý dữ liệu hình ảnh trên biên?

Mục tiêu là đạt được hiệu suất và tính năng cao nhất có thể trong các thiết bị biên để chúng có thể xử lý một lượng lớn dữ liệu hình ảnh nhanh chóng và với độ trễ thấp nhất; tuy nhiên, một trong những hạn chế chính là tiêu thụ năng lượng – cả về lượng năng lượng có thể cung cấp cho thiết bị và nhiệt lượng do bộ xử lý tạo ra.

Ví dụ, với máy ảnh thông minh, các nhà sản xuất cần một bộ xử lý AI phù hợp với phong bì 2-3W vì máy ảnh không thể sử dụng làm mát bằng quạt và thường có nguồn điện hạn chế. Đây là những điểm đau cấp tính vì ở mức công suất thấp như vậy, hiệu suất sẽ bị hạn chế nghiêm trọng khi sử dụng hầu hết các bộ xử lý trên thị trường.

Làm thế nào Hailo tái tưởng tượng kiến trúc Bộ xử lý AI?

Chúng tôi đã làm điều này bằng cách thiết kế đặc biệt một bộ xử lý AI được xây dựng để hoạt động trên các thiết bị biên, tính đến các hạn chế về kích thước và công suất. Bằng cách này, chúng tôi cho phép khả năng tính toán chưa từng có trên các thiết bị biên, cho phép chúng chạy AI hiệu quả và hiệu quả hơn và thực hiện các ứng dụng học sâu tinh vi như phát hiện đối tượng, nhận dạng đối tượng, phân đoạn và các ứng dụng khác, với mức hiệu suất trước đây chỉ có thể đạt được trên đám mây. Kiến trúc độc đáo này cho phép xử lý đa luồng và đa ứng dụng, cải thiện hiệu suất và hiệu quả chi phí của các thiết bị biên.

Một ví dụ về việc sử dụng kiến trúc này là Hệ thống Quản lý Video (VMS). Những hệ thống này được sử dụng trong các khu vực có nhiều máy ảnh, chẳng hạn như tòa nhà văn phòng, sân vận động, ứng dụng thành phố thông minh và đường cao tốc để quản lý an toàn và bảo mật tốt hơn, bao gồm giám sát các tình huống khẩn cấp và tai nạn, hoạt động đáng ngờ, quản lý giao thông, kiểm soát truy cập, thu phí và hơn thế nữa. Trong nhiều năm, các doanh nghiệp đã phụ thuộc hoàn toàn vào các quy trình thủ công khi nói đến việc thu thập, phân tích và lưu trữ dữ liệu video. Giờ đây, với kiến trúc mạng nơ-ron độc đáo của Hailo, VMS có thể thực hiện nhiều nhiệm vụ song song, trong thời gian thực, cho phép xử lý nhiều kênh và ứng dụng đồng thời hơn. Các ứng dụng bao gồm nhận dạng biển số tiên tiến, giám sát giao thông, phát hiện hành vi và hơn thế nữa.

Bạn có thể thảo luận về lõi xử lý mạng nơ-ron và cách tiếp cận của bạn trong việc tính toán mạng nơ-ron song song thay vì tuần tự không?

Bộ xử lý AI của chúng tôi kết hợp nhiều đổi mới nhằm giải quyết các thuộc tính cơ bản của mạng nơ-ron. Chúng tôi đã áp dụng một sơ đồ điều khiển sáng tạo dựa trên sự kết hợp giữa phần cứng và phần mềm để đạt được joules trên mỗi hoạt động rất thấp với mức độ linh hoạt cao.

Kiến trúc hướng dữ liệu độc đáo của chúng tôi thích nghi với cấu trúc của mạng nơ-ron và cho phép sử dụng tài nguyên cao. Bộ biên dịch dữ liệu của Hailo bao gồm phần mềm toàn diện, được đồng thiết kế với phần cứng của chúng tôi, để cho phép triển khai mạng nơ-ron hiệu quả. Bộ biên dịch dữ liệu nhận mô hình người dùng làm đầu vào. Trong quá trình xây dựng, bộ biên dịch dữ liệu chia nhỏ từng lớp mạng thành các yếu tố tính toán cần thiết, tạo ra một đồ thị tài nguyên là biểu diễn của mạng mục tiêu. Sau đó, bộ biên dịch dữ liệu sẽ ánh xạ đồ thị tài nguyên của mạng mục tiêu đến các tài nguyên vật lý có sẵn trên bộ xử lý, tạo ra một đường ống dữ liệu tùy chỉnh cho mạng mục tiêu. Khi thực hiện theo cách này, việc chạy mô hình trên thiết bị sẽ rất hiệu quả, sử dụng tài nguyên tính toán tối thiểu mọi lúc.

Các nền tảng Hailo hiện tại nào đang có sẵn cho các doanh nghiệp?

Bộ xử lý Hailo-8 ™ và mô-đun AI có thể được cắm vào nhiều thiết bị biên, giúp cung cấp năng lực AI vượt trội cho nhiều lĩnh vực – bao gồm ô tô, thành phố thông minh, bán lẻ thông minh và Công nghiệp 4.0.

Hailo đã hợp tác với các nhà lãnh đạo VMS và ISV hàng đầu như Innovatrics, Network Optix, GeoVision và Art of Logic để cho phép phân tích video hàng đầu ở quy mô.

Các giải pháp này có thể tiết kiệm bao nhiêu thời gian cho khách hàng đang tích hợp các giải pháp AI?

Tìm kiếm các giải pháp tích hợp chạy trên các nền tảng VMS đã thiết lập có thể tiết kiệm thời gian, nhưng đây không phải là lợi ích chính của hệ thống. Các giải pháp VMS dựa trên Hailo cho phép nhiều luồng chạy song song và nhiều ứng dụng được xử lý cho mỗi luồng.

Khả năng tận dụng AI để xử lý nhiều luồng video cũng có nghĩa là chỉ các sự kiện cụ thể cần được truyền đến đám mây để lưu trữ, cho phép tiết kiệm đáng kể về băng thông và dung lượng lưu trữ.

Các bài học gì bạn đã rút ra từ việc triển khai các ứng dụng học sâu trên thiết bị biên?

Chúng tôi đã chứng kiến trực tiếp cách AI trên biên sẽ đóng vai trò quan trọng trong việc thúc đẩy đổi mới trên nhiều lĩnh vực trong những năm tới. Khi các doanh nghiệp tìm kiếm các giải pháp đảm bảo rằng thiết bị của họ trở nên mạnh mẽ, linh hoạt, phản hồi và bảo mật hơn, đám mây sẽ tiếp tục nhường chỗ cho các thiết bị biên và các mô hình lai. Những người thành công trong việc triển khai AI trên biên sẽ có lợi thế trên toàn bộ.

Tầm nhìn của bạn cho tương lai của tính toán biên là gì?

Tính toán biên – đặc biệt là AI trên biên – có khả năng biến đổi hoàn toàn cách thế giới xung quanh chúng ta hoạt động, cho phép các thiết bị như máy ảnh thông minh, phương tiện tự động, robot tự động, công cụ quản lý giao thông thông minh, xây dựng thông minh, nhà máy thông minh và hơn thế nữa. AI trên biên có sức mạnh để thay đổi mọi thứ, cho phép các ứng dụng mới làm cho thế giới của chúng ta trở nên thông minh và an toàn hơn. Công nghệ xử lý AI của Hailo là một yếu tố quan trọng cho tất cả các trường hợp sử dụng này. Chúng tôi sẽ tiếp tục hợp tác với các nhà sản xuất và nhà đổi mới trên toàn cầu để làm cho các giải pháp này trở nên dễ tiếp cận hơn.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Hailo.