Orr Danon, CEO & Co-Founder của Hailo – Loạt Phỏng Vấn

Orr Danon, là CEO & Co-Founder của Hailo, một công ty có sứ mệnh cho phép các công nghệ thông minh ở biên đạt được tiềm năng tối đa. Giải pháp mà Hailo trình bày bắc cầu khoảng cách giữa các công nghệ AI hiện tại và tương lai và khả năng tính toán cần thiết để cung cấp năng lượng cho các ứng dụng này. Công ty tập trung vào việc xây dựng các bộ xử lý AI hiệu quả và紧凑 đủ để tính toán và giải thích lượng lớn dữ liệu trong thời gian thực.

Bạn có thể chia sẻ câu chuyện về sự hình thành của Hailo?

Tôi đồng sáng lập Hailo vào năm 2017 cùng với các đồng nghiệp mà tôi đã gặp trước đó trong đơn vị công nghệ tinh hoa của Lực lượng Phòng vệ Israel (IDF). Trong khi làm việc với các đồng sáng lập Rami Feig và Avi Baum về các giải pháp IoT (Internet của vạn vật), một cấu trúc ít được biết đến – “Học sâu” – liên tục xuất hiện trong suốt quá trình nghiên cứu của chúng tôi. Cuối cùng, chúng tôi đã tập hợp các chuyên gia trong lĩnh vực này để phát triển một giải pháp học sâu mới nhằm giải quyết những hạn chế của kiến trúc máy tính lỗi thời để cho phép các thiết bị thông minh hoạt động hiệu quả và hiệu quả hơn ở biên. Sau khi Rami qua đời, đội ngũ Hailo đã thực hiện tầm nhìn của anh – tạo ra bộ xử lý AI đột phá của Hailo.

Bạn có thể giải thích ngắn gọn tại sao tính toán biên thường là giải pháp vượt trội so với tính toán đám mây?

Khi chúng tôi bắt đầu Hailo, các công nghệ AI phá vỡ thường bị hạn chế ở đám mây, hoặc các trung tâm dữ liệu lớn, vì chúng tốn kém, yêu cầu nhiều năng lượng tính toán và phần cứng rộng lớn để chạy, và tiêu thụ một lượng năng lượng đáng kể. Chúng tôi tin rằng AI đang giúp tạo ra một thế giới tốt hơn, an toàn hơn, sản xuất hơn và thú vị hơn, nhưng để điều này xảy ra, AI cần có sẵn ở biên cũng như. Đối với việc triển khai các ứng dụng thời gian thực và độ trễ thấp trên các thiết bị như máy ảnh kết nối mạng, phương tiện và thiết bị IoT, việc xử lý tại nguồn là rất quan trọng để hoạt động hiệu quả. Với AI biên, chúng tôi có thể tận dụng đầy đủ một số trường hợp sử dụng chính để cung cấp năng lượng cho tương lai của các thành phố thông minh, giao thông thông minh, lái xe tự động, hệ thống quản lý video (VMS), Công nghiệp 4.0 và nhiều hơn nữa.

Một số thách thức nào đằng sau việc xử lý dữ liệu trực quan trên biên?

Mục tiêu là để có được hiệu suất và tính năng nhiều nhất có thể được đóng gói vào các thiết bị biên để chúng có thể xử lý một lượng lớn dữ liệu trực quan nhanh chóng và với độ trễ thấp; tuy nhiên, một trong những hạn chế chính là tiêu thụ năng lượng – cả về lượng năng lượng có thể được cung cấp cho thiết bị và nhiệt được tạo ra bởi bộ xử lý.

Với máy ảnh thông minh, ví dụ, các nhà sản xuất cần một bộ xử lý AI để phù hợp với một phong bì 2-3W vì máy ảnh không thể sử dụng làm mát quạt và vì nó thường sẽ có nguồn điện hạn chế. Đây là những điểm đau cấp tính vì ở mức công suất thấp như vậy, hiệu suất bị hạn chế nghiêm trọng khi sử dụng hầu hết các bộ xử lý trên thị trường.

Hailo đã tưởng tượng lại kiến trúc bộ xử lý AI như thế nào?

Chúng tôi đã làm điều này bằng cách thiết kế cụ thể một bộ xử lý AI được xây dựng để hoạt động trên các thiết bị biên, tính đến các hạn chế về kích thước và công suất. Bằng cách làm như vậy, chúng tôi cho phép khả năng tính toán chưa từng có trên các thiết bị biên, cho phép chúng chạy AI hiệu quả và hiệu quả hơn và thực hiện các ứng dụng học sâu tinh vi như phát hiện đối tượng, nhận dạng đối tượng, phân đoạn và các ứng dụng khác, với mức hiệu suất trước đây chỉ có thể có trong đám mây. Kiến trúc độc đáo này cho phép xử lý đa luồng và đa ứng dụng, cải thiện hiệu suất và hiệu quả chi phí của các thiết bị biên.

Một ví dụ về việc sử dụng kiến trúc này là Hệ thống Quản lý Video (VMS). Những hệ thống này được sử dụng trong các khu vực có nhiều máy ảnh, chẳng hạn như tòa nhà văn phòng, sân vận động, ứng dụng thành phố thông minh và đường cao tốc để quản lý an toàn và bảo mật tốt hơn, bao gồm giám sát các tình huống khẩn cấp và tai nạn, hoạt động đáng ngờ, quản lý giao thông, kiểm soát truy cập, thu phí và nhiều hơn nữa. Trong nhiều năm, các doanh nghiệp đã phụ thuộc hoàn toàn vào các quy trình thủ công khi nói đến việc thu thập, phân tích và lưu trữ dữ liệu video. Giờ đây, với kiến trúc mạng nơ-ron độc đáo của Hailo, VMS có thể thực hiện nhiều nhiệm vụ song song, trong thời gian thực, cho phép xử lý nhiều kênh và ứng dụng hơn đồng thời. Các ứng dụng bao gồm phát hiện và nhận dạng biển số xe tiên tiến, giám sát giao thông, phát hiện hành vi và nhiều hơn nữa.

Bạn có thể thảo luận về lõi xử lý mạng nơ-ron và cách tiếp cận của bạn trong việc tính toán mạng nơ-ron song song thay vì tuần tự?

Bộ xử lý AI của chúng tôi kết hợp nhiều đổi mới giải quyết các thuộc tính cơ bản của mạng nơ-ron. Chúng tôi đã áp dụng một sơ đồ điều khiển sáng tạo dựa trên sự kết hợp của phần cứng và phần mềm để đạt được mức joule trên mỗi hoạt động rất thấp với mức độ linh hoạt cao.

Kiến trúc định hướng dữ liệu độc đáo của chúng tôi thích nghi với cấu trúc của mạng nơ-ron và cho phép sử dụng tài nguyên cao. Bộ biên dịch dữ liệu của Hailo bao gồm phần mềm toàn bộ ngăn xếp, được đồng thiết kế với phần cứng của chúng tôi, để cho phép triển khai mạng nơ-ron hiệu quả. Bộ biên dịch dữ liệu nhận mô hình của người dùng làm đầu vào. Trong quá trình xây dựng, bộ biên dịch dữ liệu chia nhỏ từng lớp mạng thành các yếu tố tính toán cần thiết, tạo ra một đồ thị tài nguyên là một biểu diễn của mạng mục tiêu. Bộ biên dịch dữ liệu sau đó khớp đồ thị tài nguyên của mạng mục tiêu với tài nguyên vật lý có sẵn trên bộ xử lý, tạo ra một đường ống dữ liệu tùy chỉnh cho mạng mục tiêu. Khi thực hiện theo cách này, việc chạy mô hình trên một thiết bị là rất hiệu quả, sử dụng tài nguyên tính toán tối thiểu mọi lúc.

Một số nền tảng Hailo hiện tại nào có sẵn cho các doanh nghiệp?

Bộ xử lý Hailo-8 ™ và mô-đun AI có thể được cắm vào nhiều thiết bị biên, giúp cung cấp năng lượng cho nhiều lĩnh vực với khả năng AI vượt trội – bao gồm ô tô, thành phố thông minh, bán lẻ thông minh và công nghiệp 4.0.

Hailo đã hợp tác với các nhà lãnh đạo VMS và ISV như Innovatrics, Network Optix, GeoVision và Art of Logic, để cho phép phân tích video hàng đầu tại quy mô.

Những giải pháp này có thể tiết kiệm bao nhiêu thời gian cho khách hàng đang tích hợp các giải pháp AI?

Tìm kiếm các giải pháp tích hợp chạy trên các nền tảng VMS đã thiết lập là tiết kiệm thời gian, nhưng đây không phải là lợi ích chính của hệ thống. Các giải pháp VMS dựa trên Hailo cho phép nhiều luồng chạy song song và nhiều ứng dụng hơn được xử lý cho mỗi luồng.

Khả năng tận dụng AI để xử lý nhiều luồng video cũng có nghĩa là chỉ các sự kiện cụ thể cần được truyền đến đám mây để lưu trữ, cho phép tiết kiệm đáng kể về băng thông và dung lượng lưu trữ.

Một số bài học nào bạn đã học được từ việc triển khai các ứng dụng học sâu trên thiết bị biên?

Chúng tôi đã chứng kiến trực tiếp cách AI ở biên sẽ đóng vai trò quan trọng trong việc thúc đẩy đổi mới trên nhiều lĩnh vực khác nhau trong những năm tới. Khi các doanh nghiệp tìm kiếm các giải pháp đảm bảo thiết bị của họ trở nên mạnh mẽ, linh hoạt, phản hồi và bảo mật hơn, đám mây sẽ tiếp tục nhường chỗ cho các thiết bị biên và các mô hình hỗn hợp. Những người thành công trong việc triển khai AI ở biên sẽ có lợi thế trên toàn bảng.

Visions của bạn cho tương lai của tính toán biên là gì?

Tính toán biên — đặc biệt là AI ở biên — có khả năng biến đổi hoàn toàn cách thế giới xung quanh chúng ta hoạt động, cho phép các thiết bị như máy ảnh thông minh, xe tự động, rô-bốt tự động, công cụ quản lý giao thông tiên tiến, xây dựng thông minh, nhà máy thông minh và nhiều hơn nữa. AI ở biên có sức mạnh để thay đổi mọi thứ, cho phép các ứng dụng mới làm cho thế giới của chúng ta thông minh và an toàn hơn. Công nghệ xử lý AI của Hailo là một yếu tố quan trọng cho tất cả các trường hợp sử dụng này. Chúng tôi sẽ tiếp tục hợp tác với các nhà sản xuất và nhà đổi mới trên toàn cầu để làm cho các giải pháp này trở nên dễ tiếp cận hơn.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Hailo.