Vai trò của tinyML trong việc kích hoạt tầm nhìn máy tính tại biên – Lãnh đạo tư duy

By: Davis Sawyer, Đồng sáng lập & Giám đốc sản phẩm, Deeplite

Tầm nhìn máy tính có tiềm năng lớn để cải thiện cuộc sống hàng ngày của chúng ta – và có nhiều ứng dụng và sử dụng cho nó. Một số ví dụ bao gồm:

• Chuông cửa thông minh cho an ninh nhà giúp ngăn chặn “cướp bóc” và đột nhập. Theo nghiên cứu của I.H.S. Markit (được xuất bản trên SecurityInfoWatch) số lượng camera giám sát toàn cầu trên toàn thế giới dự kiến sẽ đạt một tỷ vào năm 2021. Tại Mỹ alone, số lượng camera dự kiến sẽ đạt 85 triệu;
• Trong bãi đỗ xe, camera được trang bị AI tự động theo dõi các điểm đỗ xe có sẵn và bị chiếm để thông báo cho người tiêu dùng biết vị trí của không gian mở;
• Camera trên bảng điều khiển trên xe tải hiện đang đọc biển báo giới hạn tốc độ và giảm tốc độ xe một cách động để cải thiện an toàn;
• Và drone với camera kết nối đang giám sát các khu vực xa xôi và khó tiếp cận, và chúng có thể xử lý hình ảnh và đưa ra quyết định trong thời gian thực.

Tất cả các ứng dụng này sử dụng phân tích video thông minh, được thúc đẩy bởi AI và Học máy (ML), để xem video, sử dụng trí tuệ để đưa ra quyết định và sau đó thực hiện hành động.

Tầm nhìn máy tính cần nhiều tài nguyên hơn tại biên

Tuy nhiên, như nhiều ứng dụng được thúc đẩy bởi AI, tầm nhìn máy tính cần các đợt tăng sức mạnh tính toán, bộ nhớ và năng lượng để thực hiện phân tích phức tạp và đưa ra quyết định. Mặc dù điều này ổn trong một trung tâm dữ liệu với nhiều sức mạnh tính toán, nhưng nó có thể ngăn cản việc di chuyển AI đến biên. Cụ thể, các thiết bị nhỏ nằm xa trung tâm dữ liệu doanh nghiệp và hoạt động trên pin nhỏ cần một loại AI mới nhỏ hơn, nhanh hơn và “nhẹ” hơn so với các phương pháp truyền thống. Và các thiết bị hiện có sẽ cần được nâng cấp với chức năng AI + ML (tầm nhìn máy tính) mới để vẫn còn khả thi và cạnh tranh.

Các tiến bộ mới tăng cường mạng nơ-ron sâu

Ngày nay, các tiến bộ mới trong AI đang làm cho mạng nơ-ron sâu (DNNs) nhanh hơn, nhỏ hơn và tiết kiệm năng lượng hơn – và giúp di chuyển AI từ đám mây và trung tâm dữ liệu đến các thiết bị biên và cảm biến pin. Khi nói đến việc đào tạo mô hình AI, dấu chân carbon khổng lồ đã được ghi lại và thảo luận (ví dụ: đào tạo một mô hình ngôn ngữ AI phát thải nhiều CO2 như 5 xe hơi trong suốt cuộc đời của chúng). Tuy nhiên, chúng ta cần hiểu tác động môi trường của điều khiển mô hình AI là gì và làm thế nào để giảm dấu chân này. Đây là nơi tối ưu hóa mô hình có thể mang lại lợi ích to lớn bằng cách giảm chi phí kinh tế và môi trường của DNNs.

TinyML cho phép AI trên các thiết bị nhỏ

Một trong những tiến bộ như vậy là tinyML, một xu hướng mạnh mẽ mới để cho phép các thiết bị nhỏ, pin nhỏ sử dụng ML tiên tiến để cung cấp tầm nhìn máy tính và các nhiệm vụ nhận thức khác. Nó giúp thực hiện suy luận ML trên các thiết bị nhỏ, bị hạn chế tài nguyên thường nằm trên biên của đám mây, và giúp kích hoạt các ứng dụng biên gần với người dùng hơn.

Ví dụ, một GPU máy chủ như NVIDIA A100 có hơn 40GB bộ nhớ có sẵn, phù hợp để chạy AI phức tạp như tầm nhìn máy tính và xử lý ngôn ngữ tự nhiên. Tuy nhiên, khi chúng ta nói về các thiết bị biên và tinyML, một bộ điều khiển vi mô (MCU) thông thường có thể chỉ có 256KB bộ nhớ trên chip, ít hơn 100.000 lần so với đám mây! Ngoài ra, không giống như trung tâm dữ liệu và đám mây, phần cứng thiết bị biên không thể dễ dàng cập nhật trên trường. Điều này có nghĩa là chúng ta phải “đặt” AI của mình vào phần cứng có sẵn, điều này có thể mất vài tháng đến vài năm thử nghiệm và sai lầm cho các nhà phát triển để đạt được, nếu có. Đây là nơi tinyML, đặc biệt là học máy tự động (còn gọi là AutoML) có thể đóng vai trò quan trọng trong việc phá vỡ rào cản trong việc áp dụng AI vào thế giới thực.

Và ảnh hưởng của tinyML đang ngày càng tăng. Với hơn 10.000 thành viên, Tổ chức tinyML đang phát triển hệ sinh thái để hỗ trợ sự phát triển và triển khai các giải pháp học máy siêu thấp năng lượng tại biên. Tổ chức này đoàn kết một cộng đồng toàn cầu của các chuyên gia phần cứng, phần mềm, học máy, khoa học dữ liệu, kỹ sư hệ thống, nhà thiết kế, sản phẩm và kinh doanh.

Một thế giới cơ hội

Tóm lại, có hàng tỷ thiết bị nhỏ, kết nối được trên khắp mọi nơi có thể được hưởng lợi từ trí tuệ tiên tiến. Thách thức là chúng có rất ít tài nguyên, vậy làm thế nào để chúng ta thêm trí tuệ vào chúng? tinyML có thể đóng vai trò quan trọng trong việc mang AI và ML đến nhiều ứng dụng dựa trên tầm nhìn máy tính, thực tế, tại biên trên các thiết bị nhỏ. Và điều này có thể mở ra một thế giới lợi ích cho mọi người và các công ty trên một loạt các sản phẩm, dịch vụ và ngành công nghiệp, giúp chúng ta đẩy vào các biên giới mới cho AI.