Hệ Thống Mới Có Thể Mang AI Đến Thiết Bị Đeo, Thiết Bị Gia Dụng

Một nhóm nghiên cứu tại MIT đang làm việc trên việc đưa mạng lưới thần kinh sâu đến các bộ điều khiển micro. Sự tiến bộ này có nghĩa là trí tuệ nhân tạo (AI) có thể được thực hiện trên các con chip máy tính nhỏ trong các thiết bị y tế đeo, thiết bị gia dụng và 250 tỷ đối tượng khác tạo nên “internet của vạn vật” (IoT). IoT là một mạng lưới các đối tượng vật lý được nhúng với cảm biến, phần mềm và các công nghệ khác, giúp kết nối và trao đổi dữ liệu với các thiết bị và hệ thống khác.

Nghiên cứu này sẽ được trình bày tại Hội nghị về Hệ thống Thông tin Neural vào tháng 12. Tác giả chính của nghiên cứu là Ji Lin, một sinh viên tiến sĩ trong phòng thí nghiệm của Song Han tại Bộ phận Điện và Khoa học Máy tính của MIT. Các đồng tác giả bao gồm Han và Yujun Lin của MIT, Wei-Ming Chen của MIT và Đại học Quốc gia Đài Loan, và John Cohn và Chuan Gan của Phòng thí nghiệm MIT-IBM Watson.

Hệ Thống MCUNet

Hệ thống này được gọi là MCUNet, và nó thiết kế các mạng lưới thần kinh compact có khả năng tốc độ và độ chính xác cực cao trên các thiết bị IoT, ngay cả với bộ nhớ và sức mạnh xử lý hạn chế. Hệ thống này có thể tiết kiệm năng lượng hơn và tăng cường bảo mật dữ liệu.

Đội ngũ đã phát triển hệ thống “học sâu nhỏ” bằng cách kết hợp hai thành phần – hoạt động của mạng lưới thần kinh và bộ điều khiển micro. Thành phần đầu tiên là TinyEngine, một động cơ giao diện hoạt động như một hệ điều hành bằng cách chỉ đạo quản lý tài nguyên. TinyEngine được tối ưu hóa để chạy một cấu trúc mạng lưới thần kinh cụ thể được chọn bởi TinyNAS, là thành phần khác. TinyNAS là một thuật toán tìm kiếm kiến trúc mạng lưới thần kinh.

Lin đã phát triển TinyNAS vì sự khó khăn của việc áp dụng các kỹ thuật tìm kiếm kiến trúc mạng lưới thần kinh hiện có vào các bộ điều khiển micro nhỏ. Các kỹ thuật hiện có cuối cùng sẽ tìm ra cấu trúc mạng lưới thần kinh chính xác và hiệu quả nhất sau khi bắt đầu với nhiều cấu trúc có thể có dựa trên một mẫu định nghĩa trước.

“Nó có thể hoạt động khá tốt cho GPU hoặc điện thoại thông minh,” Lin nói. “Nhưng nó đã khó để áp dụng trực tiếp các kỹ thuật này vào các bộ điều khiển micro nhỏ, vì chúng quá nhỏ.”

TinyNAS có thể tạo ra các mạng lưới có kích thước tùy chỉnh.

“Chúng tôi có rất nhiều bộ điều khiển micro có khả năng năng lượng và kích thước bộ nhớ khác nhau,” Lin nói. “Vì vậy, chúng tôi đã phát triển thuật toán [TinyNAS] để tối ưu hóa không gian tìm kiếm cho các bộ điều khiển micro khác nhau.”

Bởi vì TinyNAS có thể được tùy chỉnh, nó có thể tạo ra các mạng lưới thần kinh compact tốt nhất có thể cho các bộ điều khiển micro.

“Sau đó, chúng tôi cung cấp mô hình cuối cùng, hiệu quả cho bộ điều khiển micro,” Lin tiếp tục.

Một giao diện động cơ sạch và mỏng là cần thiết cho một bộ điều khiển micro để chạy mạng lưới thần kinh nhỏ. Nhiều giao diện động cơ có các lệnh cho các nhiệm vụ hiếm khi chạy, điều này có thể cản trở một bộ điều khiển micro.

“Nó không có bộ nhớ ngoài, và nó không có đĩa,” Han nói. “Mọi thứ được đưa cùng nhau chỉ là một megabyte bộ nhớ flash, vì vậy chúng tôi phải quản lý tài nguyên nhỏ này một cách cẩn thận.”

TinyEngine tạo ra mã cần thiết để chạy mạng lưới thần kinh tùy chỉnh được phát triển bởi TinyNAS. Thời gian biên dịch được cắt giảm bằng cách loại bỏ mã không cần thiết.

“Chúng tôi chỉ giữ lại những gì chúng tôi cần,” Han nói. “Và vì chúng tôi đã thiết kế mạng lưới thần kinh, chúng tôi biết chính xác những gì chúng tôi cần. Đó là lợi thế của thiết kế hệ thống và thuật toán.”

Các thử nghiệm đã chứng minh rằng mã nhị phân biên dịch của TinyEngine nhỏ hơn 1,9 đến 5 lần so với các động cơ bộ điều khiển micro tương tự, bao gồm cả những động cơ từ Google (GOOGL ) và ARM. Sử dụng bộ nhớ đỉnh cũng được cắt giảm gần một nửa.

Khả Năng Của MCUNet

Các thử nghiệm đầu tiên cho MCUNet tập trung vào phân loại hình ảnh. Cơ sở dữ liệu ImageNet được sử dụng để đào tạo hệ thống với các hình ảnh được gắn nhãn, và khả năng của nó sau đó được thử nghiệm trên các hình ảnh mới.

Khi MCUNet được thử nghiệm trên một bộ điều khiển micro thương mại, nó đã phân loại thành công 70,7% hình ảnh mới. Đây là một bước tiến lớn so với mạng lưới thần kinh và động cơ nhiễu trước đó, với độ chính xác 54%.

“Ngay cả một sự cải thiện 1% cũng được coi là đáng kể,” Lin nói. “Vì vậy, đây là một bước nhảy vĩ đại cho các thiết lập bộ điều khiển micro.”

Theo Kurt Keutzer, một nhà khoa học máy tính tại Đại học California tại Berkeley, điều này “mở rộng ranh giới của thiết kế mạng lưới thần kinh sâu thậm chí còn xa hơn vào lĩnh vực tính toán của các bộ điều khiển micro nhỏ và tiết kiệm năng lượng.” MCUNet có thể “mang lại khả năng tầm nhìn máy tính thông minh đến甚至 các thiết bị gia dụng đơn giản nhất, hoặc cho phép các cảm biến chuyển động thông minh hơn.”

MCUNet cũng tăng cường bảo mật dữ liệu.

“Một lợi thế chính là bảo tồn quyền riêng tư,” Han nói. “Bạn không cần phải truyền dữ liệu đến đám mây.”

Bằng cách phân tích dữ liệu tại địa phương, có ít khả năng thông tin cá nhân bị xâm phạm.

Ngoài ra, MCUNet có thể phân tích và cung cấp thông tin về các thông tin như đọc nhịp tim, huyết áp và mức oxy, mang lại học sâu đến các thiết bị IoT trong xe và các địa điểm khác với truy cập internet hạn chế, và giảm dấu chân carbon bằng cách chỉ sử dụng một phần nhỏ của năng lượng cần thiết cho các mạng lưới thần kinh lớn.