Các kỹ sư phát triển hệ thống nhận dạng cử chỉ tay dựa trên AI

Các kỹ sư tại Đại học California, Berkeley đã phát triển một thiết bị có thể nhận dạng cử chỉ tay dựa trên các tín hiệu điện được phát hiện ở cẳng tay. Hệ thống mới được phát triển này là kết quả của cảm biến sinh học có thể đeo được và trí tuệ nhân tạo (AI), và nó có thể giúp kiểm soát tốt hơn các bộ phận giả và tương tác giữa con người với máy tính.

Ali Moin là thành viên của nhóm thiết kế và là nghiên cứu sinh tiến sĩ tại Khoa Kỹ thuật Điện và Khoa học Máy tính của UC Berkeley. Moin cũng là đồng tác giả đầu tiên của bài báo nghiên cứu được xuất bản trực tuyến vào ngày 21 tháng XNUMX trên tạp chí Tự nhiên Điện tử.

“Chân tay giả là một ứng dụng quan trọng của công nghệ này, nhưng bên cạnh đó, nó còn cung cấp một cách giao tiếp rất trực quan với máy tính.” Moin nói. “Đọc cử chỉ tay là một cách cải thiện sự tương tác giữa con người và máy tính. Và, mặc dù có nhiều cách khác để làm điều đó, chẳng hạn như sử dụng máy ảnh và thị giác máy tính, nhưng đây là một giải pháp tốt mà còn duy trì được quyền riêng tư của một cá nhân.”

Hệ thống nhận dạng cử chỉ tay

Nhóm đã làm việc với Ana Arias, giáo sư kỹ thuật điện tại UC Berkeley, trong quá trình phát triển hệ thống. Họ đã cùng nhau thiết kế và tạo ra một chiếc băng tay linh hoạt có khả năng đọc tín hiệu điện ở 64 điểm khác nhau trên cẳng tay. Những tín hiệu điện này sau đó được đưa vào một con chip điện được lập trình bằng thuật toán AI. Thuật toán này có thể xác định các mẫu tín hiệu ở cẳng tay xuất phát từ các cử chỉ tay cụ thể.

Thuật toán có thể xác định 21 cử chỉ tay riêng lẻ.

Moin cho biết: “Khi bạn muốn cơ tay co lại, não của bạn sẽ gửi tín hiệu điện qua các tế bào thần kinh ở cổ và vai đến các sợi cơ ở cánh tay và bàn tay của bạn. “Về cơ bản, thứ mà các điện cực trong vòng bít cảm nhận được là điện trường này. Nó không chính xác, theo nghĩa là chúng ta không thể xác định chính xác sợi nào đã được kích hoạt, nhưng với mật độ điện cực cao, nó vẫn có thể học cách nhận ra các mẫu nhất định.”

Trước tiên, thuật toán AI học cách xác định các tín hiệu điện trong cánh tay và các cử chỉ tay tương ứng của chúng, yêu cầu người dùng phải đeo thiết bị trong khi thực hiện các cử chỉ đó. Tiến xa hơn một bước, hệ thống dựa trên thuật toán điện toán siêu chiều, là một AI tiên tiến liên tục tự cập nhật. Công nghệ tiên tiến này cho phép hệ thống tự sửa lỗi với thông tin mới, chẳng hạn như chuyển động của cánh tay hoặc mồ hôi.

“Trong nhận dạng cử chỉ, các tín hiệu của bạn sẽ thay đổi theo thời gian và điều đó có thể ảnh hưởng đến hiệu suất của mô hình của bạn,” Moin nói. “Chúng tôi có thể cải thiện đáng kể độ chính xác của việc phân loại bằng cách cập nhật mô hình trên thiết bị.”

Tính toán cục bộ trên chip

Một tính năng ấn tượng khác của thiết bị là tất cả quá trình tính toán đều diễn ra trên chip, nghĩa là không có dữ liệu cá nhân nào được truyền đến các thiết bị khác. Điều này dẫn đến thời gian tính toán nhanh hơn và dữ liệu sinh học được bảo vệ.

Jan Rabaey là Giáo sư Kỹ thuật Điện xuất sắc của Donald O. Pedersen tại UC Berkeley và là tác giả chính của bài báo.

Jan Rabaey cho biết: “Khi Amazon hoặc Apple tạo thuật toán của họ, họ chạy một loạt phần mềm trên đám mây để tạo mô hình và sau đó mô hình được tải xuống thiết bị của bạn. “Vấn đề là sau đó bạn bị mắc kẹt với mô hình cụ thể đó. Theo cách tiếp cận của chúng tôi, chúng tôi đã triển khai một quy trình trong đó việc học được thực hiện trên chính thiết bị. Và nó cực kỳ nhanh chóng: Bạn chỉ phải thực hiện một lần và nó bắt đầu thực hiện công việc. Nhưng nếu bạn làm điều đó nhiều lần, nó có thể trở nên tốt hơn. Vì vậy, nó liên tục học hỏi, đó là cách con người làm điều đó.”

Theo Rabaey, thiết bị này có thể được thương mại hóa chỉ sau một vài thay đổi nhỏ.

Rabaey cho biết: “Hầu hết các công nghệ này đã tồn tại ở nơi khác, nhưng điểm độc đáo của thiết bị này là nó tích hợp cảm biến sinh học, xử lý và giải thích tín hiệu cũng như trí tuệ nhân tạo vào một hệ thống tương đối nhỏ, linh hoạt và có ngân sách điện năng thấp”.