Trí tuệ nhân tạo
TinyML: Ứng Dụng, Giới Hạn và Sử Dụng Trong Thiết Bị IoT & Edge
Trong những năm gần đây, Trí Tuệ Nhân Tạo (AI) và Học Máy (ML) đã chứng kiến sự tăng trưởng mạnh mẽ về phổ biến và ứng dụng, không chỉ trong ngành công nghiệp mà còn trong học thuật. Tuy nhiên, các mô hình ML và AI hiện tại có một hạn chế lớn: chúng yêu cầu một lượng tính toán và xử lý lớn để đạt được kết quả và độ chính xác mong muốn. Điều này thường giới hạn việc sử dụng chúng trong các thiết bị có khả năng tính toán cao và có sức mạnh xử lý đáng kể.
Tuy nhiên, với những tiến bộ trong công nghệ hệ thống nhúng và sự phát triển đáng kể trong ngành Công Nghệ Internet Vạn Vật (IoT), việc kết hợp sử dụng các kỹ thuật và khái niệm ML vào hệ thống nhúng có nguồn lực hạn chế để đạt được trí tuệ phổ biến là điều mong muốn. Mong muốn sử dụng các khái niệm ML trong hệ thống nhúng và IoT là yếu tố động lực chính đằng sau sự phát triển của TinyML, một kỹ thuật ML nhúng cho phép mô hình và ứng dụng ML trên nhiều thiết bị hạn chế về nguồn lực, hạn chế về quyền lực và giá rẻ.
Tuy nhiên, việc triển khai ML trên thiết bị hạn chế về nguồn lực không đơn giản vì việc triển khai mô hình ML trên thiết bị có khả năng tính toán thấp đặt ra những thách thức riêng về tối ưu hóa, khả năng xử lý, độ tin cậy, bảo trì mô hình và nhiều hơn nữa.
Trong bài viết này, chúng ta sẽ đi sâu vào mô hình TinyML và tìm hiểu thêm về nền tảng, công cụ hỗ trợ TinyML và ứng dụng của TinyML sử dụng công nghệ tiên tiến. Vậy hãy bắt đầu.
Giới Thiệu TinyML: Tại Sao Thế Giới Cần TinyML
Thiết bị Internet Vạn Vật (IoT) nhằm tận dụng tính toán biên, một mô hình tính toán đề cập đến một loạt thiết bị và mạng gần người dùng để cho phép xử lý dữ liệu từ hàng triệu cảm biến và thiết bị kết nối với nhau. Một trong những lợi thế chính của thiết bị IoT là chúng yêu cầu thấp về tính toán và xử lý vì chúng có thể được triển khai tại biên mạng và do đó có dấu chân bộ nhớ thấp.
Hơn nữa, thiết bị IoT phụ thuộc mạnh vào nền tảng biên để thu thập và truyền dữ liệu vì các thiết bị biên thu thập dữ liệu cảm biến và sau đó truyền chúng đến một vị trí gần đó hoặc nền tảng đám mây để xử lý. Công nghệ tính toán biên lưu trữ và thực hiện tính toán trên dữ liệu và cũng cung cấp cơ sở hạ tầng cần thiết để hỗ trợ tính toán phân tán.
Việc triển khai tính toán biên trong thiết bị IoT cung cấp
- Bảo mật, quyền riêng tư và độ tin cậy hiệu quả cho người dùng cuối.
- Giảm độ trễ.
- Khả năng sẵn sàng và phản hồi cao hơn cho ứng dụng và dịch vụ.
Hơn nữa, vì thiết bị biên có thể triển khai một kỹ thuật hợp tác giữa cảm biến và đám mây, việc xử lý dữ liệu có thể được thực hiện tại biên mạng thay vì được thực hiện tại nền tảng đám mây. Điều này có thể dẫn đến quản lý dữ liệu hiệu quả, dữ liệu tồn tại, giao hàng và lưu trữ nội dung hiệu quả. Ngoài ra, để triển khai IoT trong các ứng dụng liên quan đến tương tác giữa con người và máy (H2M) và chăm sóc sức khỏe hiện đại, tính toán biên cung cấp một cách để cải thiện dịch vụ mạng đáng kể.
Nghiên cứu gần đây trong lĩnh vực tính toán biên IoT đã chứng minh tiềm năng triển khai các kỹ thuật ML trong nhiều trường hợp sử dụng IoT. Tuy nhiên, vấn đề chính là các mô hình ML truyền thống thường yêu cầu khả năng tính toán và xử lý mạnh và khả năng lưu trữ bộ nhớ cao, điều này hạn chế việc triển khai mô hình ML trong thiết bị và ứng dụng IoT.
Hơn nữa, công nghệ tính toán biên hiện nay thiếu khả năng truyền tải cao và tiết kiệm năng lượng hiệu quả, dẫn đến hệ thống dị hình, là lý do chính khiến việc xây dựng cơ sở hạ tầng hài hòa và toàn diện chủ yếu cho việc cập nhật, đào tạo và triển khai mô hình ML là cần thiết. Kiến trúc được thiết kế cho thiết bị nhúng đặt ra một thách thức khác vì các kiến trúc này phụ thuộc vào yêu cầu phần cứng và phần mềm khác nhau từ thiết bị này sang thiết bị khác. Đó là lý do chính tại sao việc xây dựng một kiến trúc ML tiêu chuẩn cho mạng IoT là khó khăn.
Ngoài ra, trong kịch bản hiện tại, dữ liệu được tạo bởi các thiết bị khác nhau được gửi đến nền tảng đám mây để xử lý do tính chất tính toán mạnh của triển khai mạng. Hơn nữa, mô hình ML thường phụ thuộc vào Học Sâu, Mạng Nơ-ron Sâu, IC Tích Hợp Cụ Thể cho Ứng Dụng (ASIC) và Đơn Vị Xử Lý Đồ Họa (GPU) để xử lý dữ liệu và chúng thường có yêu cầu năng lượng và bộ nhớ cao. Triển khai mô hình ML đầy đủ trên thiết bị IoT không phải là một giải pháp khả thi do thiếu khả năng tính toán và xử lý, cũng như giải pháp lưu trữ hạn chế.
Nhu cầu thu nhỏ thiết bị nhúng tiết kiệm năng lượng kết hợp với tối ưu hóa mô hình ML để làm cho chúng trở nên tiết kiệm năng lượng và bộ nhớ hơn đã mở ra con đường cho TinyML, nhằm triển khai mô hình và thực hành ML trên thiết bị IoT biên và khuôn khổ. TinyML cho phép xử lý tín hiệu trên thiết bị IoT và cung cấp trí tuệ nhúng, do đó loại bỏ nhu cầu truyền dữ liệu đến nền tảng đám mây để xử lý. Việc triển khai thành công TinyML trên thiết bị IoT cuối cùng có thể dẫn đến tăng quyền riêng tư và hiệu quả trong khi giảm chi phí hoạt động. Ngoài ra, điều làm cho TinyML trở nên hấp dẫn hơn là nó có thể cung cấp phân tích tại chỗ trong trường hợp kết nối không đủ.
TinyML: Giới Thiệu và Tổng Quan
TinyML là một công cụ học máy có khả năng thực hiện phân tích trên thiết bị cho các phương thức cảm biến khác nhau như âm thanh, tầm nhìn và giọng nói. Mô hình ML được xây dựng trên công cụ TinyML có yêu cầu thấp về năng lượng, bộ nhớ và tính toán, điều này làm cho chúng phù hợp với mạng và thiết bị nhúng hoạt động trên pin.
Trong kịch bản hiện tại, hệ thống ML dựa trên đám mây gặp phải một số khó khăn, bao gồm lo ngại về bảo mật và quyền riêng tư, tiêu thụ năng lượng cao, độ tin cậy và vấn đề độ trễ, đó là lý do tại sao mô hình trên nền tảng phần cứng-phần mềm được cài đặt sẵn. Cảm biến thu thập dữ liệu mô phỏng thế giới vật lý và sau đó được xử lý sử dụng CPU hoặc MPU (Đơn Vị Xử Lý Vi). MPU đáp ứng nhu cầu của hỗ trợ phân tích ML được kích hoạt bởi kiến trúc và mạng biên. Kiến trúc ML biên giao tiếp với đám mây ML để chuyển dữ liệu và việc triển khai TinyML có thể dẫn đến tiến bộ công nghệ đáng kể.
Có thể nói rằng TinyML là sự kết hợp của phần mềm, phần cứng và thuật toán hoạt động đồng bộ với nhau để cung cấp hiệu suất mong muốn. Tính toán tương tự hoặc bộ nhớ có thể được yêu cầu để cung cấp trải nghiệm học tập tốt hơn và hiệu quả cho phần cứng và thiết bị IoT không hỗ trợ gia tốc phần cứng. Về phần mềm, các ứng dụng được xây dựng sử dụng TinyML có thể được triển khai và thực hiện trên các nền tảng như Linux hoặc Linux nhúng, cũng như trên phần mềm được kích hoạt bởi đám mây. Cuối cùng, ứng dụng và hệ thống được xây dựng trên thuật toán TinyML phải có hỗ trợ từ các thuật toán mới cần mô hình có kích thước bộ nhớ thấp để tránh tiêu thụ bộ nhớ cao.
Để tóm tắt, ứng dụng được xây dựng sử dụng công cụ TinyML phải tối ưu hóa các nguyên tắc và phương pháp ML cùng với thiết kế phần mềm một cách紧凑, trong sự hiện diện của dữ liệu chất lượng cao. Dữ liệu này sau đó phải được flash qua các tệp binary được tạo ra bằng cách sử dụng mô hình được đào tạo trên máy có khả năng và sức mạnh tính toán lớn hơn.
Ngoài ra, hệ thống và ứng dụng chạy trên công cụ TinyML phải cung cấp độ chính xác cao khi thực hiện trong các điều kiện hạn chế hơn vì phần mềm紧凑 là cần thiết cho tiêu thụ năng lượng thấp hỗ trợ các hàm ý TinyML. Hơn nữa, ứng dụng hoặc mô-đun TinyML có thể phụ thuộc vào năng lượng pin để hỗ trợ hoạt động của chúng trên hệ thống nhúng biên.
Với điều đó được nói, ứng dụng TinyML có hai yêu cầu cơ bản
- Khả năng mở rộng hàng tỷ hệ thống nhúng giá rẻ.
- Lưu trữ mã trên bộ nhớ RAM của thiết bị với dung lượng dưới vài KB.
Ứng Dụng Của TinyML Sử Dụng Công Nghệ Tiên Tiến
Một trong những lý do chính tại sao TinyML là một chủ đề nóng trong ngành AI và ML là do tiềm năng ứng dụng của nó, bao gồm ứng dụng dựa trên tầm nhìn và giọng nói, chẩn đoán sức khỏe, nén và phân loại mẫu dữ liệu, giao diện não-máy, tính toán biên, phenomics, xe tự lái và nhiều hơn.
Ứng Dụng Dựa Trên Giọng Nói
Truyền Thông Giọng Nói
Typically, ứng dụng dựa trên giọng nói phụ thuộc vào các phương pháp truyền thông thông thường trong đó tất cả dữ liệu đều quan trọng và được truyền. Tuy nhiên, trong những năm gần đây, truyền thông ngữ nghĩa đã xuất hiện như một phương pháp thay thế cho truyền thông thông thường vì trong truyền thông ngữ nghĩa, chỉ ý nghĩa hoặc ngữ cảnh của dữ liệu được truyền. Truyền thông ngữ nghĩa có thể được triển khai trên ứng dụng dựa trên giọng nói sử dụng phương pháp TinyML.
Một số ứng dụng phổ biến nhất trong ngành truyền thông giọng nói hiện nay là phát hiện giọng nói, nhận dạng giọng nói, học trực tuyến, dạy trực tuyến và truyền thông định hướng mục tiêu. Những ứng dụng này thường có tiêu thụ năng lượng cao và cũng có yêu cầu dữ liệu cao trên thiết bị chủ. Để vượt qua những yêu cầu này, một thư viện TinySpeech mới đã được giới thiệu cho phép nhà phát triển xây dựng một kiến trúc tính toán thấp sử dụng mạng nơ-ron sâu để xây dựng một cơ sở lưu trữ thấp.
Để sử dụng TinyML cho tăng cường giọng nói, nhà phát triển đầu tiên giải quyết việc định kích thước mô hình tăng cường giọng nói vì nó phụ thuộc vào các hạn chế và ràng buộc phần cứng. Để giải quyết vấn đề, việc tỉa và định lượng整 số cho mô hình tăng cường giọng nói RNN hoặc Mạng Nơ-ron Recurrent được triển khai. Kết quả cho thấy kích thước mô hình giảm gần 12 lần trong khi các hoạt động giảm gần 3 lần. Ngoài ra, điều quan trọng là phải sử dụng tài nguyên một cách hiệu quả, đặc biệt khi triển khai trên ứng dụng hạn chế về nguồn lực thực hiện ứng dụng nhận dạng giọng nói.
Kết quả là, để phân vùng quá trình, một phương pháp đồng thiết kế được đề xuất cho ứng dụng nhận dạng giọng nói và tiếng nói dựa trên TinyML. Nhà phát triển sử dụng hoạt động cửa sổ để phân vùng phần mềm và phần cứng theo cách tiền xử lý dữ liệu giọng nói thô. Phương pháp này có vẻ hiệu quả vì kết quả chỉ ra sự giảm tiêu thụ năng lượng trên phần cứng. Cuối cùng, cũng có tiềm năng triển khai phân vùng tối ưu giữa phần mềm và phần cứng đồng thiết kế để có hiệu suất tốt hơn trong tương lai gần.
Hơn nữa, nghiên cứu gần đây đã đề xuất sử dụng một bộ chuyển đổi điện thoại cho hệ thống nhận dạng giọng nói và đề xuất này nhằm thay thế các bộ dự đoán LSTM bằng lớp Conv1D để giảm nhu cầu tính toán trên thiết bị biên. Khi được triển khai, đề xuất này đã trả về kết quả tích cực vì phân tích giá trị đơn SVD đã nén mô hình thành công trong khi việc giải mã dựa trên WFST hoặc Trạng Thái Transducers có trọng số đã dẫn đến sự linh hoạt hơn trong việc cải thiện mô hình.
Nhiều ứng dụng nhận dạng giọng nói nổi bật như trợ lý ảo hoặc giọng nói, chú thích trực tiếp, và lệnh giọng nói sử dụng kỹ thuật ML để hoạt động. Các trợ lý giọng nói phổ biến hiện tại như Siri và Trợ lý Google ping nền tảng đám mây mỗi khi chúng nhận được một số dữ liệu và điều này tạo ra những lo ngại đáng kể liên quan đến quyền riêng tư và bảo mật dữ liệu. TinyML là một giải pháp khả thi cho vấn đề này vì nó nhằm thực hiện nhận dạng giọng nói trên thiết bị và loại bỏ nhu cầu di chuyển dữ liệu đến nền tảng đám mây. Một trong những cách để đạt được nhận dạng giọng nói trên thiết bị là sử dụng Tiny Transducer, một mô hình nhận dạng giọng nói sử dụng lớp DFSMN hoặc Deep Feed-Forward Sequential Memory Block kết hợp với một lớp Conv1D thay vì các lớp LSTM để giảm nhu cầu tính toán và số lượng tham số mạng.
Thiết Bị Hỗ Trợ Nghe
Mất thính giác là một vấn đề sức khỏe lớn trên toàn cầu và khả năng nghe của con người thường yếu đi khi họ già đi và đó là một vấn đề lớn ở các quốc gia đang đối mặt với dân số già như Trung Quốc, Nhật Bản và Hàn Quốc. Thiết bị hỗ trợ nghe hiện tại hoạt động dựa trên nguyên tắc đơn giản là khuếch đại tất cả âm thanh đầu vào từ môi trường xung quanh, điều này làm cho người dùng khó phân biệt hoặc phân biệt giữa âm thanh mong muốn, đặc biệt là trong môi trường ồn ào.
TinyML có thể là giải pháp khả thi cho vấn đề này vì sử dụng mô hình TinyLSTM với thuật toán nhận dạng giọng nói cho thiết bị hỗ trợ nghe có thể giúp người dùng phân biệt giữa các âm thanh khác nhau.
Ứng Dụng Dựa Trên Tầm Nhìn
TinyML có tiềm năng đóng vai trò quan trọng trong việc xử lý dữ liệu tầm nhìn dựa trên tầm nhìn máy tính vì để có được đầu ra nhanh hơn, những dữ liệu này cần được xử lý trên nền tảng biên. Để đạt được điều này, mô hình TinyML gặp phải những thách thức thực tế khi đào tạo mô hình bằng cách sử dụng bảng điều khiển microcontroller OpenMV H7. Nhà phát triển cũng đề xuất một kiến trúc để phát hiện Ngôn Ngữ Ký Hiệu Mỹ bằng cách sử dụng một bộ xử lý ARM Cortex M7 hoạt động chỉ với 496KB của bộ nhớ frame-buffer RAM.
Việc triển khai TinyML cho ứng dụng dựa trên tầm nhìn trên nền tảng biên yêu cầu nhà phát triển vượt qua thách thức chính của mạng nơ-ron tích chập (CNN) với sai số tổng quát hóa cao và độ chính xác đào tạo và kiểm tra cao. Tuy nhiên, việc triển khai không tổng quát hóa hiệu quả đối với hình ảnh trong các trường hợp sử dụng mới cũng như các nền và tiếng ồn. Khi nhà phát triển sử dụng phương pháp tăng cường nội suy, mô hình trả về điểm chính xác hơn 98% trên dữ liệu kiểm tra và khoảng 75% trong tổng quát hóa.
Hơn nữa, người ta đã quan sát thấy rằng khi nhà phát triển sử dụng phương pháp tăng cường nội suy, có sự giảm độ chính xác của mô hình trong quá trình định lượng, nhưng đồng thời cũng có sự tăng tốc độ suy luận và tổng quát hóa phân loại. Nhà phát triển cũng đề xuất một phương pháp để tăng cường độ chính xác của mô hình tổng quát hóa bằng cách đào tạo trên dữ liệu thu được từ nhiều nguồn khác nhau và kiểm tra hiệu suất để khám phá khả năng triển khai trên nền tảng biên như đồng hồ thông minh di động.
Hơn nữa, các nghiên cứu bổ sung về CNN cho thấy có thể triển khai và đạt được kết quả mong muốn với kiến trúc CNN trên thiết bị có nguồn lực hạn chế. Gần đây, nhà phát triển đã có thể phát triển một khuôn khổ để phát hiện mặt nạ y tế trên bộ xử lý ARM Cortex M7 với nguồn lực hạn chế bằng cách sử dụng TensorFlow Lite với dấu chân bộ nhớ tối thiểu. Kích thước mô hình sau khi định lượng là khoảng 138 KB trong khi tốc độ suy luận trên bảng mục tiêu là khoảng 30 FPS.
Một ứng dụng khác của TinyML cho ứng dụng dựa trên tầm nhìn là triển khai một thiết bị nhận dạng cử chỉ có thể được gắn vào một cây gậy để giúp người khiếm thị điều hướng dễ dàng trong cuộc sống hàng ngày. Để thiết kế nó, nhà phát triển sử dụng tập dữ liệu cử chỉ và sử dụng tập dữ liệu để đào tạo mô hình ProtoNN với một thuật toán phân loại. Kết quả thu được từ thiết lập là chính xác, thiết kế là thấp chi phí và nó cung cấp kết quả hài lòng.
Một ứng dụng quan trọng khác của TinyML là trong ngành xe tự lái và xe tự hành vì thiếu nguồn lực và sức mạnh tính toán trên bo mạch. Để giải quyết vấn đề này, nhà phát triển đã giới thiệu một phương pháp học vòng kín dựa trên mô hình TinyCNN, đề xuất một mô hình dự đoán trực tuyến thu thập hình ảnh tại thời gian chạy. Vấn đề chính mà nhà phát triển gặp phải khi triển khai TinyML cho lái xe tự động là mô hình quyết định được đào tạo để hoạt động trên dữ liệu ngoại tuyến có thể không hoạt động tốt như khi đối mặt với dữ liệu trực tuyến. Để tối đa hóa ứng dụng của xe tự lái, mô hình nên lý tưởng có thể thích nghi với dữ liệu thời gian thực.
Phân Loại và Nén Mẫu Dữ Liệu
Một trong những thách thức lớn nhất của khuôn khổ TinyML hiện tại là khả năng thích nghi với dữ liệu đào tạo trực tuyến. Để giải quyết vấn đề này, nhà phát triển đã đề xuất một phương pháp gọi là TinyOL hoặc TinyML Online Learning, cho phép đào tạo với học trực tuyến tăng dần trên đơn vị điều khiển micro, cho phép mô hình cập nhật trên thiết bị biên IoT. Việc triển khai được thực hiện bằng cách sử dụng ngôn ngữ lập trình C++ và một lớp bổ sung được thêm vào kiến trúc TinyOL.
Hơn nữa, nhà phát triển cũng thực hiện việc tự mã hóa trên bảng Arduino Nano 33 BLE và mô hình được đào tạo có thể phân loại mẫu dữ liệu mới. Hơn nữa, công việc phát triển bao gồm thiết kế các thuật toán hiệu quả và tối ưu hơn cho mạng nơ-ron để hỗ trợ đào tạo mẫu trên thiết bị.
Nghiên cứu về TinyOL và TinyML đã chỉ ra rằng số lượng lớp kích hoạt đã trở thành một vấn đề lớn cho thiết bị biên IoT có nguồn lực hạn chế. Để giải quyết vấn đề này, nhà phát triển đã giới thiệu mô hình TinyTL hoặc Tiny Transfer Learning mới để làm cho việc sử dụng bộ nhớ trên thiết bị biên IoT hiệu quả hơn và tránh sử dụng các lớp trung gian cho mục đích kích hoạt. Ngoài ra, nhà phát triển cũng giới thiệu một mô-đun偏 mới gọi là “lite-residual module” để tối đa hóa khả năng thích nghi và cho phép các bộ trích xuất tính năng khám phá các bản đồ tính năng dư.
Khi so sánh với việc tinh chỉnh mạng toàn diện, kết quả ủng hộ kiến trúc TinyTL vì kết quả cho thấy TinyTL giảm độ phức tạp bộ nhớ khoảng 6,5 lần với sự mất mát độ chính xác vừa phải. Khi lớp cuối cùng được tinh chỉnh, TinyML đã cải thiện độ chính xác lên 34% với sự mất mát độ chính xác vừa phải.
Hơn nữa, nghiên cứu về nén dữ liệu đã chỉ ra rằng các thuật toán nén dữ liệu phải quản lý dữ liệu thu thập được trên một thiết bị di động và để đạt được điều đó, nhà phát triển đã đề xuất TAC hoặc Tiny Anomaly Compressor. TAC đã vượt trội so với các thuật toán SDT hoặc Swing Door Trending và DCT hoặc Biến đổi Cosine Discrete. Ngoài ra, thuật toán TAC đã vượt trội so với cả hai thuật toán SDT và DCT bằng cách đạt được tỷ lệ nén tối đa hơn 98% và có tỷ lệ tín hiệu trên nhiễu cao nhất trong số ba thuật toán.
Chẩn Đoán Sức Khỏe
Đại dịch Covid-19 toàn cầu đã mở ra những cơ hội mới cho việc triển khai TinyML vì hiện nay, việc phát hiện liên tục các triệu chứng hô hấp liên quan đến ho và cảm lạnh là điều cần thiết. Để đảm bảo giám sát không gián đoạn, nhà phát triển đã đề xuất một mô hình CNN Tiny RespNet hoạt động trong một môi trường đa mô hình và mô hình được triển khai trên FPGA Xilinx Artix-7 100t, cho phép thiết bị xử lý thông tin song song, có hiệu suất cao và tiêu thụ năng lượng thấp. Ngoài ra, mô hình TinyResp cũng lấy giọng nói của bệnh nhân, bản ghi âm và thông tin về dân số làm đầu vào để phân loại và các triệu chứng ho liên quan của bệnh nhân được phân loại bằng cách sử dụng ba tập dữ liệu khác nhau.
Hơn nữa, nhà phát triển cũng đề xuất một mô hình có thể chạy các tính toán học sâu trên thiết bị biên, một mô hình TinyML được gọi là TinyDL. Mô hình TinyDL có thể được triển khai trên thiết bị biên như đồng hồ thông minh và thiết bị đeo để chẩn đoán sức khỏe và cũng có khả năng thực hiện phân tích hiệu suất để giảm băng thông, độ trễ và tiêu thụ năng lượng. Để đạt được việc triển khai TinyDL trên thiết bị di động, một mô hình LSTM được thiết kế và đào tạo đặc biệt cho một thiết bị đeo và nó được cung cấp dữ liệu thu thập được làm đầu vào. Mô hình có điểm chính xác khoảng 75 đến 80% và nó có thể hoạt động với dữ liệu ngoài thiết bị. Những mô hình này chạy trên thiết bị biên đã thể hiện tiềm năng giải quyết các thách thức hiện tại mà thiết bị IoT đang đối mặt.
Cuối cùng, nhà phát triển cũng đề xuất một ứng dụng để theo dõi sức khỏe của người cao tuổi bằng cách ước tính và phân tích tư thế cơ thể của họ. Mô hình sử dụng khuôn khổ agnostic trên thiết bị cho phép mô hình kích hoạt xác thực và thúc đẩy nhanh chóng để thực hiện các điều chỉnh. Mô hình triển khai các thuật toán phát hiện tư thế cơ thể kết hợp với điểm mốc khuôn mặt để phát hiện tư thế cơ thể không gian-thời gian trong thời gian thực.
Tính Toán Biên
Một trong những ứng dụng chính của TinyML là trong lĩnh vực tính toán biên vì khi sử dụng thiết bị IoT để kết nối thiết bị trên toàn thế giới, điều quan trọng là phải thiết lập thiết bị biên vì nó sẽ giúp giảm tải trên kiến trúc đám mây. Những thiết bị biên này sẽ có các trung tâm dữ liệu riêng, cho phép chúng thực hiện tính toán cấp cao trên chính thiết bị, thay vì dựa vào kiến trúc đám mây. Kết quả là, nó sẽ giúp giảm sự phụ thuộc vào đám mây, giảm độ trễ, tăng cường bảo mật và quyền riêng tư của người dùng và cũng giảm băng thông.
Thiết bị biên sử dụng các thuật toán TinyML sẽ giúp giải quyết các hạn chế hiện tại liên quan đến năng lượng, tính toán và yêu cầu bộ nhớ và điều này được thảo luận trong hình ảnh dưới đây.
Hơn nữa, TinyML cũng có thể tăng cường việc sử dụng và ứng dụng của Máy Bay Không Người Lái (UAV) bằng cách giải quyết các hạn chế hiện tại mà những máy này đang gặp phải. Việc sử dụng TinyML có thể cho phép nhà phát triển triển khai một thiết bị tiết kiệm năng lượng với độ trễ thấp và sức mạnh tính toán cao, có thể hoạt động như một bộ điều khiển cho những UAV này.
Giao Diện Não-Máy
TinyML có ứng dụng quan trọng trong ngành chăm sóc sức khỏe và nó có thể chứng minh được lợi ích trong các lĩnh vực khác nhau, bao gồm phát hiện và chẩn đoán ung thư, dự đoán sức khỏe bằng cách sử dụng tín hiệu ECG và EEG và trí tuệ cảm xúc. Việc sử dụng TinyML có thể cho phép Kích thích Não Deep Adaptive (aDBS) thích nghi thành công với các điều chỉnh lâm sàng. Việc sử dụng TinyML cũng có thể cho phép aDBS nhận dạng các dấu hiệu sinh học và triệu chứng của bệnh bằng cách sử dụng các bản ghi não không xâm lấn.
Hơn nữa, ngành chăm sóc sức khỏe thường bao gồm việc thu thập một lượng lớn dữ liệu của bệnh nhân và dữ liệu này sau đó cần được xử lý để đạt được các giải pháp cụ thể cho việc điều trị bệnh nhân trong giai đoạn đầu của bệnh. Do đó, điều quan trọng là phải xây dựng một hệ thống không chỉ hiệu quả cao mà còn bảo mật cao. Khi chúng ta kết hợp ứng dụng IoT với mô hình TinyML, một lĩnh vực mới được sinh ra, được gọi là Internet Vạn Vật Y Tế (H-IoT) và các ứng dụng chính của H-IoT là chẩn đoán, giám sát, hậu cần, kiểm soát lây lan và hệ thống hỗ trợ. Nếu chúng ta muốn phát triển các thiết bị có khả năng phát hiện và phân tích sức khỏe của bệnh nhân từ xa, điều quan trọng là phải phát triển một hệ thống có khả năng truy cập toàn cầu và độ trễ thấp.
Xe Tự Lái
Cuối cùng, TinyML có thể có ứng dụng rộng rãi trong ngành xe tự lái vì những xe này có thể được sử dụng theo nhiều cách khác nhau, bao gồm theo dõi con người, mục đích quân sự và có ứng dụng công nghiệp. Những xe này có một yêu cầu chính là phải có khả năng nhận dạng đối tượng một cách hiệu quả khi đối tượng đang được tìm kiếm.
Hiện tại, xe tự lái và lái xe tự động là một nhiệm vụ phức tạp, đặc biệt là khi phát triển xe nhỏ hoặc xe mini. Các phát triển gần đây đã chỉ ra tiềm năng cải thiện ứng dụng của lái xe tự động cho xe mini bằng cách sử dụng kiến trúc CNN và triển khai mô hình trên GAP8 MCI.
Thách Thức
TinyML là một khái niệm tương đối mới trong ngành AI và ML và mặc dù đã có tiến bộ, nó vẫn chưa hiệu quả như chúng ta cần cho việc triển khai hàng loạt trên thiết bị biên và IoT.
Thách thức lớn nhất mà thiết bị TinyML đang gặp phải là tiêu thụ năng lượng của những thiết bị này. Lý tưởng nhất, thiết bị nhúng biên và IoT nên có tuổi thọ pin kéo dài hơn 10 năm. Ví dụ, trong điều kiện lý tưởng, một thiết bị IoT chạy trên pin 2Ah nên có tuổi thọ pin hơn 10 năm với giả định rằng tiêu thụ năng lượng của thiết bị là khoảng 12 uA. Tuy nhiên, trong trạng thái hiện tại, một kiến trúc IoT với cảm biến nhiệt độ, đơn vị MCU và mô-đun WiFi, tiêu thụ hiện tại đứng tại khoảng 176,4 mA và với tiêu thụ năng lượng này, pin sẽ chỉ kéo dài khoảng 11 giờ, thay vì tuổi thọ pin 10 năm yêu cầu.
Giới Hạn Nguồn Lực
Để duy trì sự nhất quán của thuật toán, điều quan trọng là phải duy trì sự sẵn có của năng lượng và trong kịch bản hiện tại, sự sẵn có năng lượng hạn chế cho thiết bị TinyML là một thách thức quan trọng. Hơn nữa, hạn chế về bộ nhớ cũng là một thách thức đáng kể vì việc triển khai mô hình thường yêu cầu một lượng bộ nhớ lớn để hoạt động hiệu quả và chính xác.
Giới Hạn Phần Cứng
Giới hạn phần cứng làm cho việc triển khai thuật toán TinyML trên quy mô lớn trở nên khó khăn do sự dị hình của thiết bị phần cứng. Có hàng nghìn thiết bị, mỗi thiết bị có các thông số kỹ thuật và yêu cầu phần cứng riêng, và do đó, một thuật toán TinyML hiện tại cần phải được điều chỉnh cho từng thiết bị riêng lẻ, điều này làm cho việc triển khai hàng loạt trở thành một vấn đề lớn.
Giới Hạn Tập Dữ Liệu
Một trong những vấn đề chính với mô hình TinyML là chúng không hỗ trợ các tập dữ liệu hiện có. Đây là một thách thức cho tất cả các thiết bị biên vì chúng thu thập dữ liệu bằng cách sử dụng cảm biến ngoài và những thiết bị này thường có giới hạn về năng lượng và quyền lực. Do đó, các tập dữ liệu hiện có không thể được sử dụng để đào tạo mô hình TinyML một cách hiệu quả.
Suy Nghĩ Cuối Cùng
Sự phát triển của các kỹ thuật ML đã gây ra một cuộc cách mạng và thay đổi quan điểm trong hệ sinh thái IoT. Việc tích hợp mô hình ML vào thiết bị IoT sẽ cho phép những thiết bị biên này đưa ra quyết định thông minh mà không cần có sự can thiệp của con người. Tuy nhiên, thông thường, mô hình ML có yêu cầu năng lượng, bộ nhớ và tính toán cao, điều này làm cho chúng không phù hợp để triển khai trên thiết bị biên thường bị hạn chế về nguồn lực.
Do đó, một nhánh mới trong AI được dành riêng cho việc sử dụng ML cho thiết bị IoT và nó được gọi là TinyML. TinyML là một khuôn khổ ML cho phép ngay cả những thiết bị hạn chế về nguồn lực cũng có thể tận dụng sức mạnh của AI và ML để đảm bảo độ chính xác, thông minh và hiệu quả cao hơn.
Trong bài viết này, chúng ta đã thảo luận về việc triển khai mô hình TinyML trên thiết bị IoT hạn chế về nguồn lực và việc triển khai này yêu cầu đào tạo mô hình, triển khai mô hình trên phần cứng và thực hiện các kỹ thuật định lượng. Tuy nhiên, với phạm vi hiện tại, các mô hình ML sẵn sàng để triển khai trên thiết bị IoT và biên có nhiều phức tạp và hạn chế, bao gồm các vấn đề về tương thích phần cứng và khuôn khổ.
