โมเดลและแพลตฟอร์ม AI

TinyML: การประยุกต์ใช้ ข้อจำกัด และการใช้งานบนอุปกรณ์ IoT และ Edge

Kunal Kejriwal
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญTinyML ช่วยให้สามารถใช้การเรียนรู้ของเครื่องบนอุปกรณ์ได้ สำหรับอุปกรณ์ IoT…
ดูเพิ่มเติม
  • TinyML ช่วยให้สามารถใช้การเรียนรู้ของเครื่องบนอุปกรณ์ได้ สำหรับอุปกรณ์ IoT ที่มีทรัพยากรจำกัด โดยไม่ต้องพึ่งพาคลาวด์
  • มันขับเคลื่อนแอปพลิเคชันสำคัญ เช่น เครื่องช่วยฟัง และยานพาหนะอัตโนมัติ ด้วยการประมวลผลข้อมูลภายในอุปกรณ์ที่ขอบเครือข่าย
  • โมเดล TinyML ต้องได้รับการปรับให้เหมาะสมอย่างมาก เพื่อให้ทำงานได้ภายในหน่วยความจำเพียงไม่กี่กิโลไบต์ และใช้พลังงานเพียงไม่กี่มิลลิวัตต์

ในช่วงไม่กี่ปีที่ผ่านมา Artificial Intelligence (AI) และ Machine Learning (ML) ได้เติบโตอย่างรวดเร็วในด้านความนิยมและการใช้งาน ไม่ใช่แค่ในอุตสาหกรรม แต่ยังรวมถึงในด้านวิชาการด้วย อย่างไรก็ตาม โมเดล AI และ ML ในปัจจุบันมีข้อจำกัดหลักคือต้องการพลังการประมวลผลและความจุในการคำนวณที่มากเพื่อให้ได้ผลลัพธ์ที่ต้องการและความแม่นยำ ซึ่งบ่อยครั้งจะจำกัดการใช้งานบนอุปกรณ์ที่มีพลังการประมวลผลสูง

แต่ด้วยความก้าวหน้าในด้านเทคโนโลยีระบบฝังตัวและพัฒนาการที่สำคัญในอุตสาหกรรมอินเทอร์เน็ตของสรรพสิ่ง (IoT) จึงมีความต้องการที่จะรวมการนำเทคนิค ML และแนวคิดเข้าไปในระบบฝังตัวที่มีข้อจำกัดด้านทรัพยากรเพื่อความฉลาดที่ทั่วถึง ความต้องการในการใช้แนวคิด ML บนอุปกรณ์ฝังตัวและ IoT คือปัจจัยหลักที่ขับเคลื่อนการพัฒนา TinyML ซึ่งเป็นเทคนิค ML ฝังตัวที่ช่วยให้สามารถนำโมเดลและแอปพลิเคชัน ML ไปใช้บนอุปกรณ์หลายประเภทที่มีทรัพยากรและพลังงานจำกัดและมีราคาถูก

อย่างไรก็ตาม การนำ ML ไปใช้บนอุปกรณ์ที่มีข้อจำกัดด้านทรัพยากรไม่ใช่เรื่องที่ง่าย เนื่องจากการนำโมเดล ML ไปใช้บนอุปกรณ์ที่มีพลังการประมวลผลต่ำนั้นเป็นเรื่องที่ท้าทายในด้านการปรับให้เหมาะสม ความจุในการประมวลผล ความน่าเชื่อถือ การบำรุงรักษาโมเดล และอื่นๆ อีกมากมาย

ในบทความนี้ เราจะมาดูเกี่ยวกับโมเดล TinyML ลึกๆ และเรียนรู้เพิ่มเติมเกี่ยวกับพื้นหลัง เครื่องมือที่รองรับ TinyML และการนำ TinyML ไปใช้โดยใช้เทคโนโลยีขั้นสูง ดังนั้น มาเริ่มต้นกันเลย

การแนะนำ TinyML: ทำไมโลกต้องการ TinyML

อุปกรณ์ IoT มีเป้าหมายที่จะใช้การประมวลผลแบบ Edge ซึ่งเป็นรูปแบบการประมวลผลที่เกิดขึ้นใกล้กับผู้ใช้เพื่อให้สามารถประมวลผลข้อมูลจากเซ็นเซอร์และอุปกรณ์ต่างๆ ได้อย่างรวดเร็วและทันที อุปกรณ์ IoT มีข้อดีหลักคือต้องการพลังการประมวลผลและความจุในการคำนวณที่ต่ำ เนื่องจากสามารถใช้งานได้ที่ขอบของเครือข่ายและใช้หน่วยความจำน้อย

นอกจากนี้ อุปกรณ์ IoT ยังพึ่งพาแพลตฟอร์ม Edge เพื่อรวบรวมและถ่ายทอดข้อมูล เนื่องจากอุปกรณ์เหล่านี้รวบรวมข้อมูลจากเซ็นเซอร์และส่งไปยังที่ต่างๆ เช่น คลาวด์สำหรับการประมวลผล เทคโนโลยีการประมวลผลแบบ Edge จัดเก็บและประมวลผลข้อมูล และให้โครงสร้างพื้นฐานที่จำเป็นสำหรับการประมวลผลแบบกระจาย

การนำการประมวลผลแบบ Edge ไปใช้กับอุปกรณ์ IoT มีผลดีหลายประการ

  1. ความปลอดภัย ความเป็นส่วนตัว และความน่าเชื่อถือที่มีประสิทธิภาพสำหรับผู้ใช้ปลายทาง
  2. ความล่าช้าที่ลดลง
  3. ความพร้อมใช้งานและอัตราการประมวลผลข้อมูลที่สูงขึ้นสำหรับแอปพลิเคชันและบริการ

นอกจากนี้ เนื่องจากอุปกรณ์ Edge สามารถใช้เทคนิคการทำงานร่วมกันระหว่างเซ็นเซอร์และคลาวด์ การประมวลผลข้อมูลสามารถทำได้ที่ขอบของเครือข่ายแทนการทำที่คลาวด์ ซึ่งสามารถนำไปสู่การบริหารจัดการข้อมูลที่มีประสิทธิภาพ การคงอยู่ของข้อมูล การส่งมอบข้อมูล และการแคชเนื้อหาที่ดีขึ้น นอกจากนี้ ในการใช้ IoT สำหรับปฏิสัมพันธ์ระหว่างมนุษย์กับเครื่องจักร (H2M) และการดูแลสุขภาพสมัยใหม่ การประมวลผลแบบ Edge ยังช่วยปรับปรุงบริการเครือข่ายได้อย่างมาก

การวิจัยล่าสุดในด้านการประมวลผลแบบ Edge ของ IoT ได้แสดงให้เห็นถึงศักยภาพในการนำเทคนิค ML ไปใช้ในกรณีการใช้งาน IoT ต่างๆ อย่างไรก็ตาม ปัญหาหลักคือโมเดล ML แบบดั้งเดิมต้องการพลังการประมวลผลและหน่วยความจำสูง ซึ่งจำกัดการนำโมเดล ML ไปใช้กับอุปกรณ์ IoT และแอปพลิเคชัน

นอกจากนี้ เทคโนโลยีการประมวลผลแบบ Edge ในปัจจุบันยังขาดความสามารถในการถ่ายทอดข้อมูลที่มีประสิทธิภาพและประหยัดพลังงาน ซึ่งนำไปสู่ระบบที่ไม่สอดคล้องกัน ซึ่งเป็นเหตุผลหลักที่ต้องการโครงสร้างพื้นฐานที่สอดคล้องกันและทั่วถึงสำหรับการอัปเดต การฝึกอบรม และการนำโมเดล ML ไปใช้

การออกแบบโครงสร้างสำหรับอุปกรณ์ฝังตัวยังเป็นเรื่องที่ท้าทาย เนื่องจากโครงสร้างเหล่านี้ขึ้นอยู่กับข้อกำหนดด้านฮาร์ดแวร์และซอฟต์แวร์ที่แตกต่างกันไปสำหรับอุปกรณ์แต่ละชนิด ซึ่งเป็นเหตุผลหลักที่ทำให้ยากที่จะสร้างโครงสร้าง ML ที่มาตรฐานสำหรับเครือข่าย IoT

นอกจากนี้ ในสถานการณ์ปัจจุบัน ข้อมูลที่สร้างโดยอุปกรณ์ต่างๆ จะถูกส่งไปยังคลาวด์สำหรับการประมวลผล เนื่องจากการนำไปใช้ของการประมวลผลแบบเครือข่ายต้องการพลังการประมวลผลที่สูง โมเดล ML บ่อยครั้งพึ่งพา Deep Learning, Deep Neural Networks, Application Specific Integrated Circuits (ASICs) และ Graphic Processing Units (GPUs) สำหรับการประมวลผลข้อมูล และมักต้องการพลังงานและหน่วยความจำสูง

การนำโมเดล ML ที่สมบูรณ์ไปใช้กับอุปกรณ์ IoT ไม่ใช่วิธีแก้ปัญหาที่เหมาะสม เนื่องจากขาดพลังการประมวลผลและความจุในการคำนวณ และการนำ TinyML ไปใช้ซึ่งมีเป้าหมายที่จะนำโมเดล ML และการปฏิบัติไปใช้กับอุปกรณ์ Edge และ IoT จึงเป็นทางออกที่ดี โดยการย่อส่วนอุปกรณ์ฝังตัวที่ใช้พลังงานต่ำควบคู่กับการทำให้โมเดลใช้พลังงานและหน่วยความจำอย่างมีประสิทธิภาพ TinyML ช่วยประมวลผลสัญญาณและเพิ่มความฉลาดบนอุปกรณ์โดยไม่ต้องส่งข้อมูลไปยังคลาวด์ จึงเพิ่มความเป็นส่วนตัวและประสิทธิภาพ ลดค่าใช้จ่ายในการดำเนินงาน และยังวิเคราะห์ข้อมูลในพื้นที่ได้แม้การเชื่อมต่อไม่เพียงพอ

TinyML: การแนะนำและการทบทวน

TinyML เป็นเครื่องมือ ML ที่สามารถทำการวิเคราะห์บนอุปกรณ์สำหรับโหมดการรับรู้ต่างๆ เช่น เสียง ภาพ และคำพูด โมเดล ML ที่สร้างขึ้นโดยใช้เครื่องมือ TinyML มีข้อกำหนดด้านพลังงาน ความจุ และการประมวลผลที่ต่ำ ทำให้เหมาะสำหรับเครือข่ายฝังตัวและอุปกรณ์ที่ทำงานด้วยแบตเตอรี่

ในสถานการณ์ปัจจุบัน ระบบ ML บนคลาวด์เผชิญกับปัญหาหลายประการ รวมถึงความกังวลเรื่องความปลอดภัยและส่วนตัว การบริโภคพลังงานสูง ปัญหาเรื่องความน่าเชื่อถือ และปัญหาเรื่องความล่าช้า ซึ่งเป็นเหตุผลที่โมเดลบนแพลตฟอร์มฮาร์ดแวร์และซอฟต์แวร์ถูกติดตั้งล่วงหน้า

เซ็นเซอร์รวบรวมข้อมูลที่จำลองโลกแห่งความเป็นจริง และประมวลผลโดยใช้ CPU หรือ MPU (Microprocessing unit) MPU รองรับการวิเคราะห์ ML ที่อาศัยเครือข่ายและสถาปัตยกรรม ML สำหรับ Edge สถาปัตยกรรมนี้ติดต่อกับคลาวด์ ML เพื่อถ่ายโอนข้อมูล และการใช้ TinyML อาจช่วยพัฒนาเทคโนโลยีได้อย่างมาก

สามารถกล่าวได้ว่า TinyML เป็นการผสมผสานระหว่างซอฟต์แวร์ ฮาร์ดแวร์ และอัลกอริทึมที่ทำงานร่วมกันเพื่อให้ได้ผลลัพธ์ที่ต้องการ อาจจำเป็นต้องใช้การคำนวณแบบแอนะล็อกหรือในหน่วยความจำเพื่อให้ฮาร์ดแวร์และอุปกรณ์ IoT ที่ไม่รองรับตัวเร่งฮาร์ดแวร์เรียนรู้ได้ดีขึ้นและมีประสิทธิภาพขึ้น ในด้านซอฟต์แวร์ แอปพลิเคชันที่สร้างขึ้นโดยใช้ TinyML สามารถนำไปใช้และติดตั้งบนแพลตฟอร์ม เช่น Linux หรือ Embedded Linux และบนซอฟต์แวร์ที่รองรับคลาวด์ สุดท้าย แอปพลิเคชันและระบบเหล่านี้ต้องรองรับอัลกอริทึมใหม่ที่ใช้โมเดลขนาดเล็กเพื่อหลีกเลี่ยงการใช้หน่วยความจำมาก

เพื่อสรุปสิ่งต่างๆ แอปพลิเคชันที่สร้างขึ้นโดยใช้เครื่องมือ TinyML ต้องปรับให้เหมาะสมกับหลักการและวิธีการ ML พร้อมกับการออกแบบซอฟต์แวร์ที่กะทัดรัดโดยอาศัยข้อมูลคุณภาพสูง จากนั้นต้องนำข้อมูลไปลงอุปกรณ์ผ่านไฟล์ไบนารีที่สร้างจากโมเดลซึ่งฝึกบนเครื่องที่มีความจุและกำลังประมวลผลสูงกว่ามาก

นอกจากนี้ ระบบและแอปพลิเคชันที่ทำงานบนเครื่องมือ TinyML ต้องให้ความแม่นยำสูงเมื่อทำงานภายใต้ข้อจำกัดที่เข้มงวด เนื่องจากซอฟต์แวร์ที่กะทัดรัดจำเป็นต้องมีการบริโภคพลังงานที่ต่ำเพื่อรองรับการใช้งาน TinyML และแอปพลิเคชันหรือโมดูลอาจใช้แบตเตอรี่เพื่อทำงานบนระบบฝังตัวที่ Edge

ด้วยเหตุนี้ แอปพลิเคชัน TinyML จึงมีข้อกำหนดพื้นฐานสองประการ

  1. ความสามารถในการปรับขนาดไปสู่ระบบฝังตัวที่มีราคาไม่แพงหลายพันล้านชิ้น
  2. การเก็บโค้ดบน RAM ของอุปกรณ์ที่มีขนาดความจุไม่เกินหลาย KB

การนำ TinyML ไปใช้โดยใช้เทคโนโลยีขั้นสูง

หนึ่งในเหตุผลหลักที่ทำให้ TinyML เป็นหัวข้อที่น่าสนใจในอุตสาหกรรม AI และ ML คือศักยภาพในการนำไปใช้ รวมถึงการนำไปใช้ในการรับรู้ภาพและเสียง การวินิจฉัยสุขภาพ การจัดประเภทและบีบอัดรูปแบบข้อมูล การประมวลผลแบบ Edge อินเทอร์เฟซสมองและคอมพิวเตอร์ ยานพาหนะอัตโนมัติ ฟีโนมิกส์ และอื่นๆ

การนำไปใช้บนเสียง

การสื่อสารด้วยเสียง

โดยทั่วไป การนำไปใช้บนเสียงพึ่งพาวิธีการสื่อสารแบบดั้งเดิม ซึ่งข้อมูลทั้งหมดมีความสำคัญและถูกส่งทั้งหมด อย่างไรก็ตาม ในช่วงไม่กี่ปีที่ผ่านมา การสื่อสารแบบเซมานติกได้ปรากฏขึ้นเป็นทางเลือกแทนการสื่อสารแบบดั้งเดิม ในการสื่อสารแบบเซมานติก เพียงแค่ความหมายหรือบริบทของข้อมูลเท่านั้นที่ถูกส่งไป

บางส่วนของการนำไปใช้ที่ได้รับความนิยมมากที่สุดในอุตสาหกรรมการสื่อสารด้วยเสียงในปัจจุบันคือการตรวจจับเสียง การรู้จำเสียง การเรียนรู้ออนไลน์ การสอนออนไลน์ และการสื่อสารที่มุ่งเป้าหมาย แอปพลิเคชันเหล่านี้มักใช้พลังงานสูงและต้องการข้อมูลจำนวนมากบนอุปกรณ์เจ้าบ้าน จึงมีการเปิดตัวไลบรารี TinySpeech เพื่อให้สร้างสถาปัตยกรรมที่ใช้การคำนวณต่ำ โดยใช้เครือข่ายคอนโวลูชันเชิงลึกที่ต้องการพื้นที่จัดเก็บน้อย

เพื่อใช้ TinyML สำหรับการเพิ่มคุณภาพเสียง ผู้พัฒนาต้องแก้ไขปัญหาเรื่องขนาดของโมเดลการเพิ่มคุณภาพเสียงก่อน เนื่องจากมีข้อจำกัดด้านฮาร์ดแวร์และข้อจำกัดอื่นๆ

เพื่อแก้ปัญหา ผู้พัฒนาจึงนำการตัดแต่งโครงสร้างและการควอนไทซ์เป็นจำนวนเต็มมาใช้กับโมเดลการเพิ่มคุณภาพเสียงแบบ RNN (Recurrent Neural Networks) ผลลัพธ์ชี้ว่าโมเดลเล็กลงเกือบ 12 เท่าและจำนวนการคำนวณลดลงเกือบ 3 เท่า การใช้ทรัพยากรอย่างมีประสิทธิภาพจึงสำคัญ โดยเฉพาะกับแอปพลิเคชันรู้จำเสียงที่มีทรัพยากรจำกัด

นอกจากนี้ ผู้พัฒนายังได้เสนอวิธีการที่เรียกว่า Co-design สำหรับการรู้จำเสียงและพูดโดยใช้ TinyML โดยใช้การทำหน้าต่างสัญญาณเพื่อแบ่งงานระหว่างซอฟต์แวร์และฮาร์ดแวร์สำหรับประมวลผลข้อมูลเสียงดิบล่วงหน้า

ผลลัพธ์แสดงให้เห็นว่าสามารถลดการบริโภคพลังงานบนฮาร์ดแวร์ได้ และมีศักยภาพในการปรับแบ่งซอฟต์แวร์และฮาร์ดแวร์ให้ดีขึ้นในอนาคต

นอกจากนี้ การวิจัยล่าสุดได้เสนอการใช้ทรานส์ดิวเซอร์ที่อิงหน่วยเสียงสำหรับระบบการรู้จำเสียง และมีเป้าหมายที่จะแทนที่ตัวทำนาย LSTM ด้วยชั้น Conv1D เพื่อลดความต้องการการประมวลผลบนอุปกรณ์ Edge ผลการทดลองเป็นบวก โดย SVD หรือการแยกค่าเอกฐานช่วยบีบอัดโมเดลได้สำเร็จ และการถอดรหัสด้วย WFST หรือทรานส์ดิวเซอร์สถานะจำกัดแบบถ่วงน้ำหนักเพิ่มความยืดหยุ่นในการปรับปรุงโมเดล

การนำไปใช้การรู้จำเสียงหลายอย่าง เช่น ผู้ช่วยเสียงเสมือน การเขียนคำบรรยายสด และคำสั่งเสียง ใช้เทคนิค ML เพื่อทำงาน และปัจจุบันผู้ช่วยเสียงเสมือนที่ได้รับความนิยม เช่น Siri และ Google Assistant ต้องส่งข้อมูลไปยังคลาวด์ทุกครั้งที่ได้รับข้อมูล ซึ่งทำให้เกิดความกังวลเกี่ยวกับความเป็นส่วนตัวและความปลอดภัยของข้อมูล TinyML มุ่งทำการรู้จำเสียงบนอุปกรณ์ จึงไม่ต้องส่งข้อมูลไปคลาวด์ วิธีหนึ่งคือ Tiny Transducer ซึ่งใช้ชั้น DFSMN หรือบล็อกหน่วยความจำตามลำดับแบบป้อนไปข้างหน้าเชิงลึก ร่วมกับชั้น Conv1D หนึ่งชั้นแทน LSTM เพื่อลดการคำนวณและจำนวนพารามิเตอร์ของเครือข่าย

เครื่องช่วยฟัง

การเสียการได้ยินเป็นปัญหาสุขภาพที่สำคัญทั่วโลก และความสามารถในการได้ยินของมนุษย์โดยทั่วไปจะลดลงเมื่ออายุเพิ่มขึ้น และเป็นปัญหาใหญ่ในประเทศที่มีประชากรสูงอายุ เช่น จีน ญี่ปุ่น และเกาหลีใต้

เครื่องช่วยฟังในปัจจุบันทำงานบนหลักการเพิ่มเสียงทั้งหมดจากสภาพแวดล้อม ทำให้ผู้ใช้มีความยากที่จะแยกแยะระหว่างเสียงที่ต้องการฟัง โดยเฉพาะในสถานที่ที่มีเสียงดัง TinyML อาจแก้ปัญหานี้ได้ด้วยโมเดล TinyLSTM ที่ใช้อัลกอริทึมรู้จำเสียงในเครื่องช่วยฟัง เพื่อช่วยแยกเสียงต่างๆ

การนำไปใช้บนภาพ

TinyML มีศักยภาพที่จะเล่นบทบาทสำคัญในการประมวลผลข้อมูลภาพ เนื่องจากข้อมูลเหล่านี้ต้องการการประมวลผลบน Edge เพื่อให้ได้ผลลัพธ์ที่รวดเร็ว

เพื่อให้บรรลุเป้าหมายนี้ ผู้พัฒนาต้องเผชิญกับความท้าทายในการฝึกโมเดลโดยใช้บอร์ดไมโครคอนโทรลเลอร์ OpenMV H7 และยังได้เสนอโครงสร้างสำหรับการตรวจจับภาษามืออเมริกันโดยใช้ไมโครคอนโทรลเลอร์ ARM Cortex M7 ที่ทำงานกับ RAM สำหรับเฟรมบัฟเฟอร์เพียง 496 KB

การนำ TinyML ไปใช้กับการรับรู้ภาพบน Edge ต้องเผชิญกับความท้าทายในการฝึกโมเดล CNN ที่มีข้อผิดพลาดในการสรุปใช้กับข้อมูลใหม่สูงและความแม่นยำในการฝึกและทดสอบสูง อย่างไรก็ตาม โมเดลยังใช้กับภาพในกรณีใหม่และพื้นหลังที่มีสัญญาณรบกวนได้ไม่ดี

นอกจากนี้ เมื่อใช้วิธีการเพิ่มข้อมูลด้วยการประมาณค่าแทรก โมเดลได้ผลลัพธ์ความแม่นยำมากกว่า 98% บนข้อมูลทดสอบ และประมาณ 75% เมื่อทดสอบความสามารถในการใช้กับข้อมูลใหม่

และเมื่อใช้วิธีการเพิ่มข้อมูลด้วยการประมาณค่าแทรก มีการลดความแม่นยำของโมเดลลงระหว่างการควอนไทซ์ แต่มีการเพิ่มความเร็วในการอนุมานและความสามารถในการทั่วไป

นอกจากนี้ ผู้พัฒนายังได้เสนอวิธีการเพื่อเพิ่มความแม่นยำของโมเดลในการทั่วไปโดยการฝึกโมเดลบนข้อมูลจากแหล่งต่างๆ และทดสอบประสิทธิภาพเพื่อสำรวจความเป็นไปได้ในการนำไปใช้บน Edge เช่น นาฬิกาสมาร์ทวอทช์ที่พกพาได้

และนอกจากนี้ การศึกษาบางอย่างเกี่ยวกับ CNN ได้แสดงให้เห็นว่าสามารถนำไปใช้ได้ด้วยโครงสร้าง CNN บนอุปกรณ์ที่มีทรัพยากรจำกัด

และผู้พัฒนายังสามารถสร้างเฟรมเวิร์กสำหรับการตรวจจับหน้ากากอนามัยบนไมโครคอนโทรลเลอร์ ARM Cortex M7 ที่มีทรัพยากรจำกัดโดยใช้ TensorFlow Lite ที่มีการใช้หน่วยความจำน้อย โมเดลหลังควอนไทซ์มีขนาดประมาณ 138 KB และทำการอนุมานบนบอร์ดเป้าหมายได้ประมาณ 30 เฟรมต่อวินาที

และอีกการนำไปใช้หนึ่งของ TinyML สำหรับการรับรู้ภาพคือการสร้างอุปกรณ์ตรวจจับท่าทางที่สามารถติดกับไม้เท้าเพื่อช่วยผู้พิการทางสายตาเดินทางในชีวิตประจำวันได้ง่ายขึ้น ผู้พัฒนาใช้ชุดข้อมูลท่าทางฝึกโมเดล ProtoNN ด้วยอัลกอริทึมจำแนกประเภท ผลลัพธ์มีความแม่นยำ การออกแบบมีต้นทุนต่ำ และทำงานได้เป็นที่น่าพอใจ

และอีกการนำไปใช้หนึ่งของ TinyML คือในอุตสาหกรรมยานพาหนะอัตโนมัติและรถยนต์ไร้คนขับ เนื่องจากการขาดทรัพยากรและกำลังประมวลผลบนยานพาหนะ ผู้พัฒนาเสนอวิธีเรียนรู้แบบวงปิดจาก TinyCNN โดยใช้โมเดลทำนายออนไลน์ที่รับภาพระหว่างทำงาน ปัญหาคือโมเดลตัดสินใจที่ฝึกจากข้อมูลออฟไลน์อาจทำงานกับข้อมูลออนไลน์ได้ไม่ดีเท่ากัน โมเดลจึงควรปรับตัวเข้ากับข้อมูลแบบเรียลไทม์เพื่อให้ใช้กับรถยนต์ไร้คนขับได้เต็มศักยภาพ

การจัดประเภทและบีบอัดรูปแบบข้อมูล

หนึ่งในความท้าทายที่ใหญ่ที่สุดของ TinyML ในปัจจุบันคือการทำให้สามารถปรับให้เหมาะสมกับการฝึกอบรมข้อมูลออนไลน์ได้

เพื่อแก้ปัญหา ผู้พัฒนาจึงเสนอวิธีการที่เรียกว่า TinyOL หรือ TinyML Online Learning เพื่อให้สามารถฝึกอบรมได้ด้วยการเรียนรู้แบบออนไลน์แบบเพิ่มขึ้นบนไมโครคอนโทรลเลอร์ ทำให้โมเดลอัปเดตบนอุปกรณ์ IoT ที่ Edge ได้ โดยพัฒนาด้วย C++ และเพิ่มชั้นอีกหนึ่งชั้นในสถาปัตยกรรม TinyOL

และนอกจากนี้ ผู้พัฒนายังได้ทำการเข้ารหัสอัตโนมัติของบอร์ด Arduino Nano 33 BLE และโมเดลที่ฝึกอบรมสามารถจำแนกรูปแบบข้อมูลใหม่ได้ งานนี้ยังรวมการออกแบบอัลกอริทึมโครงข่ายประสาทที่มีประสิทธิภาพและเหมาะสมยิ่งขึ้นเพื่อรองรับการฝึกจากข้อมูลออนไลน์บนอุปกรณ์

และนอกจากนี้ การวิจัยใน TinyOL และ TinyML ได้แสดงให้เห็นว่าจำนวนชั้นการกระตุ้นเป็นปัญหาใหญ่สำหรับอุปกรณ์ Edge ที่มีทรัพยากรจำกัด

และนอกจากนี้ ผู้พัฒนายังได้เสนอโมเดลใหม่ที่เรียกว่า TinyTL หรือ Tiny Transfer Learning เพื่อใช้หน่วยความจำของอุปกรณ์ IoT ที่ Edge ได้มีประสิทธิภาพขึ้น โดยไม่ต้องใช้ชั้นกลางสำหรับการกระตุ้น และเพิ่มโมดูลไบอัสชื่อ lite-residual module เพื่อเพิ่มความสามารถในการปรับตัวและช่วยตัวสกัดคุณลักษณะค้นหาแผนที่คุณลักษณะส่วนเหลือ

และเมื่อเปรียบเทียบกับการปรับให้เหมาะสมของเครือข่ายทั้งหมด ผลลัพธ์แสดงให้เห็นว่า TinyTL สามารถลดภาระหน่วยความจำได้ประมาณ 6.5 เท่า โดยสูญเสียความแม่นยำปานกลาง เมื่อปรับจูนชั้นสุดท้าย TinyML เพิ่มความแม่นยำได้ 34% โดยมีการสูญเสียความแม่นยำปานกลาง

และนอกจากนี้ การวิจัยเกี่ยวกับการบีบอัดข้อมูลได้แสดงให้เห็นว่าข้อมูลบีบอัดต้องจัดการข้อมูลที่รวบรวมบนอุปกรณ์พกพา

และนอกจากนี้ ผู้พัฒนายังได้เสนออัลกอริทึมที่เรียกว่า TAC หรือ Tiny Anomaly Compressor ซึ่งให้ผลดีกว่า SDT (Swing Door Trending) และ DCT (Discrete Cosine Transform) โดยได้อัตราการบีบอัดสูงสุดกว่า 98% และอัตราส่วนสัญญาณสูงสุดต่อสัญญาณรบกวนดีกว่าทั้งสองวิธี

การวินิจฉัยสุขภาพ

การระบาดของโควิด-19 ทั่วโลกได้เปิดโอกาสใหม่ๆ สำหรับการนำ TinyML ไปใช้ เนื่องจากเป็นแนวปฏิบัติที่จำเป็นต้องตรวจจับอาการทางเดินหายใจที่เกี่ยวข้องกับไอและหวัดอย่างต่อเนื่อง

และนอกจากนี้ ผู้พัฒนายังได้เสนอโมเดล CNN ที่เรียกว่า TinyRespNet ซึ่งทำงานบนการกำหนดค่าหลายแบบและถูกนำไปใช้บน FPGA Xilinx Artix-7 100t ซึ่งช่วยให้อุปกรณ์สามารถประมวลผลข้อมูลแบบขนานอย่างมีประสิทธิภาพและใช้พลังงานต่ำ TinyResp รับคำพูดของผู้ป่วย เสียงบันทึก และข้อมูลประชากรเป็นข้อมูลเข้า และจำแนกอาการที่เกี่ยวกับไอด้วยชุดข้อมูลที่แตกต่างกันสามชุด

และนอกจากนี้ ผู้พัฒนายังได้เสนอโมเดลที่สามารถทำงานการเรียนรู้ลึกบนอุปกรณ์ Edge เช่น สมาร์ทวอทช์และอุปกรณ์สวมใส่สำหรับการวินิจฉัยสุขภาพ โมเดลนี้ชื่อ TinyDL และยังวิเคราะห์ประสิทธิภาพเพื่อลดแบนด์วิธ ความล่าช้า และพลังงาน โดยออกแบบและฝึก LSTM สำหรับอุปกรณ์สวมใส่จากข้อมูลที่รวบรวมได้ โมเดลมีความแม่นยำประมาณ 75–80% และทำงานกับข้อมูลจากภายนอกอุปกรณ์ได้ด้วย จึงแสดงศักยภาพในการแก้ข้อจำกัดของ IoT

และนอกจากนี้ ผู้พัฒนายังได้เสนอการนำไปใช้เพื่อตรวจสอบสุขภาพของผู้สูงอายุโดยการประมาณและวิเคราะห์ท่าทางของร่างกาย โมเดลใช้เฟรมเวิร์กที่ไม่ผูกกับอุปกรณ์เพื่อรองรับการตรวจสอบและการปรับตัวอย่างรวดเร็ว และผสานอัลกอริทึมตรวจจับท่าทางกับจุดสังเกตใบหน้าเพื่อตรวจจับท่าทางเชิงพื้นที่และเวลาแบบเรียลไทม์

การประมวลผลแบบ Edge

หนึ่งในการนำ TinyML ไปใช้ที่สำคัญที่สุดคือในด้านการประมวลผลแบบ Edge เนื่องจากการเพิ่มขึ้นของการใช้อุปกรณ์ IoT เพื่อเชื่อมต่ออุปกรณ์ทั่วโลก จึงจำเป็นต้องตั้งค่าอุปกรณ์ Edge เพื่อลดภาระของสถาปัตยกรรมคลาวด์ อุปกรณ์ Edge จะมีศูนย์ข้อมูลของตนเองให้ประมวลผลระดับสูงบนอุปกรณ์แทนการพึ่งคลาวด์

และนอกจากนี้ อุปกรณ์ Edge ที่ใช้ TinyML จะช่วยแก้ปัญหาเรื่องข้อจำกัดด้านพลังงาน การประมวลผล และความจุ และช่วยลดการพึ่งพาคลาวด์ ลดความล่าช้า เพิ่มความปลอดภัยและส่วนตัว และลดแบนด์วิธ

และนอกจากนี้ TinyML ยังสามารถเพิ่มการใช้งานและความสามารถของเครื่องบินไร้คนขับ (UAVs) โดยการแก้ปัญหาเรื่องข้อจำกัดในปัจจุบัน โดย TinyML ช่วยสร้างอุปกรณ์ที่ใช้พลังงานมีประสิทธิภาพ มีความล่าช้าต่ำและกำลังประมวลผลสูง เพื่อทำหน้าที่เป็นตัวควบคุม UAV

อินเทอร์เฟซสมองและคอมพิวเตอร์

TinyML มีศักยภาพที่จะช่วยในด้านสุขภาพ เช่น การตรวจจับมะเร็งและเนื้องอก การพยากรณ์สุขภาพด้วยสัญญาณ ECG และ EEG และความฉลาดทางอารมณ์ มันสามารถช่วยให้การกระตุ้นสมองส่วนลึกแบบปรับตัว (aDBS) ปรับให้เหมาะสมกับการปรับเปลี่ยนทางคลินิก

และนอกจากนี้ การใช้ TinyML สามารถช่วยให้ aDBS ตรวจจับเครื่องหมายทางชีวภาพที่เกี่ยวข้องกับโรคและอาการโดยใช้การบันทึกสัญญาณสมองแบบรุกล้ำ นอกจากนี้ การดูแลสุขภาพต้องประมวลผลข้อมูลผู้ป่วยจำนวนมากเพื่อหาแนวทางรักษาตั้งแต่ระยะแรก จึงต้องมีระบบที่ทั้งมีประสิทธิภาพและปลอดภัยสูง เมื่อผสาน IoT กับ TinyML จะเกิดอินเทอร์เน็ตของสรรพสิ่งเพื่อสุขภาพ (H-IoT) ซึ่งใช้ในการวินิจฉัย เฝ้าติดตาม โลจิสติกส์ ควบคุมการแพร่กระจาย และระบบช่วยเหลือ การตรวจและวิเคราะห์สุขภาพจากระยะไกลต้องอาศัยระบบที่เข้าถึงได้ทั่วโลกและมีความล่าช้าต่ำ

ยานพาหนะอัตโนมัติ

และนอกจากนี้ TinyML ยังสามารถนำไปใช้ได้ในอุตสาหกรรมยานพาหนะอัตโนมัติ ซึ่งสามารถใช้ได้ในหลายวิธี เช่น การติดตามมนุษย์ การใช้ในกิจการทหาร และการนำไปใช้ในอุตสาหกรรม ยานพาหนะเหล่านี้ต้องสามารถระบุวัตถุที่กำลังค้นหาได้อย่างมีประสิทธิภาพ

และนอกจากนี้ ยานพาหนะอัตโนมัติและรถยนต์ไร้คนขับเป็นงานที่ซับซ้อน โดยเฉพาะอย่างยิ่งในการพัฒนายานพาหนะขนาดเล็ก การพัฒนาล่าสุดแสดงศักยภาพในการปรับปรุงการขับขี่อัตโนมัติสำหรับยานพาหนะขนาดเล็กด้วยสถาปัตยกรรม CNN ที่นำไปใช้บน GAP8 MCI

ความท้าทาย

TinyML เป็นแนวคิดที่ค่อนข้างใหม่ในอุตสาหกรรม AI และ ML และแม้ว่ามีการพัฒนาแล้ว แต่ก็ยังไม่เหมาะสมสำหรับการใช้งานในวงกว้างบนอุปกรณ์ Edge และ IoT

ความท้าทายที่ใหญ่ที่สุดของ TinyML ในปัจจุบันคือการบริโภคพลังงานของอุปกรณ์ ซึ่งอุปกรณ์ฝังตัวและ IoT ควรจะมีอายุการใช้งานแบตเตอรี่ที่ยาวนานกว่า 10 ปี ตัวอย่างในสภาวะอุดมคติคือแบตเตอรี่ 2 Ah ที่ใช้งานได้นานกว่า 10 ปีเมื่อกระแสประมาณ 12 µA แต่สถาปัตยกรรมที่มีเซ็นเซอร์อุณหภูมิ MCU และ WiFi ใช้กระแสประมาณ 176.4 mA ทำให้แบตเตอรี่อยู่ได้เพียงประมาณ 11 ชั่วโมง แทนเป้าหมาย 10 ปี

ข้อจำกัดด้านทรัพยากร

เพื่อรักษาความสอดคล้องของอัลกอริทึม จำเป็นต้องมีการจัดการพลังงานที่ดี และในสถานการณ์ปัจจุบัน การมีพลังงานที่จำกัดสำหรับอุปกรณ์ TinyML คือความท้าทายที่สำคัญ ข้อจำกัดหน่วยความจำก็สำคัญเช่นกัน เพราะการนำโมเดลไปใช้มักต้องการหน่วยความจำมากเพื่อให้ทำงานได้อย่างมีประสิทธิภาพและแม่นยำ

ข้อจำกัดด้านฮาร์ดแวร์

ข้อจำกัดด้านฮาร์ดแวร์ทำให้การนำ TinyML ไปใช้บนอุปกรณ์หลายๆ ชิ้นเป็นเรื่องที่ยาก เนื่องจากมีอุปกรณ์หลายพันชิ้น แต่ละชิ้นมีข้อกำหนดฮาร์ดแวร์ที่แตกต่างกัน จึงต้องปรับอัลกอริทึม TinyML ให้เหมาะกับแต่ละอุปกรณ์ ทำให้การใช้ในวงกว้างเป็นปัญหา

ข้อจำกัดด้านชุดข้อมูล

หนึ่งในปัญหาใหญ่ของโมเดล TinyML คือไม่รองรับชุดข้อมูลที่มีอยู่ ซึ่งเป็นปัญหาใหญ่สำหรับอุปกรณ์ Edge ที่รวบรวมข้อมูลโดยใช้เซ็นเซอร์ภายนอกและอุปกรณ์เหล่านี้มีข้อจำกัดด้านกำลังและพลังงาน จึงไม่สามารถใช้ชุดข้อมูลเดิมฝึก TinyML ได้อย่างมีประสิทธิภาพ

ความคิดสุดท้าย

การพัฒนาเทคนิค ML ได้ทำให้เกิดการปฏิวัติและเปลี่ยนแปลงมุมมองในระบบ IoT การรวมโมเดล ML เข้ากับอุปกรณ์ Edge จะช่วยให้อุปกรณ์เหล่านี้สามารถตัดสินใจได้ด้วยตนเองโดยไม่ต้องมีการแทรกแซงจากมนุษย์ภายนอก แต่โมเดล ML ทั่วไปต้องการพลังงาน หน่วยความจำ และการคำนวณสูง จึงไม่เหมาะกับอุปกรณ์ Edge ที่ทรัพยากรจำกัด TinyML จึงเกิดเป็นสาขาที่นำ ML ไปใช้กับ IoT และทำให้อุปกรณ์ทรัพยากรจำกัดใช้ประโยชน์จาก AI และ ML เพื่อเพิ่มความแม่นยำ ความฉลาด และประสิทธิภาพได้

และนอกจากนี้ ในบทความนี้ เราได้พูดถึงการนำโมเดล TinyML ไปใช้บนอุปกรณ์ IoT ที่มีข้อจำกัดด้านทรัพยากร และการนำไปใช้นี้ต้องมีการฝึกอบรมโมเดล การนำไปใช้บนฮาร์ดแวร์ และการใช้เทคนิคควอนไทเซชัน

และนอกจากนี้ โมเดล ML ที่พร้อมสำหรับการนำไปใช้บนอุปกรณ์ IoT และ Edge ในปัจจุบันมีความซับซ้อนและข้อจำกัดหลายประการ รวมถึงปัญหาเรื่องฮาร์ดแวร์และความเข้ากันได้ของเฟรมเวิร์ก

Kunal Kejriwal เป็นวิศวกรแบ็กเอนด์ที่เชี่ยวชาญด้าน Python, PostgreSQL, Redis และโครงสร้างพื้นฐานคลาวด์บน GCP และ AWS. ด้วยประสบการณ์สามปีในการสร้างและขยายระบบที่ใช้งานจริง เขาเขียนเกี่ยวกับโครงสร้างพื้นฐาน AI, ระบบแบบกระจาย, และสถาปัตยกรรมที่อยู่เบื้องหลังการนำเวิร์กโหลดแมชชีนเลิร์นนิงไปใช้งาน