Edge AI คืออะไรและ Edge Computing คืออะไร?

Edge computing วางการประมวลผลใกล้กับอุปกรณ์และกระบวนการทางกายภาพที่สร้างข้อมูล Edge AI ทำการสรุปผลการเรียนรู้ของเครื่อง—และบางครั้งอาจทำการฝึกหรือปรับตัว—บนเซนเซอร์, โทรศัพท์, ยานพาหนะ, เกตเวย์ หรือเซิร์ฟเวอร์ท้องถิ่น แทนการส่งข้อมูลทุกอินพุตไปยังคลาวด์ระยะไกล.

สถาปัตยกรรมมักเป็นการต่อเนื่องมากกว่าการเลือกแบบขอบกับคลาวด์ การตัดสินใจแบบทันทีสามารถทำได้ในท้องถิ่นขณะที่คลาวด์สนับสนุนการจัดการกลุ่มอุปกรณ์, การวิเคราะห์รวม, การฝึกโมเดลและการจัดเก็บระยะยาว.

ข้อสรุปสำคัญ

• Edge AI สามารถลดความหน่วง, การใช้แบนด์วิธและการโอนย้ายข้อมูลดิบได้ แต่ไม่ได้รับประกันความเป็นส่วนตัวโดยอัตโนมัติ.
• หน่วยความจำ, พลังงาน, ขีดจำกัดความร้อนและการสนับสนุนตัวเร่งทำให้รูปแบบโมเดลที่สามารถนำไปใช้ได้ถูกกำหนด.
• การทำควอนตาไลเซชัน, การตัดแต่งและการสกัดสารสรุปเป็นการแลกเปลี่ยนขนาดและความเร็วของโมเดลกับความแม่นยำและความทนทาน.
• การอัปเดตที่ปลอดภัย, การส่งข้อมูลเทเลเมตรี, การย้อนกลับและความหลากหลายของฮาร์ดแวร์เป็นส่วนสำคัญของระบบ.

การต่อเนื่องระหว่างขอบและคลาวด์

เซนเซอร์อาจรันโมเดลเกณฑ์ขนาดเล็ก, เกตเวย์ใกล้เคียงอาจรวมหลายสตรีม, และเซิร์ฟเวอร์ระดับภูมิภาคอาจทำการสรุปผลที่หนักขึ้น คลาวด์สามารถฝึกโมเดลและกระจายการอัปเดตที่ลงลายเซ็นได้ การแบ่งส่วนขึ้นอยู่กับความหน่วง, การเชื่อมต่อ, พลังงาน, ความละเอียดอ่อนของข้อมูลและการบำรุงรักษา.

สำหรับการควบคุมอุตสาหกรรม, มิลลิวินาทีและการทำงานแบบออฟไลน์อาจเป็นเหตุผลให้ทำการสรุปผลในท้องถิ่น สำหรับการพยากรณ์ธุรกิจที่ความถี่ต่ำ การคำนวณแบบศูนย์กลางอาจง่ายกว่าและตรวจสอบได้ง่ายกว่า.

ข้อจำกัดของฮาร์ดแวร์และโมเดล

อุปกรณ์ขอบมีตั้งแต่ไมโครคอนโทรลเลอร์ที่มีหน่วยความจำระดับกิโลไบต์จนถึงโทรศัพท์และเซิร์ฟเวอร์ที่มี NPU หรือ GPU โมเดลต้องพอดีกับพื้นที่จัดเก็บและ RAM, ตรงตามกำหนดเวลาจริง, อยู่ภายในขีดจำกัดความร้อนและใช้ตัวดำเนินการที่รองรับ.

การวัดประสิทธิภาพควรรวมการเตรียมข้อมูลล่วงหน้า, การเคลื่อนย้ายข้อมูลและค่าใช้จ่ายในการปลุก—not เพียงอัตราการทำงานของเคอร์เนล ขนาดแบชมักเป็นหนึ่ง, และประสิทธิภาพต่อเนื่องอาจแตกต่างจากการทดสอบในห้องปฏิบัติการสั้น ๆ.

การบีบอัดและการปรับแต่ง

การควอนตาไลเซชันแทนค่าน้ำหนักและการกระตุ้นด้วยความแม่นยำที่ต่ำกว่า การตัดแต่ง (pruning) ลบพารามิเตอร์หรือโครงสร้าง การสกัดสารความรู้ (knowledge distillation) ฝึกนักเรียนขนาดเล็กให้เลียนแบบครูขนาดใหญ่ การรวมตัวดำเนินการและการวางแผนหน่วยความจำสามารถลดความหน่วงเพิ่มเติมได้.

การบีบอัดอาจทำให้ความแม่นยำ, การสอบเทียบและประสิทธิภาพของกลุ่มย่อยเปลี่ยนไป ทีมงานควรตรวจสอบผลลัพธ์ที่แปลงแล้วบนฮาร์ดแวร์เป้าหมาย แทนการสันนิษฐานว่ามาตรฐานของโมเดลจุดลอยเดิมยังคงใช้ได้.

ความเป็นส่วนตัว, การเรียนรู้แบบกระจายและความปลอดภัย

การสรุปผลในท้องถิ่นสามารถเก็บข้อมูลเสียงดิบ, รูปภาพหรือบันทึกเซนเซอร์บนอุปกรณ์ได้ แต่เมตาดาต้า, การฝังข้อมูลและเทเลเมตรีอาจยังคงเป็นข้อมูลที่อ่อนไหว การเรียนรู้แบบกระจาย สามารถประสานการฝึกแบบกระจายได้ โดยมีความเสี่ยงด้านความเป็นส่วนตัวและการฉีดพิษของข้อมูลของตนเอง.

กลุ่มอุปกรณ์ขอบขยายพื้นที่โจมตี การบูตที่ปลอดภัย, โมเดลที่ลงลายเซ็น, บริการที่มีสิทธิ์น้อยที่สุด, การสื่อสารที่เข้ารหัสและการอัปเดตที่ทันเวลาเป็นส่วนหนึ่งของการออกแบบ ความปลอดภัยไซเบอร์ ควรคาดการณ์ว่ามีการเข้าถึงทางกายภาพและอุปกรณ์ที่ใช้งานนานโดยไม่มีการสนับสนุน.

การตรวจสอบและการดำเนินงานของกลุ่มอุปกรณ์

โมเดลในท้องถิ่นยังต้องการการสังเกตการณ์ อุปกรณ์สามารถรายงานเมตริกสรุปที่คำนึงถึงความเป็นส่วนตัว, เวอร์ชัน, สถานะสุขภาพ, ความหน่วงและอัตราการปฏิเสธ การสุ่มตัวอย่างอินพุตที่เลือกเพื่อการตรวจสอบต้องมีการยินยอมอย่างชัดเจนและการควบคุมการเก็บรักษา.

การเปิดตัวควรใช้กลุ่มแคนารีและการย้อนกลับอัตโนมัติ ระบบต้องจัดการกับฮาร์ดแวร์ที่ไม่เข้ากัน, การอัปเดตที่ขัดจังหวะและการเปลี่ยนแปลงของโมเดล อุปกรณ์ที่ไม่สามารถรับการแก้ไขความปลอดภัยอาจต้องถอดออกจากการให้บริการ.

สถาปัตยกรรมขอบและการวางตำแหน่งงาน

Edge computing ประมวลผลข้อมูลใกล้แหล่งที่มาของมัน—บนเซนเซอร์, อุปกรณ์, เกตเวย์, ยานพาหนะ, สถานที่ค้าปลีก หรือเซิร์ฟเวอร์ท้องถิ่น—แทนการพึ่งพาเต็มที่กับคลาวด์ระยะไกล Edge AI วางการสรุปผลของโมเดลหรือบางครั้งการฝึกในสภาพแวดล้อมนั้น การวางตำแหน่งควรสอดคล้องกับความหน่วง, การเชื่อมต่อ, แบนด์วิธ, ความเป็นส่วนตัว, ความทนทาน, พลังงานและความต้องการการจัดการ การออกแบบแบบผสมอาจทำการตรวจจับทันทีในท้องถิ่น, ส่งเหตุการณ์ที่เลือกไปยังระบบระดับภูมิภาค, และใช้คลาวด์สำหรับการวิเคราะห์กลุ่มและการฝึกโมเดล.

ฮาร์ดแวร์มีตั้งแต่ไมโครคอนโทรลเลอร์และ NPU จนถึง GPU และเซิร์ฟเวอร์ทนทาน โมเดลจะถูกส่งออก, ทำควอนตาไลเซชัน, ตัดแต่ง, สกัดสารสรุป, หรือคอมไพล์สำหรับตัวดำเนินการและหน่วยความจำที่มีอยู่ การเตรียมข้อมูลล่วงหน้าและ I/O ของเซนเซอร์อาจครอบงำความหน่วง, ในขณะที่ความร้อนหรือขีดจำกัดแบตเตอรี่จำกัดอัตราการทำงานต่อเนื่อง การวัดประสิทธิภาพของกระบวนการทั้งหมดบนอุปกรณ์ที่ตรงกันภายใต้ความพร้อมทำงานจริง, อุณหภูมิและโหมดพลังงาน ตัวเลข TOPS ที่โดดเด่นไม่เปิดเผยการสำรองตัวดำเนินการ, การถ่ายโอนหน่วยความจำ หรือความแม่นยำที่ใช้งานจริง.

ความปลอดภัยของกลุ่ม, การอัปเดตและการสังเกตการณ์

อุปกรณ์ที่กระจายทำให้พื้นที่โจมตีขยายและอาจเข้าถึงได้ทางกายภาพ ใช้การบูตที่ปลอดภัย, เฟิร์มแวร์และโมเดลที่ลงลายเซ็น, ตัวตนที่สนับสนุนโดยฮาร์ดแวร์เมื่อเป็นไปได้, การสื่อสารที่เข้ารหัส, สิทธิ์ขั้นต่ำ, การแบ่งส่วนเครือข่าย, และความลับที่ได้รับการปกป้อง การอัปเดตต้องมีการเปิดตัวเป็นขั้นตอน, การตรวจสอบความเข้ากันได้, นโยบายป้องกันการย้อนกลับตามความเหมาะสม, การกู้คืนจากการอัปเดตที่ขัดจังหวะ, และอิมเมจที่รู้ว่าดี การทำรายการอุปกรณ์, เซนเซอร์, เฟิร์มแวร์, เวอร์ชันรันไทม์และโมเดลเพื่อให้เหตุการณ์สามารถประเมินได้อย่างรวดเร็ว.

การเชื่อมต่อเป็นระยะ ๆ ดังนั้นควรบัฟเฟอร์ข้อมูลด้วยที่เก็บที่จำกัด, จัดลำดับเหตุการณ์, ทำการลองใหม่ให้เป็นแบบไม่เปลี่ยนแปลงผล, และกำหนดพฤติกรรมออฟไลน์ การสังเกตการณ์ควรจับข้อมูลสุขภาพ, ความหน่วง, พลังงาน, สรุปอินพุต, การทำนาย, ความเชื่อมั่น, และผลลัพธ์ที่ยืนยันโดยไม่ส่งข้อมูลดิบที่ไม่จำเป็น การลอยของนาฬิกา, ความล้มเหลวของเซนเซอร์, และการหมดพื้นที่เก็บข้อมูลในท้องถิ่นอาจทำให้ผลลัพธ์เป็นโมฆะ คำสั่งระยะไกลและช่องทางดีบักต้องการการอนุญาตที่เข้มงวดมากขึ้นเพราะอาจกลายเป็นเส้นทางควบคุมทั่วทั้งกลุ่ม.

การปรับใช้อย่างรับผิดชอบ

การประมวลผลในท้องถิ่นสามารถลดการโอนย้ายข้อมูลได้แต่ไม่ได้รับประกันความเป็นส่วนตัวโดยอัตโนมัติ; อินพุตดิบ, การฝังข้อมูล, และบันทึกอาจยังคงอยู่บนอุปกรณ์หรือซิงค์ในภายหลัง ควรลดการเก็บรักษาและเปิดเผยการพึ่งพาคลาวด์ ทดสอบการเปลี่ยนแปลงของโมเดลในหลายไซต์และสภาพแวดล้อม, โดยมีค่าเริ่มต้นที่ปลอดภัยเมื่อความเชื่อมั่นหรือสุขภาพเซนเซอร์ลดลง Edge AI มีคุณค่าเมื่อข้อจำกัดในท้องถิ่นเป็นจริง, แต่จะโอนความรับผิดชอบต่อวงจรชีวิต, ความปลอดภัย, และคุณภาพไปยังกลุ่มอุปกรณ์ที่หลากหลายขนาดใหญ่ซึ่งต้องออกแบบและดูแลเป็นระบบเดียว.

ตัวอย่างการทำงาน: Edge AI สำหรับกล้องความปลอดภัยระยะไกล

ไซต์ระยะไกลตรวจจับว่าประตูจำกัดการเข้าถูกเปิดขณะเครื่องจักรทำงานหรือไม่ อุปกรณ์ขอบประมวลผลวิดีโอในท้องถิ่นเพื่อความหน่วงต่ำและส่งเฉพาะเหตุการณ์และภาพย่อที่อนุญาต ข้อมูลรวมถึงสภาพอากาศ, แสงในเวลากลางคืน, ฝุ่น, การสั่น, และฉากว่างเปล่า โมเดลถูกทำควอนตาไลเซชันและวัดประสิทธิภาพจากต้นจนจบบนอุปกรณ์เป้าหมายสำหรับการตรวจจับ, การแจ้งเตือนเท็จ, ความหน่วง, พลังงาน, และพฤติกรรมความร้อนต่อเนื่อง.

การบูตที่ปลอดภัย, การอัปเดตที่ลงลายเซ็น, ตัวตนอุปกรณ์, และเครือข่ายที่แบ่งส่วนปกป้องกลุ่มอุปกรณ์ การอุดตันของกล้อง, การหมดพื้นที่เก็บข้อมูล, การลอยของนาฬิกา, การสูญเสียเครือข่าย, และการหมดเวลาโมเดลทำให้เกิดการแจ้งเตือนสุขภาพและกฎอุปกรณ์ปลอดภัยที่ไม่ขึ้นกับ AI การอัปเดตเปิดตัวให้กับกลุ่มเล็กพร้อมการย้อนกลับอัตโนมัติ การตรวจสอบเก็บข้อมูลสุขภาพและผลลัพธ์อย่างน้อยที่สุด, และพนักงานไซต์สามารถตรวจสอบและแก้ไขได้ การสรุปผลในท้องถิ่นลดการโอนย้ายข้อมูลแต่ไม่ได้ขจัดภาระด้านความเป็นส่วนตัว, การเก็บรักษา, หรือความปลอดภัยทางกายภาพ.

หลักฐานการนำไปใช้และความพร้อมในการดำเนินงาน

การตัดสินใจผลิตต้องการมากกว่าการสาธิตที่ประสบความสำเร็จ กำหนดผู้ใช้ที่ตั้งใจ, สภาพแวดล้อมการทำงาน, อินพุต, เอาต์พุต, ความขึ้นต่อกัน, เจ้าของ, และผลของความล้มเหลวสำคัญแต่ละประการ สร้างฐานข้อมูลที่ทำซ้ำได้และชุดการประเมินที่มีเวอร์ชันก่อนการปรับแต่ง ทดสอบกรณีทั่วไป, เงื่อนไขขอบเขต, อินพุตที่ผิดรูปหรือหายไป, การเปลี่ยนแปลงการกระจาย, การขัดข้องของความขึ้นต่อกัน, การใช้งานผิดวิธี, และกลุ่มหรือสภาพแวดล้อมที่อาจไม่ได้รับการสนับสนุนอย่างเพียงพอ วัดคุณภาพงานพร้อมกับการสอบเทียบหรือความไม่แน่นอน, ความหน่วง, ปริมาณการทำงาน, ต้นทุนทรัพยากร, การเข้าถึง, ความเป็นส่วนตัว, และความปลอดภัย บันทึกการแปลงและเกณฑ์ทุกอย่างเพื่อให้ผู้ตรวจสอบอิสระสามารถทำซ้ำผลลัพธ์และแยกแยะหลักฐานจากต้นแบบที่ดึงดูด.

ก่อนการเปิดตัว ให้มอบอำนาจสำหรับการปล่อย, ข้อยกเว้น, การเปลี่ยนแปลง, การย้อนกลับ, และการยกเลิก ใช้การเปิดตัวเป็นขั้นตอน, รักษาการสำรองที่ปลอดภัย, และตรวจสอบการสังเกตด้วยความล้มเหลวที่ใส่เข้ามาโดยเจตนา เทเลเมตรีการดำเนินงานควรเปิดเผยคุณภาพอินพุต, พฤติกรรมเอาต์พุต, เวอร์ชันของโมเดลหรือกฎ, สถานะความขึ้นต่อกัน, การแทรกแซงของมนุษย์, และผลลัพธ์ที่ยืนยันโดยไม่เก็บข้อมูลที่ละเอียดอ่อนที่ไม่จำเป็น กำหนดเกณฑ์การแจ้งเตือนและผู้รับผิดชอบการตอบสนอง, จากนั้นตรวจสอบหลักฐานจากโลกจริงหลังการปรับใช้แทนการสันนิษฐานว่าประสิทธิภาพออฟไลน์จะคงอยู่ ประเมินใหม่เมื่อแหล่งข้อมูล, ผู้ใช้, โมเดล, ผู้จำหน่าย, นโยบาย, ฮาร์ดแวร์, หรือเป้าหมายเปลี่ยนแปลง ระบบที่ดูแลต้องมีขั้นตอนการกู้คืน, การเรียนรู้จากเหตุการณ์, การลบและการเก็บรักษาที่บันทึกไว้, และจุดชัดเจนที่ควรปิดใช้งานหรือแทนที่.

คำถามที่พบบ่อย

Edge AI เร็วกว่า Cloud AI เสมอหรือไม่?

ไม่เสมอ การสรุปผลในท้องถิ่นหลีกเลี่ยงความล่าช้าของเครือข่ายแต่อาจทำงานบนฮาร์ดแวร์ที่อ่อนแรงกว่า ทั้งกระบวนการทั้งหมดและข้อกำหนดความน่าเชื่อถือกำหนดความหน่วง.

Edge AI สามารถทำงานโดยไม่มีการเชื่อมต่ออินเทอร์เน็ตได้หรือไม่?

ได้ หากโมเดล, การเตรียมข้อมูลล่วงหน้าและตรรกะการตัดสินใจอยู่ในท้องถิ่น การอัปเดต, การซิงโครไนซ์ หรือฟีเจอร์ที่พึ่งพาคลาวด์อาจไม่พร้อมใช้งาน.

อ้างอิงหลัก

• โครงการ Edge AI ของ NIST
• Banbury et al.: เกณฑ์การวัด MLPerf Tiny
• Han et al.: Deep Compression