มุมมองของ Anderson
โคเดกวิดีโอที่ออกแบบมาสำหรับการวิเคราะห์ด้วย AI

ประเด็นสำคัญAccMPEG เข้ารหัสเฉพาะมาโครบล็อกที่เกี่ยวข้องกับ DNN ฝั่งเซิร์ฟเวอร์…
ดูเพิ่มเติม
- AccMPEG เข้ารหัสเฉพาะมาโครบล็อกที่เกี่ยวข้องกับ DNN ฝั่งเซิร์ฟเวอร์ ช่วยประหยัดการคำนวณในเครื่อง
- ระบบทำงานที่ 10 เฟรมต่อวินาที และเหมาะกับงานเฝ้าติดตามที่ช้า เช่น การเฝ้าระวังทางการเกษตร
- AccGrad หาค่าประมาณความแม่นยำจาก DNN ด้วยการแพร่ไปข้างหน้าสองครั้ง ลดภาระงานลงสิบเท่า
แม้ว่าภาพยนตร์แนวเทคโนทริลเลอร์ เดอะเซอร์เคิล (2017) จะเป็นเพียงการแสดงความคิดเห็นเกี่ยวกับผลกระทบทางจริยธรรมของเครือข่ายสังคมมากกว่าความเป็นจริงของการวิเคราะห์วิดีโอบนเครือข่าย แต่กล้อง ‘ซีเชนจ์’ ที่มีขนาดเล็กมากที่เป็นศูนย์กลางของเรื่องราวนั้นเป็นสิ่งที่ผลักดันภาพยนตร์เข้าสู่ประเภท ‘นิยายวิทยาศาสตร์’ อย่างแท้จริง

กล้อง/อุปกรณ์เฝ้าระวัง ‘ซีเชนจ์’ จากภาพยนตร์เทคโนทริลเลอร์ ‘เดอะเซอร์เคิล’ (2017)
อุปกรณ์ไร้สายและเคลื่อนย้ายได้ขนาดประมาณลูกมาร์เบิลขนาดใหญ่ ไม่ใช่การขาดแผงโซลาร์เซลล์หรือความไม่มีประสิทธิภาพในการดึงพลังงานจากแหล่งพลังงานอื่นๆ (เช่น คลื่นวิทยุ) ที่ทำให้ซีเชนจ์เป็นโอกาสที่ไม่น่าจะเป็นไปได้ แต่เป็นข้อเท็จจริงที่ว่ามันจะต้องบีบอัดวิดีโอ 24/7 บนพลังงานที่มีอยู่จำกัด
การให้พลังงานแก่เซ็นเซอร์ไร้สายราคาถูกประเภทนี้เป็นพื้นที่การวิจัยหลักในด้านการมองเห็นของคอมพิวเตอร์ (CV) และการวิเคราะห์วิดีโอ โดยเฉพาะในพื้นที่ที่ไม่ใช่เมืองที่เซ็นเซอร์ต้องดึงประสิทธิภาพสูงสุดจากทรัพยากรพลังงานที่มีจำกัด (แบตเตอรี่ เซลล์แสงอาทิตย์ เป็นต้น)
ในกรณีที่อุปกรณ์ IoT/CV ประเภทนี้ต้องส่งเนื้อหาภาพไปยังเซิร์ฟเวอร์กลาง (มักผ่านเครือข่ายเซลล์แบบดั้งเดิม) ตัวเลือกมันยาก: อุปกรณ์จะต้องใช้เครือข่ายประสาทเทียมแบบเบาที่ทำงานท้องถิ่นเพื่อส่งเฉพาะส่วนที่ปรับให้เหมาะสมแล้วของข้อมูลที่เกี่ยวข้องไปยังเซิร์ฟเวอร์ หรือส่งวิดีโอ ‘โง่’ เพื่อให้ทรัพยากรคลาวด์ประเมิน
นอกจากนี้ แม้ว่าจะมีการกระตุ้นการเคลื่อนไหวผ่านเซ็นเซอร์วิชั่นสมาร์ท (SVS) ที่สามารถ ลดค่าใช้จ่ายนี้ การกระตุ้นนี้ยังคงต้องใช้พลังงาน
การรักษาพลังงานที่มีจำกัด
แม้จะมีการทำงานไม่บ่อย เช่น มีแกะเดินเข้ามาในภาพเป็นครั้งคราว อุปกรณ์ก็ยังไม่มีพลังงานพอจะส่งวิดีโอที่ไม่บีบอัดขนาดหลายกิกะไบต์ และไม่มีพลังงานพอจะรันโคเดกยอดนิยมอย่าง H.264/5 ตลอดเวลา ซึ่งออกแบบมาสำหรับฮาร์ดแวร์ที่เชื่อมต่อกับไฟฟ้าหรืออยู่ไม่ไกลจากการชาร์จครั้งถัดไป

วิดีโอแอนะไลซิสไปป์ไลน์สำหรับงานคอมพิวเตอร์วิชั่นสามแบบทั่วไป อาร์คิเทคเจอร์ของวิดีโอเอนโค้ดต้องได้รับการฝึกอบรมสำหรับงานที่ทำ และโดยทั่วไปสำหรับเครือข่ายประสาทเทียมที่จะได้รับข้อมูล ที่มา: https://arxiv.org/pdf/2204.12534.pdf
แม้ว่าโค้ดค H.264 ที่แพร่หลายจะมีการบริโภคพลังงานต่ำกว่าโค้ดค H.265 แต่ก็มี ประสิทธิภาพการบีบอัดที่ไม่ดี โค้ดค H.265 มีประสิทธิภาพการบีบอัดที่ดีกว่า แต่มีการบริโภคพลังงานสูงกว่า โค้ดค VP9 ของ Google ที่เปิดให้ใช้งานฟรี VP9 ชนะทั้งสองในแต่ละด้าน แต่ต้องการทรัพยากรการคำนวณท้องถิ่นที่สูงกว่า ซึ่งนำไปสู่ ปัญหาเพิ่มเติม ในเซ็นเซอร์ IoT ที่ถูก
เกี่ยวกับการวิเคราะห์สตรีมท้องถิ่น: เมื่อคุณได้ใช้เครือข่ายประสาทเทียมท้องถิ่นที่เบาที่สุดเพื่อกำหนดว่าเฟรม (หรือส่วนของเฟรม) ใดที่ควรส่งไปยังเซิร์ฟเวอร์ คุณมักจะใช้พลังงานที่คุณจะประหยัดได้โดยการส่งเฟรมทั้งหมด

การแยกส่วนของวัวด้วยเซ็นเซอร์ที่ไม่น่าจะเชื่อมต่อกับกริด ใช้พลังงานที่จำกัดในการแบ่งส่วนแบบเซมานติกท้องถิ่นด้วยเครือข่ายประสาทเทียมที่เบา; โดยการส่งข้อมูลที่จำกัดไปยังเซิร์ฟเวอร์สำหรับการสั่งการเพิ่มเติม (การแนะนำความล่าช้า); หรือโดยการส่ง ‘ข้อมูลโง่’ (การเสียพลังงานบนแบนด์วิธ) ที่มา: https://arxiv.org/pdf/1807.01972.pdf
มันชัดเจนว่าโครงการวิชั่นคอมพิวเตอร์ ‘ในธรรมชาติ’ ต้องการโค้ดควิดีโอแบบบีบอัดที่ปรับให้เหมาะสมให้เหมาะสมกับข้อกำหนดของเครือข่ายประสาทเทียมที่เฉพาะเจาะจงและหลากหลาย เช่น การแบ่งส่วนแบบเซมานติก การตรวจจับจุดสำคัญ (การวิเคราะห์การเคลื่อนไหวของมนุษย์) และการตรวจจับวัตถุ เป็นต้น
หากหาจุดสมดุลที่เหมาะสมระหว่างประสิทธิภาพการบีบอัดวิดีโอกับการส่งข้อมูลให้น้อยที่สุดได้ ก็จะเข้าใกล้แนวคิดซีเชนจ์และการติดตั้งเครือข่ายเซ็นเซอร์ราคาประหยัดในสภาพแวดล้อมที่ไม่เอื้ออำนวยมากขึ้นอีกขั้น
AccMPEG
การวิจัยใหม่จากมหาวิทยาลัยชิคาโก้อาจได้ทำการก้าวหนึ่งใกล้เคียงกับโค้ดคดังกล่าว ในรูปแบบของ AccMPEG – โค้ดคและเฟรมเวิร์กสตรีมวิดีโอที่ทำงานที่ความล่าช้าที่ต่ำ ความแม่นยำสูงสำหรับเครือข่ายประสาทเทียม DNN ที่ด้านเซิร์ฟเวอร์ และมีการใช้ทรัพยากรการคำนวณท้องถิ่นที่ต่ำมาก

อาร์คิเทคเจอร์ของ AccMPEG ที่มา: https://arxiv.org/pdf/2204.12534.pdf
ระบบสามารถประหยัดค่าใช้จ่ายมากกว่าวิธีการก่อนหน้าโดยการประเมินระดับที่แต่ละบล็อก 16x16px แมคโครบล็อก มีแนวโน้มที่จะส่งผลกระทบต่อความแม่นยำของ DNN ที่ด้านเซิร์ฟเวอร์ วิธีการก่อนหน้านี้โดยทั่วไปต้องประเมินความแม่นยำนี้ตามแต่ละพิกเซลในภาพหรือดำเนินการคำนวณท้องถิ่นที่มีค่าใช้จ่ายสูงเพื่อประเมินว่าพื้นที่ใดของภาพอาจมีความสนใจมากที่สุด
ใน AccMPEG ความแม่นยำนี้จะถูกประเมินในโมดูลที่กำหนดเองชื่อ AccGrad ซึ่งวัดวิธีการที่คุณภาพการเข้ารหัสของแมคโครบล็อกน่าจะเกี่ยวข้องกับการใช้งานสุดท้าย เช่น DNN ที่ด้านเซิร์ฟเวอร์ที่พยายามนับคน ประเมินโครงกระดูกของการเคลื่อนไหวของมนุษย์ หรืองานวิชั่นคอมพิวเตอร์ทั่วไปอื่นๆ
เมื่อเฟรมวิดีโอเข้าสู่ระบบ AccMPEG จะประมวลผลเบื้องต้นด้วยโมเดลเลือกคุณภาพที่ใช้การคำนวณน้อยชื่อ AccModel พื้นที่ที่ไม่น่าจะมีส่วนต่อการคำนวณที่เป็นประโยชน์ของ DNN ฝั่งเซิร์ฟเวอร์เป็นเสมือนส่วนเกิน จึงควรเข้ารหัสด้วยคุณภาพต่ำที่สุด ส่วนพื้นที่สำคัญควรส่งด้วยคุณภาพสูงกว่า
กระบวนการนี้มีความท้าทายสามประการ: จะทำได้รวดเร็วพอให้มีความหน่วงที่ยอมรับได้โดยไม่ใช้การคำนวณในอุปกรณ์ที่กินพลังงานหรือไม่? จะสร้างสมดุลที่เหมาะสมระหว่างอัตราเฟรมและคุณภาพได้หรือไม่? และจะฝึกโมเดลได้รวดเร็วสำหรับ DNN ฝั่งเซิร์ฟเวอร์แต่ละตัวหรือไม่?
การจัดการการฝึกโมเดล
ในอุดมคติ โค้ดควิดีโอสำหรับวิชั่นคอมพิวเตอร์ควรได้รับการฝึกอบรมล่วงหน้าบนระบบที่มีพลังงานเพียงพอสำหรับข้อกำหนดของเครือข่ายประสาทเทียมที่เฉพาะเจาะจง โมดูล AccGrad สามารถถูกดึงออกมาจาก DNN ได้โดยตรงด้วยการส่งผ่านไปข้างหน้าเพียงสองครั้ง โดยประหยัดค่าใช้จ่ายสิบเท่าของการฝึกอบรมมาตรฐาน
AccMPEG ฝึกอบรม AccGrad เพียง 15 เอพ็อกของการส่งผ่านไปข้างหน้าสามครั้งผ่าน DNN สุดท้าย และสามารถฝึกอบรม ‘สด’ โดยใช้สถานะปัจจุบันของโมเดลเป็นเทมเพลตได้ อย่างน้อยสำหรับงานวิชั่นคอมพิวเตอร์ที่มีคุณสมบัติเหมือนกัน
AccModel ใช้ตัวสกัดคุณลักษณะที่ฝึกอบรมไว้ล่วงหน้า MobileNet-SSD ที่พบได้ทั่วไปในอุปกรณ์เอดจ์ที่มีราคาไม่แพง ที่ 12 GFLOPS โมเดลนี้ใช้เพียงหนึ่งในสามของแนวทาง ResNet18 ทั่วไป นอกเหนือจากการปรับมาตรฐานและกระบวนการกระตุ้น อาร์คิเทคเจอร์ประกอบด้วยเพียงชั้นคอนโวลูชัน และค่าใช้จ่ายในการคำนวณสัมพันธ์กับขนาดเฟรม

AccGrad ลบความจำเป็นในการอนุมาน DNN สุดท้าย ซึ่งปรับปรุงลอจิสติกส์การใช้งาน
เฟรมเรต
อาร์คิเทคเจอร์ทำงานได้ดีที่สุดที่ 10 เฟรมต่อวินาที ซึ่งจะทำให้เหมาะสมสำหรับวัตถุประสงค์ เช่น การตรวจสอบทางการเกษตร การเฝ้าระวังความเสื่อมสภาพของอาคาร การวิเคราะห์จราจรจากมุมสูง และการอนุมานโครงกระดูกในเคลื่อนไหวของมนุษย์ อย่างไรก็ตาม สถานการณ์ที่เคลื่อนไหวเร็ว เช่น การจราจรจากมุมต่ำ (ของรถยนต์หรือคน) และสถานการณ์อื่นๆ ที่เฟรมเรตสูงมีประโยชน์ ไม่เหมาะสมกับแนวทางนี้
ส่วนหนึ่งของการประหยัดทรัพยากรเกิดจากสมมติฐานว่าแมโครบล็อกที่อยู่ติดกันน่าจะมีคุณค่าใกล้เคียงกัน จนถึงจุดที่แมโครบล็อกหนึ่งต่ำกว่าเกณฑ์ความแม่นยำที่ประเมินไว้ พื้นที่ที่ได้ด้วยวิธีนี้มีขอบเขตชัดเจนกว่าและคำนวณได้รวดเร็วยิ่งขึ้น
การปรับปรุงประสิทธิภาพ
นักวิจัยทดสอบระบบบนบอร์ด Jetson Nano มูลค่า 60 ดอลลาร์พร้อมกับ GPU Maxwell 128 คอร์ และอุปกรณ์อื่นๆ ที่มีราคาไม่แพง OpenVINO ถูกใช้เพื่อชดเชยบางส่วนของความต้องการพลังงานของ DNN ท้องถิ่นที่มีความหนาแน่นต่ำ โดยถ่ายโอนภาระบางส่วนไปยัง CPU
AccModel ได้รับการฝึกอบรมล่วงหน้าบนเซิร์ฟเวอร์ที่มี GPU GeForce RTX 2080S 8 ชิป แม้ว่านี่จะเป็นกลุ่มคอมพิวเตอร์ที่มีพลังมากสำหรับการสร้างแบบจำลองครั้งแรก แต่การฝึกอบรมแบบเบาที่ระบบทำให้สามารถทำได้ และวิธีการที่แบบจำลองสามารถปรับให้เหมาะสมกับพารามิเตอร์ที่ทนต่อข้อผิดพลาดที่แตกต่างกันระหว่าง DNN ที่โจมตีงานที่คล้ายกัน หมายความว่า AccMPEG สามารถเป็นส่วนหนึ่งของระบบที่ต้องการการดูแลน้อยที่สุดในธรรมชาติ
เผยแพร่ครั้งแรกเมื่อวันที่ 1 พฤษภาคม 2022












