เมต้า V-JEPA 2: โมเดล AI ที่นำความรู้สึกทั่วไปมาให้หุ่นยนต์

เมต้าได้พัฒนา Video Joint Embedding Predictive Architecture 2 (V-JEPA 2) ซึ่งเป็นการพัฒนาที่สำคัญในด้าน ปัญญาประดิษฐ์ (AI) โมเดลนี้ช่วยให้หุ่นยนต์เข้าใจและคาดการณ์การโต้ตอบทางกายภาพได้ โดยการฝึกอบรมด้วยวิดีโอมากกว่าหนึ่งล้านชั่วโมง ทำให้หุ่นยนต์สามารถเรียนรู้และคาดการณ์สิ่งที่จะเกิดขึ้นต่อไปได้ นอกจากนี้ยังช่วยให้หุ่นยนต์สามารถวางแผนการกระทำใน môi trườngใหม่ๆ และโต้ตอบกับวัตถุที่ไม่คุ้นเคยได้อย่างมีประสิทธิภาพ

V-JEPA 2 ใช้ การเรียนรู้แบบไม่มีการกำกับ (self-supervised learning) โดยการเรียนรู้โดยตรงจากข้อมูลวิดีโอโดยไม่ต้องการการกำกับของมนุษย์ ทำให้แตกต่างจากโมเดล AI อื่นๆ ที่อาศัยข้อมูลที่มีการกำกับ หุ่นยนต์สามารถคาดการณ์ผลลัพธ์ตามบริบทการมองเห็นได้ และสามารถปรับแผนการกระทำตามความต้องการได้ ซึ่งนำเราเข้าใกล้การบรรลุ ปัญญาประดิษฐ์ที่ทันสมัย (Advanced Machine Intelligence, AMI) มากขึ้น

โดยการสร้างบน Joint Embedding Predictive Architecture (JEPA) ของเมต้า V-JEPA 2 ได้ปรับปรุงการคาดการณ์การกระทำและแบบจำลองโลก ทำให้หุ่นยนต์สามารถจัดการกับงานใหม่ๆ ในสภาพแวดล้อมที่ไม่คุ้นเคยได้ เมต้าได้แบ่งปันโมเดลนี้กับชุมชนการวิจัยเพื่อเร่งความก้าวหน้าของ AI และปรับปรุงความสามารถของหุ่นยนต์

เหตุใดความรู้สึกทั่วไปในหุ่นยนต์จึงยาก

ความรู้สึกทั่วไปคือความสามารถในการตัดสินใจพื้นฐาน เช่น การรู้ว่าถ้วยจะหก nếuเอียงหรือเข้าใจว่าเก้าอี้อาจขัดทาง สำหรับมนุษย์ ความรู้นี้มาจากประสบการณ์โดยธรรมชาติ แต่หุ่นยนต์เผชิญกับความท้าทายในการพัฒนาความรู้สึกนี้

หุ่นยนต์ส่วนใหญ่ถูกตั้งโปรแกรมสำหรับงานเฉพาะใน môi trườngที่ควบคุมได้ พวกมันทำได้ดีในงานเหล่านั้น แต่เมื่อสถานการณ์เปลี่ยนแปลงหรือมีองค์ประกอบที่ไม่คาดคิด หุ่นยนต์ก็ประสบปัญหา พวกมันบ่อยครั้งไม่สามารถตระหนักถึงสาเหตุและผลหรือคาดการณ์ผลของการกระทำได้ ตัวอย่างเช่น หุ่นยนต์อาจรู้วิธีวางถ้วยบนพื้นผิวราบ แต่อาจไม่คาดการณ์ได้ว่าการเอียงถ้วยอาจทำให้หก

โมเดล AI ปัจจุบัน เช่น โมเดลที่อาศัยการเรียนรู้แบบเสริม (Reinforcement Learning, RL)เผชิญกับความจำกัด RL ต้องการการเรียนรู้โดยการลองผิดลองถูกอย่างมาก ทำให้กระบวนการช้าและต้องการทรัพยากรมาก โมเดลภาษาขนาดใหญ่ (Large Language Models, LLMs) มีความสามารถด้านภาษา แต่ขาดการเชื่อมโยงกับโลกแห่งความเป็นจริง พวกมันบ่อยครั้ง คาดเดา คำตอบตามข้อความเท่านั้น ทำให้ไม่น่าเชื่อถือในสถานการณ์ที่มีการเปลี่ยนแปลง โมเดลการมองเห็นแบบดั้งเดิมก็มีข้อจำกัดเช่นกัน โมเดลเหล่านี้มีความสามารถเฉพาะสำหรับงานและไม่สามารถปรับตัวให้เข้ากับสถานการณ์ใหม่ๆ ได้

เพื่อแก้ไขปัญหานี้ ผู้เชี่ยวชาญแนะนำการใช้ แบบจำลองโลก (World Models) แบบจำลองเหล่านี้ช่วยให้หุ่นยนต์สามารถจำลองและคาดการณ์การกระทำในอนาคตตามประสบการณ์ในอดีต ตัวอย่างเช่น คาดการณ์สิ่งที่จะเกิดขึ้นเมื่อวัตถุถูกย้ายหรือเมื่อวัตถุสองคอลิดกัน V-JEPA 2 ของเมต้าเป็นโมเดลแรกที่รวมหลักการเหล่านี้เข้าด้วยกัน โดยการเรียนรู้โดยตรงจากข้อมูลวิดีโอดิบ ทำให้สามารถปรับตัวเข้ากับสภาพแวดล้อมจริงได้

การทำความเข้าใจ V-JEPA 2

V-JEPA 2 เป็นโมเดลการเรียนรู้แบบไม่มีการกำกับที่พัฒนาโดยทีม Fundamental AI Research (FAIR) ของเมต้า ไม่เหมือนกับโมเดล AI แบบดั้งเดิมที่ต้องการข้อมูลที่มีการกำกับ V-JEPA 2 เรียนรู้จากวิดีโอที่ไม่มีการกำกับโดยการคาดการณ์ส่วนขาดของลำดับวิดีโอ ซึ่งเรียกว่าการคาดการณ์ระดับการแสดง (representation-level prediction) แทนที่จะเน้นไปที่ทุกพิกเซล V-JEPA 2 ทำงานกับการแสดงออกที่เป็นนามธรรมซึ่งจับไดนามิกและความสัมพันธ์ระหว่างวัตถุและการกระทำใน môi trường

โมเดลนี้สร้างบน Joint Embedding Predictive Architecture (JEPA) ของเมต้า ซึ่งออกแบบมาเพื่อทำความเข้าใจไดนามิกทางกายภาพ มีสองส่วนหลัก: ตัวเข้ารหัส (encoder) ซึ่งประมวลผลวิดีโอดิบเพื่อสร้างการแสดงออกที่มีประโยชน์ และตัวคาดการณ์ (predictor) ซึ่งใช้การแสดงออกเหล่านั้นเพื่อคาดการณ์เหตุการณ์ในอนาคต V-JEPA 2 ถูกฝึกอบรมด้วยวิดีโอมากกว่าหนึ่งล้านชั่วโมง ทำให้สามารถเรียนรู้รูปแบบที่ซับซ้อนในโลกแห่งความเป็นจริงได้ โดยการเรียนรู้จากวิดีโอ โมเดลสามารถคาดการณ์การกระทำและปฏิสัมพันธ์ในอนาคตได้ ทำให้หุ่นยนต์สามารถวางแผนและตัดสินใจได้ดีขึ้น

V-JEPA 2 ช่วยให้หุ่นยนต์สามารถวางแผนการกระทำแบบ zero-shot ได้ หมายความว่าหุ่นยนต์สามารถจัดการกับงานใน môi trườngใหม่ๆ โดยไม่ต้องมีการฝึกอบรมก่อน หุ่นยนต์สามารถทำการกระทำ เช่น ยกและวางวัตถุในตำแหน่งใหม่ๆ ได้ แม้ว่าจะไม่เคยเห็นงานเหล่านั้นก่อนก็ตาม ทำให้ V-JEPA 2 เป็นการปรับปรุงที่สำคัญในด้านการคาดการณ์การกระทำและการแบบจำลองโลก ทำให้หุ่นยนต์สามารถปรับตัวเข้ากับสภาพแวดล้อมใหม่ๆ ได้ดีขึ้น

โมเดลนี้เรียนรู้จากข้อมูลวิดีโอดิบ ทำให้หุ่นยนต์สามารถคาดการณ์เหตุการณ์ในอนาคตได้ ทำให้หุ่นยนต์สามารถทำงานได้ดีขึ้นในสถานการณ์จริง V-JEPA 2 นำเราเข้าใกล้หุ่นยนต์ที่สามารถวางแผนและกระทำการเหมือนมนุษย์ เมต้าได้แบ่งปัน V-JEPA 2 กับชุมชนการวิจัยเพื่อเร่งความก้าวหน้าของ AI

วิธีการทำงานของ V-JEPA 2: กระบวนการสองขั้นตอน

V-JEPA 2 ทำงานในสองขั้นตอนที่ชัดเจน แต่ละขั้นตอนช่วยให้โมเดลเรียนรู้จากข้อมูลวิดีโอดิบและนำความรู้นั้นไปใช้ในการตัดสินใจในงานจริง

ขั้นตอนที่ 1: การเรียนรู้การแสดงออกโดยไม่ต้องมีการกระทำ

V-JEPA 2 เริ่มต้นด้วยการฝึกอบรมขนาดใหญ่ด้วยวิดีโอมากกว่าหนึ่งล้านชั่วโมงและภาพมากกว่าหนึ่งล้านภาพ โมเดลเรียนรู้โดยการคาดการณ์ส่วนขาดของลำดับวิดีโอ โดยประมวลผลวิดีโอเป็น 3D tubelets ซึ่งเป็นตัวแทนหลักสำหรับโมเดล โมเดลใช้ Vision Transformer (ViT) พร้อมด้วย 3D Rotary Position Embeddings (3D-RoPE) เพื่อจับข้อมูลทั้งเชิงพื้นที่และเชิงเวลาได้อย่างมีประสิทธิภาพ

ตัวเข้ารหัสประมวลผล tubelets เพื่อสร้างเวกเตอร์แบบจำลองที่มีมิติสูง ซึ่งแสดงถึงทั้งไดนามิกเชิงพื้นที่และเชิงเวลาของวิดีโอ โมเดลใช้การมุ่งเน้นการลดเสียงรบกวน (mask denoising objective) โดยซ่อนส่วนใหญ่ของวิดีโอและพยายามคาดการณ์เนื้อหาที่ซ่อนโดยใช้ส่วนที่มองเห็นได้ ตัวเข้ารหัส Exponential Moving Average (EMA) ช่วยให้โมเดลหลีกเลี่ยงวิธีแก้ปัญหาที่ไม่สำคัญและรับประกับการเรียนรู้ที่เสถียร ฟังก์ชันการขาดความแตกต่าง (loss function) ลดความแตกต่าง L1 ระหว่างการคาดการณ์และการแสดงออกของตัวเข้ารหัส EMA โดยเน้นไปที่แนวคิดระดับสูง เช่น การคงอยู่ของวัตถุและการเคลื่อนไหว มากกว่ารายละเอียดระดับพิกเซล

ขั้นตอนที่ 2: การวางแผนและการควบคุมที่มีเงื่อนไขการกระทำ

ในขั้นตอนที่สอง โมเดลเปลี่ยนไปสู่การฝึกอบรมที่มีเงื่อนไขการกระทำ น้ำหนักของตัวเข้ารหัสถูก固定 และตัวคาดการณ์ใหม่ถูกฝึกอบรมโดยใช้ข้อมูลจากปฏิสัมพันธ์ของหุ่นยนต์ ข้อมูลนี้รวมถึงการมองเห็นจากวิดีโอและการกระทำควบคุมที่สอดคล้องกัน โดยทั่วไปจาก ชุดข้อมูล DROID (ประมาณ 62 ชั่วโมงของข้อมูลหุ่นยนต์) ตอนนี้ โมเดลสามารถคาดการณ์สถานะอนาคตของสภาพแวดล้อมได้โดยพิจารณาจากสถานะปัจจุบันและการกระทำที่เป็นไปได้

V-JEPA 2 ตั้งปัญหาในการลดพลังงานแบบมีเงื่อนไข โดยการเข้ารหัสทั้งการมองเห็นปัจจุบันและภาพเป้าหมายเป็นแผนที่คุณลักษณะ จากนั้นโมเดลคาดการณ์ว่าสถานะจะเปลี่ยนแปลงไปอย่างไรเมื่อมีลำดับการกระทำที่แตกต่างกัน ลำดับการกระทำที่เหมาะสมที่สุดถูกพบโดยการลดความแตกต่าง L1 ระหว่างสถานะอนาคตที่คาดการณ์ไว้และการแสดงออกของเป้าหมาย Cross-Entropy Method (CEM) ถูกใช้สำหรับการเพิ่มประสิทธิภาพของเส้นทาง

การกระทำแรกของลำดับที่เหมาะสมที่สุดจะถูกนำไปใช้ และกระบวนการจะถูกทำซ้ำในลูปการควบคุมแบบ receding horizon ทำให้สามารถวางแผนและปรับตัวในเวลาจริงได้ โดยการใช้การประมวลผล tubelet 3D V-JEPA 2 จับได้ทั้งความสัมพันธ์เชิงพื้นที่และเชิงเวลา ทำให้หุ่นยนต์สามารถให้เหตุผลเกี่ยวกับการเคลื่อนไหว การโต้ตอบของวัตถุ และผลของการกระทำใน môi trườngที่ซับซ้อนได้ ทำให้สามารถวางแผนและควบคุมแบบ zero-shot ได้ แม้ในสถานการณ์ใหม่ๆ โดยไม่ต้องมีการแสดงตัวอย่างงานเฉพาะหรือวิศวกรรมรางวัล

การประยุกต์ใช้ V-JEPA 2 ในหุ่นยนต์

V-JEPA 2 กำลังเปลี่ยนแปลงวิธีที่หุ่นยนต์โต้ตอบกับโลก มีการประยุกต์ใช้หลายอย่างที่กำลังพัฒนา แต่โมเดลนี้ได้แสดงความสามารถที่แข็งแกร่งใน môi trườngที่ควบคุมได้

การยึดและวาง

ในห้องปฏิบัติการ V-JEPA 2 ได้ทำให้หุ่นยนต์สามารถทำการยึดและวางได้ด้วยการฝึกอบรมน้อย โดยใช้เพียง 62 ชั่วโมงของข้อมูลจากชุดข้อมูล DROID หุ่นยนต์สามารถจัดการวัตถุต่างๆ รวมถึงวัตถุแข็งและอ่อนได้ ความสามารถนี้มีความสำคัญในด้านเช่น โลจิสติกส์ การผลิต และหุ่นยนต์ในบ้าน โดยที่วัตถุมีความหลากหลายมากในด้านขนาดและความซับซ้อน

การนำทางใน môi trườngที่มีการเปลี่ยนแปลง

V-JEPA 2 สามารถแบบจำลองไดนามิกเชิงเวลา ซึ่งทำให้มีประโยชน์ในการนำทางในเวลาจริงใน môi trườngที่มีคนเคลื่อนไหว สัตว์ หรืออุปสรรค แม้ว่าจะยังไม่ได้ถูกใช้ในยานพาหนะอัตโนมัติหรือโดรน แต่ความสามารถในการคาดการณ์ของมันสามารถช่วยให้หุ่นยนต์预測การเปลี่ยนแปลงและปรับเส้นทางได้ ซึ่งเป็นกุญแจสำคัญสำหรับความปลอดภัยและประสิทธิภาพใน môi trườngที่มีการเปลี่ยนแปลง

การโต้ตอบระหว่างมนุษย์และหุ่นยนต์

โดยการเรียนรู้ที่จะคาดการณ์การกระทำของมนุษย์ V-JEPA 2 สามารถปรับปรุงการทำงานร่วมกันระหว่างมนุษย์และหุ่นยนต์ หุ่นยนต์สามารถตอบสนองได้自然และปลอดภัยในพื้นที่ที่ใช้ร่วมกัน เช่น โรงพยาบาล บ้าน หรือพื้นที่อุตสาหกรรม แม้ว่าการพัฒนานี้ยังคงอยู่ในระหว่างการดำเนินการ แต่ความสามารถนี้แสดงถึงขั้นตอนหนึ่งในการสร้างหุ่นยนต์ที่ตระหนักถึงสังคมและสามารถปรับตัวเข้ากับสภาพแวดล้อมได้

การสร้างแบบจำลองและวางแผนแบบ zero-shot

V-JEPA 2 สามารถสร้างแบบจำลองและวางแผนการกระทำในงานและ môi trườngต่างๆ โดยไม่ต้องมีการฝึกอบรมเพิ่มเติม หุ่นยนต์สามารถใช้การแสดงออกที่เรียนรู้ในสถานการณ์ใหม่ๆ โดยไม่ต้องมีการเก็บข้อมูลหรือการฝึกอบรมใหม่ ทำให้หุ่นยนต์สามารถปรับตัวและเรียนรู้ได้อย่างรวดเร็ว

การตัดสินใจในเวลาจริงและประสิทธิภาพ

ด้วยการออกแบบที่มีประสิทธิภาพ V-JEPA 2 รองรับการวางแผนและควบคุมในเวลาจริง เมต้ารายงานว่า V-JEPA 2 มีความเร็ว 30 เท่า มากกว่าโมเดล Cosmos ของ Nvidia (NVDA ) ในบางมาตรฐาน ความเร็วนี้มีความสำคัญสำหรับงานที่ต้องการการตัดสินใจอย่างรวดเร็ว เช่น การจัดการหุ่นยนต์หรือการนำทางใน môi trườngที่เปลี่ยนแปลง

ความท้าทายและข้อจำกัดในทางปฏิบัติ

แม้ว่า V-JEPA 2 จะได้พัฒนาอย่างมีนัยสำคัญในด้านการเรียนรู้แบบไม่มีการกำกับและการวางแผนหุ่นยนต์ แต่ยังมีความท้าทายที่ต้องเผชิญก่อนที่จะสามารถใช้งานได้อย่างกว้างขวาง

การอาศัยข้อมูลการมองเห็นเพียงอย่างเดียว

V-JEPA 2 ถูกฝึกอบรมโดยใช้ข้อมูลวิดีโอและภาพเพียงอย่างเดียว ทำให้มีประสิทธิภาพสำหรับงานที่ต้องใช้การมองเห็น แต่จำกัดความสามารถในการทำงานที่ต้องใช้หลายสื่อ เช่น การจัดการด้วยการสัมผัสหรือการใช้สัญญาณเสียง ในโลกแห่งความเป็นจริง หุ่นยนต์ขึ้นอยู่กับหลายสื่อการรับข้อมูล

ความไวต่อตำแหน่งและคาลิเบรชันของกล้อง

โมเดลนี้อาศัยการรับข้อมูลจากกล้อง RGB แบบมอนโอคิวลาร์ ซึ่งสามารถลดประสิทธิภาพหากฐานหรือเฟรมอ้างอิงของหุ่นยนต์ไม่มองเห็นได้ อาจต้องมีการปรับแต่งการวางกล้องเพื่อให้แน่ใจว่ามีการทำงานที่สม่ำเสมอ

ข้อจำกัดในการวางแผนระยะยาวและหลายขั้นตอน

V-JEPA 2 ทำได้ดีในงานที่มีระยะเวลาสั้น แต่เผชิญกับความท้าทายในการวางแผนระยะยาว การสะสมของข้อผิดพลาดในการคาดการณ์และการขยายของพื้นที่การกระทำทำให้การดำเนินการที่ซับซ้อนและหลายขั้นตอนเป็นเรื่องที่ยาก

ความต้องการในการคำนวณสูง

แม้ว่า V-JEPA 2 จะเร็วกว่าโมเดลอื่นๆ เช่น Cosmos ของ Nvidia แต่ก็มีพารามิเตอร์มากกว่า 1.2 พันล้านตัว ซึ่งต้องการทรัพยากรการคำนวณที่สำคัญ ซึ่งอาจเป็นความท้าทายสำหรับห้องปฏิบัติการหรือองค์กรขนาดเล็กที่มีโครงสร้างพื้นฐานที่จำกัด

การสร้างแบบจำลองใน môi trườngที่ไม่มีโครงสร้าง

V-JEPA 2 ทำได้ดีใน môi trườngที่ควบคุมได้ แต่อาจเผชิญกับความท้าทายใน môi trườngที่ไม่คุ้นเคยหรือไม่มีโครงสร้าง อัตราความสำเร็จในการทำงานยึดและวางอยู่ที่ประมาณ 80% แต่อาจล้มเหลวในกรณีเชิงขอบ

การรวมเข้ากับหุ่นยนต์เต็มรูปแบบ

เพื่อให้ใช้งานได้ V-JEPA 2 ต้องรวมเข้ากับเครื่องมือควบคุมการเคลื่อนไหว เซ็นเซอร์ในเวลาจริง และผู้วางแผนงาน การบรรลุการทำงานร่วมกันอย่างราบรื่นใน môi trườngที่มีการเปลี่ยนแปลงยังคงเป็นความท้าทาย

ข้อพิจารณาด้านจริยธรรมและอคติ

เช่นเดียวกับโมเดลขนาดใหญ่อื่นๆ V-JEPA 2 อาจมีอคติที่สืบทอดมาจากข้อมูลการฝึกอบรม ในการประยุกต์ใช้จริง โดยเฉพาะอย่างยิ่งในการโต้ตอบกับมนุษย์ อคติเหล่านี้อาจนำไปสู่ผลลัพธ์ที่ไม่ได้ตั้งใจได้ การดูแลด้านจริยธรรมจึงมีความสำคัญ

สรุป

V-JEPA 2 เป็นตัวอย่างของความก้าวหน้าอย่างมีนัยสำคัญใน AI และหุ่นยนต์ ทำให้หุ่นยนต์สามารถเข้าใจและโต้ตอบกับโลกแห่งความเป็นจริงได้เหมือนกับการกระทำของมนุษย์ แม้ว่าโมเดลนี้จะแสดงผลการทำงานที่ดีในการคาดการณ์การกระทำ การเข้าใจโลก และการวางแผนโดยไม่ต้องมีการฝึกอบรมก่อน แต่ก็ยังมีข้อจำกัดหลายประการ

V-JEPA 2 อาศัยข้อมูลการมองเห็นเพียงอย่างเดียวและมีข้อจำกัดในการวางแผนระยะยาวและการทำงานร่วมกับระบบหุ่นยนต์ที่สมบูรณ์ แต่ความสามารถในการตัดสินใจในเวลาจริงและปรับตัวเข้ากับสภาพแวดล้อมใหม่ๆ ทำให้มันมีประโยชน์อย่างมากสำหรับสถานการณ์จริงที่ซับซ้อน

เมต้ากำลังปรับปรุง V-JEPA 2 อย่างต่อเนื่อง ซึ่งจะช่วยให้ AI และหุ่นยนต์变得ฉลาดขึ้น ความก้าวหน้านี้จะมีคุณค่าสำหรับอุตสาหกรรมต่างๆ เช่น การดูแลสุขภาพ โลจิสติกส์ และยานพาหนะอัตโนมัติ V-JEPA 2 มีศักยภาพที่ดีและจะเล่นบทบาทสำคัญในอนาคตของหุ่นยนต์