โมเดลและแพลตฟอร์ม AI
วิชันทรานส์ฟอร์เมอร์เอาชนะความท้าทายด้วยกลไกแอตเทนชันจากแพตช์ภาพไปยังคลัสเตอร์แบบใหม่
ประเด็นสำคัญการให้ความสนใจแบบ Patch-to-Cluster ลดความต้องการด้านการคำนวณของ Vision Transformers…
ดูเพิ่มเติม
- การให้ความสนใจแบบ Patch-to-Cluster ลดความต้องการด้านการคำนวณของ Vision Transformers จากแบบกำลังสองเหลือเป็นแบบเชิงเส้น
- วิธีการใหม่นี้ทำให้การตัดสินใจของ AI ชัดเจนขึ้นด้วยการจัดกลุ่มคุณลักษณะของภาพให้เป็นคลัสเตอร์ที่สามารถตีความได้
- PaCa ทำผลงานได้ดีกว่าโมเดลชั้นนำอย่าง SWin และ PVT ในงานจำแนกประเภทและการแบ่งส่วนภาพ
เทคโนโลยีปัญญาประดิษฐ์ (AI) โดยเฉพาะวิชัน ทรานส์ฟอร์เมอร์ (ViTs) ได้แสดงให้เห็นถึงศักยภาพที่น่าประทับใจในการระบุและจัดประเภทวัตถุในภาพ อย่างไรก็ตาม การใช้งานในทางปฏิบัติได้ถูกจำกัดโดยสองความท้าทายที่สำคัญ: ความต้องการพลังการประมวลผลสูงและความไม่ชัดเจนในการตัดสินใจ ตอนนี้ กลุ่มของนักวิจัยได้พัฒนาโซลูชันใหม่: วิธีการใหม่ที่เรียกว่า “กลไกแอตเทนชันจากแพตช์ภาพไปยังคลัสเตอร์” (PaCa) PaCa มีเป้าหมายที่จะเพิ่มความสามารถของ ViTs ในการระบุวัตถุในภาพ การจำแนกประเภทและการแบ่งส่วนภาพ ในขณะเดียวกันก็แก้ไขปัญหาความต้องการพลังการประมวลผลสูงและความไม่ชัดเจนในการตัดสินใจที่ยาวนาน
การแก้ไขความท้าทายของ ViTs: การมองเห็นโซลูชันใหม่
ทรานส์ฟอร์เมอร์ เนื่องจากความสามารถที่เหนือกว่า เป็นหนึ่งในโมเดลที่มีอิทธิพลมากที่สุดในโลก AI ความสามารถของโมเดลเหล่านี้ได้ถูกขยายไปสู่ข้อมูลภาพผ่าน ViTs ซึ่งเป็นคลาสของทรานส์ฟอร์เมอร์ที่ได้รับการฝึกฝนจากข้อมูลภาพ แม้ว่า ViTs มีศักยภาพที่น่าประทับใจในการตีความและเข้าใจภาพ แต่ก็ถูกจำกัดโดยสองปัญหาที่สำคัญ
ประการแรก เนื่องจากภาพมีข้อมูลจำนวนมาก ViTs ต้องการพลังการประมวลผลและหน่วยความจำที่มาก ความซับซ้อนนี้อาจเกินขีดความสามารถของหลายระบบ โดยเฉพาะอย่างยิ่งเมื่อจัดการกับภาพที่มีความละเอียดสูง ประการที่สอง การตัดสินใจภายใน ViTs มักจะซับซ้อนและไม่ชัดเจน ผู้ใช้พบว่ามันยากที่จะเข้าใจว่า ViTs แยกแยะระหว่างวัตถุหรือคุณลักษณะต่างๆ ในภาพอย่างไร ซึ่งเป็นสิ่งสำคัญสำหรับการใช้งานหลายอย่าง
อย่างไรก็ตาม วิธีการ PaCa ใหม่นี้เสนอวิธีแก้ปัญหาทั้งสองประเด็นนี้ “เราจะแก้ไขความท้าทายที่เกี่ยวข้องกับความต้องการพลังการประมวลผลและหน่วยความจำโดยใช้เทคนิคการคลัสเตอร์ ซึ่งช่วยให้โครงสร้างทรานส์ฟอร์เมอร์สามารถระบุและเน้นย้ำวัตถุในภาพได้ดีขึ้น” Tianfu Wu อธิบาย ผู้ประพันธ์ที่รับผิดชอบการติดต่อของเอกสารวิจัยและรองศาสตราจารย์ภาควิชาวิศวกรรมไฟฟ้าและคอมพิวเตอร์ มหาวิทยาลัยรัฐนอร์ทแคโรไลนา
การใช้เทคนิคการคลัสเตอร์ใน PaCa ลดความต้องการพลังการประมวลผลอย่างมาก เปลี่ยนปัญหาจากกระบวนการที่มีความซับซ้อนแบบกำลังสองให้เป็นกระบวนการเชิงเส้นที่จัดการได้ Wu อธิบายกระบวนการนี้ “ด้วยการคลัสเตอร์ เราสามารถทำให้กระบวนการนี้เป็นกระบวนการเชิงเส้น โดยที่แต่ละหน่วยเล็กๆ จะต้องเปรียบเทียบกับจำนวนคลัสเตอร์ที่กำหนดไว้ล่วงหน้าเท่านั้น”
การคลัสเตอร์ยังช่วยให้กระบวนการตัดสินใจใน ViTs ชัดเจนขึ้น กระบวนการสร้างคลัสเตอร์แสดงให้เห็นว่า ViTs ตัดสินใจว่าคุณลักษณะใดที่สำคัญในการจัดกลุ่มส่วนของข้อมูลภาพ เมื่อ AI สร้างคลัสเตอร์จำนวนจำกัด ผู้ใช้สามารถเข้าใจและตรวจสอบกระบวนการตัดสินใจได้ง่ายขึ้น ทำให้โมเดลมีความสามารถในการตีความที่ดีขึ้น
วิธีการ PaCa มีประสิทธิภาพเหนือกว่า ViTs รุ่นอื่นๆ
ผ่านการทดสอบอย่างครอบคลุม นักวิจัยพบว่าวิธีการ PaCa มีประสิทธิภาพเหนือกว่า ViTs รุ่นอื่นๆ ในหลายด้าน Wu อธิบาย “เราพบว่า PaCa มีประสิทธิภาพเหนือกว่า SWin และ PVT ในทุกด้าน” การทดสอบแสดงให้เห็นว่า PaCa มีประสิทธิภาพในการจำแนกและระบุวัตถุในภาพ และการแบ่งส่วนภาพ โดยระบุขอบเขตของวัตถุในภาพได้อย่างมีประสิทธิภาพ นอกจากนี้ยังพบว่า PaCa มีประสิทธิภาพในการใช้เวลาในการทำงานมากกว่า ViTs รุ่นอื่นๆ
ได้รับแรงบันดาลใจจากความสำเร็จของ PaCa ทีมวิจัยมีเป้าหมายที่จะพัฒนามันให้ไกลกว่านี้โดยฝึกโมเดลด้วยชุดข้อมูลพื้นฐานที่มีขนาดใหญ่ขึ้น โดยหวังว่าจะขยายขอบเขตของสิ่งที่เป็นไปได้กับ AI ที่ใช้ภาพ
เอกสารวิจัย “PaCa-ViT: การเรียนรู้กลไกแอตเทนชันจากแพตช์ภาพไปยังคลัสเตอร์ในวิชัน ทรานส์ฟอร์เมอร์” จะนำเสนอที่การประชุม IEEE/CVF Conference on Computer Vision and Pattern Recognition ที่กำลังจะมาถึง ซึ่งเป็น หมุดหมายสำคัญที่อาจเปิดทางให้กับระบบ AI ที่มีประสิทธิภาพ มีความโปร่งใส และสามารถเข้าถึงได้มากขึ้น












