หนึ่งในความท้าทายหลักในการสร้างแบบจำลองการมองเห็นด้วยคอมพิวเตอร์คือการสร้างหน้ากากแบ่งส่วนภาพที่มีคุณภาพสูง การพัฒนาล่าสุดในการฝึกอบรมแบบกำกับข้อมูลขนาดใหญ่ทำให้สามารถแบ่งส่วนภาพแบบ Zero-Shot ได้หลากหลายรูปแบบ นอกจากนี้ การฝึกอบรมแบบไม่ต้องมีการกำกับข้อมูลยังทำให้การแบ่งส่วนภาพง่ายขึ้นโดยไม่ต้องมีการกำกับข้อมูลอย่างกว้างขวาง อย่างไรก็ตาม การสร้างเฟรมเวิร์กการมองเห็นด้วยคอมพิวเตอร์ที่สามารถแบ่งส่วนภาพใดๆ ในสถานการณ์ Zero-Shot โดยไม่ต้องมีการกำกับข้อมูลยังคงเป็นงานที่ซับซ้อน การแบ่งส่วนภาพแบบSemantic เป็นแนวคิดพื้นฐานในการสร้างแบบจำลองการมองเห็นด้วยคอมพิวเตอร์ ซึ่งเกี่ยวข้องกับการแบ่งภาพออกเป็นภูมิภาคที่มีเซมานติกส์ที่เหมือนกัน เทคนิคนี้เป็นพื้นฐานสำหรับงานที่หลากหลาย เช่น การถ่ายภาพทางการแพทย์ การแก้ไขภาพ การขับขี่อัตโนมัติ และอื่นๆ

เพื่อพัฒนาการสร้างแบบจำลองการมองเห็นด้วยคอมพิวเตอร์ มันจำเป็นที่การแบ่งส่วนภาพจะไม่จำกัดอยู่ในเซตข้อมูลที่มีหมวดหมู่จำกัด แต่ควรเป็นงานพื้นฐานที่หลากหลายสำหรับการใช้งานอื่นๆ อย่างไรก็ตาม ค่าใช้จ่ายในการเก็บฉลากบนพิกเซลต่อพิกเซลเป็นความท้าทายที่สำคัญ ซึ่งจำกัดการพัฒนาของวิธีการแบ่งส่วนภาพแบบ Zero-Shot และแบบกำกับข้อมูลที่ไม่ต้องมีการกำกับข้อมูลหรือการเข้าถึงข้อมูลล่วงหน้า ในบทความนี้ เราจะพูดถึงวิธีการที่ชั้นการให้ความสนใจตนเองในแบบจำลองการแพร่กระจายที่เสถียรสามารถช่วยให้สร้างแบบจำลองที่สามารถแบ่งส่วนภาพใดๆ ในสถานการณ์ Zero-Shot โดยไม่ต้องมีการกำกับข้อมูลอย่างเหมาะสม ชั้นการให้ความสนใจตนเองเหล่านี้เข้าใจแนวคิดของวัตถุที่ได้เรียนรู้จากแบบจำลองการแพร่กระจายที่เสถียรที่ได้รับการฝึกอบรมล่วงหน้า

DiffSeg : อัลกอริทึมแบ่งส่วนภาพแบบ Zero-Shot ที่ได้รับการปรับปรุง

การแบ่งส่วนภาพแบบSemantic เป็นกระบวนการที่แบ่งภาพออกเป็นหลายส่วน โดยแต่ละส่วนมีเซมานติกส์ที่เหมือนกัน เทคนิคนี้เป็นพื้นฐานสำหรับงานที่หลากหลาย ใน truyền thống การทำงานการมองเห็นด้วยคอมพิวเตอร์แบบ Zero-Shot มักจะพึ่งพาการแบ่งส่วนภาพแบบกำกับข้อมูล โดยใช้เซตข้อมูลขนาดใหญ่ที่มีหมวดหมู่ที่ได้รับการกำกับข้อมูลและฉลาก อย่างไรก็ตาม การนำการแบ่งส่วนภาพแบบไม่ต้องมีการกำกับข้อมูลไปใช้ในสถานการณ์ Zero-Shot ยังคงเป็นความท้าทาย ในขณะที่วิธีการแบบกำกับข้อมูลแบบดั้งเดิมมีประสิทธิภาพ แต่ค่าใช้จ่ายในการกำกับข้อมูลพิกเซลต่อพิกเซลมักจะสูงเกินไป ซึ่งเน้นย้ำถึงความจำเป็นในการพัฒนาวิธีการแบ่งส่วนภาพแบบไม่ต้องมีการกำกับข้อมูลในสถานการณ์ที่ไม่จำกัด โดยที่แบบจำลองไม่ต้องการข้อมูลที่ได้รับการกำกับข้อมูลหรือการเข้าถึงข้อมูลล่วงหน้า

เพื่อแก้ไขข้อจำกัดนี้ DiffSeg นำเสนอวิธีการประมวลผลหลังการฝึกอบรมที่ใหม่ โดยใช้ความสามารถของเฟรมเวิร์กการแพร่กระจายที่เสถียรในการสร้างแบบจำลองแบ่งส่วนภาพที่สามารถถ่ายโอนแบบ Zero-Shot ไปยังภาพใดๆ อัลกอริทึม DiffSeg ประกอบด้วยสามส่วนหลัก: การรวมการให้ความสนใจแบบต่อเนื่อง การรวมการให้ความสนใจ และการดับเสียงสูงสุด ไม่ใช่การดับเสียงสูงสุด ตามที่แสดงในภาพต่อไปนี้

อัลกอริทึม DiffSeg รักษาข้อมูลที่มองเห็นได้ตลอดหลายความละเอียดโดยการรวมเทนเซอร์การให้ความสนใจ 4 มิติพร้อมความสอดคล้องเชิงพื้นที่ และใช้กระบวนการรวมแบบต่อเนื่องโดยการวาดตัวอย่างจุดยึดจุด การยึดจุดเหล่านี้ทำหน้าที่เป็นพื้นฐานสำหรับการรวมหน้ากากการให้ความสนใจที่มี錨จุดวัตถุเดียวกันซึ่งจะถูกดูดซับในที่สุด กระบวนการรวมนี้ถูกควบคุมโดยวิธีการ KL divergence เพื่อวัดความคล้ายคลึงกันระหว่างแผนที่การให้ความสนใจสองแผนที่

เมื่อเปรียบเทียบกับวิธีการแบ่งส่วนภาพแบบไม่ต้องมีการกำกับข้อมูลที่ใช้การรวมกลุ่ม DiffSeg ไม่ต้องการให้ผู้ใช้ระบุจำนวนส่วนกลุ่มล่วงหน้า และแม้ไม่มีการเข้าถึงข้อมูลล่วงหน้า อัลกอริทึม DiffSeg ก็สามารถสร้างการแบ่งส่วนภาพได้โดยไม่ต้องใช้ทรัพยากรเพิ่มเติมโดยรวม อัลกอริทึม DiffSeg เป็น วิธีการแบ่งส่วนภาพแบบไม่ต้องมีการกำกับข้อมูลและแบบ Zero-Shot ที่ใหม่ ซึ่งใช้แบบจำลองการแพร่กระจายที่เสถียรที่ได้รับการฝึกอบรมล่วงหน้า และสามารถแบ่งส่วนภาพได้โดยไม่ต้องมีการกำกับข้อมูลหรือการเข้าถึงข้อมูลล่วงหน้า

DiffSeg : แนวคิดพื้นฐาน

DiffSeg เป็นอัลกอริทึมที่ใหม่ซึ่งสร้างขึ้นจากความเข้าใจของแบบจำลองการแพร่กระจาย การแบ่งส่วนภาพแบบไม่ต้องมีการกำกับข้อมูล และการแบ่งส่วนภาพแบบ Zero-Shot

แบบจำลองการแพร่กระจาย

อัลกอริทึม DiffSeg สร้างขึ้นจากความเข้าใจของแบบจำลองการแพร่กระจายที่ได้รับการฝึกอบรมล่วงหน้า แบบจำลองการแพร่กระจายเป็นหนึ่งในเฟรมเวิร์กการสร้างที่ได้รับความนิยมมากที่สุดสำหรับการสร้างแบบจำลองการมองเห็นด้วยคอมพิวเตอร์ และได้เรียนรู้กระบวนการแพร่กระจายไปข้างหน้าและย้อนกลับจากภาพที่มีเสียงสีขาวอิโซโทรปิกที่ตัวอย่างไปจนถึงการสร้างภาพ แบบจำลองการแพร่กระจายที่เสถียรเป็นรูปแบบที่ได้รับความนิยมมากที่สุดของแบบจำลองการแพร่กระจาย และใช้ในการทำงานที่หลากหลาย รวมถึงการแบ่งส่วนภาพแบบกำกับข้อมูล การจำแนกภาพแบบ Zero-Shot การจับคู่ความสอดคล้องเชิงความหมาย การแบ่งส่วนภาพแบบมีประสิทธิภาพ และการแบ่งส่วนภาพแบบเปิดคำศัพท์ อย่างไรก็ตาม ปัญหาเดียวที่มีในการใช้แบบจำลองการแพร่กระจายคือการพึ่งพาคุณลักษณะที่มีมิติสูงในการทำงานเหล่านี้ และมักต้องการการฝึกอบรมเพิ่มเติมเพื่อให้ได้ประโยชน์จากคุณลักษณะเหล่านี้อย่างเต็มที่

การแบ่งส่วนภาพแบบไม่ต้องมีการกำกับข้อมูล

อัลกอริทึม DiffSeg มีความเกี่ยวข้องกับการแบ่งส่วนภาพแบบไม่ต้องมีการกำกับข้อมูล ซึ่งเป็นแนวปฏิบัติสมัยใหม่ของ AI ที่มุ่งหมายเพื่อสร้างหน้ากากแบ่งส่วนภาพที่หนาแน่นโดยไม่ต้องใช้การกำกับข้อมูล อย่างไรก็ตาม เพื่อให้ได้ผลลัพธ์ที่ดี แบบจำลองการแบ่งส่วนภาพแบบไม่ต้องมีการกำกับข้อมูลต้องการการฝึกอบรมแบบไม่ต้องมีการกำกับข้อมูลบางอย่างบนเซตข้อมูลเป้าหมาย แบบจำลองการแบ่งส่วนภาพแบบไม่ต้องมีการกำกับข้อมูลสามารถแบ่งออกเป็นสองประเภท: การรวมกลุ่มโดยใช้แบบจำลองที่ได้รับการฝึกอบรมล่วงหน้า และการรวมกลุ่มตามความไม่เปลี่ยนแปลง

การแบ่งส่วนภาพแบบ Zero-Shot

อัลกอริทึม DiffSeg มีความเกี่ยวข้องกับการแบ่งส่วนภาพแบบ Zero-Shot ซึ่งเป็นวิธีการที่สามารถแบ่งส่วนภาพใดๆ โดยไม่ต้องมีการฝึกอบรมหรือการเข้าถึงข้อมูลล่วงหน้า แบบจำลองการแบ่งส่วนภาพแบบ Zero-Shot ได้แสดงให้เห็นถึงความสามารถในการถ่ายโอนแบบ Zero-Shot ที่น่าประทับใจในระยะหลัง แม้ว่าจะต้องการข้อความและคำแนะนำในการแบ่งส่วนภาพ ในทางกลับกัน อัลกอริทึม DiffSeg ใช้แบบจำลองการแพร่กระจายเพื่อสร้างการแบ่งส่วนภาพโดยไม่ต้องมีการสืบค้นและการสังเคราะห์ภาพหลายภาพหรือการรู้จักเนื้อหาของวัตถุ

DiffSeg : วิธีการและสถาปัตยกรรม

อัลกอริทึม DiffSeg ใช้ชั้นการให้ความสนใจตนเองในแบบจำลองการแพร่กระจายที่เสถียรที่ได้รับการฝึกอบรมล่วงหน้าเพื่อสร้างงานแบ่งส่วนภาพที่มีคุณภาพสูง

แบบจำลองการแพร่กระจายที่เสถียร

แบบจำลองการแพร่กระจายที่เสถียรเป็นแนวคิดพื้นฐานในเฟรมเวิร์ก DiffSeg แบบจำลองการแพร่กระจายที่เสถียรเป็นเฟรมเวิร์กการสร้าง AI ที่ได้รับความนิยมมากที่สุด และเป็นหนึ่งในแบบจำลองการแพร่กระจายที่ได้รับความนิยมมากที่สุด หนึ่งในคุณลักษณะหลักของแบบจำลองการแพร่กระจายคือการผ่านไปข้างหน้าและย้อนกลับ ในการผ่านไปข้างหน้า มีการเพิ่มเสียงสีขาวอิโซโทรปิกเล็กน้อยไปยังภาพที่แต่ละขั้นตอนจนกระทั่งภาพกลายเป็นภาพเสียงสีขาวอิโซโทรปิก ในทางกลับกัน ในการผ่านย้อนกลับ แบบจำลองการแพร่กระจายจะลบเสียงสีขาวอิโซโทรปิกออกจากภาพเสียงสีขาวอิโซโทรปิกเพื่อฟื้นฟูภาพเดิมโดยไม่มีเสียงสีขาวอิโซโทรปิก

เฟรมเวิร์กการแพร่กระจายที่เสถียรใช้การออกแบบแบบ Encoder-Decoder และ U-Net โดยมีชั้นการให้ความสนใจ โดยใช้ Encoder เพื่อบีบอัดภาพลงในพื้นที่ 潜伏ที่มีมิติเชิงพื้นที่ที่เล็กกว่า และใช้ Decoder เพื่อขยายภาพ U-Net ประกอบด้วยชุดของบล็อกแบบโมดูลาร์ โดยแต่ละบล็อกประกอบด้วยคอมโพเนนต์ใดคอมโพเนนต์หนึ่ง: ชั้น Transformer หรือชั้น ResNet

ส่วนประกอบและสถาปัตยกรรม

ชั้นการให้ความสนใจตนเองในแบบจำลองการแพร่กระจายจัดกลุ่มสารสนเทศของวัตถุที่มีอยู่ในรูปแบบของแผนที่การให้ความสนใจเชิงพื้นที่ และ DiffSeg เป็นวิธีการประมวลผลหลังการฝึกอบรมที่ใหม่เพื่อรวมเทนเซอร์การให้ความสนใจเข้ากับหน้ากากแบ่งส่วนภาพที่ถูกต้อง โดยมีกระบวนการที่ประกอบด้วยสามส่วนหลัก: การรวมการให้ความสนใจ การดับเสียงสูงสุด และการรวมการให้ความสนใจแบบต่อเนื่อง

การรวมการให้ความสนใจ

สำหรับภาพเข้าที่ผ่านชั้น U-Net และ Encoder แบบจำลองการแพร่กระจายที่เสถียรสร้างเทนเซอร์การให้ความสนใจทั้งหมด 16 ตัว โดยมี 5 ตัวสำหรับแต่ละมิติ จุดประสงค์หลักในการสร้างเทนเซอร์ 16 ตัวคือการรวมเทนเซอร์การให้ความสนใจเหล่านี้ที่มีความละเอียดต่างๆ เข้ากับเทนเซอร์ที่มีความละเอียดสูงสุด เพื่อให้บรรลุเป้าหมายนี้ อัลกอริทึม DiffSeg รักษามิติที่แตกต่างกันสี่มิติ

จากสี่มิติ สองมิติสุดท้ายของเทนเซอร์การให้ความสนใจมีความละเอียดที่แตกต่างกัน แต่สอดคล้องกันเชิงพื้นที่ เนื่องจากแผนที่พื้นที่ 2 มิติของเฟรมเวิร์ก DiffSeg สอดคล้องกับความสัมพันธ์ระหว่างตำแหน่งและตำแหน่งพื้นที่ ดังนั้น เฟรมเวิร์ก DiffSeg จึงตัวอย่างสองมิตินี้ของแผนที่การให้ความสนใจทั้งหมดไปยังความละเอียดสูงสุด ซึ่งก็คือ 64 x 64 ในทางกลับกัน มิติแรกสองมิติแสดงถึงตำแหน่งอ้างอิงของแผนที่การให้ความสนใจตามที่แสดงในภาพต่อไปนี้

เนื่องจากมิติเหล่านี้แสดงถึงตำแหน่งของแผนที่การให้ความสนใจ จึงจำเป็นต้องรวมแผนที่การให้ความสนใจเหล่านี้ตามลำดับ นอกจากนี้ เพื่อให้แน่ใจว่าแผนที่การให้ความสนใจที่รวมกันมีการกระจายที่ถูกต้อง เฟรมเวิร์กจะปรับขนาดการกระจายหลังการรวมกัน โดยแต่ละแผนที่การให้ความสนใจจะได้รับน้ำหนักตามความละเอียด

การรวมการให้ความสนใจแบบต่อเนื่อง

ในขณะที่จุดประสงค์หลักของการรวมการให้ความสนใจคือการคำนวณเทนเซอร์การให้ความสนใจ จุดประสงค์หลักคือการรวมแผนที่การให้ความสนใจในเทนเซอร์เข้ากับ chồngของข้อเสนอวัตถุ โดยแต่ละข้อเสนอประกอบด้วยหมวดหมู่ “สิ่งของ” หรือการกระตุ้นของวัตถุเดียว วิธีแก้ปัญหาที่เสนอคือการนำอัลกอริทึม K-Means ไปใช้กับการกระจายที่ถูกต้องของเทนเซอร์เพื่อค้นหากลุ่มของวัตถุ อย่างไรก็ตาม การใช้ K-Means ไม่ใช่วิธีแก้ปัญหาที่เหมาะสมที่สุด เนื่องจากการรวมกลุ่ม K-Means ต้องการให้ผู้ใช้ระบุจำนวนส่วนกลุ่มล่วงหน้า นอกจากนี้ การใช้อัลกอริทึม K-Means อาจส่งผลให้ได้ผลลัพธ์ที่แตกต่างกันสำหรับภาพเดียวกัน เนื่องจากขึ้นอยู่กับการเริ่มต้นแบบสุ่ม เพื่อ克服อุปสรรค เฟรมเวิร์ก DiffSeg เสนอการสร้างตัวอย่างกริดเพื่อสร้างข้อเสนอโดยการรวมแผนที่การให้ความสนใจแบบต่อเนื่อง

การดับเสียงสูงสุด

ขั้นตอนก่อนหน้าของการรวมการให้ความสนใจแบบต่อเนื่องให้ผลลัพธ์เป็นรายการข้อเสนอวัตถุในรูปแบบของแผนที่การให้ความสนใจหรือแผนที่ความน่าจะเป็น โดยแต่ละข้อเสนอประกอบด้วยการกระตุ้นของวัตถุ เฟรมเวิร์กใช้การดับเสียงสูงสุดเพื่อแปลงรายการข้อเสนอวัตถุเป็นหน้ากากแบ่งส่วนภาพที่ถูกต้อง กระบวนการนี้มีประสิทธิภาพ เนื่องจากแต่ละองค์ประกอบในรายการเป็นแผนที่การกระจายความน่าจะเป็นแล้ว สำหรับทุกตำแหน่งเชิงพื้นที่ทั่วแผนที่ทั้งหมด อัลกอริทึมจะหาดัชนีของความน่าจะเป็นที่ใหญ่ที่สุด และกำหนดสมาชิกภาพตามดัชนีของแผนที่ที่สอดคล้องกัน

DiffSeg : การทดลองและผลลัพธ์

เฟรมเวิร์กที่ทำงานบนการแบ่งส่วนภาพแบบไม่ต้องมีการกำกับข้อมูลใช้สองมาตรฐานการแบ่งส่วนภาพ ได้แก่ Cityscapes และ COCO-stuff-27 มาตรฐานการแบ่งส่วนภาพ Cityscapes เป็นเซตข้อมูลการขับขี่อัตโนมัติที่มี 27 หมวดหมู่ระดับกลาง ในขณะที่มาตรฐานการแบ่งส่วนภาพ COCO-stuff-27 เป็นเวอร์ชันที่ได้รับการดูแลของเซตข้อมูล COCO-stuff เดิม ซึ่งรวมหมวดหมู่ 80 “สิ่งของ” และ 91 หมวดหมู่เข้าด้วยกันเป็น 27 หมวดหมู่ นอกจากนี้ เพื่อวิเคราะห์ประสิทธิภาพการแบ่งส่วนภาพ เฟรมเวิร์ก DiffSeg ใช้การแยกความแตกต่างเฉลี่ย (mIoU) และความแม่นยำของพิกเซล (ACC) และเนื่องจากอัลกอริทึม DiffSeg ไม่สามารถให้ฉลากเชิงความหมายได้ จึงใช้อัลกอริทึมการจับคู่ฮังการีเพื่อจับคู่หน้ากากการแบ่งส่วนภาพที่คาดการณ์ไว้กับหน้ากากการแบ่งส่วนภาพที่แท้จริง ในกรณีที่จำนวนหน้ากากการแบ่งส่วนภาพที่คาดการณ์ไว้มากกว่าจำนวนหน้ากากการแบ่งส่วนภาพที่แท้จริง เฟรมเวิร์กจะพิจารณาการคาดการณ์ที่ไม่ตรงกันเหล่านี้เป็นผลลัพธ์เท็จ

นอกจากนี้ เฟรมเวิร์ก DiffSeg ยังเน้นย้ำถึงงานทั้งสามที่ต้องดำเนินการเพื่อสร้างความแตกต่าง ได้แก่ การพึ่งพาภาษา (LD) การปรับให้เหมาะสมแบบไม่ต้องมีการกำกับข้อมูล (UA) และภาพเสริม (AX) การพึ่งพาภาษาหมายถึงวิธีการต้องใช้ข้อความอธิบายเพื่ออำนวยความสะดวกในการแบ่งส่วนภาพสำหรับภาพ การปรับให้เหมาะสมแบบไม่ต้องมีการกำกับข้อมูลหมายถึงวิธีการต้องใช้การฝึกอบรมแบบไม่ต้องมีการกำกับข้อมูลบนเซตข้อมูลเป้าหมาย ในขณะที่ภาพเสริมหมายถึงวิธีการต้องใช้ภาพเพิ่มเติมเป็นภาพสังเคราะห์หรือเป็นกลุ่มภาพอ้างอิง

ผลลัพธ์

บนมาตรฐานการแบ่งส่วนภาพ COCO เฟรมเวิร์ก DiffSeg รวมสองบรรทัดฐาน K-Means ได้แก่ K-Means-S และ K-Means-C บรรทัดฐาน K-Means-C รวม 6 กลุ่มที่คำนวณโดยการเฉลี่ยจำนวนวัตถุในภาพที่ประเมิน ในขณะที่บรรทัดฐาน K-Means-S ใช้จำนวนกลุ่มเฉพาะสำหรับแต่ละภาพตามจำนวนวัตถุในภาพที่แท้จริง และผลลัพธ์บนบรรทัดฐานทั้งสองนี้แสดงไว้ในภาพต่อไปนี้

ตามที่เห็นได้ บรรทัดฐาน K-Means มีประสิทธิภาพเหนือกว่าวิธีการที่มีอยู่ ซึ่งแสดงให้เห็นถึงประโยชน์ของการใช้เทนเซอร์การให้ความสนใจตนเอง สิ่งที่น่าสนใจคือ บรรทัดฐาน K-Means-S มีประสิทธิภาพเหนือกว่าบรรทัดฐาน K-Means-C ซึ่งบ่งชี้ว่าจำนวนกลุ่มเป็นไฮเปอร์พารามิเตอร์ที่สำคัญ และการปรับให้เหมาะสมเป็นสิ่งจำเป็นสำหรับแต่ละภาพ นอกจากนี้ แม้ว่าจะพึ่งพาเทนเซอร์การให้ความสนใจตนเองเท่ากัน เฟรมเวิร์ก DiffSeg ก็มีประสิทธิภาพเหนือกว่าบรรทัดฐาน K-Means ซึ่งแสดงให้เห็นถึงความสามารถของเฟรมเวิร์ก DiffSeg ในการให้การแบ่งส่วนภาพที่ดีกว่า และหลีกเลี่ยงข้อเสียของการใช้บรรทัดฐาน K-Means

บนเซตข้อมูล Cityscapes เฟรมเวิร์ก DiffSeg ให้ผลลัพธ์ที่คล้ายกับเฟรมเวิร์กที่ใช้ข้อมูลนำเข้าที่มีความละเอียดต่ำกว่า 320 ในขณะที่มีประสิทธิภาพเหนือเฟรมเวิร์กที่ใช้ข้อมูลนำเข้าที่มีความละเอียดสูงกว่า 512 ทั้งในด้านความแม่นยำและ mIoU

ตามที่กล่าวไว้ก่อนหน้านี้ เฟรมเวิร์ก DiffSeg ใช้หลายไฮเปอร์พารามิเตอร์ตามที่แสดงในภาพต่อไปนี้

การรวมการให้ความสนใจเป็นแนวคิดพื้นฐานที่ใช้ในเฟรมเวิร์ก DiffSeg และผลกระทบของการใช้น้ำหนักรวมที่แตกต่างกันแสดงไว้ในภาพต่อไปนี้ โดยมีความละเอียดของภาพคงที่

ตามที่สังเกตได้ แผนที่ที่มีความละเอียดสูงในภาพ (b) โดยมีแผนที่ 64 x 64 ให้การแบ่งส่วนภาพที่มีรายละเอียดมากที่สุด แม้ว่าการแบ่งส่วนเหล่านี้จะมีการแตกหักเล็กน้อย ในทางกลับกัน แผนที่ที่มีความละเอียดต่ำกว่า 32 x 32 มีแนวโน้มที่จะแบ่งส่วนภาพโดยไม่จำเป็น แม้ว่าจะส่งผลให้ได้การแบ่งส่วนภาพที่สอดคล้องกันมากขึ้น ในภาพ (d) แผนที่ที่มีความละเอียดต่ำล้มเหลวในการสร้างการแบ่งส่วนภาพ เนื่องจากภาพทั้งหมดถูกรวมเข้าด้วยกันเป็นวัตถุเดียวโดยใช้การตั้งค่าไฮเปอร์พารามิเตอร์ที่มีอยู่ สุดท้าย ภาพ (a) ที่ใช้กลยุทธ์การรวมแบบสัดส่วนให้ผลลัพธ์ที่มีรายละเอียดที่ดีขึ้นและความสอดคล้องที่สมดุล

ความคิดสุดท้าย

การแบ่งส่วนภาพแบบ Zero-Shot โดยไม่ต้องมีการกำกับข้อมูลยังคงเป็นหนึ่งในความท้าทายที่ยิ่งใหญ่ที่สุดสำหรับแบบจำลองการมองเห็นด้วยคอมพิวเตอร์ และแบบจำลองที่มีอยู่ต้องอาศัยการปรับให้เหมาะสมแบบไม่ต้องมีการกำกับข้อมูลหรือทรัพยากรภายนอก เพื่อ 克服ความท้าทายนี้ เราได้พูดถึงวิธีการที่ชั้นการให้ความสนใจตนเองในแบบจำลองการแพร่กระจายที่เสถียรสามารถช่วยให้สร้างแบบจำลองที่สามารถแบ่งส่วนภาพใดๆ ในสถานการณ์ Zero-Shot โดยไม่ต้องมีการกำกับข้อมูลอย่างเหมาะสม ชั้นการให้ความสนใจตนเองเหล่านี้เข้าใจแนวคิดของวัตถุที่ได้เรียนรู้จากแบบจำลองการแพร่กระจายที่เสถียรที่ได้รับการฝึกอบรมล่วงหน้า เราได้พูดถึง DiffSeg อีกด้วย ซึ่งเป็นวิธีการประมวลผลหลังการฝึกอบรมที่ใหม่ซึ่งมีจุดมุ่งหมายเพื่อใช้เฟรมเวิร์กการแพร่กระจายที่เสถียรในการสร้างแบบจำลองแบ่งส่วนภาพที่สามารถถ่ายโอนแบบ Zero-Shot ไปยังภาพใดๆ อัลกอริทึม DiffSeg พึ่งพา Inter-Attention Similarity และ Intra-Attention Similarity เพื่อรวมแผนที่การให้ความสนใจแบบต่อเนื่องเข้ากับหน้ากากแบ่งส่วนภาพที่ถูกต้องเพื่อให้ได้ผลลัพธ์ที่ดีที่สุดในมาตรฐานการแบ่งส่วนภาพที่ได้รับความนิยม