ทำไมโมเดลของคุณถึงเรียนรู้เฉพาะสิ่งที่ป้ายกำกับสอนให้มัน

โมเดลที่ได้รับการสอนแบบมีผู้กำกับไม่ได้เรียนรู้โลก; มันเรียนรู้จากป้ายกำกับที่ทีมผู้ทำแอนโนเทชันกำหนดให้กับพิกเซล หากป้ายกำกับเหล่านั้นไม่สอดคล้องกัน, ทำให้เส้นแบ่งประเภทเบลอ, หรือข้ามเฟรมที่ยาก โมเดลจะดูดซึมความสับสนเหล่านั้นเป็นความจริง นี่คือเหตุผลที่การทำการทำป้ายกำกับข้อมูลที่เน้นคุณภาพ ไม่ใช่จำนวนภาพที่ทำป้ายกำกับโดยตรง เป็นตัวกำหนดขีดจำกัดสูงสุดของสิ่งที่โมเดลคอมพิวเตอร์วิชั่น (CV) สามารถทำได้ การฝึกนานขึ้นและเพิ่มพารามิเตอร์จะไม่ทำให้ขอบเขตที่ป้ายกำกับกำหนดถูกก้าวข้าม.

เพดานถูกกำหนดก่อนการฝึกเริ่มต้น

ให้คิดว่าชุดป้ายกำกับเป็นกุญแจคำตอบของการสอบ นักเรียนที่ถูกให้คะแนนโดยอิงกุญแจที่มีข้อบกพร่องจะเรียนรู้ข้อบกพร่องเหล่านั้น งานของ MIT และ Amazon แสดงผลเช่นนี้เมื่อทำการแก้ไขป้ายกำกับบน ImageNet และ CIFAR-10: การจัดอันดับโมเดลถูกสับเปลี่ยนอย่างมาก NasNet ตกจากอันดับหนึ่งเป็นอันดับ 29 จาก 34 สถาปัตยกรรมของ ImageNet, ในขณะที่ ResNet-18 ที่เล็กกว่ามากขึ้นจากอันดับ 34 เป็นอันดับหนึ่ง โมเดลที่มีความจุสูงได้รับรางวัลจากการจำเสียงรบกวน ไม่ใช่จากการเข้าใจภาพ.

การกลับหัวนี้มาพร้อมกับคำเตือนเชิงปฏิบัติ เกณฑ์มาตรฐานที่ชี้นำการเลือกสถาปัตยกรรมอาจชี้ผิดทางเมื่อป้ายกำกับที่อยู่ใต้มันผิดพลาด ทีมงานอาจฉลองการเพิ่มความแม่นยำสองคะแนนที่หายไปหรือกลับด้านเมื่อมีคนทำความสะอาดชุดทดสอบ การเพิ่มขึ้นนั้นไม่เคยอยู่ในโมเดล แต่อยู่ในกระบวนการทำแอนโนเทชัน

คุณภาพของป้ายกำกับมีอิทธิพลอย่างเงียบต่อทุกอย่างที่ตามมา หากประหยัดในส่วนนี้ การตัดสินใจต่อๆ ไป ไม่ว่าจะเป็นสถาปัตยกรรมหรือการค้นหาพารามิเตอร์ไฮเปอร์ จะได้รับสัญญาณที่บิดเบือน แย่กว่านั้นคือการบิดเบือนนี้ไม่ปรากฏบนแดชบอร์ดทั่วไป เนื่องจากเมตริกที่จะแสดงออกมาถูกคำนวณโดยอิงป้ายกำกับที่ผิดพลาดเดียวกัน.

ทำไมการเพิ่มข้อมูลมากขึ้นจึงมักไม่แก้ปัญหา

สัญชาตญาณเมื่อความแม่นยำค้างอยู่คือการทำป้ายกำกับภาพเพิ่มขึ้น มันดูเหมือนความก้าวหน้า แต่ส่วนใหญ่ไม่ใช่ ป้ายกำกับที่มีเสียงรบกวนไม่หายไปเมื่อขยายขนาด; มันสอนอคติที่สม่ำเสมอ โมเดลที่ฝึกด้วย 100,000 เฟรมที่คำว่า “van” และ “truck” ถูกแยกอย่างไม่สอดคล้องจะเรียนรู้ความไม่สอดคล้องนั้น แล้วทำซ้ำอย่างมั่นใจในสภาพการผลิต.

รูปแบบความล้มเหลวนี้สามารถคาดเดาได้ คะแนนการตรวจสอบดูดีเพราะชุดตรวจสอบมีข้อผิดพลาดการทำป้ายกำกับเดียวกับการฝึก โมเดลดูพร้อมใช้งาน จากนั้นการเรียกคืนในกรณีหางยาวล่มเหลว, จำนวนผลบวกเท็จเพิ่มขึ้น, และทีมใช้เวลาหลายสัปดาห์ในการฝึกใหม่โดยไม่สามารถระบุสาเหตุที่แท้จริงได้ ในความเป็นจริง ส่วนใหญ่ของโครงการ AI สร้างสรรค์จะถูกยกเลิกหลังจากการพิสูจน์แนวคิดเนื่องจากคุณภาพข้อมูลที่แย่ สาเหตุรากเดียวกันนี้ทำให้โครงการ CV ค้างคาโดยเงียบๆ และไม่เคยถึงการปล่อยข่าวประชาสัมพันธ์

ปริมาณข้อมูลยังมาพร้อมกับเส้นโค้งต้นทุน ทุกภาพที่มีเสียงรบกวนเพิ่มขึ้นทำให้ค่าใช้จ่ายในการทำแอนโนเทชัน, การจัดเก็บ, และเวลาในการฝึกเพิ่มขึ้นโดยไม่ทำให้ความแม่นยำเพิ่มขึ้น การทำป้ายกำกับโดยให้คุณภาพเป็นอันดับแรกทำให้สมการนี้กลับด้าน ชุดข้อมูลที่เล็กกว่า, สะอาดกว่า, และผ่านการตรวจสอบอย่างดีมักจะเหนือกว่าชุดที่ใหญ่แต่ทำอย่างหยาบกระด้าง เพราะโมเดลใช้ความจุของมันในการเรียนรู้งานแทนการแกะสลักคำสั่งที่ขัดแย้งกัน.

ความสอดคล้องคือผลิตภัณฑ์ที่แท้จริงของบริการทำแอนโนเทชันภาพ

ผู้ให้บริการที่จริงจังขายความสอดคล้อง ไม่ใช่จำนวนคน ความแตกต่างนี้สำคัญเพราะผู้ทำแอนโนเทชันสองคนที่มองเส้นขอบที่คลุมเครือเดียวกันอาจวาดเส้นนั้นสองแบบหากไม่มีกฎเป็นลายลักษณ์อักษรบอกวิธีทำ หากความไม่ลงรอยนี้ขยายไปยังทีมขนาดใหญ่ ชุดข้อมูลจะเกิดความขัดแย้งภายในที่โมเดลไม่สามารถแก้ไขได้.

ความสอดคล้องสามารถวัดได้ และผู้ขายที่คุ้มค่าจะบังคับใช้ด้วยตัวเลข การตกลงกันระหว่างผู้ทำแอนโนเทชัน (IAA) ซึ่งมักรายงานเป็นค่าอัลฟ่าของ Krippendorff หรือค่า kappa ของ Cohen จะวัดความถี่ที่ผู้ทำแอนโนเทชันอิสระให้การตัดสินใจเดียวกันบนรายการเดียว ทีมผลิตมักตั้งเป้าหมายค่าอัลฟ่าเหนือ 0.8 และงานที่สำคัญต่อความปลอดภัยต้องการมากกว่านั้น เมื่อระดับการตกลงลดลง นั่นเป็นสัญญาณว่าคำแนะนำยังคลุมเครือ ไม่ได้หมายถึงผู้ทำแอนโนเทชันทำอย่างไม่ระมัดระวัง

บริการทำแอนโนเทชันภาพที่ดีจะสร้างการควบคุมหลายอย่างเข้าไปในกระบวนการทำงาน:

• แนวทางการทำป้ายกำกับอย่างละเอียด: เอกสารที่อัปเดตอย่างต่อเนื่องซึ่งแก้ไขกรณีขอบด้วยตัวอย่าง ไม่ใช่คำนิยามคลาสแบบบรรทัดเดียว

• งานมาตรฐานทองคำ: รายการที่ทำป้ายกำกับไว้ล่วงหน้าใส่เข้าในคิวเพื่อให้ความแม่นยำของแต่ละผู้ทำแอนโนเทชันถูกติดตามอย่างต่อเนื่องเทียบกับคำตอบที่ทราบ

• การตรวจทวนหลายรอบและการตัดสินใจขั้นสุดท้าย: ผู้ทำป้ายกำกับคนที่สองหรือผู้ตรวจสอบระดับอาวุโสจะแก้ความไม่ลงรอย และผลการแก้ไขจะถูกนำกลับเข้าสู่แนวทาง

• การเวอร์ชันข้อมูลชุด: การเปลี่ยนแปลงทุกอย่างของป้ายกำกับหรือกฎจะถูกบันทึกไว้ ดังนั้นการลดลงของความแม่นยำโมเดลสามารถติดตามไปยังรุ่นที่ทำให้เกิดเหตุการณ์นั้นได้

การควบคุมเหล่านี้ไม่มีความหรูหรา แต่รวมกันจะกำหนดว่าชุดข้อมูลสอนแนวคิดที่ชัดเจนหรือที่สับสน ผู้ให้บริการที่ไม่สามารถแสดงตัวเลข IAA หรือกระบวนการตัดสินใจของตนได้ กำลังขายเพียงคลิก ไม่ใช่ความจริงพื้นฐาน.

กรณีขอบคือจุดที่โมเดลล้มเหลวอย่างเงียบๆ

ความแม่นยำเฉลี่ยเป็นเรื่องโกหกที่ทำให้รู้สึกสบายใจ โมเดลการรับรู้อาจได้คะแนน 95% ทั้งหมดแต่ยังพลาดคนเดินเท้าในยามพลบค่ำ, ผลิตภัณฑ์ที่ถูกบังบางส่วนบนชั้นวางที่รก, หรือเนื้องอกที่ขอบสแกน เฟรมที่หายากและยากเหล่านี้คือสิ่งที่ผู้ทำแอนโนเทชันเร่งทำหรือข้ามไป และก็เป็นสิ่งที่สำคัญที่สุดในภาคสนาม.

กรณีขอบต่อต้านการทำป้ายกำกับแบบสบายๆ เพราะต้องอาศัยการตัดสินใจ เส้นกรอบ (bounding box) จะสิ้นสุดที่ไหนเมื่อรถอยู่ครึ่งหลังรถบัส? การสะท้อนนับเป็นวัตถุหรือไม่? การทำป้ายกำกับเส้นแบ่งถนนที่มองเห็นได้ยากในฝนหนักทำอย่างไร? หากไม่มีกฎชัดเจน ผู้ทำแอนโนเทชันแต่ละคนจะตัดสินใจคนเดียว และชุดข้อมูลจะเต็มไปด้วยความขัดแย้งที่เงียบสงบบนอินพุตที่ทำให้ระบบที่เปิดใช้งานล้มเหลว

การสำรวจ McKinsey State of AI พบว่าความไม่แม่นยำเป็นผลลบที่ถูกรายงานบ่อยที่สุดของ AI โดยประมาณ 30% ขององค์กรที่ใช้ AI ระบุว่ามีความไม่แม่นยำนี้ ส่วนใหญ่เกิดจากส่วนท้ายของการกระจายที่ข้อมูลการฝึกมีน้อยและการทำป้ายกำกับทำอย่างหยาบกระด้าง การปฏิบัติการทำแอนโนเทชันที่พัฒนาแล้วให้ความสำคัญกับกรณีขอบเป็นงานระดับแรก: กำหนดกรณีเหล่านี้, ทำการสุ่มตัวอย่างเพิ่ม, ส่งต่อให้ผู้ทำป้ายกำกับระดับอาวุโส, และวัดการตกลงกันแยกจากส่วนใหญ่ที่ง่าย ขีดจำกัดของประสิทธิภาพในโลกจริงถูกกำหนดโดยวิธีที่ทำป้ายกำกับ 5% ที่ยาก ไม่ใช่ 95% ที่ง่าย

บทเรียนจากกระบวนการทำงานซ่อนอยู่ในสถิติข้างต้น กรณีขอบเป็นครูที่เร็วที่สุดในการเปิดเผยช่องว่างของแนวทาง ดังนั้นสายการผลิตที่แข็งแกร่งจะนำกรณีเหล่านี้ขึ้นมาตั้งแต่แรก แทนที่จะฝังไว้ในชุดที่เสร็จสมบูรณ์ เมื่อผู้ทำแอนโนเทชันทำเครื่องหมายเฟรมว่าเป็นกรณีที่คลุมเครือจริงๆ เครื่องหมายนั้นเป็นสัญญาณ ไม่ใช่ความต้านทาน มันเปิดเผยกฎที่แนวทางไม่เคยบันทึกไว้ ทีมที่บันทึกช่วงเวลานั้น, แก้ไขที่ระดับแนวทาง, และทำป้ายกำกับใหม่บนเฟรมที่ได้รับผลกระทบ จะสร้างชุดข้อมูลที่พัฒนาอย่างต่อเนื่อง ทีมที่ให้รางวัลเฉพาะความเร็วเท่านั้น ฝึกผู้ทำป้ายกำกับให้คาดเดาอย่างเงียบๆ และการคาดเดาที่มั่นใจไม่แตกต่างจากความจริงพื้นฐานจนกว่าโมเดลจะล้มเหลวต่อหน้าลูกค้า.

สิ่งที่แยกบริษัททำแอนโนเทชันภาพที่จริงจังออกจากบริษัทราคาถูก

ต้นทุนต่อป้ายกำกับไม่ใช่เมตริกหลักที่ควรใช้ ราคาถูกมักบ่งบอกถึงสายการผลิตที่ปรับให้ผ่านได้เร็ว โดยโบนัสความเร็วทำให้ผู้ทำแอนโนเทชันปิดเฟรมที่คลุมเครืออย่างรวดเร็วแทนที่จะทำอย่างถูกต้อง ค่าใช้จ่ายจริงจะปรากฏภายหลังในรูปของข้อผิดพลาดของโมเดลที่วินิจฉัยได้ยากและแก้ไขช้า.

บริษัททำแอนโนเทชันภาพที่น่าเชื่อถือแข่งขันโดยระบบคุณภาพของงาน เมื่อประเมินพันธมิตร ให้พิจารณากลไกที่จริงๆ แล้วส่งผลต่อคุณภาพของป้ายกำกับ:

• การเริ่มต้นและการปรับเทียบ: วิธีที่ผู้ทำแอนโนเทชันได้รับการฝึกฝนตามระบบจำแนกประเภทเฉพาะของคุณก่อนที่จะทำงานกับข้อมูลจริง

• เมตริกคุณภาพที่โปร่งใส: IAA, ความแม่นยำของชุดทองคำ, และอัตราการทำซ้ำที่รายงานต่อชุด ไม่ใช่สรุปเพียงครั้งเดียวในตอนท้าย

• ความเหมาะสมกับโดเมน: ผู้ทำป้ายกำกับที่เข้าใจการถ่ายภาพทางการแพทย์, ภาพข้อมูลเชิงพื้นที่สำหรับ การวางแผนเมืองอัจฉริยะ, หรือสัญญาณการขับขี่อัตโนมัติ เนื่องจากบริบทเปลี่ยนความหมายของป้ายกำกับที่ถูกต้อง

• วงจรข้อเสนอแนะ: ช่องทางที่กรณีที่คลุมเครือไหลกลับไปยังทีมของคุณ, ปรับปรุงแนวทาง, และเข้าสู่คิวใหม่

• ท่าทีด้านความปลอดภัยและการปฏิบัติตามกฎระเบียบ: การควบคุม SOC 2, การจัดการการเข้าถึง, และการจัดการข้อมูลตามภูมิภาคเมื่อมีข้อมูลที่ต้องปฏิบัติตามกฎ

จุดสุดท้ายนี้ควรให้ความสำคัญเมื่อภาพรวมถึงใบหน้า, สแกนการแพทย์, หรือข้อมูลส่วนบุคคลใดๆ การทำแอนโนเทชันทำให้ข้อมูลที่อ่อนไหวผ่านแรงงานมนุษย์ ดังนั้นการกำกับดูแลจึงเป็นส่วนหนึ่งของผลลัพธ์ ไม่ใช่เพียงหมายเหตุท้ายบท.

การตัดสินใจว่าเมื่อใดควรเอาการทำแอนโนเทชันภาพออกให้บริการภายนอก

การสร้างทีมทำป้ายกำกับภายในองค์กรให้การควบคุมที่แน่นหนาและความรู้เชิงโดเมนที่ลึกซึ้ง แต่การขยายขนาดทำได้ช้าและมีค่าใช้จ่ายคงที่ในช่วงที่ไม่มีงาน การเอาการทำแอนโนเทชันภาพออกให้บริการภายนอกแลกเปลี่ยนการควบคุมโดยตรงบางส่วนเพื่อความจุที่ยืดหยุ่น, เครื่องมือคุณภาพที่จัดตั้งแล้ว, และแรงงานที่สามารถเพิ่มขึ้นสำหรับการปล่อยผลิตภัณฑ์ขนาดใหญ่และลดลงหลังจากนั้น.

การตัดสินใจขึ้นอยู่กับว่าข้อได้เปรียบของทีมอยู่ที่ไหน กลุ่ม CV ส่วนใหญ่ถูกจ้างให้ออกแบบโมเดลและส่งมอบผลิตภัณฑ์ ไม่ใช่เพื่อดำเนินการทำป้ายกำกับที่มีการจ้างงาน, การฝึกอบรม, และภาระงานรับประกันคุณภาพของตนเอง สำหรับพวกเขา การเลือก เอาการทำแอนโนเทชันภาพออกให้บริการภายนอก จะช่วยใหวิศวกรอาวุโสหลุดจากการจัดการคิวของผู้ทำแอนโนเทชันและให้ผู้เชี่ยวชาญดูแลส่วนที่กำหนดคุณภาพของป้ายกำกับ

อย่างไรก็ตาม การเอาออกให้บริการภายนอกจะคุ้มค่าเมื่อเลือกพันธมิตรโดยพิจารณาระบบคุณภาพ ไม่ใช่ราคา ผู้ให้บริการที่มองแนวทาง, การตัดสินใจ, และการเวอร์ชันเป็นผลิตภัณฑ์หลักในเชิงปฏิบัติเป็นเหมือนกรมประกันความพร้อม AI ส่วนที่มองว่ามันเป็นตัวเลือกเป็นภาระที่มีราคาต่ำกว่า

ขอให้ทำโครงการนำร่องที่จ่ายเงินสำหรับ 500 เฟรมที่ยากที่สุดของคุณ ไม่ใช่การสาธิตบนเฟรมง่ายๆ วัด IAA, ตรวจสอบกรณีขอบด้วยตนเอง, และดูว่าผู้ให้บริการตอบโต้ด้วยคำถามที่เจาะจงเกี่ยวกับระบบจำแนกประเภทของคุณหรือไม่ ผู้ที่ดีมักทำเช่นนั้น

โครงการนำร่องยังเปิดเผยสิ่งที่การกำหนดราคาไม่เคยทำ: วิธีที่พันธมิตรจัดการกับความไม่ลงรอย ส่งเฟรมเดียวกัน 500 เฟรมให้ผู้ทำแอนโนเทชันอิสระสองคนและอ่านความขัดแย้ง ความไม่ลงรอยที่กระจุกตัวในคลาสเดียวบ่งบอกถึงคำนิยามที่แนวทางของคุณทิ้งไว้ไม่ชัดเจน ซึ่งผู้ให้บริการควรจับและตั้งคำถาม ความไม่ลงรอยที่กระ散และสุ่มบ่งบอกถึงแรงงานที่เร่งรีบหรือฝึกไม่เต็มที่ พันธมิตรที่ส่งคืนโครงการนำร่องพร้อมร่างแนวทางที่ปรับปรุงและรายการกรณีคลุมเครือแสดงให้คุณเห็นระบบที่จะปกป้องโมเดลของคุณในภายหลัง ส่วนที่ส่งคืนเฉพาะป้ายกำกับที่เสร็จแล้วและใบแจ้งหนี้แสดงให้คุณเห็นเพียงปริมาณงาน อ่านความแตกต่างนั้นอย่างระมัดระวัง เพราะมันทำนายทุกชุดต่อไป.

เพดานเป็นตัวเลือก

โมเดลเรียนรู้เฉพาะสิ่งที่ป้ายกำกับสอนให้มัน และประโยคเดียวนี้ควรทำให้ทีม CV ปรับวิธีการจัดสรรงบประมาณใหม่ ขีดจำกัดสูงสุดของความแม่นยำถูกกำหนดที่ขั้นตอนการทำแอนโนเทชัน ตั้งแต่ก่อนที่อีพ็อกแรกจะทำงาน โดยความสอดคล้องของการทำป้ายกำกับกรณีที่ยากและการวัดความสอดคล้องนั้นอย่างเข้มงวด บริการทำแอนโนเทชันภาพคุณภาพสูงที่ ถอดรหัสข้อมูลภาพที่ซับซ้อน ไม่ใช่รายการจัดซื้อที่ควรลดลง; แต่เป็นอาวุธที่กำหนดเพดานที่ทุกอย่างอื่นทำงานภายใต้ ผู้ให้บริการระดับมืออาชีพมองการทำป้ายกำกับเป็นระบบคุณภาพที่วัดได้ สร้างจากแนวทางที่ชัดเจน, การติดตามการตกลง, และการจัดการกรณีขอบผ่านบริการทำแอนโนเทชันภาพของตน เมื่อโมเดลต้องการข้อมูลมากขึ้นและชุดข้อมูลใหญ่ขึ้น ทีมที่ชนะจะเป็นทีมที่ตัดสินใจอย่างตั้งใจที่จะยกเพดานของตนขึ้นก่อน.