เครื่องมือแอนโนเตตภาพแบบอินเทอร์เน็ตสำหรับชุดข้อมูลการมองเห็นของคอมพิวเตอร์

นักวิจัยจากฟินแลนด์ได้พัฒนาเครื่องมือแอนโนเตตภาพแบบอินเทอร์เน็ตที่มีจุดมุ่งหมายเพื่อปรับปรุงความง่ายและความเร็วของกระบวนการแอนโนเตตภาพที่น่าเบื่อสำหรับชุดข้อมูลการมองเห็นของคอมพิวเตอร์ ติดตั้งเป็น 익스텐ชั่นของเบราว์เซอร์ที่ไม่ขึ้นอยู่กับระบบปฏิบัติการสำหรับเบราว์เซอร์เครื่องยนต์ที่ได้รับความนิยมมากที่สุด เครื่องมือใหม่นี้ช่วยให้ผู้ใช้สามารถ “แอนโนเตตขณะเล่นเบราว์เซอร์ได้อย่างอิสระ” มากกว่าที่จะต้องวางเซสชั่นการแอนโนเตตไว้ในบริบทของการตั้งค่าที่เฉพาะเจาะจง หรือต้องรันโค้ดไคลเอ็นต์ และสถานการณ์พิเศษอื่นๆ

ที่เรียกว่า BRIMA (เครื่องมือแอนโนเตตภาพแบบอินเทอร์เน็ตที่มีน้ำหนักเบา) ระบบนี้ถูกพัฒนาที่มหาวิทยาลัย Jyväskylä มันลบความจำเป็นในการเก็บและรวบรวมชุดข้อมูลในไดเรกทอรี่ท้องถิ่นหรือระยะไกล และสามารถกำหนดค่าให้ได้รับข้อมูลที่มีประโยชน์จากพารามิเตอร์ข้อมูลต่างๆ ที่มีอยู่บนแพลตฟอร์มสาธารณะใดๆ

BRIMA ในการทำงาน แหล่งที่มา: https://arxiv.org/pdf/2107.06351.pdf

ในลักษณะนี้ BRIMA (ซึ่งจะนำเสนอที่ ICIP 2021 เมื่อ โค้ด จะถูกเผยแพร่) ลดอุปสรรคที่อาจเกิดขึ้นเมื่อระบบเว็บสคริปต์อัตโนมัติถูกปิดกั้นผ่านช่วง IP หรือวิธีอื่นๆ และถูกขัดขวางจากการรวบรวมข้อมูล – สถานการณ์ที่คาดว่าจะเกิดขึ้นบ่อยขึ้นเมื่อการคุ้มครอง IP มีความสำคัญมากขึ้น เช่นเดียวกับที่ ทำไม่久มานี้ กับเครื่องมือสร้างโค้ดอัตโนมัติของ Microsoft ที่ขับเคลื่อนด้วย AI คือ Copilot

เนื่องจาก BRIMA มีจุดมุ่งหมายเพียงสำหรับการแอนโนเตตโดยมนุษย์ การใช้งานจึงน่าจะไม่ทำให้เกิดอุปสรรคอื่นๆ เช่น การท้าทาย CAPTCHA หรือระบบอัตโนมัติอื่นๆ ที่มีจุดมุ่งหมายเพื่อปิดกั้นアルゴリズึมการรวบรวมข้อมูล

ความสามารถในการรวบรวมข้อมูลแบบปรับเปลี่ยน

BRIMA ถูกนำไปใช้โดยใช้ 익스텐ชั่นของ Firefox หรือ Chrome extension บน Windows, OSX หรือ Linux และสามารถกำหนดค่าให้รับข้อมูลที่สำคัญตามจุดข้อมูลที่แพลตฟอร์มอาจเลือกที่จะแสดงให้เห็น ตัวอย่างเช่น เมื่อแอนโนเตตภาพใน Google Street View ระบบสามารถคำนึงถึงทิศทางและจุดมองของเลนส์ และบันทึกพิกัดที่แน่นอนของวัตถุที่ผู้ใช้ระบุไว้

BRIMA ถูกทดสอบในเดือนกันยายน 2020 โดยผู้สร้างของมันระหว่างการทำงานร่วมกันในโครงการสาธารณะเพื่อสร้างชุดข้อมูลการตรวจจับวัตถุสำหรับวัตถุ CCTV (กล้องวงจรปิดที่ติดตั้งในพื้นที่สาธารณะหรือมองเห็นได้จากพื้นที่สาธารณะ)

ระบบประกอบด้วยการติดตั้งไคลเอ็นต์แบบ JavaScript ที่มีน้ำหนักเบาในรูปแบบของ 익스텐ชั่นเบราว์เซอร์ และด้านเซิร์ฟเวอร์ที่รับและรวบรวมข้อมูลการแอนโนเตต การนำไปใช้ของเซิร์ฟเวอร์ถูกเขียนใน Python และ PHP โดยใช้ Flask และ Swagger/OpenAPI แต่นักวิจัยเน้นย้ำว่าสถาปัตยกรรมการประมวลผลหลักสามารถย้ายไปยังภาษาและคอนฟิกอื่นๆ ได้อย่างง่ายดาย

익스텐ชั่นเบราว์เซอร์และเซิร์ฟเวอร์สื่อสารผ่านคำขอ API แบบ RESTful และ HTTP/XHR โดยมีข้อมูลไคลเอ็นต์ส่งกลับมาในรูปแบบ JSON ที่เข้ากันได้กับ MS COCO ซึ่งหมายความว่าข้อมูลสามารถใช้งานได้ทันทีกับเฟรมเวิร์กการตรวจจับวัตถุยอดนิยมหลายตัว รวมถึง back-end ที่หลากหลายของ TensorFlow เช่น Detectron2 ของ Facebook และ CenterMask2

เครื่องมือเฉพาะสำหรับโครงการ

尽管 BRIMA มีลักษณะทั่วไป แต่ก็สามารถกำหนดค่าให้เหมาะสมกับการรวบรวมข้อมูลที่เฉพาะเจาะจง รวมถึงการกำหนดเมนูแบบ drop-down และการป้อนข้อมูลตามบริบทอื่นๆ ที่เกี่ยวข้องกับโดเมนเฉพาะ ในรูปด้านล่าง เราจะเห็นว่าเมนูแบบ drop-down ที่เกี่ยวข้องกับข้อมูลกล้องถูกเขียนเข้าไปใน BRIMA เพื่อให้ผู้แอนโนเตตสามารถให้ข้อมูลที่มีรายละเอียดและเกี่ยวข้องกับโครงการ

เครื่องมือเพิ่มเติมนี้สามารถกำหนดค่าได้แบบท้องถิ่น 익스텐ชั่นยังมีการติดตั้งแบบง่ายและคีย์ลัดบนคีย์บอร์ดที่สามารถกำหนดค่าได้ รวมถึงองค์ประกอบ UI ที่มีสี

งานนี้สร้างขึ้นจากความพยายามหลายอย่างในช่วงไม่กี่ปีที่ผ่านมาเพื่อปรับปรุงความสะดวกในการแอนโนเตตภาพสำหรับข้อมูลที่ได้รับจากเว็บหรือสาธารณะ เครื่องมือ PhotoStuff ที่ได้รับการสนับสนุนจาก DARPA มีการแอนโนเตตแบบออนไลน์ผ่านพอร์ทัลเว็บที่เฉพาะเจาะจง และสามารถทำงานบนเว็บหรือเป็นแอปพลิเคชันแบบสแตนด์อโลน ในปี 2004 UC Berkeley เสนอ การแอนโนเตตภาพบนโทรศัพท์มือถือ ซึ่งใช้ข้อมูลที่เกี่ยวข้องเนื่องจากข้อจำกัดของการครอบคลุมเครือข่ายและขนาดหน้าจอของยุคนั้น โครงการ LabelMe ของ MIT ในปี 2005 ก็มีการเข้าใกล้การแอนโนเตตแบบอินเทอร์เน็ตด้วย โดยอาศัยเครื่องมือ MATLAB

ตั้งแต่การเปิดตัวในปี 2015 เฟรมเวิร์ก LabelImg แบบ FOSS ของ Python/QT ได้รับความนิยมในการแอนโนเตตแบบสาธารณะ โดยมีการติดตั้งแบบท้องถิ่น อย่างไรก็ตาม นักวิจัยของ BRIMA สังเกตเห็นว่า LabelImg มุ่งเน้นไปที่มาตรฐาน PascalVOC และ YOLO ไม่รองรับรูปแบบ JSON ของ MS COCO และละเว้นเครื่องมือการกำหนดพื้นที่แบบพหุเหลี่ยมเพื่อสนับสนุนพื้นที่จับภาพแบบสี่เหลี่ยมผืนผ้า (ซึ่งจะต้องมีการแบ่งส่วนในภายหลัง)