ชุดข้อมูล AI ที่ถูกดึงจากเว็บและความเป็นส่วนตัว: ทำไม CommonPool จึงควรค่าแก่การพิจารณา

ปัญญาประดิษฐ์ (AI) ได้กลายเป็นส่วนหนึ่งของชีวิตประจำวัน มันปรากฏในแชทบอททางการแพทย์ที่ให้คำแนะนำแก่ผู้ป่วยและในเครื่องมือสร้างสรรค์ที่ช่วยศิลปิน นักเขียน และนักพัฒนา ระบบเหล่านี้ดูเหมือนจะก้าวหน้า แต่พวกมันพึ่งพาทรัพยากรสำคัญเดียวคือข้อมูล

ข้อมูลส่วนใหญ่ที่ใช้ฝึกระบบ AI มาจากอินเทอร์เน็ตสาธารณะ โปรแกรมอัตโนมัติเก็บรวบรวมข้อความ รูปภาพ และเสียงจำนวนมากจากแพลตฟอร์มออนไลน์ การรวบรวมเหล่านี้เป็นพื้นฐานของโมเดลที่รู้จักกันดีเช่น GPT-4, Stable Diffusion และอื่น ๆ อีกหลายรุ่น อย่างไรก็ตาม การรวบรวมขนาดใหญ่นี้ก่อให้เกิดความกังวลที่ยังไม่ได้รับการแก้ไขเกี่ยวกับความเป็นส่วนตัว ความเป็นเจ้าของ และการยินยอมอย่างชัดเจน

ตลาดชุดข้อมูลสำหรับการฝึกสะท้อนขนาดของกิจกรรมนี้ ณ ปัจจุบัน มูลค่าระดับโลกของชุดข้อมูล AI ถูกประเมินไว้ที่ 3.2 พันล้าน ดอลลาร์ ตามการคาดการณ์อาจเติบโตเป็น 16.3 พันล้านดอลลาร์ภายในปี 2034 ด้วยอัตราการเติบโตต่อปี 20.5 เปอร์เซ็นต์ เบื้องหลังตัวเลขเหล่านี้มีความท้าทายสำคัญ ส่วนที่สำคัญของวัสดุที่เก็บรวบรวมได้มาจากแหล่งที่ไม่มีการขออนุญาตอย่างชัดเจน มักมีข้อมูลส่วนบุคคล งานที่มีลิขสิทธิ์ และเนื้อหาที่ละเอียดอ่อนอื่น ๆ ที่ไม่ได้ตั้งใจให้ระบบการเรียนรู้ของเครื่องใช้

เพื่อตอบสนองต่อประเด็นเหล่านี้ มีการสำรวจแนวทางการกำกับดูแลข้อมูลแบบใหม่ ตัวอย่างหนึ่งคือ CommonPool ซึ่งเปิดตัวในเดือนเมษายน 2023 เป็นส่วนหนึ่งของเกณฑ์วัด DataComp มันเป็นชุดข้อมูลขนาดใหญ่ที่มีคู่ภาพ‑ข้อความ 12.8 พันล้านคู่ออกแบบมาสำหรับการวิจัย AI แบบหลายโหมด แตกต่างจากการเก็บข้อมูลแบบดั้งเดิม CommonPool ใช้วิธีการกรองข้อมูล เน้นความโปร่งใส และรวมการมีส่วนร่วมของชุมชนในการพัฒนา แม้ว่าจะยังคงเป็นประเด็นถกเถียง แต่ CommonPool แสดงความพยายามที่จะสร้างแนวปฏิบัติที่รับผิดชอบและตรวจสอบได้สำหรับข้อมูลฝึก AI โครงการเช่นนี้เน้นความจำเป็นของมาตรฐานจริยธรรมในอนาคตของปัญญาประดิษฐ์

บทบาทของข้อมูลที่เก็บมาจากเว็บในการพัฒนาปัญญาประดิษฐ์

ข้อมูลเป็นศูนย์กลางของ AI โดยประสิทธิภาพของระบบเชื่อมโยงอย่างใกล้ชิดกับปริมาณและความหลากหลายของข้อมูลที่ใช้ฝึก ในหลายปีที่ผ่านมา การเก็บข้อมูลจากเว็บได้กลายเป็นวิธีมาตรฐานในการรวบรวมชุดข้อมูลขนาดใหญ่โดยใช้สเกล การเก็บข้อมูลที่เข้าถึงได้สาธารณะทำให้นักวิจัยและนักพัฒนาสามารถได้มาซึ่งทรัพยากรข้อมูลที่กว้างขวางและหลากหลาย

ตัวอย่างที่เป็นที่นิยมคือ Common Crawl ซึ่งภายในปี 2025 ได้เก็บข้อความเป็นระดับเพตาไบต์จากการรวบรวมข้อมูลรายเดือนที่มีขนาดมากกว่า 250 เทราไบต์ต่อครั้ง ชุดข้อมูลนี้ถูกใช้อย่างกว้างขวางในการฝึกโมเดล AI ที่ใช้ข้อความ อีกตัวอย่างหนึ่งคือ LAION-5B ซึ่งมีประมาณ 5.85 พันล้านคู่ภาพ‑ข้อความ มันมีความสำคัญต่อการประยุกต์เช่น Stable Diffusion ที่สามารถสร้างภาพที่สมจริงจากคำสั่งเป็นข้อความ

ชุดข้อมูลเหล่านี้มีคุณค่าเพราะช่วยเพิ่มความแม่นยำของโมเดล ปรับปรุงการทั่วไปผ่านเนื้อหาที่หลากหลาย และทำให้กลุ่มขนาดเล็กรวมถึงมหาวิทยาลัยสามารถมีส่วนร่วมในการพัฒนา AI ดัชนี AI ของ Stanford ปี 2025 แสดงให้เห็นว่าโมเดลขั้นสูงส่วนใหญ่ยังคงพึ่งพาข้อมูลที่เก็บมาจากเว็บ โดยชุดข้อมูลกำลังเติบโตอย่างรวดเร็ว ความต้องการนี้ยังทำให้การลงทุนหนักหน่วงถึงกว่า 57 พันล้าน ดอลลาร์ในปี 2024 สำหรับศูนย์ข้อมูลและกำลังประมวลผล

ในขณะเดียวกัน การเก็บข้อมูลจากเว็บก็ไม่ได้ปราศจากความท้าทาย มันก่อให้เกิดคำถามเกี่ยวกับความเป็นส่วนตัว ความเป็นเจ้าของ และสิทธิทางกฎหมาย เนื่องจากเนื้อหาที่เก็บส่วนใหญ่ไม่ได้ถูกสร้างขึ้นเพื่อการใช้โดยเครื่อง คดีศาลและการอภิปรายเชิงนโยบายแสดงให้เห็นว่าความท้าทายเหล่านี้กำลังเร่งเร้า ความเป็นไปของการเก็บข้อมูล AI ในอนาคตจะขึ้นอยู่กับการหาจุดสมดุลระหว่างความก้าวหน้าและความรับผิดชอบเชิงจริยธรรม

ปัญหาความเป็นส่วนตัวกับข้อมูลที่เก็บมาจากเว็บ

เครื่องมือการเก็บข้อมูลจากเว็บรวบรวมข้อมูลโดยไม่มีการแยกแยะที่ชัดเจนระหว่างเนื้อหาทั่วไปและรายละเอียดที่ละเอียดอ่อน พร้อมกับข้อความและรูปภาพ พวกมันมักจับข้อมูลส่วนบุคคลที่สามารถระบุตัวตนได้ (PII) เช่น ชื่อ ที่อยู่อีเมล และภาพถ่ายใบหน้า

การตรวจสอบ ของชุดข้อมูล CommonPool ในเดือนกรกฎาคม 2025 พบว่าแม้หลังจากการกรองแล้ว 0.1% ของตัวอย่างยังคงมีใบหน้าที่ระบุตัวตนได้ บัตรประจำตัวรัฐบาล และเอกสารเช่นประวัติย่อและหนังสือเดินทาง แม้ว่าร้อยละนี้จะดูเล็ก แต่เมื่อคำนวณในระดับพันล้านระเบียนก็เท่ากับหลายร้อยล้านคนที่ได้รับผลกระทบ การตรวจสอบและการประเมินความปลอดภัยยืนยันว่าการมีอยู่ของวัสดุเช่นนี้ไม่ใช่เรื่องแปลก และความเสี่ยงรวมถึงการขโมยข้อมูลส่วนบุคคล การคุกคามเป้าหมาย และการเปิดเผยข้อมูลส่วนตัวโดยไม่ได้รับความยินยอม

ข้อพิพาททางกฎหมายกำลังเพิ่มขึ้นเนื่องจากความกังวลเกี่ยวกับการเป็นเจ้าของข้อมูลและการใช้ตามความเป็นธรรมกำลังก้าวเข้าสู่ศาล ระหว่างปี 2023 ถึง 2024 บริษัทต่าง ๆ เช่น OpenAI และ Stability AI ถูกฟ้องร้อง เนื่องจากใช้ข้อมูลส่วนบุคคลและข้อมูลที่มีลิขสิทธิ์โดยไม่ได้รับความยินยอม ในเดือนกุมภาพันธ์ 2025 ศาลรัฐบาลกลางสหรัฐฯ มีคำพิพากษาว่า การฝึก AI ด้วยข้อมูลส่วนบุคคลที่ไม่มีใบอนุญาตถือเป็นการละเมิด การตัดสินใจนี้ได้กระตุ้นให้มีคดีชั้นรวมเพิ่มขึ้น ลิขสิทธิ์เป็นประเด็นสำคัญอีกประการหนึ่ง ชุดข้อมูลที่ถูกขูดมักมีหนังสือ, บทความ, งานศิลปะและโค้ด นักเขียนและศิลปินอ้างว่าผลงานของพวกเขาถูกใช้โดยไม่ได้รับการอนุมัติหรือค่าตอบแทน คดี New York Times กับ OpenAI ที่กำลังดำเนินอยู่ตั้งคำถามว่าระบบ AI สร้างเนื้อหาที่ได้รับการคุ้มครองโดยผิดกฎหมายหรือไม่ ศิลปินภาพวาดก็ได้ยกเรื่องร้องเรียนเช่นกัน โดยอ้างว่า AI คัดลอกสไตล์ส่วนบุคคลของพวกเขา ในเดือนมิถุนายน 2025 ศาลสหรัฐฯ หนึ่งแห่งสนับสนุนบริษัท AI ภายใต้การใช้ตามความเป็นธรรม แต่ผู้เชี่ยวชาญกล่าวว่าการตัดสินใจยังคงไม่สอดคล้องและกรอบกฎหมายยังคงไม่ชัดเจน

การขาดความยินยอมในการฝึก AI ทำให้ความเชื่อมั่นของสาธารณะอ่อนแอลง ผู้คนจำนวนมากพบว่าบล็อก, งานสร้างสรรค์ หรือโค้ดของตนถูกรวมอยู่ในชุดข้อมูลโดยที่ตนไม่ทราบเรื่องนี้ ส่งผลให้เกิดข้อกังวลด้านจริยธรรมและเรียกร้องให้มีความโปร่งใสมากขึ้น เพื่อตอบสนองต่อสถานการณ์นี้ รัฐบาลกำลังมุ่งสู่การกำกับดูแลที่เข้มงวดขึ้นผ่านกฎหมายที่ส่งเสริมการพัฒนา AI อย่างเป็นธรรมและการใช้ข้อมูลอย่างระมัดระวัง

ทำไมชุดข้อมูลที่ถูกขูดมาถึงยากต่อการทดแทน

แม้จะมีความกังวลเกี่ยวกับความเป็นส่วนตัวและการยินยอม ชุดข้อมูลที่ถูกขูดมายังคงจำเป็นสำหรับการฝึก AI เหตุผลคือขนาด โมเดล AI สมัยใหม่ต้องการโทเค็นเป็นจำนวนหลายล้านล้านจากข้อความ, ภาพและสื่ออื่น ๆ การสร้างชุดข้อมูลเช่นนี้โดยอาศัยแหล่งที่มีลิขสิทธิ์หรือคัดสรรเท่านั้นจะต้องใช้ค่าใช้จ่ายหลายร้อยล้านดอลลาร์ ซึ่งไม่เป็นไปได้สำหรับสตาร์ทอัพหรือมหาวิทยาลัยส่วนใหญ่

ต้นทุนสูงไม่ใช่ความท้าทายเดียวของชุดข้อมูลที่คัดสรร พวกมันมักขาดความหลากหลายและมักมุ่งเน้นไปที่ภาษา, ภูมิภาค หรือชุมชนเฉพาะ การครอบคลุมที่แคบนี้ทำให้โมเดล AI มีความสมดุลน้อยลง ในทางตรงกันข้าม ข้อมูลที่ถูกขูดมาซึ่งอาจมีเสียงรบกวนและไม่สมบูรณ์ แต่กลับครอบคลุมวัฒนธรรม, หัวข้อและมุมมองที่หลากหลาย ความหลากหลายนี้ทำให้ระบบ AI ทำงานได้ดีขึ้นเมื่อถูกนำไปใช้ในสถานการณ์จริง

ความเสี่ยงคือกฎระเบียบที่เข้มงวดอาจจำกัดการเข้าถึงข้อมูลที่ถูกขูดมา หากเป็นเช่นนั้น องค์กรขนาดเล็กอาจประสบปัญหาในการแข่งขัน (GOOGL ) บริษัทใหญ่ที่มีชุดข้อมูลส่วนตัวหรือเป็นกรรมสิทธิ์ เช่น Google

หรือ Meta จะยังคงก้าวหน้า ความไม่สมดุลนี้อาจลดการแข่งขันและทำให้การนวัตกรรมเปิดใน AI ช้าลง

CommonPool: สู่การวิศวกรรมข้อมูลขนาดใหญ่ที่รับผิดชอบ

CommonPool เป็นหนึ่งในความพยายามที่มีความทะเยอทะยานทางเทคนิคสูงสุดในการสร้างชุดข้อมูลมัลติโมดัลแบบเปิดและขนาดใหญ่ ด้วยประมาณ 12.8 พันล้าน คู่ภาพ‑ข้อความ มันเทียบเท่ากับขนาดของ LAION‑5B แต่รวมกลไกวิศวกรรมข้อมูลและการกำกับดูแลที่แข็งแกร่งกว่า เป้าหมายการออกแบบหลักไม่ได้เพียงเพิ่มขนาดสูงสุดเท่านั้น แต่ยังต้องสอดคล้องกับหลักการของการทำซ้ำได้, ต้นกำเนิดข้อมูล, และการปฏิบัติตามกฎระเบียบ

การสร้างชุดข้อมูล CommonPool ปฏิบัติตามกระบวนการสามขั้นตอนที่เป็นโครงสร้าง ขั้นตอนแรกเกี่ยวกับการสกัดตัวอย่างดิบจากสแนปชอตของ Common Crawl ที่เก็บรวบรวมระหว่างปี 2014 ถึง 2022 ทั้งภาพและข้อความที่เกี่ยวข้อง เช่น คำอธิบายหรือข้อความรอบ ๆ ถูกเก็บรวบรวม เพื่อประเมินการสอดคล้องเชิงความหมาย ผู้ดูแลใช้การให้คะแนนความคล้ายคลึงโดยอิง CLIP และกำจัดคู่ที่มีความสอดคล้องอ่อนระหว่างการฝังภาพและข้อความ ขั้นตอนการกรองล่วงหน้านี้ช่วยลดสัญญาณรบกวนอย่างมากเมื่อเทียบกับกระบวนการขูดข้อมูลแบบดิบ

ในขั้นตอนที่สอง ชุดข้อมูลผ่านการทำสำเนาแบบขนาดใหญ่ การแฮชเชิงรับรู้และเทคนิค MinHash ถูกใช้เพื่อระบุและลบภาพที่ใกล้เคียงกัน ป้องกันไม่ให้ข้อมูลซ้ำซ้อนครอบงำการฝึกโมเดล ตัวกรองเพิ่มเติมยังถูกนำมาใช้เพื่อคัดกรองไฟล์ที่เสียหาย, ลิงก์ที่ขัดข้อง, และภาพความละเอียดต่ำ ณ จุดนี้ กระบวนการยังรวมการทำให้ข้อความเป็นมาตรฐานและการระบุภาษาอัตโนมัติ ทำให้สามารถสร้างชุดย่อยตามโดเมนหรือภาษาสำหรับการวิจัยที่มุ่งเป้าได้

ขั้นตอนที่สามมุ่งเน้นที่ความปลอดภัยและการปฏิบัติตามกฎระเบียบ การตรวจจับและเบลอใบหน้าอัตโนมัติถูกนำมาใช้ ในขณะที่ภาพที่เกี่ยวกับเด็กและข้อมูลส่วนบุคคลเช่น ชื่อ, ที่อยู่อีเมล, และที่อยู่ไปรษณีย์ถูกลบออก กระบวนการยังพยายามตรวจจับวัสดุที่มีลิขสิทธิ์ แม้ว่าวิธีอัตโนมัติใด ๆ จะไม่สามารถรับประกันการกรองที่สมบูรณ์แบบในระดับเว็บได้ แต่มาตรการเหล่านี้เป็นการปรับปรุงทางเทคนิคที่สำคัญเมื่อเทียบกับ LAION‑5B ที่การกรองส่วนใหญ่จำกัดอยู่ที่เนื้อหาผู้ใหญ่และเกณฑ์ความเป็นพิษ

นอกจากการประมวลผลข้อมูลแล้ว CommonPool ยังนำเสนอโมเดลการกำกับดูแลที่ทำให้แตกต่างจากการปล่อยชุดข้อมูลแบบคงที่ มันถูกดูแลเป็นชุดข้อมูลที่มีชีวิตด้วยการปล่อยเวอร์ชันที่มีการจัดเวอร์ชัน เมตาดาต้าแบบโครงสร้าง และวงจรการอัปเดตที่มีการบันทึกไว้ แต่ละตัวอย่างรวมข้อมูลลิขสิทธิ์เมื่อมีให้ เพื่อสนับสนุนการปฏิบัติตามกฎระเบียบลิขสิทธิ์ โปรโตคอลการลบข้อมูลอนุญาตให้บุคคลและสถาบันร้องขอการลบเนื้อหาที่ละเอียดอ่อน เพื่อตอบสนองข้อกังวลที่เกิดจาก EU AI Act และกรอบกฎระเบียบที่เกี่ยวข้อง เมตาดาต้าเช่น URL ของแหล่งที่มาและคะแนนการกรองช่วยเพิ่มความโปร่งใสและความสามารถในการทำซ้ำ ทำให้นักวิจัยสามารถติดตามการตัดสินใจในการรวมและยกเว้นได้

ผลการเปรียบเทียบจากโครงการ DataComp แสดงผลกระทบทางเทคนิคของการออกแบบเหล่านี้ เมื่อสถาปัตยกรรมวิชั่น–ภาษาที่เหมือนกันถูกฝึกบน LAION-5B และ CommonPool ชุดหลังให้โมเดลที่มีประสิทธิภาพต่อเนื่องที่เสถียรกว่า โดยเฉพาะในงานดึงข้อมูลแบบละเอียดและงานจำแนกแบบ zero-shot ผลลัพธ์เหล่านี้บ่งชี้ว่าคุณภาพการจัดแนวที่สูงขึ้นของ CommonPool ชดเชยบางส่วนของข้อได้เปรียบด้านขนาดของชุดข้อมูลที่กรองน้อย อย่างไรก็ตาม การตรวจสอบอิสระในปี 2025 พบความเสี่ยงที่เหลืออยู่: ประมาณ 0.1% ของชุดข้อมูลยังคงมีใบหน้าที่ไม่เบลอ เอกสารส่วนบุคคลที่ละเอียดอ่อน และบันทึกทางการแพทย์ สิ่งนี้ชี้ให้เห็นขีดจำกัดของแม้แต่กระบวนการกรองอัตโนมัติระดับล้ำสมัย

โดยรวมแล้ว CommonPool แสดงการเปลี่ยนแปลงในวิศวกรรมชุดข้อมูลจากการให้ความสำคัญกับขนาดดิบไปสู่การสมดุลระหว่างขนาด คุณภาพ และการปฏิบัติตามกฎระเบียบ สำหรับนักวิจัย มันมอบพื้นฐานที่ทำซ้ำได้และปลอดภัยกว่าเปรียบเทียบสำหรับการฝึกก่อนขั้นใหญ่ สำหรับผู้กำกับดูแล มันแสดงให้เห็นว่ากลไกความเป็นส่วนตัวและความรับผิดชอบสามารถฝังลงในกระบวนการสร้างชุดข้อมูลได้ ตรงกันข้ามกับ LAION, CommonPool แสดงให้เห็นว่ากระบวนการกรอง การปฏิบัติการกำกับดูแล และกรอบการเปรียบเทียบสามารถเปลี่ยนข้อมูลเว็บขนาดใหญ่ให้เป็นทรัพยากรที่มีความแข็งแกร่งทางเทคนิคและมีความรับผิดชอบด้านจริยธรรมมากขึ้นสำหรับ AI แบบหลายโมดัล

เปรียบเทียบ CommonPool กับชุดข้อมูลเว็บสแครปแบบดั้งเดิม

ไม่เหมือนกับชุดข้อมูลเว็บสแครปขนาดใหญ่ในอดีตเช่น LAION-5B (5.85B ตัวอย่าง) , COYO-700M (700M ตัวอย่าง) และ WebLI (400M ตัวอย่าง) CommonPool ให้ความสำคัญกับโครงสร้าง ความสามารถในการทำซ้ำ และการกำกับดูแล มันเก็บเมตาดาต้าเช่น URL และเวลา ซึ่งสนับสนุนการตรวจสอบย้อนกลับและการตรวจสอบลิขสิทธิ์บางส่วน นอกจากนี้ยังใช้การกรองเชิงความหมายโดยอิง CLIP เพื่อลบคู่ภาพ‑ข้อความที่คุณภาพต่ำหรือการจัดแนวไม่แข็งแรง ทำให้คุณภาพข้อมูลดีขึ้น

เมื่อเทียบกัน LAION-5B และ COYO ถูกสร้างจาก Common Crawl ด้วยการกรองที่จำกัดและไม่มีเอกสารลิขสิทธิ์รายละเอียด ชุดข้อมูลเหล่านี้มักมีเนื้อหาที่ละเอียดอ่อนรวมถึงบันทึกทางการแพทย์ เอกสารแสดงตัวตน และใบหน้าที่ไม่เบลอ WebLI ที่ใช้ภายใน OpenAI ก็ขาดความโปร่งใสเช่นกัน เนื่องจากไม่เคยเปิดให้ตรวจสอบหรือทำซ้ำจากภายนอก

CommonPool มุ่งแก้ไขปัญหาเหล่านี้โดยการยกเว้นข้อมูลส่วนบุคคล (PII) และเนื้อหาไม่เหมาะสม (NSFW) แม้จะยอมรับว่าการยินยอมจากผู้ใช้อย่างเต็มรูปแบบยังไม่ได้รับการแก้ไข สิ่งนี้ทำให้มันมีความน่าเชื่อถือและสอดคล้องกับจริยธรรมมากกว่าทางเลือกในอดีต

สรุป

การพัฒนา CommonPool สะท้อนการเปลี่ยนแปลงสำคัญในแนวคิดและการดูแลชุดข้อมูล AI ขนาดใหญ่ ในขณะที่คอลเลกชันก่อนหน้าเช่น LAION-5B และ COYO ให้ความสำคัญกับขนาดโดยมีการควบคุมจำกัด CommonPool แสดงให้เห็นว่าความโปร่งใส การกรอง และการกำกับดูแลสามารถผสานเข้ากับการสร้างชุดข้อมูลได้โดยไม่ทำให้การใช้งานสำหรับการวิจัยเสียหาย

ด้วยการเก็บเมตาดาต้า การใช้การตรวจสอบการจัดแนวเชิงความหมาย และการฝังกลไกความเป็นส่วนตัว CommonPool จึงมอบทรัพยากรที่ทำซ้ำได้และรับผิดชอบมากขึ้น ในขณะเดียวกัน การตรวจสอบอิสระเตือนว่าเครื่องมือป้องกันอัตโนมัติไม่สามารถขจัดความเสี่ยงได้อย่างสมบูรณ์ จึงเน้นความจำเป็นของการเฝ้าระวังอย่างต่อเนื่อง