OpenAI เตรียมยอมรับสัญญาณร่วมใน robots.txt สำหรับการตั้งค่าการฝึก AI

เมื่อวันที่ 30 ตุลาคม 2026 OpenAI ประกาศว่าจะยอมรับสัญญาณร่วมใน robots.txt ซึ่งเป็นไฟล์ที่เว็บไซต์ใช้ระบุความต้องการเกี่ยวกับการนำเนื้อหาไปใช้ เพื่อให้ผู้ดูแลเว็บไซต์สามารถแจ้งการตั้งค่าการฝึก AI เพียงครั้งเดียวแก่ผู้ให้บริการหลายรายที่เข้าร่วมได้พร้อมกัน

สัญญาณโดยสมัครใจที่ใช้ร่วมกันระหว่างผู้ให้บริการ

ในประกาศ OpenAI ระบุว่าการดำเนินการนี้เป็นไปโดยสมัครใจ และช่วยลดภาระที่มีอยู่เดิม โดยก่อนหน้านี้ ผู้ดูแลเว็บไซต์ต้องระบุโปรแกรมรวบรวมข้อมูลแต่ละรายและดูแลกฎแยกต่างหากสำหรับผู้ให้บริการทุกราย บริษัทระบุว่าสัญญาณร่วมช่วยให้ผู้เผยแพร่และผู้ดูแลเว็บไซต์แจ้งความต้องการเดียวกันแก่ผู้ให้บริการหลายรายที่เข้าร่วมได้พร้อมกัน OpenAI ระบุว่าตั้งเป้าจะนำสัญญาณนี้ไปใช้ในอีกไม่กี่เดือนข้างหน้า และจะเผยแพร่ข้อมูลอัปเดตอีกครั้งพร้อมรายละเอียดการนำไปใช้เมื่อถึงเวลานั้น

บริษัทระบุว่าสัญญาณใหม่นี้จะไม่มาแทนที่การควบคุมที่มีให้อยู่แล้วผ่าน robots.txt ซึ่งจะยังคงมีผลและได้รับการเคารพต่อไป OpenAI ระบุว่าการดำเนินการนี้ต่อยอดจากงานที่กำลังดำเนินอยู่ของคณะทำงาน AI Preferences แห่ง Internet Engineering Task Force แจ้งว่าบริษัทเข้าร่วมกับผู้ร่วมงานคนอื่น ๆ ในคณะทำงานเพื่อประกาศเรื่องนี้ และสนับสนุนให้ผู้ให้บริการ AI รายอื่นยอมรับสัญญาณดังกล่าว บริษัทอธิบายว่าความเคลื่อนไหวนี้เป็นก้าวไปสู่เว็บเปิดที่ผู้คนสามารถเผยแพร่และค้นพบข้อมูลได้ และเจ้าของเว็บไซต์มีวิธีสื่อสารตัวเลือกเกี่ยวกับการนำเนื้อหาไปใช้ที่ชัดเจนและเรียบง่ายขึ้น พร้อมระบุว่าจะปรับแนวปฏิบัติของตนต่อไปตามพัฒนาการของการหารือเกี่ยวกับมาตรฐานเหล่านั้น

สัญญาณนี้ทำงานอย่างไร

สัญญาณนี้กำหนดไว้ใน Internet-Draft รายฉบับชื่อ สัญญาณการตั้งค่าการฝึกที่เครื่องอ่านได้ (draft-kelley-aipref-training-preference-signal-00) ซึ่ง Kevin Kelley จาก Anthropic เป็นผู้เขียน ลงวันที่ 30 ตุลาคม 2026 และมีกำหนดหมดอายุในวันที่ 3 พฤษภาคม 2027 ข้อมูลใน datatracker ของ IETF ระบุว่า Internet-Draft รายฉบับไม่ได้รับการรับรองจาก IETF และไม่มีสถานะอย่างเป็นทางการในกระบวนการกำหนดมาตรฐานของ IETF

ภายใต้ร่างข้อเสนอนี้ ผู้ให้บริการจะผูกการตั้งค่าการใช้งาน เช่น “ไม่ฝึก AI” เข้ากับเส้นทางต่าง ๆ โดยเขียนกลุ่ม robots.txt ตามปกติ และระบุโทเคนนโยบายเฉพาะตามวัตถุประสงค์ไว้ในบรรทัด User-Agent ร่างข้อเสนอนี้ไม่ได้เพิ่มชื่อคำสั่งหรือไวยากรณ์ใหม่ โดยภาษาที่ใช้ระบุเส้นทาง ลำดับความสำคัญของรายการที่ตรงกันยาวที่สุด และโครงสร้างกลุ่มของมาตรฐาน robots.txt ที่เผยแพร่เป็น RFC 9309 ยังคงไม่เปลี่ยนแปลง ดังนั้น ร่างข้อเสนอระบุว่า โปรแกรมแยกวิเคราะห์ที่ใช้งานอยู่ทั่วอินเทอร์เน็ตจะยังคงตีความสัญญาณจัดการการรับส่งข้อมูลเช่นเดิม และจะละเว้นกลุ่มที่ใช้โทเคนนโยบาย เช่นเดียวกับที่ละเว้นกลุ่มใด ๆ ซึ่งระบุชื่อ user agent ที่โปรแกรมไม่รู้จัก

ร่างข้อเสนอกำหนดโทเคนนโยบายข้ามผู้ให้บริการเป็น __usage_ai-training ตัวอย่างกลุ่มในร่างจับคู่บรรทัด “User-Agent: __usage_ai-training” กับ “Disallow: /” และ “Allow: /press-kit/” ซึ่งแสดงความต้องการไม่ให้ฝึก AI กับทุกเส้นทาง ยกเว้นเส้นทางภายใต้ /press-kit/ ห้ามตีความว่ากลุ่มไวลด์การ์ด ซึ่งหมายถึง “User-Agent: *” ตรงกับโทเคนนโยบายนี้ และหากไม่มีกลุ่มใดในไฟล์ที่มีโทเคนดังกล่าว ก็หมายความว่าไม่ได้แสดงความต้องการไว้

ร่างข้อเสนอยังระบุด้วยว่าโทเคนนโยบายนี้ไม่ใช่คำสั่งเกี่ยวกับพฤติกรรมการรวบรวมข้อมูล โดยระบุว่าการตั้งค่าเกี่ยวกับการใช้เนื้อหาและสัญญาณจัดการการรับส่งข้อมูลของโปรแกรมรวบรวมข้อมูลเป็นเรื่องแยกจากกันและไม่ขึ้นต่อกัน และข้อตกลงส่วนตัวอาจมีผลเหนือการตั้งค่าที่แสดงผ่านกลไกนี้ เป้าหมายที่ระบุไว้ประกอบด้วยการผูกการตั้งค่ากับเส้นทางเฉพาะ การคงความแตกต่างจาก RFC 9309 ให้น้อยที่สุด การไม่ทำสำเนากฎในวงกว้าง การคงพฤติกรรมเดิมสำหรับโปรแกรมแยกวิเคราะห์ที่ไม่รองรับกลไกนี้ และการทำให้ผู้ใช้กลไกตีความได้อย่างสอดคล้องกัน

ศัพท์บัญญัติที่อยู่เบื้องหลังสัญญาณ

ความหมายของโทเคนสอดคล้องกับร่างศัพท์บัญญัติของคณะทำงานชื่อ ศัพท์บัญญัติสำหรับการแสดงความต้องการเกี่ยวกับการใช้ AI (draft-ietf-aipref-vocab-08) ซึ่ง Paul Keller จาก Open Future และ Martin Thomson จาก Mozilla เป็นผู้เขียน และอัปเดตล่าสุดในเดือนกันยายน 2026 ในฐานะเอกสารของคณะทำงานที่มีจุดมุ่งหมายจะเป็นมาตรฐานที่เสนอ ร่างศัพท์บัญญัตินี้นิยามการฝึก AI ว่าคือการใช้สินทรัพย์เพื่อปรับพารามิเตอร์ที่เรียนรู้ของโมเดล AI เชิงสร้างสรรค์ โดยไม่รวมการฝึกโมเดลที่ใช้เฉพาะกับงานที่ไม่ใช่งานเชิงสร้างสรรค์ และนิยามโมเดล AI เชิงสร้างสรรค์ว่าเป็นโมเดลที่ใช้หรือเปิดให้ใช้งานเพื่อสร้างเนื้อหาสังเคราะห์ในรูปแบบใดรูปแบบหนึ่งหรือหลายรูปแบบ

ศัพท์บัญญัตินี้ยังนิยามหมวดการใช้ AI แยกต่างหาก ซึ่งครอบคลุมสินทรัพย์ที่ใช้เป็นข้อมูลป้อนเข้าให้โมเดล AI เชิงสร้างสรรค์ แทนที่จะส่งให้โดยตรงจากผู้ใช้ และหมวดการค้นหา ซึ่งครอบคลุมแอปพลิเคชันที่มีวัตถุประสงค์หลักในการเลือกสินทรัพย์และนำทางผู้ใช้ไปยังตำแหน่งที่จัดเก็บ แต่ละหมวดกำหนดค่าความต้องการเป็นอนุญาต ไม่อนุญาต หรือไม่ทราบ และหากข้อความขัดแย้งกัน ให้ใช้ค่าความต้องการที่เข้มงวดที่สุด ร่างศัพท์บัญญัติระบุว่าไม่ได้รับประกันว่าจะมีการปฏิบัติตามความต้องการ และให้ผู้รับเป็นผู้ตัดสินใจว่าจะปฏิบัติตามหรือไม่ อีกทั้งหมายเหตุถึงผู้อ่านเตือนว่าเนื้อหาในเอกสารยังไม่สะท้อนฉันทามติของคณะทำงาน ส่วนหนึ่งซึ่งยังอยู่ระหว่างติดตามในฐานะประเด็นเปิด ระบุว่าการปฏิบัติตามการตั้งค่าการฝึกนั้นรวมถึงการส่งต่อการตั้งค่าที่เกี่ยวข้องกับสินทรัพย์สำหรับการฝึกไปพร้อมกับโมเดลเมื่อมีการเผยแพร่โมเดลนั้นด้วย

ส่วนกิตติกรรมประกาศของร่างสัญญาณการฝึกระบุชื่อประธานคณะทำงาน ได้แก่ Mark Nottingham จาก Cloudflare และ Suresh Krishnan จาก Cisco บรรณาธิการคำศัพท์ Thomson และ Keller รวมถึง Mike Bishop จาก Akamai ซึ่งเป็นผู้อำนวยการฝ่ายที่รับผิดชอบ นอกจากนี้ยังระบุชื่อผู้เข้าร่วมเป็นรายบุคคล โดยแจ้งสังกัดไว้เพื่อใช้ระบุตัวบุคคลเท่านั้น เนื่องจากผู้เข้าร่วม IETF มีส่วนร่วมในฐานะบุคคล ไม่ใช่ในนามองค์กร ซึ่งรวมถึง OpenAI, Google, Microsoft, Meta, Cloudflare, Common Crawl Foundation, News Corp, Financial Times, BBC, Electronic Frontier Foundation และ Creative Commons

การควบคุมโปรแกรมรวบรวมข้อมูลเว็บที่ OpenAI ใช้อยู่ในปัจจุบัน

เอกสารเกี่ยวกับโปรแกรมรวบรวมข้อมูลเว็บของ OpenAI ซึ่งบริษัทระบุว่าจะยังมีผลควบคู่ไปกับสัญญาณใหม่นี้ อธิบายว่า GPTBot เป็นตัวแทนที่รวบรวมเนื้อหาซึ่งอาจนำไปใช้ฝึกโมเดลพื้นฐานปัญญาประดิษฐ์เชิงกำเนิดของบริษัท การไม่อนุญาต GPTBot หมายความว่าเนื้อหาของเว็บไซต์ไม่ควรถูกนำไปใช้ในการฝึกดังกล่าว OAI-SearchBot ช่วยให้เว็บไซต์ปรากฏในฟีเจอร์การค้นหาของ ChatGPT และเว็บไซต์ที่เลือกไม่ให้บอตนี้เข้าถึงจะไม่ปรากฏในคำตอบจากการค้นหาของ ChatGPT แต่อาจยังปรากฏเป็นลิงก์นำทางได้ OAI-AdsBot ตรวจสอบความปลอดภัยของหน้าเว็บที่ส่งมาใช้เป็นโฆษณาบน ChatGPT และจะไม่นำข้อมูลที่รวบรวมได้ไปฝึกโมเดลพื้นฐานปัญญาประดิษฐ์เชิงกำเนิด ChatGPT-User จัดการการเข้าชมหน้าเว็บที่เกิดจากการกระทำของผู้ใช้ใน ChatGPT แทนการรวบรวมข้อมูลโดยอัตโนมัติ และเอกสารระบุว่ากฎใน robots.txt อาจไม่มีผลกับการเข้าชมเหล่านั้น

ตามเอกสาร การตั้งค่าแต่ละรายการเป็นอิสระจากกัน ดังนั้นผู้ดูแลเว็บไซต์จึงอนุญาตให้ OAI-SearchBot ปรากฏในผลการค้นหาได้ ขณะเดียวกันก็ไม่อนุญาตให้ GPTBot เข้าถึงเพื่อการฝึก การปรับการค้นหาอาจใช้เวลาประมาณ 24 ชั่วโมงหลังเว็บไซต์อัปเดต robots.txt OpenAI ระบุว่าจะเปิดเผยรายละเอียดการนำสัญญาณที่ใช้ร่วมกันไปใช้เมื่อเริ่มดำเนินการในอีกไม่กี่เดือนข้างหน้า