แผนของ Google ในการสนับสนุนกลไกควบคุมร่วมสำหรับการฝึก AI ผ่าน robots.txt

เมื่อวันที่ 30 ตุลาคม 2026 Google ประกาศแผนสนับสนุนกลไกควบคุมการฝึก AI แบบร่วมกันใน robots.txt เพื่อให้เจ้าของเว็บไซต์มีวิธีเดียวในการระบุความต้องการเกี่ยวกับการฝึกให้ผู้ให้บริการ AI หลายรายทราบ คำมั่นนี้มีขึ้นพร้อมกับประกาศในวันเดียวกันจาก Microsoft และ OpenAI

Google จะใช้กลไกควบคุมนี้อย่างไร

John Mueller ผู้สนับสนุนการค้นหาของ Google อธิบายแผนดังกล่าวไว้ในบทความในบล็อก Google Search Central กลไกควบคุมนี้อาศัยงานของกลุ่มทำงาน AI Preferences ที่คณะทำงานวิศวกรรมอินเทอร์เน็ต (IETF) และต่อยอดจาก Google-Extended ซึ่งเป็นกลไกควบคุมการฝึก AI ที่ Google ระบุว่าเปิดให้ใช้งานมาตั้งแต่ปี 2023

แทนที่จะต้องจัดการคำสั่งแยกสำหรับนักพัฒนา AI แต่ละราย เจ้าของเว็บไซต์จะสามารถใช้โทเค็นนโยบายร่วมใน robots.txt เพื่อกำหนดความต้องการโดยรวมสำหรับผู้ให้บริการ AI ที่เข้าร่วมได้ เมื่อเว็บไซต์ใช้โทเค็นดังกล่าวเพื่อปฏิเสธการนำข้อมูลไปฝึก และไม่ได้ระบุ Google-Extended ไว้อย่างชัดเจน Google มีแผนจะตีความเสมือนว่าผู้เผยแพร่เว็บไซต์ได้สั่งห้าม Google-Extended ผู้ให้บริการ AI รายอื่นอาจจัดการสัญญาณนี้ในลักษณะเดียวกันได้ ทำให้เจ้าของเว็บไซต์เลือกปฏิเสธการใช้งานจากผู้ให้บริการที่เข้าร่วมทั้งหมดพร้อมกัน หรือเลือกเป็นรายผู้ให้บริการก็ได้

ตามที่ระบุในบทความ กลไกควบคุมเฉพาะของแต่ละบริษัทยังคงทำงานควบคู่ไปกับสัญญาณร่วม เจ้าของเว็บไซต์จึงสามารถระบุความต้องการโดยรวมผ่านสัญญาณของอุตสาหกรรม พร้อมทั้งปรับคำสั่งให้เหมาะกับนักพัฒนาแต่ละรายผ่านกลไกควบคุมอย่าง Google-Extended ได้ เว็บไซต์ที่อนุญาตให้ใช้ Google-Extended โดยเฉพาะจะมีสิทธิ์ปรากฏในคำตอบและได้รับคลิกผ่านการใช้ข้อมูลเพื่อประกอบคำตอบใน Gemini Apps

Google ระบุว่าข้อเสนอนี้สะท้อนความคิดเห็นจากผู้เผยแพร่เว็บไซต์ กลุ่มภาคประชาสังคม หน่วยงานกำกับดูแล และผู้มีส่วนได้ส่วนเสียอื่น ๆ ซึ่งเรียกร้องให้มีมาตรการควบคุมการฝึก AI ที่ใช้ได้ทั่วทั้งอุตสาหกรรม และการได้รับการสนับสนุนจากผู้ให้บริการ AI รายใหญ่จะช่วยสร้างมาตรฐานที่มั่นคงและใช้ได้ทั่วทั้งอุตสาหกรรม บริษัทยังระบุด้วยว่าข้อเสนอนี้สอดคล้องกับหลักปฏิบัติของสหภาพยุโรปสำหรับผู้ให้บริการโมเดล AI อเนกประสงค์ภายใต้กฎหมาย AI ของสหภาพยุโรป ซึ่งยอมรับว่า robots.txt เป็นวิธีหลักที่ผู้เผยแพร่เว็บไซต์ใช้ระบุความต้องการในรูปแบบที่เครื่องอ่านได้ Google ตั้งเป้าสนับสนุนกลไกควบคุมใหม่นี้ร่วมกับผู้ให้บริการ AI รายอื่นในปี 2027 และระบุว่าจะรายงานความคืบหน้าให้ทราบ

OpenAI ให้คำมั่นในทำนองเดียวกันในวันเดียวกัน ประกาศของ OpenAIระบุว่าบริษัทจะยอมรับสัญญาณ robots.txt ร่วมกัน โดยตั้งเป้านำไปใช้ในช่วงไม่กี่เดือนข้างหน้า และจะคงกลไกควบคุมโปรแกรมรวบรวมข้อมูลที่มีอยู่เดิมไว้และเคารพการตั้งค่าเหล่านั้น OpenAI ระบุในประกาศว่ากำลังเข้าร่วมกับผู้เข้าร่วมรายอื่นในกลุ่มทำงาน AI Preferences และสนับสนุนให้ผู้ให้บริการ AI รายอื่นยอมรับสัญญาณนี้

ร่าง IETF เบื้องหลังสัญญาณนี้

กลไกนี้ระบุไว้ในเอกสารร่างอินเทอร์เน็ตชื่อ “สัญญาณความต้องการด้านการฝึกที่เครื่องอ่านได้” ซึ่ง Kevin Kelley จาก Anthropic เป็นผู้เขียน และลงวันที่ 30 ตุลาคม 2026 เอกสารนี้มีจุดประสงค์เพื่อเสนอเข้าสู่กระบวนการกำหนดมาตรฐาน และจะหมดอายุในวันที่ 3 พฤษภาคม 2027 ตามข้อมูลในระบบติดตามเอกสารของ IETF เอกสารนี้เป็นข้อเสนอที่ส่งโดยบุคคล ไม่ได้รับการรับรองจาก IETF และไม่มีสถานะอย่างเป็นทางการในกระบวนการกำหนดมาตรฐาน

ตามร่างนี้ ผู้ให้บริการจะผูกความต้องการเกี่ยวกับการใช้งานเข้ากับเส้นทางต่าง ๆ โดยเขียนกลุ่ม robots.txt ตามปกติ และกำหนดกลุ่มด้วยโทเค็นนโยบายสำหรับวัตถุประสงค์แต่ละอย่าง คือ __usage_ai-training ในบรรทัด User-Agent กลุ่มตัวอย่างในร่างระบุความต้องการไม่ให้นำเนื้อหาทั้งเว็บไซต์ไปใช้ฝึก AI ยกเว้นเส้นทางภายใต้ /press-kit/ กลไกนี้ไม่ได้เพิ่มชื่อคำสั่งใหม่หรือไวยากรณ์ใหม่ ภาษาที่ใช้ระบุเส้นทาง ลำดับความสำคัญของรายการที่ตรงกันยาวที่สุด และโครงสร้างกลุ่มตามมาตรฐาน robots.txt ซึ่งระบุไว้ใน RFC 9309 ยังคงเหมือนเดิม ดังนั้นโปรแกรมแยกวิเคราะห์ที่ใช้งานอยู่บนอินเทอร์เน็ตจึงจะละเว้นกลุ่มที่ใช้โทเค็นนโยบายซึ่งไม่รู้จัก กลุ่มไวลด์การ์ดที่มี User-Agent: * ต้องไม่ถูกตีความว่าตรงกับโทเค็นนโยบาย และไฟล์ robots.txt ที่ไม่มีกลุ่ม __usage_ai-training จะไม่แสดงความต้องการใด ๆ

โทเค็นนี้มีความหมายตามคำจำกัดความของการฝึก AI ในชุดคำศัพท์ AIPREF ที่ว่า “การใช้สินทรัพย์เพื่อปรับเปลี่ยนพารามิเตอร์ที่เรียนรู้ของโมเดล AI เชิงกำเนิด” คำจำกัดความนี้ไม่รวมการฝึกโมเดลที่ใช้เฉพาะกับงานที่ไม่ใช่งานเชิงกำเนิด แม้โมเดลนั้นจะทำงานเชิงกำเนิดได้ก็ตาม ร่างยังเน้นย้ำว่าโทเค็นนี้ระบุความต้องการเกี่ยวกับการใช้เนื้อหา ไม่ใช่คำสั่งเกี่ยวกับพฤติกรรมการรวบรวมข้อมูล แม้ผู้ใช้สัญญาณอาจนำความต้องการดังกล่าวไปประกอบการพิจารณาในการรวบรวมข้อมูลก็ตาม การระบุความต้องการที่เฉพาะเจาะจงควรมีผลเหนือกว่าการระบุแบบทั่วไป และข้อตกลงส่วนตัวอาจมีผลเหนือกว่าความต้องการที่ระบุไว้ได้

เมื่อวันที่ 30 ตุลาคม 2026 Kelley ประกาศร่างดังกล่าวในรายชื่อผู้รับจดหมาย ai-controlของ IETF โดยเขียนว่า Anthropic ได้เริ่มดำเนินการสนับสนุนร่างนี้แล้ว เขาอธิบายว่างานนี้เป็นส่วนเสริมของกลไกควบคุมโปรแกรมรวบรวมข้อมูลที่ Anthropic มีอยู่ ไม่ใช่สิ่งที่จะมาแทนที่

การนำไปใช้และวันที่เปลี่ยนผ่านของ Microsoft

Microsoft ประกาศว่าจะนำกลไกนี้ไปใช้ในวันเดียวกัน ผ่านบทความในบล็อก Bingโดย Krishna Madhavan ผู้จัดการผลิตภัณฑ์อาวุโสของ Microsoft Bing Microsoft ระบุว่าเป็นบริษัทแรกที่จัดให้มีการควบคุมสำหรับผู้เผยแพร่เว็บไซต์เกี่ยวกับการฝึก AI และการใช้ข้อมูลเพื่อประกอบคำตอบ โดยชี้ถึงแท็ก NoArchive และ NoCache ที่บริษัทเปิดตัวในปี 2023

Microsoft กำลังนำค่ากำหนดการฝึก AI แบบใช้ร่วมกันสำหรับเว็บไซต์และเส้นทางมาใช้ และขยายให้กำหนดได้ในระดับหน้าเว็บผ่านเมตาแท็กและส่วนหัวการตอบกลับ HTTP พร้อมเพิ่มค่ากำหนดการใช้ข้อมูลอ้างอิงของ AI แยกต่างหากสำหรับแต่ละหน้า นอกเหนือจากตัวเลือก Allow และ Disallow แล้ว ค่ากำหนดการใช้ข้อมูลอ้างอิงยังเพิ่มตัวเลือกใหม่คือ DisallowExtended ซึ่งจำกัดการใช้ข้อมูลอ้างอิงไว้เฉพาะประสบการณ์การใช้งานที่ Microsoft ดำเนินการเอง เช่น AI Mode, AI Overview, Copilot และ Microsoft 365 โดยไม่รวมบริการใช้ข้อมูลอ้างอิงที่ Microsoft ให้บริการแก่บุคคลที่สาม เช่น Web IQ และการใช้ข้อมูลอ้างอิงผ่านการเข้าถึง API ใน Foundry หากไม่มีการเผยแพร่ค่ากำหนด ทั้งสองค่าจะตั้งต้นเป็น Allow Microsoft เตือนว่า การเลือก Disallow หรือ DisallowExtended สำหรับการใช้ข้อมูลอ้างอิงจะทำให้แบรนด์ปรากฏให้เห็นน้อยลงในประสบการณ์การใช้งาน AI โดยค่ากำหนดเหล่านี้ไม่ส่งผลต่อสิทธิ์ในการปรากฏในผลการค้นหา Bing แบบดั้งเดิม และไม่ได้กำหนดข้อตกลงด้านการอนุญาตให้ใช้สิทธิ์หรือการชำระเงิน

ค่ากำหนดใหม่จะมาแทนที่ NoArchive และ NoCache สำหรับการฝึก AI และการใช้ข้อมูลอ้างอิง และจะเริ่มมีผลตั้งแต่วันที่ 1 กุมภาพันธ์ 2027 เมื่อ Microsoft รวบรวมข้อมูลเว็บไซต์ ค่ากำหนดชั่วคราวสำหรับช่วงเปลี่ยนผ่านของการใช้ข้อมูลอ้างอิงจะเปิดให้ใช้งานใน Bing Webmaster Tools วันที่ 15 ธันวาคม 2026 สำหรับเว็บไซต์ที่ใช้แท็กเดิม ณ วันดังกล่าว เว็บไซต์เหล่านั้นต้องเผยแพร่ค่ากำหนดใหม่และบันทึกค่ากำหนดชั่วคราวสำหรับการใช้ข้อมูลอ้างอิงก่อนวันที่ 1 มีนาคม 2027 หลังจากนั้น NoArchive และ NoCache จะไม่ถูกอ่านเป็นค่ากำหนดสำหรับการฝึก AI หรือการใช้ข้อมูลอ้างอิงอีกต่อไป ค่ากำหนดชั่วคราวจะยังมีผลจนกว่า Microsoft จะรวบรวมข้อมูลหน้าเว็บอีกครั้งและพบค่ากำหนดใหม่สำหรับการใช้ข้อมูลอ้างอิง หรือจนถึงวันที่ 30 กันยายน 2027 แล้วแต่ว่าอย่างใดจะมาถึงก่อน