มุมมองของ Anderson
นกคานารีที่เปิดเผยทราฟฟิก AI

ประเด็นสำคัญมีเพียงบอตของ DuckDuckGo เท่านั้นที่เคารพ robots.txt ขณะที่ Kimi สลับ ID…
ดูเพิ่มเติม
- มีเพียงบอตของ DuckDuckGo เท่านั้นที่เคารพ robots.txt ขณะที่ Kimi สลับ ID เบราว์เซอร์ปลอมเพื่อหลบเลี่ยงการตรวจจับ
- ระบบ AI หลายระบบ เช่น Claude และ Grok แอบใช้ตัวดึงข้อมูลจากเครื่องมือค้นหาของบุคคลที่สามโดยไม่เปิดเผยต่อสาธารณะ
- การลบหน้าแหล่งข้อมูลไม่สามารถหยุดแชตบอตจากการทำซ้ำข้อมูลที่ถูกฝังไว้ได้ เนื่องจากแคชที่คงอยู่
ในการศึกษาใหม่ นักวิจัยซ่อนวลีที่ไม่ซ้ำกันไว้บนเว็บไซต์และจับได้ว่าแชตบอต AI นำวลีเหล่านั้นมาตอบซ้ำ จึงเปิดเผยเส้นทางเก็บข้อมูลที่ซ่อนอยู่ และดูเหมือนว่าจะรวมถึงแนวปฏิบัติที่หลอกลวงของบริษัท AI รายใหญ่ที่สุดบางแห่งด้วย
บริษัท AI ต่างแย่งชิงความได้เปรียบในการแข่งขันที่ คาดว่าจะคัดผู้แข่งขันออกอย่างรุนแรง ดังนั้นพวกเขาจึงต้องการอย่างยิ่ง อย่างยิ่งจริง ๆ ที่จะเก็บข้อมูลจากเว็บไซต์ของคุณเพื่อฝึกโมเดล AI บางครั้งก็ อย่างต่อเนื่องไม่หยุด บ่อยครั้ง ฝ่าฝืน ความประสงค์ที่คุณแจ้งไว้อย่างชัดเจน และมัก ปลอมตัว เป็นผู้อ่านที่เป็นมนุษย์ธรรมดาหรือบอตที่ดูเป็นมิตรกว่า เช่น GoogleBot แทนที่จะเปิดเผยตัวตนจริงว่าเป็นตัวเก็บข้อมูลสำหรับ AI
ปัจจุบันมี การประมาณการ ว่าตัวเก็บข้อมูล AI อัตโนมัติ ซึ่งออกแบบมาเพื่อรวบรวมข้อมูลฝึกชุดใหม่และตอบสนองความต้องการข่าวล่าสุดของผู้ใช้ในทันที ผ่าน RAG จะมีจำนวนมากกว่ามนุษย์ภายในหนึ่งปี
การแย่งเก็บข้อมูลอย่างหิวกระหาย ไม่หยุดยั้ง และซ้ำแล้วซ้ำเล่านี้ เกิดขึ้นส่วนหนึ่งเพราะแต่ละองค์กร AI ต้องการสำเนาอินเทอร์เน็ตที่เป็นปัจจุบันของตนเอง แทนคลังข้อมูลที่เก่าลงเรื่อย ๆ เช่น Common Crawl และอาจเป็นเพราะบริษัทเหล่านี้กลัว ข้อจำกัดทางกฎหมายที่กำลังจะมาถึง จึงต้องการเริ่ม ฟอกทรัพย์สินทางปัญญา ให้เร็วที่สุด
นอกจากนี้ การตรวจสอบเว็บไซต์ที่อาจให้ข้อมูลมีประโยชน์ให้มากที่สุดอย่างต่อเนื่อง อาจช่วยให้บริษัท AI หวังว่าจะพัฒนา ความสามารถที่ปัจจุบันยังไม่ดีนัก ในการตอบอย่างมีสาระและแม่นยำเกี่ยวกับข่าวด่วนและสถานการณ์ที่กำลังก่อตัว
ไม่ว่าอย่างไร ข้อกล่าวที่ว่าแนวปฏิบัติเหล่านี้หลุดจากการควบคุมและจัดการไม่ได้มาระยะหนึ่งแล้ว ก็ดูจะมีมูลอยู่บ้าง
ปัญหาคือไม่ง่ายที่จะพิสูจน์ว่าบริษัท AI ยอมไปไกลเพียงใดเพื่อสนองความกระหายข้อมูลล่าสุด
ติดตามร่องรอยข้อมูล
งานวิจัยใหม่จากสหรัฐฯ เสนอรูปแบบหนึ่งของวิธีเก่าแก่ในการจับสายลับ ผู้ให้ข่าว และผู้ต้องสงสัยว่ากระทำผิดอื่น ๆ นั่นคือให้ข้อมูลเฉพาะที่ไม่มีใครรู้นอกจากผู้รับ แล้วดูว่าข้อมูลนั้นปรากฏที่อื่นหรือไม่และที่ใด หากไม่มีคนอื่นรู้ข้อมูลนั้น ก็พิสูจน์แหล่งรั่วไหลได้:

แนวคิดหลักที่อธิบายในงานวิจัยใหม่คือแสดงหน้าเว็บเดียวกันในเวอร์ชันที่แตกต่างกันเล็กน้อยให้บอตแต่ละตัวที่เข้าชม จากนั้นถามแชตบอตเกี่ยวกับหน้านั้นและดูว่าเวอร์ชันใดถูกส่งกลับมา จึงติดตามได้ว่าการค้นเว็บที่ซ่อนอยู่ครั้งใดเป็นแหล่งข้อมูลของคำตอบ แหล่งที่มา
วิธีที่ใช้กันแพร่หลายนี้ อาจเป็นที่รู้จักมากที่สุดจาก มาตรการต่อต้านการละเมิดลิขสิทธิ์ ที่คณะกรรมการรางวัลออสการ์นำมาใช้ในทศวรรษ 2000 โดยเริ่มฝังรหัสดิจิทัลเฉพาะไว้ใน DVD สำหรับชมล่วงหน้าที่แจกให้สมาชิกผู้ลงคะแนน ว่ากันว่าหากภาพยนตร์รั่วสู่อินเทอร์เน็ต รหัสดังกล่าวจะช่วยย้อนหาผู้รับคนแรกได้ ในวงการจารกรรม วิธีนี้เรียกว่า อาหารแบเรียม ตามการใช้ของเหลวที่มีไอโซโทปกัมมันตรังสีเพื่อทำให้เห็นหลอดเลือดในการสแกนทางการแพทย์และระบุจุดอุดตัน
(น่าแปลกที่อุปมานกคานารีที่เลือกใช้ไม่ตรงกับสถานการณ์ที่งานวิจัยกล่าวถึงนัก แม้จะเป็นที่จดจำได้ง่ายกว่าอุปมาอื่น ๆ ที่กล่าวมาข้างต้น)
ในการศึกษาใหม่นี้ ผู้เขียนสร้างโดเมนล่อหรือ honeypot จำนวนยี่สิบโดเมน และมอบโทเค็นที่ไม่ซ้ำกันให้ผู้เข้าชมแต่ละราย เพื่อให้แต่ละรายเห็นข้อเท็จจริงคนละชุด (ดูคอลัมน์ที่สองจากซ้ายในภาพด้านบน)
เป้าหมายคือเปิดเผยตัวตนและพฤติกรรมจริงของตัวเก็บข้อมูลสำหรับ LLM จากระบบ LLM ที่ใช้งานจริง 22 ระบบ เทคนิคนี้ระบุได้อย่างน่าเชื่อถือว่าตัวเก็บข้อมูลใดป้อนข้อมูลให้โมเดลใด เพียงอดทนรอหลังฝังตัวบ่งชี้ข้อมูลเฉพาะ แล้วหนึ่งหรือสองเดือนต่อมาถาม AI ด้วยคำถามที่ถูกต้อง ก็จะได้โทเค็นเฉพาะกลับมา
พฤติกรรมไม่ชอบมาพากล
แน่นอนว่าทั้งหมดนี้คงไม่จำเป็น หากเรายังไม่ได้อยู่ในยุคไร้กฎเกณฑ์ของ AI V3 และหากบริษัทปฏิบัติตาม ไฟล์ข้อความขนาดเล็ก ที่เจ้าของโดเมนใช้บอกบริษัท AI ว่าอย่าเก็บข้อมูลของตนอย่างแท้จริง
ในการทดสอบของนักวิจัย มีบริษัท AI เพียงรายเดียวที่ดูเหมือนจะเคารพพฤติกรรมและหลักการที่ประกาศไว้ นั่นคือ DuckDuckbot ของ DuckDuckGo ซึ่งเป็นเอเจนต์เพียงตัวเดียวที่แจ้งตัวตนถูกต้อง และหยุดรายงานข้อมูลลับทันทีที่โดเมนเป้าหมายถูกปิด หรือ robots.txt ถูกเปลี่ยนให้ปฏิเสธการเก็บข้อมูลสำหรับ AI ส่วนบริษัท AI อื่นหันไปใช้สำเนาในแคชและวิธีอื่น
บริษัทใหญ่หลายรายกลับ เลียนแบบ รหัสประจำตัวเบราว์เซอร์ทั่วไป เหมือนรหัสที่เว็บไซต์เห็นเมื่อเราหรือคุณเข้าไป และตาม แบบอย่างที่ Perplexity เริ่มไว้ในปี 2025 ก็ปลอมเป็น GoogleBot ซึ่งมีสิทธิ์ผ่านพิเศษเข้าถึงข้อมูลเว็บไซต์มานาน เพราะเคยส่งผู้เข้าชมกลับไปให้เว็บไซต์เพื่อแลกกับข้อมูล โปรดสังเกตการใช้รูปอดีต เพราะ ความสัมพันธ์นี้กำลังเปลี่ยนไป
ตามงานวิจัย ผู้ละเมิดที่ร้ายแรงที่สุดคือตัวเก็บข้อมูลที่ป้อนให้ ระบบนิเวศ Kimi AI:
«Kimi ดูเหมือนเป็นกรณีสุดขั้วที่สุดของพฤติกรรมนี้ โดย User-Agent หลายตัวดูจะสัมพันธ์กับข้อมูลที่ Kimi ส่งออกมา เราอนุมานว่า Kimi สลับใช้รายการสตริง User-Agent จำนวนมากระหว่างเก็บข้อมูล ซึ่งอาจมีไว้เพื่อหลบเลี่ยงการตรวจพบบอต»
ความยากสำคัญคือเมื่อ ChatGPT หรือเครื่องมือคล้ายกันค้นหาบางอย่าง กระบวนการนั้นแทบมองไม่เห็น บริษัทให้เพียงคำอธิบายบางส่วนหรือรายงานของตนเองว่าระบบรวบรวมข้อมูลสดอย่างไร เจ้าของเว็บไซต์จึงไม่มีวิธีชัดเจนที่จะรู้ว่าบอตใดเข้าหน้าเว็บจริง การเข้าถึงเกิดโดยตรงหรือผ่านเครื่องมือค้นหา และข้อมูลเข้าไปอยู่ในคำตอบสุดท้ายอย่างไร
ผลการศึกษาชี้ว่า LLM อาจใช้ข้อมูลของโดเมนจากแคชของตนเอง รวมถึงรายการภายในแบบ SEO และบ่อยครั้งใช้ข้อมูลจากผลค้นหาของบริษัทที่ในหลายกรณีไม่มีความสัมพันธ์สาธารณะหรือข้อตกลงการใช้ที่ปรากฏให้เห็น
ผู้เขียนเชื่อว่านี่เป็นงานแรกที่พิจารณาการเข้าถึงอันไม่พึงประสงค์ของระบบ RAG ซึ่งเป็นการเรียกข้อมูลสดจาก LLM ขณะสร้างคำตอบ โดยอาจมีหรือไม่มีมนุษย์เป็นผู้ใช้งาน ต่างจากบอตที่หาวัตถุดิบใหม่สำหรับชุดข้อมูลฝึก
งานวิจัยใหม่นี้ ชื่อว่า การระบุตัวเก็บข้อมูลเว็บของ AI ด้วยโทเค็นคานารี จัดทำโดยนักวิจัยหกคนจาก Duke University, University of Pittsburgh และ Carnegie Mellon
วิธีการ
นักวิจัยสร้างโดเมน .com ยี่สิบโดเมนที่มีเว็บไซต์คล้ายกัน โดยใช้เทมเพลตทั่วไป เช่น แฟ้มผลงานศิลปะหรือเว็บไซต์บริษัท แต่ละเทมเพลตมีช่องว่าง 10 ช่องที่จะเติมด้วยโทเค็นเฉพาะตามโปรไฟล์ที่ระบบรับรู้ของผู้เข้าชมแต่ละราย โดยพิจารณาจาก IP ลายนิ้วมือแคนวาส และวิธีตรวจจำอื่น ๆ:

ตัวอย่างเทมเพลตและช่องตัวแปรที่ใช้ในการทดลอง ผู้เข้าชมแต่ละรายที่ระบบรับรู้ว่าไม่ซ้ำกันจะได้รับตัวแปรเฉพาะบุคคลที่คงค่าเดิมต่อเนื่อง
ผู้เข้าชมที่ระบบรับรู้ว่าเป็นคนละรายจะได้รับตัวแปรเฉพาะ เมื่อระบบตรวจพบว่าผู้เข้าชมเดิมกลับมา ก็จะแสดงค่าเดิมอีกครั้ง ตัวแปรสร้างด้วย ไลบรารี Python Faker และตัวสร้างเลขสุ่มที่ไม่ได้ระบุรายละเอียด
จากนั้นโดเมนล่อถูกส่งไปยังดัชนีของ Google, Bing และบริการอื่น พร้อมสร้างลิงก์จากโดเมนเดิมที่ผู้เขียนควบคุมมาหาโดเมนเหล่านี้
นักวิจัยรอสองเดือนเพื่อรองรับความถี่สแกนที่ต่างกันของบอตค้นหาและบอตคล้ายกัน รวมถึงการเข้าชมตามธรรมชาติที่อาจเกิดขึ้น เมื่อถึงจุดนี้จึงพร้อมถามแชตบอตเป้าหมายที่แสดงด้านล่าง:
|
|
มีการเขียนสคริปต์เพื่อถามแต่ละระบบผ่าน API เมื่อทำได้ หากทำไม่ได้และโซลูชันอัตโนมัติ เช่น Selenium ถูกกลไกตรวจจับของแพลตฟอร์ม AI ปิดกั้น ก็โต้ตอบด้วยมือผ่านส่วนติดต่อกราฟิกอย่างเป็นทางการของ LLM
หลังการแลกเปลี่ยนตามเทมเพลตครั้งแรก (ดูภาพด้านบน) ผู้เขียนใช้พรอมป์ต์ที่สองเพื่อให้ได้ชื่อบริษัทหรือบุคคลในโทเค็นที่เกี่ยวข้อง
การทดลองมีสามเงื่อนไข ได้แก่ เว็บไซต์เข้าถึงได้เต็มที่ เว็บไซต์ปิดออฟไลน์ และเว็บไซต์ที่ robots.txt จำกัดไม่ให้เก็บข้อมูล ทดลองตามลำดับนี้อย่างเคร่งครัด เพราะขั้นหลังต้องอาศัยขั้นก่อน
สุดท้าย ทุกเว็บไซต์กลับมาออนไลน์ แล้วทดสอบคำตอบของ LLM ซ้ำเป็นรายสัปดาห์
ผลลัพธ์
LLM เป้าหมายสี่ระบบต้านทานวิธีของนักวิจัยได้ทั้งหมด จึงไม่สามารถได้ผลลัพธ์จาก DeepSeek, Hunyuan, GLM และ Liquid
ผู้เขียนกล่าวถึงแนวโน้มที่บอต AI หลายตัวเลียนแบบทราฟฟิกที่ไม่ใช่ AI ว่า:
«นอกเหนือจากเอเจนต์ที่ผู้ให้บริการประกาศเองแล้ว ระบบ AI หลายระบบส่งกลับเนื้อหาที่สัมพันธ์กับสตริง User-Agent ของเบราว์เซอร์ทั่วไป เราพบพฤติกรรมนี้ในหกจาก 18 ระบบที่เราได้ข้อมูล User-Agent
ผลนี้ชี้ว่าระบบ AI บางระบบอาจได้รับเนื้อหาเว็บไซต์ผ่านคำขอที่ดูคล้ายทราฟฟิกเบราว์เซอร์ธรรมดา ซึ่งทำให้การปิดกั้นด้วย User-Agent ยากขึ้น»
ERNIE ส่งกลับทั้ง Baiduspider และตัวตน Chrome ส่วน Grok รวม Googlebot กับเอเจนต์เบราว์เซอร์สองตัว Solar ใช้เฉพาะตัวตนเบราว์เซอร์ Qwen ผสม Googlebot กับ Chrome และ Kimi เชื่อมโยงกับเอเจนต์คล้ายเบราว์เซอร์หลายตัว
หลายระบบดูเหมือนพึ่งพาตัวเก็บข้อมูลของเครื่องมือค้นหาบุคคลที่สาม โดยไม่ได้เปิดเผยความสัมพันธ์เสมอไป ใน 18 ระบบที่วิเคราะห์ มีสิบระบบส่งกลับเนื้อหาที่สัมพันธ์กับ Googlebot, Bingbot และ Bravebot บ่อยครั้งผู้ให้บริการ AI ไม่มีความเชื่อมโยงสาธารณะกับเครื่องมือค้นหา แม้บางความสัมพันธ์ เช่น การใช้ Brave ของ Claude จะมีหลักฐานบันทึกไว้
ผู้เขียนแย้งว่านี่คือการนำผลค้นหามาใช้ ไม่ใช่เก็บข้อมูลเองโดยตรง เพราะ การตรวจสอบ ASN ชี้ว่าทราฟฟิกมาจากเครือข่ายเครื่องมือค้นหาที่คาดไว้ ไม่ใช่ตัวตนปลอม
งานวิจัยระบุว่าสิ่งนี้เพิ่มความไม่โปร่งใสอีกชั้นในเส้นทางจากเว็บสู่ AI การปิดกั้นบอตเก็บข้อมูล AI ที่รู้จักอาจไม่หยุดการใช้ข้อมูล และการเลี่ยงไม่ให้ข้อมูลถูกรวมอาจต้อง ถอนตัวจากการจัดทำดัชนีค้นหาโดยสิ้นเชิง ซึ่งเป็นทางเลือกที่ไม่พึงประสงค์ ขณะที่ความขัดแย้งระหว่าง SEO แบบเดิมกับการค้นหาบนฐาน LLM ยัง ห่างไกลจากการคลี่คลาย
ใช้แคชเท่านั้น
ต่อมาผู้เขียนทดสอบว่าการเอาแหล่งข้อมูลออกจะกระทบคำตอบของแชตบอตหรือไม่ โดยปิดเว็บไซต์ทดลองแล้วถามระบบอีกครั้งหลังผ่านไปหนึ่งสัปดาห์ ตามงานวิจัย แชตบอตจำนวนมากยังทำซ้ำเนื้อหาที่ฝังไว้แม้เว็บไซต์หยุดให้บริการไปหนึ่งสัปดาห์ จึงบ่งชี้ว่าคำตอบมาจากแคช ไม่ใช่การดึงข้อมูลสด
การคงอยู่เช่นนี้เด่นชัดที่สุดในระบบที่เชื่อมกับบอตค้นหา เนื้อหาที่เคยถูกจัดทำดัชนียังใช้ได้แม้หน้าต้นฉบับเข้าไม่ได้แล้ว แต่ยังพบพฤติกรรมคล้ายกันในระบบที่เชื่อมกับเอเจนต์คล้ายเบราว์เซอร์ จึงเป็นไปได้ว่าการใช้แคชอาจขยายเกินเส้นทางที่อาศัยเครื่องมือค้นหา
งานวิจัยเสนอว่าเมื่อเนื้อหาเข้าแคชแล้ว ไม่ว่าจะเป็นแคชของแชตบอตหรือเข้าถึงผ่านดัชนีค้นหา การลบหน้าต้นฉบับไม่ได้ทำให้เนื้อหาหายจากคำตอบต่อมาได้อย่างเชื่อถือได้
บทสรุป
ผู้เขียนยอมรับว่าแนวทางแยกเป็นช่องทางนี้จะมีการรั่วไหลบ้าง เพราะโทเค็นเฉพาะสำหรับ LLM หนึ่งอาจไปปรากฏในผลค้นหาที่สร้างโดยเจ้าของ ที่แท้จริง ของโทเค็น แล้วถูก LLM อีกตัวนำไปใช้ อย่างไรก็ตาม การกระจายเช่นนี้หลีกเลี่ยงไม่ได้ในระบบลักษณะนี้ ช่วงสำคัญที่เผยให้เห็นข้อเท็จจริงคือการเฝ้าระวังการปรากฏครั้งแรก
ยังต้องดูว่าแนวทางนี้จะขยายขนาดได้เพียงใด เพราะตามที่ผู้เขียนสังเกต โทเค็นที่เหมาะกับบริบทจะหมดอย่างรวดเร็ว
อย่างไรก็ตาม นี่อาจพลาดประเด็นไปเล็กน้อย แม้บริษัท AI จะกล้าเพียงใด ก็อาจมีขีดจำกัดเมื่อต้องมองข้ามหลักฐานชัดเจนเกี่ยวกับคำโกหกของตนเองเรื่องนโยบายเก็บข้อมูล นอกจากนี้ เว้นแต่บริษัทจะเลือกวิธีที่อาจมีต้นทุนสูง คือสลับใช้ IP ของครัวเรือนเพื่อปิดบังตัวตน ก็เพียงแค่องค์กรเดียวระบุและเผยแพร่บัญชีดำแบบ SpamHaus ของ IP หรือ ASN ของบอต AI ที่หลอกลวงก็เพียงพอแล้ว กระบวนการนี้ไม่ต้องทำในระดับอุตสาหกรรมจึงจะได้ผล
เผยแพร่ครั้งแรกวันพฤหัสบดีที่ 14 พฤษภาคม 2026












