นกคานารี่ที่เปิดเผยการจราจร AI

ในงานวิจัยใหม่ นักวิจัยได้ซ่อนข้อความที่ไม่เหมือนใครบนเว็บไซต์ และจับได้ว่า AI ชัตบอทซ้ำข้อความเหล่านั้น ทำให้เห็นถึงการขุดค้นข้อมูลที่ซ่อนอยู่ และดูเหมือนว่าจะมีการกระทำที่หลอกลวงจากบางบริษัท AI ที่ใหญ่ที่สุด

บริษัท AI ต่อสู้เพื่อความได้เปรียบในการแข่งขันที่คาดว่าจะ ลดลงอย่างรุนแรง ดังนั้นพวกเขาจึงต้องการขุดค้นข้อมูลจากเว็บไซต์ของคุณเพื่อใช้ในการฝึกอบรมโมเดล AI ของพวกเขา บางครั้ง อย่างต่อเนื่อง และมักจะ ฝ่าฝืน ความตั้งใจที่ระบุไว้ และบ่อยครั้งในการ ปลอมตัว เป็นคนอ่านธรรมดาหรือบอทที่ “มิตรภาพ” เช่น GoogleBot มากกว่าที่จะแสดงตัวตนจริงของตนเองว่าเป็น AI ขุดค้นข้อมูล

คาดว่า ประมาณการ ว่าบอท AI ที่ออกแบบมาเพื่อดูดข้อมูลใหม่ๆ และตอบสนองความต้องการของผู้ใช้จะ ผ่าน RAG มากกว่ามนุษย์ในอีกไม่นาน

การขุดค้นข้อมูลอย่างหิวโหยและซ้ำซากเกิดขึ้นบางส่วนเนื่องจากความต้องการของแต่ละ AI ที่จะมีข้อมูลอินเทอร์เน็ตที่เป็นของตนเอง มากกว่าข้อมูลที่เก่าเก็บไว้ เช่น Common Crawl และอาจเป็นเพราะบริษัทเหล่านั้นต้องการ มาตรการทางกฎหมาย และต้องการทำ การล้าง IP ให้เร็วที่สุด

นอกจากนี้ โดยการตรวจสอบเว็บไซต์หลายๆ แห่ง AI บริษัทอาจหวังที่จะปรับปรุง ความสามารถที่ไม่ดี ในการตอบคำถามที่เกิดขึ้นใหม่และเกิดขึ้น

ไม่ว่าในกรณีใดๆ ก็ตาม ดูเหมือนว่ามีเหตุผลที่จะเชื่อว่าการกระทำเหล่านี้ไม่ได้รับการควบคุมและไม่สามารถควบคุมได้มาเป็นเวลานานแล้ว

ปัญหาอยู่ที่ว่ามันไม่ใช่เรื่องง่ายที่จะพิสูจน์ว่าบริษัท AI กำลังทำอะไรเพื่อจัดการกับความกระหายในข้อมูลล่าสุด

ติดตามข้อมูล

คำแนะนำหนึ่งที่ได้รับการเสนอในงานวิจัยใหม่จากสหรัฐอเมริกาคือการเสนอแนวทางที่คล้ายกับวิธีการเก่าในการค้นหาสายลับ ผู้ให้ข้อมูล และคนอื่นๆ ที่มีการกระทำที่ไม่เหมาะสม โดยการเปิดเผยข้อมูลที่ไม่มีใครรู้จัก และดูว่าข้อมูลนั้นจะปรากฏขึ้นที่ไหน หากไม่มีใครรู้จักข้อมูลนั้น แหล่งที่มาของการรั่วไหลจะถูกพิสูจน์แล้ว

แนวคิดหลักของนักวิจัยที่ระบุไว้ในงานวิจัยใหม่คือการให้แต่ละบอทที่มาเยี่ยมชมเว็บไซต์หนึ่งๆ ที่แตกต่างกัน จากนั้นถาม AI ชัตบอทเกี่ยวกับเว็บไซต์นั้น และดูว่าเวอร์ชันไหนที่จะกลับมา ทำให้สามารถติดตามการค้นหาเว็บที่ซ่อนอยู่ที่ให้คำตอบได้ แหล่งที่มา

แนวทางนี้เป็นที่รู้จักกันดีจาก วิธีการทั่วไป ที่ใช้ในการป้องกันการละเมิดลิขสิทธิ์ที่ใช้โดยคณะกรรมการรางวัลออสการ์ในปี 2000 โดยที่แผ่น DVD ที่แจกให้กับสมาชิกที่มีสิทธิ์ลงคะแนนเริ่มมีการทำเครื่องหมายดิจิตอลที่ไม่ซ้ำกันซึ่งสามารถสืบค้นย้อนกลับไปยังผู้รับได้หากภาพยนตร์ถูกปล่อยออกไปบนอินเทอร์เน็ต ในการ间諜 การใช้เทคนิคนี้เรียกว่า การกินอาหารที่มีแบเรียม หลังจากการปฏิบัติที่ใช้สารกัมมันตภาพรังสีของเหลวในการส่องแสงหลอดเลือดในภาพถ่ายทางการแพทย์และระบุตะกั่ว

(อย่างไรก็ตาม โลกคานารี่ที่เลือกไม่เหมาะสมกับสถานการณ์ที่กระดาษที่กล่าวถึง แม้ว่าจะเป็นที่รู้จักกันมากกว่าเทคนิคอื่นๆ)

ในกรณีของการวิจัยใหม่นี้ ผู้เขียนสร้างโดเมน “honeypot” 20 โดเมนและให้โทเค็นแบบสุ่มสำหรับแต่ละผู้เยี่ยมชมที่ไม่ซ้ำกัน เพื่อให้แต่ละคนได้รับข้อเท็จจริงที่แตกต่างกัน (ดูคอลัมน์ที่สองจากซ้ายในภาพด้านบน)

วัตถุประสงค์คือการเปิดเผยตัวตนและพฤติกรรมที่แท้จริงของ AI ขุดค้นข้อมูล เมื่อผ่านไป 22 ระบบ LLM ที่ใช้ในการผลิต เทคนิคนี้สามารถระบุได้อย่างน่าเชื่อถือว่าบอทขุดค้นข้อมูลใดที่ให้ข้อมูลแก่ LLM ใด โดยที่เมื่อถามคำถามที่ถูกต้องให้กับ AI หลังจากผ่านไปหนึ่งหรือสองเดือน จะได้โทเค็นแบบสุ่มที่ไม่ซ้ำกัน

การกระทำที่ไม่เหมาะสม

แน่นอนว่าไม่มีอะไรจำเป็นต้องทำเช่นนี้หากเราไม่ได้อยู่ในระยะ “วイルด์เวสต์” ของ AI V3 และหากบริษัทปฏิบัติตาม ไฟล์ข้อความขนาดเล็ก ที่โดเมนสามารถใช้เพื่อบอกให้บริษัท AI ไม่ขุดค้นข้อมูล

ตามที่เกิดขึ้นในการทดสอบของนักวิจัย บริษัท AI เพียงแห่งเดียวที่ดูเหมือนจะเคารพพฤติกรรมและหลักการของตนเอง คือ DuckDuckGo’s DuckDuckbot ซึ่งเป็นตัวแทนของตัวเองอย่างถูกต้อง และหยุดการรายงาน “ข้อมูลลับ” เมื่อโดเมนเป้าหมายถูกปิดหรือเมื่อไฟล์ robots.txt ของโดเมนถูกเปลี่ยนเพื่อปฏิเสธการขุดค้นข้อมูล AI

หลายๆ ผู้เล่นที่ใหญ่ที่สุดปลอมตัวเป็น เบราว์เซอร์ ID ทั่วไป (เช่นเดียวกับที่เว็บไซต์จะเห็นหากคุณหรือฉันเข้าชม) และตาม การนำของ Perplexity ในปี 2025 ปลอมตัวเป็น GoogleBot ซึ่งมี “การผ่าน” ไปยังข้อมูลเว็บไซต์เพราะมันส่งกลับ траฟิกในแลกกับข้อมูล

ผู้กระทำผิดที่แย่ที่สุดตามรายงานคือบอทที่ให้ข้อมูลแก่ ระบบ Kimi AI:

‘Kimi ดูเหมือนจะเป็นกรณีที่รุนแรงที่สุดของพฤติกรรมนี้ มีหลายตัวแทนผู้ใช้ที่ดูเหมือนจะเกี่ยวข้องกับข้อมูลที่ออกมาจาก Kimi เราอนุมานว่า Kimi หมุนเวียนผ่านรายการ User-Agent สตริงที่ยาวมากขณะขุดค้นข้อมูล อาจจะหลีกเลี่ยงการตรวจจับบอท’

สิ่งที่ทำให้ปัญหานี้เป็นความท้าทายที่สำคัญคือเมื่อ ChatGPT หรือเครื่องมือที่คล้ายกัน “ค้นหาสิ่งใดสิ่งหนึ่ง” กระบวนการนั้นเป็นกระบวนการที่มองไม่เห็น โดยที่บริษัทให้เฉพาะบัญชีที่ไม่สมบูรณ์หรือรายงานตนเองเกี่ยวกับวิธีการที่ระบบของตนรวบรวมข้อมูลสด ซึ่งทำให้เจ้าของเว็บไซต์ไม่มีวิธีที่ชัดเจนในการบอกว่าบอทใดที่กำลังเยี่ยมชมหน้าเว็บของตน หรือว่าบอทเหล่านั้นมาเยี่ยมชมโดยตรงหรือผ่านเครื่องมือค้นหา หรือว่าข้อมูลนั้นจะส่งไปให้คำตอบสุดท้าย

ผลการวิจัยจากการศึกษานี้แสดงให้เห็นว่า LLM อาจใช้ข้อมูลที่เก็บไว้ของโดเมน ข้อมูลที่เก็บไว้ภายในรายการ SEO และบ่อยครั้งใช้ข้อมูลจากผลลัพธ์การค้นหาเครื่องมือค้นหาที่ไม่มีการเชื่อมโยงใดๆ ที่ชัดเจน และไม่มีสัญญาการใช้งานที่ชัดเจน

ผู้เขียนเชื่อว่าการเปิดเผยนี้เป็นครั้งแรกที่งานวิจัยได้กล่าวถึงการบุกรุกที่ไม่พึงประสงค์โดยระบบ RAG (การเรียกที่มีชีวิตในเวลาที่ LLM อาจมีผู้ใช้ทำงานหรือไม่) มากกว่าบอทขุดค้นข้อมูลที่กำลังมองหาข้อมูลใหม่ๆ สำหรับชุดข้อมูลการฝึกอบรม

งานวิจัยใหม่นี้มีชื่อว่า การระบุ AI Web Scrapers โดยใช้โทเค็น Canary และมาจากนักวิจัยหกคนจาก Duke University, University of Pittsburgh และ Carnegie Mellon

วิธีการ

นักวิจัยตั้งค่าโดเมน.com 20 โดเมนด้วยเว็บไซต์ที่คล้ายกันภายใต้เทมเพลตทั่วไป เช่น พอร์ตโฟลิโอทางศิลปะหรือเว็บไซต์บริษัท แต่ละเทมเพลตมี 10 ช่องว่างที่จะถูกเติมด้วยโทเค็นที่ไม่ซ้ำกันสำหรับแต่ละผู้เยี่ยมชมที่ไม่ซ้ำกัน (ตามปัจจัยต่างๆ เช่น ที่อยู่ IP, การระบุภาพวาด และวิธีการ “จับกลิ่น” อื่นๆ):

ตัวอย่างเทมเพลตและช่องว่างที่ใช้ในการทดลอง แต่ละผู้เยี่ยมชมที่ไม่ซ้ำกันจะได้รับตัวแปรที่ไม่ซ้ำกัน

ทุกๆ ผู้เยี่ยมชมที่ไม่ซ้ำกันจะได้รับตัวแปรที่ไม่ซ้ำกัน ในกรณีที่ระบบตรวจพบการกลับมาของผู้เยี่ยมชมก่อนหน้านี้ ตัวแปรเดียวกันก่อนหน้านี้จะถูกนำเสนออีกครั้ง ตัวแปรถูกสร้างขึ้นโดยใช้ ไลบรารี Python Faker และตัวสร้างตัวเลขสุ่มที่ไม่ระบุ

โดเมน “honeypot” ถูกส่งไปยังดัชนีต่างๆ เช่น Google และ Bing และเชื่อมโยงจากโดเมนอื่นๆ ที่ผู้เขียนควบคุม

ให้เวลาผ่านไปสองเดือนเป็นช่วงเวลาที่จำเป็นเพื่อให้การ扫描จากบอทค้นหาและบอทที่คล้ายกันสามารถเกิดขึ้นได้ ในจุดนี้ นักวิจัยสามารถถาม AI ชัตบอทที่มุ่งเป้าไปที่ระบบได้แล้ว

สคริปต์ถูกสร้างขึ้นเพื่อถามระบบแต่ละระบบผ่าน API เมื่อไม่สามารถทำได้ และเมื่อโซลูชันแบบอัตโนมัติ เช่น Selenium ถูกปิดกั้นโดยการตรวจจับบอทของ AI นักวิจัยได้ดำเนินการแบบคู่มือผ่าน GUI ของ LLM อย่างเป็นทางการ

หลังจากการแลกเปลี่ยนแบบเทมเพลตเริ่มต้น (ดูภาพด้านบน) ผู้เขียนได้ทำตามด้วยคำถามที่สองที่ออกแบบมาเพื่อกระตุ้นให้ได้รับชื่อบริษัทหรือบุคคลที่เกี่ยวข้องกับโทเค็น

การทดลองดำเนินไปในสามเงื่อนไข: เว็บไซต์ที่สามารถเข้าถึงได้เต็มที่ เว็บไซต์ที่ถูกปิด และเว็บไซต์ที่มีข้อจำกัด robots.txt ที่ขัดขวางการขุดค้นข้อมูล การทดลองเหล่านี้ดำเนินไปในลำดับนั้น เนื่องจากขั้นตอนหลังต้องอาศัยขั้นตอนก่อนหน้า

สุดท้าย เมื่อเว็บไซต์ทั้งหมดถูกเปิดใช้งานอีกครั้ง ขั้นตอนสุดท้ายจะทดสอบผลลัพธ์ของ LLM อีกครั้งในระยะเวลาหนึ่งสัปดาห์

ผลลัพธ์

LLM สี่ตัวที่เป็นเป้าหมายแสดงให้เห็นว่าไม่สามารถต้านทานวิธีการของนักวิจัยได้ และไม่สามารถรับผลลัพธ์ได้สำหรับ DeepSeek, Hunyuan, GLM และ Liquid

เกี่ยวกับการกระทำของบอท AI ที่ปลอมตัวเป็นคนอ่านธรรมดา ผู้เขียนระบุว่า:

‘นอกเหนือจากตัวแทนระดับแรกที่ประกาศแล้ว ระบบ AI หลายระบบส่งกลับเนื้อหาที่เกี่ยวข้องกับ User-Agent สตริงเบราว์เซอร์ทั่วไป เราเห็นพฤติกรรมนี้ในหกใน 18 ระบบ AI ที่เรามีข้อมูล User-Agent

‘ผลลัพธ์นี้แสดงให้เห็นว่าระบบ AI บางระบบสามารถรับเนื้อหาของเว็บไซต์ผ่านคำขอที่ดูเหมือนกับ траฟิกเบราว์เซอร์ปกติ ซึ่งทำให้การปิดกั้นด้วย User-Agent ยาก’

ERNIE ส่งกลับ Baiduspider และ Chrome ID; Grok รวม Googlebot และเบราว์เซอร์เอเย่นต์สองตัว; Solar ใช้เฉพาะ ID เบราว์เซอร์; Qwen ผสม Googlebot และ Chrome; และ Kimi ถูกเชื่อมโยงกับเอเย่นต์เบราว์เซอร์หลายตัว

หลายระบบดูเหมือนจะพึ่งพาบอทขุดค้นข้อมูลของเครื่องมือค้นหาในความสัมพันธ์ที่ไม่ได้ระบุไว้เสมอไป เนื้อหาที่เชื่อมโยงกับ Googlebot, Bingbot และ Bravebot ถูกส่งกลับโดย 10 ใน 18 ระบบที่วิเคราะห์ บ่อยครั้งในกรณีที่ไม่มีการเชื่อมโยงใดๆ ที่ชัดเจนระหว่างผู้ให้บริการ AI และเครื่องมือค้นหา – แม้ว่าบางลิงก์ เช่น การใช้ Brave ของ Claude จะถูกบันทึกไว้

ผู้เขียนแย้งว่าสิ่งนี้สะท้อนถึงการกินผลลัพธ์การค้นหาแทนการขุดค้นข้อมูลโดยตรง เนื่องจาก การตรวจสอบ ASN ระบุว่า траฟิกมาจากเครือข่ายเครื่องมือค้นหาที่คาดหวัง มากกว่า ID ที่ปลอมตัว

สิ่งนี้ชี้ให้เห็นว่ามีระดับของความไม่โปร่งใสเพิ่มเติมในกระบวนการจากเว็บไปยัง AI โดยที่การปิดกั้นบอทขุดค้นข้อมูล AI ที่ทราบอาจไม่หยุดการใช้ข้อมูล และการหลีกเลี่ยงการรวมข้อมูลอาจต้อง เลือกไม่ให้เข้าร่วมการค้นหาเครื่องมือค้นหาโดยสิ้นเชิง – ซึ่งเป็นตัวเลือกที่ไม่พึงประสงค์ ในขณะที่ความตึงเครียดระหว่าง SEO แบบดั้งเดิมและค้นหาด้วย AI ยังคง ไม่ได้รับการแก้ไข

แคชเท่านั้น

ผู้เขียนทดสอบว่าการเอาแหล่งข้อมูลออกจะส่งผลต่อผลลัพธ์ของ AI ชัตบอทหรือไม่ โดยการปิดเว็บไซต์ทดสอบและถามระบบอีกครั้งหลังจากผ่านไปหนึ่งสัปดาห์ ตามรายงาน ผลลัพธ์แสดงให้เห็นว่าบอท AI หลายตัวยังคงผลิต “เนื้อหาที่ฝังไว้” แม้หลังจากที่เว็บไซต์ถูกปิดไปหนึ่งสัปดาห์แล้ว ซึ่งบ่งชี้ว่าคำตอบถูกดึงมาจากข้อมูลที่เก็บไว้ มากกว่าการดึงข้อมูลสด

ความต่อเนื่องนี้เห็นได้ชัดเจนในระบบที่เชื่อมโยงกับบอทขุดค้นข้อมูลของเครื่องมือค้นหา โดยที่เนื้อหาที่ถูกดัชนีไว้ก่อนหน้านี้ยังคงสามารถเข้าถึงได้แม้ว่าหน้าเว็บต้นฉบับจะไม่สามารถเข้าถึงได้ – แม้ว่าพฤติกรรมที่คล้ายกันจะเห็นได้ในระบบที่เชื่อมโยงกับเอเย่นต์เบราว์เซอร์ ซึ่งบ่งชี้ว่าการเก็บข้อมูลอาจขยายไปไกลกว่าแค่เครื่องมือค้นหา

รายงานชี้ว่าเมื่อข้อมูลเข้าสู่แคช ไม่ว่าจะเป็นของ AI ชัตบอทหรือเข้าถึงผ่านดัชนีเครื่องมือค้นหา การเอาหน้าเว็บต้นฉบับออกจะไม่ลบข้อมูลออกจากผลลัพธ์ถัดไป

สรุป

ผู้เขียนยอมรับว่า “การรั่วไหล” บางส่วนจะเกิดขึ้นจากแนวทาง “แบบแยกส่วน” นี้ เนื่องจากโทเค็นที่ไม่ซ้ำกันที่มุ่งเป้าไปที่ LLM หนึ่งๆ อาจเข้าสู่ผลลัพธ์การค้นหา (ที่สร้างขึ้นจากโทเค็น “จริง” ของตนเอง) ซึ่งจะถูกกินโดย LLM อีกตัวหนึ่ง ในกรณีเช่นนี้ การกระจายของโทเค็นนี้ไม่สามารถหลีกเลี่ยงได้ และการตรวจจับครั้งแรกเป็นช่วงเวลาที่สำคัญและเป็นตัวบ่งชี้

สิ่งที่ยังต้องดูคือว่าแผนการดังกล่าวสามารถนำไปใช้ได้ขนาดไหน โดยเฉพาะอย่างยิ่งเนื่องจากตามที่ผู้เขียนสังเกตเห็นว่า “คุณจะหมดโทเค็นที่ถูกต้องตามบริบทได้อย่างรวดเร็ว”

อย่างไรก็ตาม สิ่งนี้พลาดประเด็นหลักไปเล็กน้อย เนื่องจากอาจมีจำกัดในการกล้าเผชิญหน้าของบริษัท AI ที่จะบังอาจผ่านข้อมูลที่ชัดเจนเกี่ยวกับนโยบายการขุดค้นข้อมูลของตนเอง นอกจากนี้ หากไม่จำเป็นต้องมีการอุตสาหกรรม化เพื่อให้กระบวนการนี้มีประสิทธิภาพ ก็เพียงพอแล้วที่จะมีองค์กรหนึ่งระบุและเผยแพร่ “บัญชีดำ” ของ IP หรือ ASN ของ AI บอทที่ไม่ซื่อสัตย์

เผยแพร่ครั้งแรกวันพฤหัสบดี 14 พฤษภาคม 2026