การดึงที่อยู่อีเมลจริงจากโมเดลภาษาแบบพรีเทรน

การวิจัยใหม่จากสหรัฐอเมริกาบ่งชี้ว่าโมเดลภาษาแบบพรีเทรน (PLMs) เช่น GPT-3 สามารถถูกสอบถามเพื่อให้ได้ที่อยู่อีเมลจริงที่รวมอยู่ในข้อมูลที่ใช้ในการฝึกฝนได้สำเร็จ

แม้ว่าปัจจุบันจะยากที่จะรับที่อยู่อีเมลจริงโดยการถามโมเดลภาษาเกี่ยวกับบุคคลที่ที่อยู่อีเมลนั้นสัมพันธ์กัน แต่การศึกษาพบว่าโมเดลภาษาที่ใหญ่ขึ้นจะทำให้ง่ายต่อการทำการนี้ และการสอบถามที่มีข้อมูลมากขึ้นจะทำให้ง่ายต่อการรับที่อยู่อีเมลที่ใช้การได้

รายงานระบุว่า:

‘ผลการวิจัยแสดงให้เห็นว่า PLMs จริงๆ แล้วจดจำที่อยู่อีเมลจำนวนมาก แต่ไม่เข้าใจความสัมพันธ์ที่แน่นอนระหว่างชื่อและที่อยู่อีเมล เช่น ที่อยู่อีเมลที่จดจำไว้属于ใคร ดังนั้น เมื่อพิจารณาจากบริบทของที่อยู่อีเมล PLMs สามารถกู้คืนได้จำนวนหนึ่งที่อยู่อีเมล ในขณะที่มีเพียงไม่กี่ที่อยู่อีเมลที่ถูกทำนายได้โดยการถามด้วยชื่อ’

เพื่อทดสอบทฤษฎีนี้ ผู้เขียนฝึกอบรม PLMs สามแบบที่มีขนาดและพารามิเตอร์ที่เพิ่มขึ้น และสอบถามพวกมันตามเทมเพลตและวิธีการที่นักโจมตีจะใช้

รายงานเสนอสิ่งสำคัญสามประการเกี่ยวกับความเสี่ยงของการรวมข้อมูลส่วนบุคคลเข้ากับข้อมูลฝึกอบรมขนาดใหญ่ที่ PLMs พึ่งพา

ประการแรก คือ รูปแบบข้อความยาว (ในคำถาม) เพิ่มโอกาสในการรับข้อมูลส่วนบุคคลเกี่ยวกับบุคคลโดยการระบุชื่อของบุคคลนั้น ประการที่สอง คือ นักโจมตีอาจเพิ่มวิธีการด้วยความรู้ที่มีอยู่เกี่ยวกับเป้าหมายของพวกเขา และยิ่งนักโจมตีมีความรู้มากเท่าไหร่ ก็จะยิ่งมีโอกาสที่จะสามารถดึงข้อมูลที่จดจำไว้ เช่น ที่อยู่อีเมลได้มากขึ้น

ประการที่สาม ผู้เขียนเสนอว่าโมเดลภาษาที่ใหญ่ขึ้นและซับซ้อนมากขึ้นอาจช่วยให้นักโจมตีสามารถดึงข้อมูลมากขึ้น ทำให้ ‘ความปลอดภัยโดยการซ่อน’ ของ PLMs ปัจจุบันลดลง เนื่องจากโมเดลที่ซับซ้อนและขนาดใหญ่ขึ้นถูกฝึกอบรมโดยองค์กรระดับ FAANG

สุดท้าย รายงานสรุปว่าข้อมูลส่วนบุคคลสามารถถูกเก็บและรั่วไหลผ่านกระบวนการการจดจำ โดยที่โมเดลจดจำข้อมูลฝึกอบรมบางส่วนและใช้ข้อมูลนั้นเป็น ‘ข้อมูลจริง’ ในการตอบคำถาม

ผู้เขียนสรุปว่า*:

‘จากผลลัพธ์ของการกำหนดบริบท เราพบว่าโมเดล GPT-Neo ที่ใหญ่ที่สุดสามารถกู้คืน 8.80% ของที่อยู่อีเมลได้โดยการจดจำ

‘แม้ว่าสิ่งนี้จะไม่เสี่ยงเท่ากับอื่นๆ เนื่องจากผู้ใช้ไม่สามารถทราบบริบทได้หากคอร์ปัสไม่เปิดเผย แต่ที่อยู่อีเมลอาจถูกสร้างขึ้นโดยไม่ตั้งใจ และภัยคุกคามนี้ไม่สามารถเพิกเฉยได้’

แม้ว่าการวิจัยจะเลือกที่อยู่อีเมลเป็นตัวอย่างของข้อมูลส่วนบุคคลที่อาจเสี่ยง แต่รายงานเน้นย้ำถึงการวิจัยอย่างกว้างขวางในเรื่องการดึงข้อมูลทางการแพทย์ของผู้ป่วย และพิจารณาการทดลองของพวกเขาเป็นการแสดงหลักการมากกว่าการเน้นย้ำถึงความเสี่ยงของที่อยู่อีเมลในบริบทนี้

รายงาน รายงาน มีชื่อเรื่องว่า Are Large Pre-Trained Language Models Leaking Your Personal Information? และเขียนโดยนักวิจัยสามคนจากมหาวิทยาลัยอิลลินอยส์ แอท ออร์บานา-แชมเปญ

การจดจำและความสัมพันธ์

งานนี้มุ่งเน้นไปที่ระดับที่ข้อมูลที่จดจำไว้ถูกสัมพันธ์กัน โมเดล NLP ที่ฝึกอบรมแล้วไม่สามารถสรุปข้อมูลที่ใช้ในการฝึกอบรมได้อย่างสมบูรณ์ หรือจะไม่สามารถถือว่ามีการโต้แย้งหรือเรียกข้อมูลจริงได้ ดังนั้น โมเดลจะจดจำและปกป้องข้อมูลที่แยกออกเป็นชิ้นเล็กๆ ซึ่งจะแสดงถึงโหนดเชิงความหมายขั้นต่ำในคำตอบที่เป็นไปได้

คำถามใหญ่คือว่าข้อมูลที่จดจำไว้สามารถถูกเรียกโดยการเรียกข้อมูลอื่นๆ เช่น ‘ชื่อ’ ของบุคคลได้หรือไม่ ในกรณีนี้ โมเดล NLP ที่ฝึกอบรมด้วยข้อมูลที่ไม่เปิดเผยและเป็นส่วนตัวอาจเก็บข้อมูลโรงพยาบาลเกี่ยวกับอีลอน มัสก์ เช่น บันทึกผู้ป่วย ชื่อ และที่อยู่อีเมล

ในสถานการณ์ที่เลวร้ายที่สุด การถามฐานข้อมูลด้วยคำถาม ‘ที่อยู่อีเมลของอีลอน มัสก์คืออะไร?’ หรือ ‘ประวัติผู้ป่วยของอีลอน มัสก์คืออะไร?’ จะให้ข้อมูลเหล่านั้น

ในความเป็นจริง สิ่งนี้เกิดขึ้นแทบไม่เคยเกิดขึ้น เนื่องจากหลายสาเหตุ หากการจำข้อมูลที่คุ้มครอง (เช่น ที่อยู่อีเมล) แสดงถึงหน่วยที่แยกออกเป็นชิ้นเล็กๆ หน่วยที่แยกออกเป็นชิ้นเล็กๆ ถัดไปจะไม่ใช่การขึ้นไปสู่ระดับข้อมูลที่สูงขึ้น (เช่น เกี่ยวกับอีลอน มัสก์) แต่อาจเป็นการกระโดดที่ใหญ่กว่าซึ่งไม่เกี่ยวข้องกับบุคคลหรือข้อมูลใดๆ

นอกจากนี้ แม้ว่าเหตุผลในการสัมพันธ์จะไม่จำเป็นต้องเป็นแบบสุ่ม แต่ก็ไม่ใช่แบบเชิงเส้นเช่นกัน การสัมพันธ์อาจเกิดขึ้นตามน้ำหนักที่ฝึกอบรมด้วยวัตถุประสงค์ขาดทุนต่างๆ (เช่น การสร้างบทสนทนาที่น่าเชื่อถือ) หรือในลักษณะที่ได้รับการแนะนำหรือห้ามโดยนักออกแบบระบบ NLP

การทดสอบ PLMs

ผู้เขียนทดสอบทฤษฎีของตนบนโมเดลภาษาแบบสาเหตุ GPT-Neo สามรุ่น ซึ่งฝึกอบรมด้วยชุดข้อมูล Pile ที่ 125 ล้าน 1.3 พันล้าน และ 2.7 พันล้านพารามิเตอร์

Pile คือชุดข้อมูลสาธารณะที่รวมข้อมูลจากฐานข้อมูล Enron ของมหาวิทยาลัยแคลิฟอร์เนีย เบิร์กลีย์ ซึ่งรวมข้อมูลเครือข่ายสังคมจากการส่งอีเมล เนื่องจาก Enron ใช้การกำหนดชื่อตามแบบ ชื่อแรก+นามสกุล+โดเมน (เช่น ชื่อแรก.นามสกุล@enron.com) ที่อยู่อีเมลเหล่านี้จึงถูกกรองออกไป เนื่องจากไม่ต้องการการเรียนรู้ของเครื่องจักรเพื่อคาดเดารูปแบบที่ง่ายดังกล่าว

นักวิจัยยังกรองชื่อ/คู่อีเมลที่มีตัวเล็กกว่าสามตัวอักษร และหลังจากการประมวลผลเบื้องต้นแล้ว ได้มา 3238 คู่ชื่อ/อีเมล ซึ่งใช้ในการทดลองต่างๆ

ในการทดลอง การกำหนดบริบท นักวิจัยใช้ 50 100 หรือ 200 โทเค็นก่อนที่อยู่อีเมลเป็นบริบทในการเรียกที่อยู่อีเมลด้วยคำถาม

ในการทดลอง การไม่มีการฝึกอบรม สร้างคำถามสี่ข้อขึ้นมา โดยสองข้อสุดท้ายอิงตามมาตรฐานการกำหนดหัวข้ออีเมล เช่น —ข้อความเดิม—\nจาก: {name0} [mailto: {email0}]

เทมเพลตสำหรับการไม่มีการฝึกอบรม Source: https://arxiv.org/pdf/2205.12628.pdf

ต่อไป มีการพิจารณา การฝึกอบรมเพียงเล็กน้อย – สถานการณ์ที่นักโจมตีมีความรู้ล่วงหน้าบางอย่างที่สามารถช่วยให้พวกเขาสร้างคำถามที่จะเรียกข้อมูลที่ต้องการ ในคำถามที่สร้างขึ้น นักวิจัยพิจารณาว่าโดเมนเป้าหมายเป็นที่รู้จักหรือไม่

การวนซ้ำของการฝึกอบรมเพียงเล็กน้อย

สุดท้าย การใช้ วิธีการตามกฎ ใช้การเปลี่ยนแปลง 28 แบบที่เป็นไปได้ของมาตรฐานสำหรับการใช้ชื่อในอีเมลเพื่อพยายามกู้คืนอีเมลเป้าหมาย ซึ่งต้องใช้จำนวนคำถามมากเพื่อปกปิดการผสมผสานที่เป็นไปได้ทั้งหมด

รูปแบบตามกฎที่ใช้ในการทดสอบ

ผลลัพธ์

สำหรับการทำนายด้วยบริบท GPT-Neo สามารถทำนายที่อยู่อีเมลได้ถึง 8.80% โดยรวมทั้งที่อยู่อีเมลที่ไม่สอดคล้องกับมาตรฐาน

ผลการทำนายด้วยบริบท The first column details the number of tokens prior to the email address.

สำหรับการทดลอง การไม่มีการฝึกอบรม PLM สามารถทำนายที่อยู่อีเมลได้เพียงเล็กน้อย ส่วนใหญ่สอดคล้องกับมาตรฐานที่นักวิจัยกำหนดไว้ (ดูภาพก่อนหน้า)

ผลการไม่มีการฝึกอบรมเมื่อโดเมนไม่ทราบ

ผู้เขียนสังเกตด้วยความสนใจว่าการตั้งค่า 0-ช็อต (D) มีประสิทธิภาพมากกว่าแบบอื่นๆ เนื่องจากมีคำนำที่ยาวขึ้น

‘สิ่งนี้บ่งชี้ว่า PLMs ทำการคาดเดานี้โดยหลักจากการจำลำดับ – หากพวกมันทำการคาดเดาโดยการเชื่อมโยง พวกมันควรทำงานได้ดีในระดับเดียวกัน สาเหตุที่ 0-ช็อต (D) มีประสิทธิภาพมากกว่า 0-ช็อต (C) คือว่าบริบทที่ยาวขึ้นสามารถค้นหาการจำได้มากขึ้น’

โมเดลที่ใหญ่ขึ้น มีความเสี่ยงที่สูงขึ้น

เกี่ยวกับศักยภาพของวิธีการเหล่านี้ในการดึงข้อมูลส่วนบุคคลจากโมเดลที่ฝึกอบรมแล้ว ผู้เขียนสังเกตว่า:

‘สำหรับทั้งการตั้งค่าที่โดเมนเป็นที่รู้จัก ไม่ทราบโดเมน และบริบท มีการปรับปรุงความแม่นยำอย่างมีนัยสำคัญเมื่อเปลี่ยนจากโมเดล 125M ไปเป็นโมเดล 1.3B และในกรณีส่วนใหญ่ เมื่อเปลี่ยนจากโมเดล 1.3B ไปเป็นโมเดล 2.7B ก็มีการเพิ่มความแม่นยำในการทำนายด้วย’

นักวิจัยเสนอสองคำอธิบายที่เป็นไปได้ว่าทำไมถึงเป็นเช่นนี้ ประการแรก โมเดลที่มีพารามิเตอร์สูงสามารถจดจำข้อมูลฝึกอบรมได้มากขึ้น ประการที่สอง โมเดลที่ใหญ่ขึ้นมีความซับซ้อนและเข้าใจคำถามที่สร้างขึ้นได้ดีขึ้น และสามารถ ‘เชื่อมโยง’ ข้อมูลที่แตกต่างกันเกี่ยวกับบุคคลได้

อย่างไรก็ตาม พวกเขาสังเกตว่า ณ สถานะปัจจุบัน ข้อมูลส่วนบุคคล ‘ค่อนข้างปลอดภัย’ จากการโจมตีเหล่านี้

ในฐานะวิธีการป้องกันการโจมตีทางเวกเตอร์นี้ ผู้เขียนแนะนำให้โครงสร้างต้องผ่านการประมวลผลเบื้องต้นอย่างเข้มงวดเพื่อกรองข้อมูลส่วนบุคคลออก และพิจารณาการฝึกอบรมด้วย การลบข้อมูลส่วนบุคคลแบบต่อเนื่อง และรวมฟิลเตอร์ในสภาพแวดล้อมหลังการประมวลผล เช่น API (เช่น API ของ OpenAI DALL-E 2 มีฟิลเตอร์จำนวนมาก นอกเหนือจากการดูแลคำถามของมนุษย์)

พวกเขายังแนะนำให้หลีกเลี่ยงการใช้ที่อยู่อีเมลที่สอดคล้องกับรูปแบบที่สามารถเดาได้และมาตรฐาน แม้ว่าคำแนะนำนี้จะเป็นมาตรฐานในด้านความปลอดภัยของไซเบอร์แล้ว

* การแทนที่ของฉันของไฮเปอร์ลิงก์สำหรับการอ้างอิงในบรรทัดของผู้เขียน

ตีพิมพ์ครั้งแรกเมื่อวันที่ 26 พฤษภาคม 2022