MLaaS: การป้องกันการขโมยแบบจำลองด้วย API โดยใช้ Variational Autoencoders

Machine Learning As a Service (MLaaS) ทำให้ผลลัพธ์ของการวิจัยและฝึกอบรมแบบจำลองมีราคาแพงผ่าน API ที่ให้ลูกค้าเข้าถึงข้อมูลเชิงลึกจากระบบ แม้ว่าเหตุผลของระบบจะถูกเปิดเผยในบางระดับผ่านธุรกรรมเหล่านี้ แต่สถาปัตยกรรมแบบจำลองหลัก น้ำหนักที่กำหนดคุณประโยชน์ของแบบจำลอง และข้อมูลการฝึกอบรมเฉพาะที่ทำให้แบบจำลองมีประโยชน์นั้นถูกป้องกันอย่างเข้มงวดเนื่องจากหลายเหตุผล

ประการแรก แฟรมเวิร์กมีแนวโน้มที่จะใช้ประโยชน์จากโค้ดที่เปิดกว้างหรือโอเพ่นซอร์ส (FOSS) และคู่แข่งที่มีศักยภาพสามารถทำเช่นเดียวกันได้อย่างง่ายดายในการบรรลุเป้าหมายเดียวกัน ประการ第二 ในหลายกรณี น้ำหนักที่ใช้โดยแบบจำลองแสดงถึง 95% หรือมากกว่าความสามารถของแบบจำลองในการตีความข้อมูลการฝึกอบรมได้ดีกว่าแบบจำลองคู่แข่ง และอาจถือเป็นคุณค่าหลักของการลงทุนที่มีราคาแพง ทั้งในด้านชั่วโมงการวิจัยและฝึกอบรมแบบจำลองขนาดใหญ่บน GPU ระดับอุตสาหกรรม

นอกจากนี้ ส่วนผสมของข้อมูลที่เป็นทรัพย์สินและข้อมูลที่เผยแพร่สู่สาธารณะที่อยู่เบื้องหลังชุดข้อมูลการฝึกอบรมของแบบจำลองเป็นเรื่องที่อาจทำให้เกิดปัญหาได้: เมื่อข้อมูลเป็น “งานเดิม” ที่ได้รับจากการวิธีการที่มีราคาแพง ความสามารถของผู้ใช้ API ในการอนุมานโครงสร้างข้อมูลหรือเนื้อหาทาง API ที่อนุญาตให้เข้าถึงข้อมูลอาจทำให้พวกเขาสามารถสร้างคุณค่าของงานนั้นได้โดยการเข้าใจโครงสร้างของข้อมูล (ทำให้สามารถสร้างซ้ำได้) หรือโดยการสร้างน้ำหนักที่ควบคุมคุณลักษณะของข้อมูล ซึ่งอาจทำให้สามารถสร้างแบบจำลอง “ว่าง” แต่มีประสิทธิภาพซึ่งสามารถประมวลผลข้อมูลที่ตามมาได้อย่างมีประโยชน์

การล้างข้อมูล

นอกจากนี้ วิธีการที่ข้อมูลถูกทำให้ไม่ชัดเจนในพื้นที่ 潜在 ของแบบจำลองการเรียนรู้ของเครื่องในช่วงการฝึกอบรม ทำให้ข้อมูลถูก “ล้าง” ไปเป็นฟังก์ชันโดยทั่วไปที่ทำให้เจ้าของลิขสิทธิ์ไม่สามารถเข้าใจได้ว่างานเดิมของพวกเขาจะถูกดูดซับเข้าไปในแบบจำลองโดยไม่ได้รับอนุญาต

สภาพแวดล้อมในปัจจุบันที่มีการ “ปล่อยให้ทำไป” ทั่วโลกเกี่ยวกับการปฏิบัตินี้มีแนวโน้มที่จะถูกควบคุมอย่างเข้มงวดมากขึ้นใน 5-10 ปีข้างหน้า กฎหมายฉบับของสหภาพยุโรปเกี่ยวกับ AI แล้วมีบทบัญญัติเกี่ยวกับแหล่งที่มาของข้อมูลและโครงสร้างความโปร่งใสที่จะทำให้การรวบรวมข้อมูลไม่สามารถหลีกเลี่ยงกฎระเบียบเกี่ยวกับการสแกนเว็บเพื่อวัตถุประสงค์ในการวิจัย รัฐบาลอื่นๆ รวมถึงสหรัฐอเมริกากำลัง มุ่งมั่น ที่จะใช้กรอบการกำกับดูแลที่คล้ายกันในระยะยาว

เมื่อภาคการเรียนรู้ของเครื่องพัฒนาไปจากวัฒนธรรมการแสดงตัวอย่างไปสู่โครงสร้างการค้าที่มีประสิทธิภาพ แบบจำลองการเรียนรู้ของเครื่องอาจพบว่าตัวเองถูกเปิดเผยทางกฎหมายหากพบว่าพวกมันฝ่าฝืนข้อจำกัดเกี่ยวกับข้อมูล แม้กระทั่งในรุ่นก่อนๆ ของผลิตภัณฑ์ของพวกมัน

ดังนั้น ความเสี่ยงในการอนุมานแหล่งที่มาของข้อมูลผ่าน API ไม่เพียงแต่เกี่ยวข้องกับการจารกรรมทางอุตสาหกรรมผ่าน การกลับด้านแบบจำลอง และวิธีการอื่นๆ แต่ยังเกี่ยวข้องกับวิธีการฟอเรนซิกที่เกิดขึ้นใหม่สำหรับการคุ้มครองทรัพย์สินทางปัญญาที่อาจส่งผลกระทบต่อบริษัทหลังจากยุค “ป่าล่าสัตว์” ของการวิจัยการเรียนรู้ของเครื่องสิ้นสุดลง

การขโมยข้อมูลผ่าน API เป็นวิธีการในการพัฒนาโจมตีแบบก้าวร้าว

บางเฟรมเวิร์กการเรียนรู้ของเครื่องอัปเดตข้อมูลการฝึกอบรมและอัลกอริทึมอย่างต่อเนื่อง ไม่ใช่การสร้างแบบจำลองที่ชัดเจนและยาวนานจากชุดข้อมูลทางประวัติศาสตร์ที่ใหญ่ (เช่น GPT-3) ซึ่งรวมถึงระบบที่เกี่ยวข้องกับข้อมูลการจราจรและภาคอื่นๆ ที่ข้อมูลแบบเรียลไทม์มีความสำคัญต่อคุณค่าของบริการการเรียนรู้ของเครื่อง

หากโครงสร้างหรือน้ำหนักของแบบจำลองสามารถ “ทำแผนที่” ได้โดยการสำรวจแบบจำลองผ่าน API ปัจจัยเหล่านี้สามารถถูกใช้กลับกับระบบในรูปแบบของการโจมตีแบบก้าวร้าว โดยที่ข้อมูลที่สร้างขึ้นโดยเจตนาสามารถปล่อยออกไปในพื้นที่ที่ระบบเป้าหมายมีแนวโน้มที่จะพบ หรือโดยการแทรกซึมเข้าไปในขั้นตอนการรวบรวมข้อมูลโดยวิธีการอื่นๆ

ดังนั้น การป้องกันการขโมยข้อมูลผ่าน API จึงมีผลกระทบต่อความปลอดภัยของแบบจำลองการเรียนรู้ของเครื่องด้วย

การป้องกันการขโมยข้อมูลผ่าน API

มีหลายโครงการวิจัยที่เกิดขึ้นในช่วงไม่กี่ปีที่ผ่านมาเพื่อให้แนวทางในการป้องกันการอนุมานโครงสร้างแบบจำลองและแหล่งที่มาของข้อมูลเฉพาะผ่าน API ล่าสุดของเหล่านี้ได้รับการ อธิบาย ในการทำงานร่วมกันระหว่างนักวิจัยจาก Indian Institute of Science ที่ Bangalore และ Nference ซึ่งเป็นแพลตฟอร์มซอฟต์แวร์ AI ที่ตั้งอยู่ที่ Cambridge, Massachusetts

เรียกว่า การตรวจจับการโจมตีการขโมยแบบจำลองแบบมีสถานะ การวิจัยนี้เสนอระบบที่เรียกว่า VarDetect ซึ่งมีรหัสเบื้องต้น มีให้ ที่ GitHub

การทำงานที่ด้านเซิร์ฟเวอร์ VarDetect ติดตามคำถามของผู้ใช้ไปยัง API อย่างต่อเนื่อง โดยค้นหารูปแบบการโจมตีการขโมยแบบจำลองที่ซ้ำกันสามแบบ นักวิจัยรายงานว่า VarDetect เป็นกลไกการป้องกันประเภทแรกที่สามารถต้านทานการโจมตีทั้งสามแบบได้ นอกจากนี้ยังสามารถต้านทานการโต้ตอบของโจมตีที่รู้ตัวว่ามีกลไกการป้องกัน และพยายามเอาชนะมันโดยการซ่อนรูปแบบการโจมตีด้วยการหยุดชั่วคราวหรือเพิ่มปริมาณคำถามเพื่อทำให้คำขอที่พยายามสร้างแผนที่แบบจำลองไม่ชัดเจน

สถาปัตยกรรมของ VarDetect แหล่งที่มา: https://arxiv.org/pdf/2107.05166.pdf

VarDetect ใช้ Variational Autoencoders (VAEs) เพื่อสร้างเครื่องมือประเมินเชิงอุปนัยสำหรับการร้องขอเข้ามา นอกจากนี้ ระบบนี้ได้รับการฝึกอบรมจากข้อมูลที่เป็นของตนเอง ซึ่งไม่ต้องการการเข้าถึงข้อมูลของโจมตี ซึ่งเป็นจุดอ่อนของวิธีการก่อนหน้านี้ และเป็นสถานการณ์ที่ไม่น่าเกิดขึ้น

แบบจำลองที่ออกแบบมาเพื่อโครงการนี้ได้รับจากชุดข้อมูลหรือแนวทางที่เปิดกว้างสามชุด: งาน ที่พัฒนาในปี 2016 โดย Swiss Federal Institute of Technology และ Cornell Tech; โดยการเพิ่มสัญญาณรบกวนไปยัง “โดเมนปัญหา” ข้อมูล เช่นที่แสดงไว้ใน PRADA ในปี 2017; และโดยการค้นหาภาพที่เผยแพร่สู่สาธารณะ โดยได้รับแรงบันดาลใจจาก การวิจัย ของ ActiveThief ในปี 2020 จาก Indian Institute of Science

การเปรียบเทียบตัวอย่างข้อมูลที่เป็นมิตรและ ‘อันตราย’ ทั่วชุดข้อมูลห้าชุดที่ใช้ใน VarDetect

การกระจายความถี่ที่ตรงกับคุณลักษณะจากชุดข้อมูลบนเครื่องจะถูกติดฉลากว่าเป็นสัญญาณการขโมยแบบจำลอง

นักวิจัยยอมรับว่ารูปแบบคำขอที่ปกติจากผู้ใช้ที่เป็นมิตรสามารถทำให้เกิดผลบวกลวงในระบบได้ ซึ่งจะป้องกันการใช้งานปกติ ดังนั้น สัญญาณ “ปลอดภัย” ที่รับรู้เหล่านี้อาจถูกเพิ่มเข้าไปในชุดข้อมูลของ VarDetect และถูกนำมาใช้ในอัลกอริทึมผ่านตารางการฝึกอบรมแบบมีกลิ้ง ขึ้นอยู่กับความชอบของระบบโฮสต์