ความเสี่ยงของ AI ที่ไม่มีใครสังเกตเห็น: การเปิดเผยความลับในกระบวนการทำงานขององค์กร

การอภิปรายเกี่ยวกับความเสี่ยงของ AI ในองค์กรส่วนใหญ่เริ่มต้นด้วยข้อกังวลที่คุ้นเคย: พนักงานวางข้อมูลลูกค้าลงในแชทบอท ความเป็นส่วนตัวและความเสี่ยงด้านกฎระเบียบครอบงำข่าวและรายงานของคณะกรรมการ และ การวิจัยจาก Deloitte แสดงให้เห็นว่าความเป็นส่วนตัวและความปลอดภัยของข้อมูลเป็นหนึ่งในความเสี่ยงของ AI ที่องค์กรกังวลมากที่สุด

然而 ข้อมูลที่เกิดขึ้นจากการใช้งานจริงในองค์กรบอกเล่าเรื่องราวที่แตกต่าง ความลับและข้อมูลรับรองเป็นข้อมูลที่มีความเสี่ยงสูงสุดที่ไหลเข้าไปในเครื่องมือ AI

คีย์ API, โทเค็น, เว็บฮุก และสิ่งพิมพ์รับรองเป็นข้อมูลที่มีความเสี่ยงสูงสุดที่เกิดขึ้นใน AI ที่ส่งผลต่อความปลอดภัยของข้อมูล การเปิดเผยข้อมูลเหล่านี้ไม่ได้เกิดจากความประมาทหรือเจตนาเลว แต่เกิดจากกระบวนการทำงานทั่วไป เช่น การแก้ปัญหาในการรวมระบบ การทดสอบโค้ด หรือการแก้ปัญหาเกี่ยวกับลูกค้า เมื่อ AI ถูกฝังอยู่ในกระบวนการทำงานที่ซับซ้อน ความเสี่ยงเหล่านี้เกิดขึ้นได้ง่ายและบ่อยครั้งโดยไม่มีการควบคุมด้านความปลอดภัย

ผลที่ตามมาเป็นที่ชัดเจน เมื่อการนำ AI ไปใช้เพิ่มขึ้น องค์กรจะได้รับภาพที่ชัดเจนยิ่งขึ้นเกี่ยวกับจุดที่ความเสี่ยงเกิดขึ้นจริง และการควบคุมต้องเปลี่ยนแปลงเพื่อจัดการกับความเสี่ยงเหล่านั้น

ความเสี่ยงของการเปิดเผยความลับของ AI ที่ถูกมองข้าม

การวิเคราะห์การใช้งาน AI ที่ดำเนินการโดย Nudge Security ได้ตรวจสอบข้อมูลที่ไม่มีการระบุชื่อจากสภาพแวดล้อมขององค์กรเพื่อทำความเข้าใจว่าเครื่องมือ AI ถูกใช้อย่างไรในสถานที่ทำงาน แทนที่จะพึ่งพาการสำรวจหรือการรายงานตนเอง การวิจัยได้ตรวจสอบกิจกรรม AI ที่สังเกตได้ การรวมระบบ และพฤติกรรมของคำสั่งในการทำงานขององค์กร

ผลการวิจัยให้ข้อมูลเชิงลึกใหม่เกี่ยวกับจุดที่ความเสี่ยงของ AI เกิดขึ้นจริงในกระบวนการทำงานขององค์กร การเปิดเผยข้อมูลที่มีความเสี่ยงในคำสั่ง AI ถูกครอบงำโดยข้อมูลรับรองในการทำงาน ความลับและข้อมูลรับรองคิดเป็นประมาณ 48% ของเหตุการณ์ข้อมูลที่มีความเสี่ยง โดยเทียบกับ 36% สำหรับข้อมูลทางการเงินและ 16% สำหรับข้อมูลที่เกี่ยวข้องกับสุขภาพ รูปแบบเหล่านี้ชี้ให้เห็นว่าความท้าทายที่สำคัญที่สุดของการเปิดเผยข้อมูลของ AI ไม่ใช่การรั่วไหลของความเป็นส่วนตัว แต่เป็นการแพร่กระจายของความลับ

การวิจัยเดียวกันแสดงให้เห็นว่าการนำ AI ไปใช้ได้ขยายออกไปนอกเหนือจากการทดลอง เครื่องมือ AI ถูกฝังอยู่ในกระบวนการทำงาน ถูกรวมเข้ากับแพลตฟอร์มหลักของธุรกิจ และมีความสามารถในการดำเนินการอัตโนมัติได้มากขึ้น ผู้ให้บริการโมเดลภาษาขนาดใหญ่หลักๆ มีอยู่ในเกือบทุกองค์กร โดยมี OpenAI ใน 96% ขององค์กรและ Anthropic ใน 78%

การวิจัยจาก McKinsey พบว่า 88% ขององค์กรรายงานการใช้ AI ในอย่างน้อยหนึ่งฟังก์ชันทางธุรกิจ ซึ่งเพิ่มขึ้นจาก 78% ในปีก่อนหน้า เครื่องมืออัจฉริยะในการประชุม แพลตฟอร์มการเขียนโค้ดที่ได้รับการช่วยเหลือจาก AI เครื่องมือสร้างการนำเสนอ และเทคโนโลยีเสียงถูกใช้กันอย่างแพร่หลาย สะท้อนให้เห็นว่า AI ได้ขยายออกไปนอกเหนือจากอินเทอร์เฟซการแชทและเข้าสู่กระบวนการทำงานทั่วไป

ทำไมการรั่วไหลของความลับสามารถสร้างความเสี่ยงในการดำเนินงานทันที

ข้อมูลส่วนบุคคลยังคงมีความสำคัญและถูกควบคุมด้านกฎระเบียบ แต่ความลับสามารถสร้างผลกระทบด้านการดำเนินงานทันที คีย์ API ที่รั่วไหลสามารถให้การเข้าถึงระบบการผลิต โทเค็นที่ถูกบุกรุกสามารถเปิดเผยที่เก็บข้อมูล URL ของเว็บฮุกสามารถทำให้เกิดการทำงานอัตโนมัติที่ไม่ได้รับอนุญาตได้ ข้อมูลรับรองและความลับถูกใช้ในคำสั่ง AI ในกระบวนการทำงานทั่วไป

การควบคุมแบบดั้งเดิมพลาดความเสี่ยงด้านพฤติกรรม

โปรแกรมการควบคุม AI มักมุ่งเน้นไปที่การควบคุมอย่างเป็นทางการ เช่น นโยบายและเครื่องมือที่ได้รับการอนุมัติ การเข้าใกล้นี้สมมติว่าความเสี่ยงมาจากความผิดหรือพฤติกรรมของโมเดล ในทางปฏิบัติ การเปิดเผยข้อมูลที่มีความเสี่ยงสูงสุดเกิดขึ้นในกระบวนการทำงานทั่วไปที่ดำเนินการโดยพนักงานที่มีเจตนา tốt

ภูมิทัศน์ของ AI กำลังเปลี่ยนแปลงอย่างรวดเร็ว โดยมีเทคโนโลยีใหม่ๆ ถูกปล่อยออกมาทุกวัน เมื่อพนักงานของคุณต้องการใช้เครื่องมือใหม่ๆ พวกเขาสามารถหลบเลี่ยงการควบคุมแบบดั้งเดิมได้ เพราะพวกเขาไม่สามารถตามทันการเปลี่ยนแปลงได้

การรวมระบบและตัวแทนขยายขอบเขตของความเสี่ยง

โปรไฟล์ความเสี่ยงของเครื่องมือ AI ถูกกำหนดโดยสิ่งที่สามารถเข้าถึงได้ การรวมระบบสร้างเส้นทางที่เชื่อถือได้ระหว่างระบบ โอออทกรांต์ โทเค็น API และบัญชีบริการทำให้เครื่องมือ AI สามารถดึงเอกสาร อัปเดตตั๋ว หรือโต้ตอบกับคลังข้อมูลได้ การวิจัยเกี่ยวกับการนำ AI ไปใช้ในองค์กรเน้นย้ำว่าการรวมระบบกำหนดขอบเขตของความเสี่ยง

สิ่งที่ทีมความปลอดภัยควรทำทันที

การลดการเปิดเผยความลับในกระบวนการทำงานของ AI ต้องการการเปลี่ยนแปลงจากการควบคุมแบบตอบสนองไปสู่การควบคุมที่สะท้อนถึงวิธีการทำงานที่แท้จริง ผู้นำด้านความปลอดภัยสามารถเริ่มต้นด้วยขั้นตอนที่เป็นรูปธรรมเพื่อปรับปรุงความสามารถในการมองเห็น ชี้แนะพฤติกรรมที่ปลอดภัยยิ่งขึ้น และลดความเสี่ยงโดยไม่ชะลอการผลิต:

• ทำแผนที่ว่า AI สื่อสารกันอย่างไร ระบุสภาพแวดล้อมที่ข้อมูลเข้าสู่เครื่องมือ AI รวมถึง 익ステนชันของเบราว์เซอร์ สภาพแวดล้อมของนักพัฒนา แพลตฟอร์มการทำงานอัตโนมัติ และอินเทอร์เฟซการแชท การมองเห็นที่ต่อเนื่องในจุดสัมผัสเหล่านี้ให้พื้นฐานสำหรับการควบคุมที่มีประสิทธิภาพ
• เข้าแทรกในขณะตัดสินใจ ใช้การสแกนความลับ การเตือนคำสั่ง และคำเตือนแบบเรียลไทม์ที่เตือนผู้ใช้เมื่อข้อมูลรับรองหรือสิ่งพิมพ์ที่มีความลับกำลังจะถูกแบ่งปัน การชี้แนะที่ทันเวลา减少การเปิดเผยข้อมูลโดยไม่จำเป็นในขณะเดียวกันก็รักษาความเร็วของกระบวนการทำงาน
• ใช้การควบคุมการรวมระบบด้วยความเข้มงวดเช่นเดียวกับ OAuth ตรวจสอบเครื่องมือ AI ที่เชื่อมต่อกับอีเมล เอกสาร ระบบตั๋ว และคลังข้อมูล ใช้การอนุญาตที่มีขอบเขตน้อยที่สุดและดำเนินการตรวจสอบสิทธิ์เป็นระยะเพื่อลดความเสี่ยงของการเปิดเผยข้อมูลในระยะยาว
• สร้างกระบวนการทำงานที่ปลอดภัยยิ่งขึ้นสำหรับการแก้ปัญหาและการสนับสนุน ให้เทมเพลตที่มีการลบความลับ ตัวเชื่อมต่อที่ปลอดภัย และเครื่องมือภายในสำหรับการวิเคราะห์ไฟล์หรือการกำหนดค่าเพื่อให้ทีมสามารถใช้ AI สำหรับการแก้ปัญหาโดยไม่ต้องเปิดเผยข้อมูลรับรองที่มีชีวิต
• กำหนดขอบเขตการทำงานอัตโนมัติของตัวแทน ต้องการการอนุมัติของมนุษย์สำหรับการดำเนินการระดับสูง บันทึกกิจกรรมของตัวแทนอย่างเป็นกลาง และใช้โทเค็นที่มีขอบเขตเพื่อป้องกันการแพร่กระจายของสิทธิ์และการทำงานอัตโนมัติที่ไม่ได้ตั้งใจ
• สร้างพื้นฐานการฝึกอบรมจากกระบวนการทำงานจริง การศึกษาเป็นไปอย่างมีประสิทธิภาพเมื่อสะท้อนถึงงานทั่วไป เช่น การแก้ปัญหาในการรวมระบบ การตรวจสอบล็อก หรือการอัปโหลดไฟล์ ตัวอย่างที่เป็นรูปธรรมช่วยให้พนักงานตระหนักถึงความเสี่ยงในขณะเกิดขึ้น

จากนโยบาย AI สู่การควบคุมพฤติกรรมของ AI

AI กำลังพัฒนาจากเครื่องมือการผลิตเป็นชั้นการทำงานที่ถูกฝังอยู่ในกระบวนการทำงานที่ซับซ้อน โดยมี การวิจัยที่แสดงให้เห็น ว่าตัวแทน AI ถูกฝังอยู่ในกระบวนการทำงานขององค์กรและคาดการณ์ว่าตัวแทนเฉพาะงานจะถูกนำมาใช้ในองค์กรส่วนใหญ่ เมื่อการนำ AI ไปใช้ลึกซึ้งยิ่งขึ้น ความเสี่ยงที่โดดเด่นจะขยายออกไปนอกเหนือจากการละเมิดความเป็นส่วนตัวหรือการละเมิดแบบจำลอง พวกมันเกิดขึ้นจากวิธีที่คน สิทธิ์ และแพลตฟอร์มตัดกันในกระบวนการทำงานที่แท้จริง

การเปิดเผยความลับในคำสั่ง AI เป็นสัญญาณที่เห็นได้ชัดของการเปลี่ยนแปลงที่กว้างขึ้นนี้ มันเน้นย้ำถึงข้อจำกัดของการควบคุมแบบพื้นฐานและความจำเป็นในการควบคุมที่ทำงานที่จุดตัดสินใจ มันเสริมสร้างความจำเป็นในการควบคุมที่มีพื้นฐานมาจากพฤติกรรมที่แท้จริง

AI กำลังเปลี่ยนแปลงจากเครื่องมือไปสู่ผู้ร่วมงานในงานสมัยใหม่ การรักษาความปลอดภัยของการทำงานร่วมกันนี้ต้องการการควบคุมที่สามารถตามทันความเร็วและประสิทธิภาพที่ AI ทำให้ได้