ผู้นำทางความคิด

การโจมตีแบบ Agentic: บทเรียนจากไก่ แมว และวอมแบตยักษ์

mm
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google

AI เป็นนักล่าขั้นสูงสุดในโลก Dev

แรงกดดันทางวิวัฒนาการ: บทนำสั้นๆ

ก่อนที่เราจะเข้าสู่เนื้อหาของบทความนี้ มีแนวคิดสองสามอย่างที่ควรพิจารณา แนวคิดแรกคือแรงกดดันทางวิวัฒนาการ

วิวัฒนาการไม่ใช่สิ่งที่เลือกได้ สัตว์ไม่ได้เลือกว่าจะวิวัฒนาการไปในทางใดทางหนึ่ง สิ่งแวดล้อมบังคับให้พวกมันหรือสิ่งแวดล้อมกำจัดพวกมัน ดังนั้น เมื่อเราพูดถึงว่าสัตว์หนึ่งวิวัฒนาการไปในทางใดหรือมีอยู่อย่างไรในปัจจุบัน เรากำลังพูดถึงการเปลี่ยนแปลงแบบสุ่มและสิ่งแวดล้อมที่กดดันให้พวกมันไปในทางหนึ่งหรืออีกทาง

ปัจจุบัน บริษัทซอฟต์แวร์กำลังเข้าสู่ช่วงวิวัฒนาการที่คล้ายกัน ระบบ AI ที่สามารถระบุจุดอ่อนได้โดยอัตโนมัติ สร้างข้อบกพร่อง และเร่งการโจมตีทางไซเบอร์กำลังเปลี่ยนแปลงแรงกดดันที่นักพัฒนาและทีมความปลอดภัยทำงานอยู่

AI กำลังสร้างแรงกดดันทางสิ่งแวดล้อมแบบเดียวกันสำหรับบริษัทซอฟต์แวร์ โมเดลที่สามารถค้นหาจุดอ่อนและสร้างข้อบกพร่องได้โดยอัตโนมัติ กำลังเปลี่ยนแปลงภูมิทัศน์ความปลอดภัยอย่างรวดเร็วกว่าที่องค์กรส่วนใหญ่เตรียมพร้อม

แรงกดดันทางวิวัฒนาการที่ฉันต้องการพูดถึงคือ นักล่าขั้นสูงสุดบนโลกในปัจจุบัน ซึ่งก็คือมนุษย์ และวิธีที่สัตว์สามชนิดที่แตกต่างกันตอบสนองต่อแรงกดดันนั้น

ใครทำได้แย่กว่า: วอมแบตยักษ์หรือไก่?

วอมแบตยักษ์

วอมแบตยักษ์ — ฉันลืมชื่อแน่นอน แต่มันอยู่ในออสเตรเลีย — มีน้ำหนักประมาณ 6,000 ปอนด์ ก่อนที่มนุษย์จะมาถึง ออสเตรเลียเป็นสถานที่ที่มีเขียวชอุ่มและสวยงาม มันคงจะดีถ้าเราไม่เคยสัมผัสมัน วอมแบตยักษ์เหล่านี้อาศัยอยู่โดยไม่มีปัญหา มีเพียงผู้ล่าที่จะโจมตีมันบ้าง แต่ด้วยขนาดที่ใหญ่ของมัน อาหารที่อุดมสมบูรณ์ และความสามารถในการสืบพันธุ์ มันสามารถต้านทานสิ่งแวดล้อมที่ออสเตรเลียมีให้ได้

แล้วมนุษย์ก็มาถึง

สิ่งสองสามอย่างเกิดขึ้นทันที มนุษย์เห็นแหล่งโปรตีนที่ใหญ่มากที่สามารถเลี้ยงกลุ่มคนเป็นเวลาหลายสัปดาห์ — หรือมากกว่านั้นหากพวกเขาสามารถเก็บเนื้อได้ มนุษย์เริ่มตัดไม้เพื่อใช้เป็นไฟหรือเผาบริเวณใหญ่ๆ เพื่อขับไล่สัตว์ออกมาให้พวกเขาได้ล่า มนุษย์ทำลายพื้นที่ป่าไม้ที่วอมแบตยักษ์ phụ thuộcอยู่

ในระยะเวลาที่สั้นมาก — ในแง่ของธรณีวิทยา เกือบจะทันที — มนุษย์ทำลายพื้นที่ป่าไม้ขนาดใหญ่ของทวีปและล่าวอมแบตยักษ์ทั้งหมดจนหมดสิ้น

มันคุ้มค่าที่จะทราบว่าสัตว์ไม่ทั้งหมดในออสเตรเลียสูญพันธุ์ คังการู วอมแบตเล็ก โคอาลา และอื่นๆ รอดชีวิต — เพราะพวกมันเล็กพอที่จะหนีไปได้ หรือมีความสามารถในการปรับตัวให้เข้ากับสภาพแวดล้อมที่เปลี่ยนแปลงไป

นั่นคือเวอร์ชันแรก

ไก่

ตอนนี้ ไก่ใน某种意义上อาจเป็นสัตว์บนบกที่ประสบความสำเร็จที่สุดบนโลก ประมาณ 70% ของมวลรวมของนกบนโลกคือไก่ในบ้าน มีบางพื้นที่ที่ไก่กลายเป็นสัตว์ป่า — บนเกาะที่ไม่มีผู้ล่าตามธรรมชาติ เช่น เกาะคายแมน — และพวกมันเติบโตอย่างรวดเร็ว

ไก่พัฒนาเป็นสิ่งที่มนุษย์พบว่ามีประโยชน์อย่างมาก: พวกมันสืบพันธุ์เร็ว เติบโตเร็ว และวางไข่ มนุษย์เลี้ยงพวกมัน ป้องกันพวกมัน และกระตุ้นให้พวกมันสืบพันธุ์ โดยเกณฑ์ความสำเร็จทางชีววิทยา — ขนาดประชากร การกระจายทางภูมิศาสตร์ การเข้าถึงทรัพยากร — ไก่ชนะ

ยกเว้นส่วนที่เรากินพวกมัน

ดังนั้น ไก่จึงประสบความสำเร็จโดยการกลายเป็นอาหารที่สมบูรณ์แบบ ซึ่งไม่ใช่เรื่องเล็กน้อย แต่มีเพดานบนความสำเร็จนั้น

แมว: คำตอบที่ถูกต้อง

มีสัตว์หนึ่งที่ฉันจะพูดถึงว่าทำได้ถูกต้อง

แมว

แมวไม่ใช่นักล่าขั้นสูงสุด พวกมันไม่ได้ครอบงำหรือล่ามนุษย์ แต่แทนที่จะถูกทำลายโดยการขยายตัวของมนุษย์หรือยอมจำนนต่อความต้องการของมนุษย์ พวกมันทำสิ่งที่แตกต่าง: พวกมันพัฒนาไปพร้อมกับเรา พวกมันทำให้ตัวเองมีประโยชน์โดยการล่าหนูและนกขนาดเล็กที่ถูกดึงดูดโดยการตั้งถิ่นฐานของมนุษย์ และที่ไหนสักแห่ง พวกมันทำให้ตัวเอง ต้องการ พวกมันกลายเป็นเพื่อน

ผลลัพธ์? แมวสืบพันธุ์เร็ว มีแหล่งอาหารที่อุดมสมบูรณ์ ไม่ว่าจะเป็นเป็นของเลี้ยงหรือการล่าในบริเวณใกล้เคียงกับการอยู่อาศัยของมนุษย์ พวกมันไม่มีผู้ล่าที่ร้ายแรง พวกมันอยู่ทุกที่ที่มนุษย์อยู่

และอีกครั้ง สิ่งนี้ไม่ใช่สิ่งที่พวกมันเลือกทำ ไม่ใช่กลยุทธ์ แต่เป็นเพียงวิธีการที่แรงกดดันทางวิวัฒนาการเกิดขึ้น แต่ผลลัพธ์นั้นเหลือเชื่อ: แทนที่จะต่อสู้กับนักล่าขั้นสูงสุด หรือเลี้ยงนักล่าขั้นสูงสุด พวกมัน เป็นเพื่อน กับนักล่าขั้นสูงสุด

สิ่งนี้เกี่ยวข้องกับ AI อย่างไร

ดังนั้น ทำไมสิ่งนี้จึงมีความสำคัญ?

การมาถึงของโมเดลอย่าง Anthropic’s Mythos และ Project Glass Wing คือสิ่งที่เทียบเท่ากับวันที่มนุษย์มาถึงออสเตรเลีย ยกเว้นว่าเส้นเวลาได้รับการบีบอัดอย่างมาก สิ่งที่ใช้เวลาหลายชั่วรุ่นในการเกิดขึ้นบน континентนั้นจะเกิดขึ้นในเวลาเพียงไม่กี่ปี — หรืออาจจะน้อยกว่านั้น

มีการเขียนมากมายเกี่ยวกับวิธีที่ทีมความปลอดภัยควรตอบสนองต่อภัยคุกคามของการโจมตี AI ที่ได้รับการปรับปรุง แต่ฉันคิดว่าการวางกรอบนั้นเป็นข้อผิดพลาด นี่ไม่ใช่ปัญหาด้านความปลอดภัยหลักๆ มันเป็นปัญหาด้านวิศวกรรม

สิ่งที่เปลี่ยนแปลงไปคือ: ก่อนหน้านี้ทั้งผู้ป้องกันและผู้โจมตีทำงานในโลกที่มีผลลัพธ์ที่จำกัด การโจมตีเกิดขึ้น การละเมิดเกิดขึ้น แต่ความเร็วและความซับซ้อนถูกจำกัดโดยความสามารถของมนุษย์ สิ่งนี้เปลี่ยนแปลงไปอย่าง根本

ทีมพัฒนาส่วนใหญ่เป็นวอมแบตยักษ์ในเรื่องนี้ พวกเขาอยู่ในสภาพแวดล้อมที่มีภัยคุกคาม แต่ไม่มีอะไรที่ใกล้เคียงกับสิ่งที่กำลังจะมา พวกเขาพัฒนาระบบที่มีความปลอดภัยที่สมเหตุสมผลต่อแรงกดดันที่พวกเขาเผชิญ แต่พวกเขาไม่เคยพบสิ่งที่กำลังจะมา

สิ่งนี้กำลังจะเปลี่ยนแปลง

ตัวเลือกสามตัว — และทำไม只有ตัวเลือกเดียวที่ใช้ได้

เมื่อภัยคุกคามใหม่นี้มาถึง องค์กรจะมีตัวเลือกสามตัว:

  1. เป็นวอมแบตยักษ์ ไม่ปรับตัว ตัดออกไป สิ่งนี้จะเกิดขึ้นกับหลายบริษัท บางบริษัทจะไม่ฟื้นตัว
  2. เป็นไก่ กลายเป็นแบบตอบสนอง ตอบสนองต่อจุดอ่อนใหม่ๆ ที่ปรากฏขึ้น สิ่งนี้ดีกว่าไม่มีอะไร แต่เมื่อมี 45 จุดอ่อนมาจากทุกทิศทาง ทักษะนั้นจะไม่ช่วยคุณ คุณยังคงเป็นอาหาร คุณแค่ช้าลงในการถูกส่งไปที่โต๊ะ
  3. เป็นแมว เปลี่ยนแปลงความสัมพันธ์กับภัยคุกคามอย่าง根本 ใช้ AI เพื่อป้องกัน AI ใส่ความปลอดภัยลงในวิศวกรรมตั้งแต่เริ่มต้น ออกแบบระบบโดยสมมติว่ามีการละเมิด — ไม่ใช่หวังว่าจะป้องกัน

เป้าหมายไม่ใช่การจ้างนักวิเคราะห์ความปลอดภัยเพิ่มเติมเพื่อตรวจสอบขอบเขตนั้น สิ่งนี้พยายามที่จะปกป้องช้างบนเส้นทางที่ไม่สเกลได้กับภัยคุกคามนี้ เป้าหมายคือการออกแบบเส้นทางใหม่

การ “เป็นแมว” แท้จริงแล้วดูเหมือนอะไร

สิ่งนี้ไม่ใช่การทำงานที่ผิวเผิน มันไม่ใช่การวิ่งเครื่องสแกนความปลอดภัย AI บนฐานโค้ดของคุณทุกๆ ไตรมาส มันจำเป็นต้องมีการคิดใหม่เกี่ยวกับวิธีการพัฒนาที่ทำ

ในทางปฏิบัติ สิ่งนี้หมายถึงสิ่งเช่น:

  • ฐานโค้ดที่เรียบง่ายขึ้น ซึ่งง่ายต่อการให้เหตุผลและตรวจสอบ
  • การดึงจากไลบรารีที่มีการรับรองความปลอดภัยที่ทราบและตรวจสอบแล้ว
  • การสร้างโครงสร้างพื้นฐานโดยสมมติว่ามีการละเมิด — ไม่ใช่หวังว่าจะป้องกัน — และทำให้การเคลื่อนไหวในแนวราบยากที่สุดเท่าที่จะเป็นไปได้เมื่อมีผู้กระทำที่ไม่ดีเข้ามา
  • การเป็นเพื่อนกับนักล่าโดยการใช้ประโยชน์จากมันเหมือนกับที่ผู้โจมตีทำ AI โมเดลสามารถเพิ่มทีมวิศวกรรมและทีมความปลอดภัยให้พัฒนาและก้าวหน้า

บริษัทที่ก่อตั้งขึ้นพรุ่งนี้มีกระดานที่สะอาด พวกเขาสามารถสร้างได้ตั้งแต่วันแรก บริษัทที่มีอยู่แล้ว โดยมีลูกค้า ข้อมูลที่ละเอียดอ่อน ระบบที่ใช้งานอยู่ ไม่มีความสะดวกนั้น พวกเขาต้องเริ่มเปลี่ยนแปลงตอนนี้

การเรียกให้ดำเนินการ

Anthropic ได้กล่าวไว้แล้วว่าจะมีการตัดสิน มีการหยุดชะงักทางเศรษฐกิจและสังคมจากการโจมตี AI ที่ได้รับการปรับปรุง บริษัทบางแห่งจะไม่รอด พวกเขาจะถูกบุกรุกโดยผู้ใช้เครื่องมือเหล่านี้ และพวกเขาจะไม่ฟื้นตัวได้ สิ่งนี้จะเกิดขึ้น

ดังนั้น ข้อความคือ: เริ่มต้นตอนนี้

วิศวกรรมและความปลอดภัยต้องนั่งอยู่ในห้องเดียวกัน ผ่านภูมิทัศน์ภัยคุกคามร่วมกัน สร้างเส้นทางร่วมกัน ซึ่งงานหลักทำโดยทีมวิศวกรรมและทีมออกแบบ โดยมีการตรวจสอบจากทีมความปลอดภัย ไม่ใช่ในทางกลับกัน ความปลอดภัยไม่สามารถนำทางได้ ความปลอดภัยสามารถตรวจสอบงานได้ แต่การเปลี่ยนแปลงพื้นฐานต้องมาจากผู้สร้างระบบ

บริษัทที่เริ่มกระบวนการนี้วันนี้ไม่ใช่ทุกบริษัทที่จะรอด แต่พวกเขาจะกำหนดเงื่อนไขสำหรับการอยู่รอด และในสภาพแวดล้อมที่กำลังจะมาถึง นั่นคือสิ่งที่ดีที่สุดที่เราทุกคนสามารถทำได้

เป็นแมว

อาดัม อาเรลลาโน เป็น Field Chief Technology Officer (CTO) ที่ Harness โดยที่เขามอบความเป็นหุ้นส่วนและคำแนะนำให้กับลูกค้าและอุตสาหกรรมในวงกว้างเกี่ยวกับ API และความปลอดภัยของแอปพลิเคชัน เขาเป็นที่รู้จักในฐานะผู้บริหารเทคโนโลยีที่มีความก้าวหน้าและประดิษฐ์ โดยมีประสบการณ์มากกว่า 15 ปีในการสนับสนุนโครงการริเริ่มที่มุ่งเน้นไปที่นวัตกรรมด้านคลาวด์ AI และความปลอดภัยของข้อมูล