ผู้นำทางความคิด
การโจมตีแบบ Agentic: บทเรียนจากไก่ แมว และวอมแบตยักษ์

AI เป็นนักล่าขั้นสูงสุดในโลก Dev
แรงกดดันทางวิวัฒนาการ: บทนำสั้นๆ
ก่อนที่เราจะเข้าสู่เนื้อหาของบทความนี้ มีแนวคิดสองสามอย่างที่ควรพิจารณา แนวคิดแรกคือแรงกดดันทางวิวัฒนาการ
วิวัฒนาการไม่ใช่สิ่งที่เลือกได้ สัตว์ไม่ได้เลือกว่าจะวิวัฒนาการไปในทางใดทางหนึ่ง สิ่งแวดล้อมบังคับให้พวกมันหรือสิ่งแวดล้อมกำจัดพวกมัน ดังนั้น เมื่อเราพูดถึงว่าสัตว์หนึ่งวิวัฒนาการไปในทางใดหรือมีอยู่อย่างไรในปัจจุบัน เรากำลังพูดถึงการเปลี่ยนแปลงแบบสุ่มและสิ่งแวดล้อมที่กดดันให้พวกมันไปในทางหนึ่งหรืออีกทาง
ปัจจุบัน บริษัทซอฟต์แวร์กำลังเข้าสู่ช่วงวิวัฒนาการที่คล้ายกัน ระบบ AI ที่สามารถระบุจุดอ่อนได้โดยอัตโนมัติ สร้างข้อบกพร่อง และเร่งการโจมตีทางไซเบอร์กำลังเปลี่ยนแปลงแรงกดดันที่นักพัฒนาและทีมความปลอดภัยทำงานอยู่
AI กำลังสร้างแรงกดดันทางสิ่งแวดล้อมแบบเดียวกันสำหรับบริษัทซอฟต์แวร์ โมเดลที่สามารถค้นหาจุดอ่อนและสร้างข้อบกพร่องได้โดยอัตโนมัติ กำลังเปลี่ยนแปลงภูมิทัศน์ความปลอดภัยอย่างรวดเร็วกว่าที่องค์กรส่วนใหญ่เตรียมพร้อม
แรงกดดันทางวิวัฒนาการที่ฉันต้องการพูดถึงคือ นักล่าขั้นสูงสุดบนโลกในปัจจุบัน ซึ่งก็คือมนุษย์ และวิธีที่สัตว์สามชนิดที่แตกต่างกันตอบสนองต่อแรงกดดันนั้น
ใครทำได้แย่กว่า: วอมแบตยักษ์หรือไก่?
วอมแบตยักษ์
วอมแบตยักษ์ — ฉันลืมชื่อแน่นอน แต่มันอยู่ในออสเตรเลีย — มีน้ำหนักประมาณ 6,000 ปอนด์ ก่อนที่มนุษย์จะมาถึง ออสเตรเลียเป็นสถานที่ที่มีเขียวชอุ่มและสวยงาม มันคงจะดีถ้าเราไม่เคยสัมผัสมัน วอมแบตยักษ์เหล่านี้อาศัยอยู่โดยไม่มีปัญหา มีเพียงผู้ล่าที่จะโจมตีมันบ้าง แต่ด้วยขนาดที่ใหญ่ของมัน อาหารที่อุดมสมบูรณ์ และความสามารถในการสืบพันธุ์ มันสามารถต้านทานสิ่งแวดล้อมที่ออสเตรเลียมีให้ได้
แล้วมนุษย์ก็มาถึง
สิ่งสองสามอย่างเกิดขึ้นทันที มนุษย์เห็นแหล่งโปรตีนที่ใหญ่มากที่สามารถเลี้ยงกลุ่มคนเป็นเวลาหลายสัปดาห์ — หรือมากกว่านั้นหากพวกเขาสามารถเก็บเนื้อได้ มนุษย์เริ่มตัดไม้เพื่อใช้เป็นไฟหรือเผาบริเวณใหญ่ๆ เพื่อขับไล่สัตว์ออกมาให้พวกเขาได้ล่า มนุษย์ทำลายพื้นที่ป่าไม้ที่วอมแบตยักษ์ phụ thuộcอยู่
ในระยะเวลาที่สั้นมาก — ในแง่ของธรณีวิทยา เกือบจะทันที — มนุษย์ทำลายพื้นที่ป่าไม้ขนาดใหญ่ของทวีปและล่าวอมแบตยักษ์ทั้งหมดจนหมดสิ้น
มันคุ้มค่าที่จะทราบว่าสัตว์ไม่ทั้งหมดในออสเตรเลียสูญพันธุ์ คังการู วอมแบตเล็ก โคอาลา และอื่นๆ รอดชีวิต — เพราะพวกมันเล็กพอที่จะหนีไปได้ หรือมีความสามารถในการปรับตัวให้เข้ากับสภาพแวดล้อมที่เปลี่ยนแปลงไป
นั่นคือเวอร์ชันแรก
ไก่
ตอนนี้ ไก่ใน某种意义上อาจเป็นสัตว์บนบกที่ประสบความสำเร็จที่สุดบนโลก ประมาณ 70% ของมวลรวมของนกบนโลกคือไก่ในบ้าน มีบางพื้นที่ที่ไก่กลายเป็นสัตว์ป่า — บนเกาะที่ไม่มีผู้ล่าตามธรรมชาติ เช่น เกาะคายแมน — และพวกมันเติบโตอย่างรวดเร็ว
ไก่พัฒนาเป็นสิ่งที่มนุษย์พบว่ามีประโยชน์อย่างมาก: พวกมันสืบพันธุ์เร็ว เติบโตเร็ว และวางไข่ มนุษย์เลี้ยงพวกมัน ป้องกันพวกมัน และกระตุ้นให้พวกมันสืบพันธุ์ โดยเกณฑ์ความสำเร็จทางชีววิทยา — ขนาดประชากร การกระจายทางภูมิศาสตร์ การเข้าถึงทรัพยากร — ไก่ชนะ
ยกเว้นส่วนที่เรากินพวกมัน
ดังนั้น ไก่จึงประสบความสำเร็จโดยการกลายเป็นอาหารที่สมบูรณ์แบบ ซึ่งไม่ใช่เรื่องเล็กน้อย แต่มีเพดานบนความสำเร็จนั้น
แมว: คำตอบที่ถูกต้อง
มีสัตว์หนึ่งที่ฉันจะพูดถึงว่าทำได้ถูกต้อง
แมว
แมวไม่ใช่นักล่าขั้นสูงสุด พวกมันไม่ได้ครอบงำหรือล่ามนุษย์ แต่แทนที่จะถูกทำลายโดยการขยายตัวของมนุษย์หรือยอมจำนนต่อความต้องการของมนุษย์ พวกมันทำสิ่งที่แตกต่าง: พวกมันพัฒนาไปพร้อมกับเรา พวกมันทำให้ตัวเองมีประโยชน์โดยการล่าหนูและนกขนาดเล็กที่ถูกดึงดูดโดยการตั้งถิ่นฐานของมนุษย์ และที่ไหนสักแห่ง พวกมันทำให้ตัวเอง ต้องการ พวกมันกลายเป็นเพื่อน
ผลลัพธ์? แมวสืบพันธุ์เร็ว มีแหล่งอาหารที่อุดมสมบูรณ์ ไม่ว่าจะเป็นเป็นของเลี้ยงหรือการล่าในบริเวณใกล้เคียงกับการอยู่อาศัยของมนุษย์ พวกมันไม่มีผู้ล่าที่ร้ายแรง พวกมันอยู่ทุกที่ที่มนุษย์อยู่
และอีกครั้ง สิ่งนี้ไม่ใช่สิ่งที่พวกมันเลือกทำ ไม่ใช่กลยุทธ์ แต่เป็นเพียงวิธีการที่แรงกดดันทางวิวัฒนาการเกิดขึ้น แต่ผลลัพธ์นั้นเหลือเชื่อ: แทนที่จะต่อสู้กับนักล่าขั้นสูงสุด หรือเลี้ยงนักล่าขั้นสูงสุด พวกมัน เป็นเพื่อน กับนักล่าขั้นสูงสุด
สิ่งนี้เกี่ยวข้องกับ AI อย่างไร
ดังนั้น ทำไมสิ่งนี้จึงมีความสำคัญ?
การมาถึงของโมเดลอย่าง Anthropic’s Mythos และ Project Glass Wing คือสิ่งที่เทียบเท่ากับวันที่มนุษย์มาถึงออสเตรเลีย ยกเว้นว่าเส้นเวลาได้รับการบีบอัดอย่างมาก สิ่งที่ใช้เวลาหลายชั่วรุ่นในการเกิดขึ้นบน континентนั้นจะเกิดขึ้นในเวลาเพียงไม่กี่ปี — หรืออาจจะน้อยกว่านั้น
มีการเขียนมากมายเกี่ยวกับวิธีที่ทีมความปลอดภัยควรตอบสนองต่อภัยคุกคามของการโจมตี AI ที่ได้รับการปรับปรุง แต่ฉันคิดว่าการวางกรอบนั้นเป็นข้อผิดพลาด นี่ไม่ใช่ปัญหาด้านความปลอดภัยหลักๆ มันเป็นปัญหาด้านวิศวกรรม
สิ่งที่เปลี่ยนแปลงไปคือ: ก่อนหน้านี้ทั้งผู้ป้องกันและผู้โจมตีทำงานในโลกที่มีผลลัพธ์ที่จำกัด การโจมตีเกิดขึ้น การละเมิดเกิดขึ้น แต่ความเร็วและความซับซ้อนถูกจำกัดโดยความสามารถของมนุษย์ สิ่งนี้เปลี่ยนแปลงไปอย่าง根本
ทีมพัฒนาส่วนใหญ่เป็นวอมแบตยักษ์ในเรื่องนี้ พวกเขาอยู่ในสภาพแวดล้อมที่มีภัยคุกคาม แต่ไม่มีอะไรที่ใกล้เคียงกับสิ่งที่กำลังจะมา พวกเขาพัฒนาระบบที่มีความปลอดภัยที่สมเหตุสมผลต่อแรงกดดันที่พวกเขาเผชิญ แต่พวกเขาไม่เคยพบสิ่งที่กำลังจะมา
สิ่งนี้กำลังจะเปลี่ยนแปลง
ตัวเลือกสามตัว — และทำไม只有ตัวเลือกเดียวที่ใช้ได้
เมื่อภัยคุกคามใหม่นี้มาถึง องค์กรจะมีตัวเลือกสามตัว:
- เป็นวอมแบตยักษ์ ไม่ปรับตัว ตัดออกไป สิ่งนี้จะเกิดขึ้นกับหลายบริษัท บางบริษัทจะไม่ฟื้นตัว
- เป็นไก่ กลายเป็นแบบตอบสนอง ตอบสนองต่อจุดอ่อนใหม่ๆ ที่ปรากฏขึ้น สิ่งนี้ดีกว่าไม่มีอะไร แต่เมื่อมี 45 จุดอ่อนมาจากทุกทิศทาง ทักษะนั้นจะไม่ช่วยคุณ คุณยังคงเป็นอาหาร คุณแค่ช้าลงในการถูกส่งไปที่โต๊ะ
- เป็นแมว เปลี่ยนแปลงความสัมพันธ์กับภัยคุกคามอย่าง根本 ใช้ AI เพื่อป้องกัน AI ใส่ความปลอดภัยลงในวิศวกรรมตั้งแต่เริ่มต้น ออกแบบระบบโดยสมมติว่ามีการละเมิด — ไม่ใช่หวังว่าจะป้องกัน
เป้าหมายไม่ใช่การจ้างนักวิเคราะห์ความปลอดภัยเพิ่มเติมเพื่อตรวจสอบขอบเขตนั้น สิ่งนี้พยายามที่จะปกป้องช้างบนเส้นทางที่ไม่สเกลได้กับภัยคุกคามนี้ เป้าหมายคือการออกแบบเส้นทางใหม่
การ “เป็นแมว” แท้จริงแล้วดูเหมือนอะไร
สิ่งนี้ไม่ใช่การทำงานที่ผิวเผิน มันไม่ใช่การวิ่งเครื่องสแกนความปลอดภัย AI บนฐานโค้ดของคุณทุกๆ ไตรมาส มันจำเป็นต้องมีการคิดใหม่เกี่ยวกับวิธีการพัฒนาที่ทำ
ในทางปฏิบัติ สิ่งนี้หมายถึงสิ่งเช่น:
- ฐานโค้ดที่เรียบง่ายขึ้น ซึ่งง่ายต่อการให้เหตุผลและตรวจสอบ
- การดึงจากไลบรารีที่มีการรับรองความปลอดภัยที่ทราบและตรวจสอบแล้ว
- การสร้างโครงสร้างพื้นฐานโดยสมมติว่ามีการละเมิด — ไม่ใช่หวังว่าจะป้องกัน — และทำให้การเคลื่อนไหวในแนวราบยากที่สุดเท่าที่จะเป็นไปได้เมื่อมีผู้กระทำที่ไม่ดีเข้ามา
- การเป็นเพื่อนกับนักล่าโดยการใช้ประโยชน์จากมันเหมือนกับที่ผู้โจมตีทำ AI โมเดลสามารถเพิ่มทีมวิศวกรรมและทีมความปลอดภัยให้พัฒนาและก้าวหน้า
บริษัทที่ก่อตั้งขึ้นพรุ่งนี้มีกระดานที่สะอาด พวกเขาสามารถสร้างได้ตั้งแต่วันแรก บริษัทที่มีอยู่แล้ว โดยมีลูกค้า ข้อมูลที่ละเอียดอ่อน ระบบที่ใช้งานอยู่ ไม่มีความสะดวกนั้น พวกเขาต้องเริ่มเปลี่ยนแปลงตอนนี้
การเรียกให้ดำเนินการ
Anthropic ได้กล่าวไว้แล้วว่าจะมีการตัดสิน มีการหยุดชะงักทางเศรษฐกิจและสังคมจากการโจมตี AI ที่ได้รับการปรับปรุง บริษัทบางแห่งจะไม่รอด พวกเขาจะถูกบุกรุกโดยผู้ใช้เครื่องมือเหล่านี้ และพวกเขาจะไม่ฟื้นตัวได้ สิ่งนี้จะเกิดขึ้น
ดังนั้น ข้อความคือ: เริ่มต้นตอนนี้
วิศวกรรมและความปลอดภัยต้องนั่งอยู่ในห้องเดียวกัน ผ่านภูมิทัศน์ภัยคุกคามร่วมกัน สร้างเส้นทางร่วมกัน ซึ่งงานหลักทำโดยทีมวิศวกรรมและทีมออกแบบ โดยมีการตรวจสอบจากทีมความปลอดภัย ไม่ใช่ในทางกลับกัน ความปลอดภัยไม่สามารถนำทางได้ ความปลอดภัยสามารถตรวจสอบงานได้ แต่การเปลี่ยนแปลงพื้นฐานต้องมาจากผู้สร้างระบบ
บริษัทที่เริ่มกระบวนการนี้วันนี้ไม่ใช่ทุกบริษัทที่จะรอด แต่พวกเขาจะกำหนดเงื่อนไขสำหรับการอยู่รอด และในสภาพแวดล้อมที่กำลังจะมาถึง นั่นคือสิ่งที่ดีที่สุดที่เราทุกคนสามารถทำได้
เป็นแมว












