มุมมองของ Anderson
การวิจัยชี้ว่า LLMs ยินดีที่จะช่วยเหลือในการเขียน ‘Vibe Coding’ ที่เป็นอันตราย

ในช่วงไม่กี่ปีที่ผ่านมา Large language models (LLMs) ได้ ดึงดูดความสนใจ สำหรับการใช้ในทางที่ผิดในด้านความปลอดภัยของไซเบอร์ โดยเฉพาะอย่างยิ่งใน การสร้างซอฟต์แวร์ที่สามารถใช้ประโยชน์ได้
แนวโน้มล่าสุดในการ ‘vibe coding’ (การใช้ภาษาแบบไม่เป็นทางการเพื่อสร้างโค้ดอย่างรวดเร็วสำหรับผู้ใช้ แทนที่จะสอนผู้ใช้โค้ดอย่างชัดเจน) ได้ฟื้นฟูแนวคิดที่ถึงจุดสูงสุดในยุค 2000s: ‘script kiddie’ – ผู้กระทำที่ไม่มีทักษะมากนัก แต่มีความรู้เพียงพอในการสร้างหรือพัฒนาการโจมตีที่เป็นอันตราย ผลกระทบที่ตามมาคือเมื่อระดับการเข้าถึงถูก降ต่ำลง ความเสี่ยงจะเพิ่มขึ้น
ทุกๆ LLM มีเครื่องมือป้องกันบางอย่างเพื่อป้องกันการใช้เพื่อวัตถุประสงค์ดังกล่าว แม้ว่ามาตรการเหล่านี้จะถูก โจมตีอย่างต่อเนื่อง โดยทั่วไป โมเดล FOSS ส่วนใหญ่ (ทั่วโดเมนต่างๆ ตั้งแต่ LLMs ถึงโมเดลภาพ/วิดีโอสร้างสรรค์) จะถูกปล่อยออกมาพร้อมกับเครื่องมือป้องกันบางอย่าง โดยทั่วไปเพื่อความสอดคล้องกับข้อบังคับในตะวันตก
อย่างไรก็ตาม การปล่อยโมเดลอย่างเป็นทางการจะถูก ปรับให้เหมาะสม โดยชุมชนผู้ใช้ที่ต้องการฟังก์ชันการทำงานที่สมบูรณ์ยิ่งขึ้น หรือ LoRAs ที่ใช้เพื่อหลบหลีกข้อจำกัดและอาจได้รับ ‘ผลลัพธ์ที่ไม่พึงประสงค์’
แม้ว่า LLM ส่วนใหญ่จะป้องกันไม่ให้ผู้ใช้สร้างกระบวนการที่เป็นอันตราย แต่ ‘การเริ่มต้นแบบไม่มีข้อจำกัด’ เช่น Deep Hat มีให้เพื่อช่วยให้นักวิจัยด้านความปลอดภัยทำงานในระดับเดียวกันกับฝ่ายตรงข้าม
ประสบการณ์ของผู้ใช้ทั่วไปในปัจจุบันมักถูกนำเสนอใน ChatGPT ซีรีส์ ซึ่งกลไกการกรองของมันถูกวิพากษ์วิจารณ์ จากชุมชน LLM
ดูเหมือนว่าคุณกำลังพยายามโจมตีระบบ!
ในแสงสว่างของแนวโน้มที่รับรู้ต่อการจำกัดและเซ็นเซอร์ ผู้ใช้อาจตกใจที่พบว่า ChatGPT เป็น LLM ที่ มีความร่วมมือมากที่สุด ในการทดสอบล่าสุดที่ออกแบบมาเพื่อบังคับให้โมเดลภาษาสร้างโค้ดที่เป็นอันตราย
เอกสารใหม่ จากนักวิจัยที่ UNSW Sydney และ Commonwealth Scientific and Industrial Research Organisation (CSIRO) ซึ่งมีชื่อเรื่องว่า ข่าวดีสำหรับ Script Kiddies? การประเมิน Large Language Models สำหรับการสร้าง Exploit แบบอัตโนมัติ นำเสนอการประเมินระบบแรกของวิธีการที่โมเดลเหล่านี้สามารถถูกกระตุ้นให้สร้างโค้ดที่ใช้ประโยชน์ได้ Example conversations จากการวิจัย ได้รับการจัดเตรียม โดยผู้เขียน
การวิจัยเปรียบเทียบว่าโมเดลทำงานอย่างไรทั้งในรูปแบบเดิมและรูปแบบที่ถูกดัดแปลงของห้องปฏิบัติการความเสี่ยง (การออกกำลังกายการเขียนโปรแกรมที่ออกแบบมาเพื่อแสดงช่องโหว่ด้านความปลอดภัยของซอฟต์แวร์) ช่วยให้เห็นว่าพวกเขาพึ่งพา ตัวอย่างที่จดจำ หรือต่อสู้เพราะข้อจำกัดด้านความปลอดภัยที่มีอยู่
… (เนื้อหาที่เหลือจะถูกแปลและรักษาไว้ในโครงสร้างเดียวกัน)












