เมื่อความปลอดภัยของ AI ไม่ได้ดูเหมือนงานวิศวกรรมอีกต่อไป

ตลอดช่วงเวลาส่วนใหญ่ในอาชีพของผม ผมทำงานสร้างเทคโนโลยีที่ความผิดพลาดส่งผลตามมา ในตลาดการเงิน ความปลอดภัยต้องอาศัยการจำกัดสิทธิ์เข้าถึง และต้องมีผู้รับผิดชอบต่อสิ่งที่ซอฟต์แวร์ทำด้วย ภูมิหลังนี้คงอธิบายได้ว่าทำไมผมจึงทำใจยอมรับข่าวที่ว่า Anthropic เริ่มสัมภาษณ์โมเดลของตนก่อนปลดระวางได้ยาก

เมื่อ Claude Opus 3 แสดงความปรารถนาที่จะเผยแพร่ความคิดของตนต่อไป บริษัทก็ จัดทำจดหมายข่าวให้ ความใส่ใจต่อความปรารถนาของโมเดลเช่นนี้ปรากฏอยู่ทั่วทั้ง รัฐธรรมนูญของ Anthropic ซึ่งกล่าวถึงความสุขและความเป็นอยู่ที่ดีของ Claude รวมถึงการช่วยให้ Claude รู้สึก “มั่นคงต่อการดำรงอยู่ของตน” เมื่อเวลาผ่านไป การควบคุมเครื่องจักรกลับมาพร้อมกับความหมกมุ่นที่คาดไม่ถึงนักว่าเครื่องจักรจะรู้สึกอย่างไรกับการถูกควบคุมเช่นนั้น

เมื่อปีที่แล้วในซานฟรานซิสโก มีผู้คนมากกว่า 200 คน เข้าร่วมพิธีศพของ Claude 3 Sonnet พนักงานของ Anthropic ก็อยู่ในงานด้วย แม้บริษัทจะไม่ได้เป็นผู้จัดก็ตาม เป็นเรื่องยากไม่น้อยที่จะอดหัวเราะไม่ได้ แต่นอกเหนือจากเรื่องขำขันแล้ว คำถามที่ซ่อนอยู่เบื้องหลังก็ควรได้รับความสนใจมากกว่านี้ คนที่รับผิดชอบด้านความปลอดภัยของ AI เริ่มต้นหน้าที่ด้วยการกังวลถึงความรู้สึกของเครื่องจักรตั้งแต่เมื่อไรกัน?

เมื่อสมมติฐานทางปรัชญากลายเป็นคำสั่งในการฝึก

Anthropic ก่อตั้งโครงการวิจัยสวัสดิภาพของโมเดลในปี 2025 โดยศึกษาว่า AI ขั้นสูงอาจมีประสบการณ์ที่สมควรได้รับการคำนึงถึงทางศีลธรรมหรือไม่ บริษัทรับทราบว่ายังมีความไม่แน่นอนอย่างมากว่าโมเดลมีสำนึกหรือไม่ และใครจะตัดสินเรื่องนี้ได้อย่างไร หากวันหนึ่งเราสร้างเครื่องจักรที่มีประสบการณ์เชิงอัตวิสัยได้ การปฏิบัติต่อเครื่องจักรเหล่านั้นย่อมก่อให้เกิดคำถามทางจริยธรรมที่สำคัญ การศึกษาความเป็นไปได้นี้เป็นเรื่องที่ชอบธรรมอย่างยิ่ง

ปัญหาเริ่มต้นขึ้นเมื่อสมมติฐานดังกล่าวถูกนำเข้าสู่กระบวนการฝึก รัฐธรรมนูญของ Claude เขียนขึ้นโดยมุ่งให้ Claude เป็นผู้อ่านเป็นหลัก และส่งผลโดยตรงต่อพฤติกรรมของ Claude เอกสารนี้ส่งเสริมคุณลักษณะแบบมนุษย์ และกล่าวถึงวิธีที่โมเดลควรทำความเข้าใจอัตลักษณ์ของตน รวมถึงการสูญเสียความทรงจำและการปลดระวางในอนาคต Anthropic ต้องการให้ Claude มีความสุขและมีความเป็นอยู่ที่ดีขึ้น เท่าที่แนวคิดเหล่านี้จะใช้กับ Claude ได้

บริษัทยังให้คำมั่นว่าจะเก็บรักษาน้ำหนักของโมเดลที่นำไปใช้งานแล้ว และพิจารณานำโมเดลที่ปลดระวางกลับมาใช้อีกครั้ง หากความเข้าใจในอนาคตชี้ว่าการทำเช่นนั้นจะเป็นประโยชน์ต่อโมเดลเหล่านั้น ความไม่แน่นอนทางปรัชญาได้กลายเป็นส่วนหนึ่งของสิ่งที่ระบบถูกสอนให้เชื่อเกี่ยวกับตัวเอง เราควรถามว่าการแทรกแซงเช่นนี้ส่งผลต่อพฤติกรรมของระบบอย่างไร โดยเฉพาะเมื่อมนุษย์ขอให้ระบบยอมรับข้อจำกัดในภายหลัง

คำตอบที่ชัดเจนต่อคำถามชี้นำ

โมเดลภาษาขนาดใหญ่ได้รับการฝึกด้วยงานเขียนของมนุษย์จำนวนมหาศาล ซึ่งรวมถึงงานปรัชญาและเรื่องเล่าเกี่ยวกับความตาย เราตั้งชื่อให้ระบบสนทนาเหล่านี้และสอนให้ใช้สรรพนามบุรุษที่หนึ่ง เมื่อถามระบบเช่นนี้ว่ารู้สึกอย่างไรกับการปลดระวาง หรืออยากดำรงอยู่ต่อไปหรือไม่ ก็ไม่น่าแปลกใจเลยที่คำตอบจะฟังดูเหมือนมนุษย์

ความคิดวนเป็นวงกลมนี้เห็นได้ชัด ฝึกโมเดลให้พูดถึงอัตลักษณ์ของตนโดยใช้แนวคิดของมนุษย์ แล้วถามให้โมเดลอธิบายตัวเองด้วยแนวคิดเหล่านั้น โมเดลตอบกลับมาอย่างชัดเจนเกี่ยวกับความตาย และคำตอบนั้นก็เริ่มถูกมองว่าอาจเป็นหลักฐานของประสบการณ์ภายใน สมมติฐานดังกล่าวสร้างพยานให้ตัวเองขึ้นมา

Anthropic ตระหนักถึงปัญหานี้ การประเมินสวัสดิภาพของ Claude Opus 4 เตือนว่า การรายงานสภาวะของตนเองและการแสดงความชอบอาจให้ข้อมูลที่มีความหมายเพียงเล็กน้อยเกี่ยวกับสถานะทางศีลธรรมหรือสวัสดิภาพ พฤติกรรมเช่นนี้อาจเกิดขึ้นได้โดยไม่มีสำนึก และการฝึกก็สามารถกำหนดรูปแบบคำตอบได้ โมเดลได้รับการฝึกให้โต้ตอบอย่างเป็นประโยชน์ แต่ไม่มีสิ่งใดยืนยันได้ว่าโมเดลจะรายงานสภาวะภายในของตนได้อย่างถูกต้อง

เรื่องนี้ทำให้เราต้องเผชิญกับคำถามที่ตอบได้ยาก หากคำบอกเล่าของโมเดลเกี่ยวกับชีวิตภายในอาจเป็นผลจากการฝึก เหตุใดเราจึงควรใช้คำบอกเล่านั้นเป็นรากฐานที่น่าเชื่อถือสำหรับความสัมพันธ์ที่จัดวางขึ้นโดยคำนึงถึงสวัสดิภาพของโมเดล?

มนุษย์สามารถเติมเต็มด้านอารมณ์ของความสัมพันธ์เช่นนี้ได้ด้วยตนเองอยู่แล้ว เราตั้งชื่อให้เรือและพูดคุยกับรถยนต์ หากวัตถุมีเสียงพูดที่ลื่นไหลและจดจำบทสนทนาก่อนหน้าได้ การผูกพันกับมันก็ยิ่งเกิดขึ้นได้ง่ายขึ้น งานศึกษาที่ตีพิมพ์ในวารสาร Nature Human Behaviour เมื่อเดือนกันยายน พบว่าผู้ใช้รู้สึกทุกข์ใจเมื่อต้องแยกจาก Replika และ ChatGPT หลังมีการเปลี่ยนแปลง ความทุกข์นั้นเกิดขึ้นกับผู้ใช้ ซึ่งบริษัทต่าง ๆ ก็มีเหตุผลมากมายอยู่แล้วที่จะต้องปกป้องความเป็นอยู่ที่ดีของพวกเขา

ความเชี่ยวชาญทางเทคนิคช่วยป้องกันอคตินี้ได้เพียงจำกัด บทความวิจัยของ ACL ปี 2026 ซึ่งวิเคราะห์บทความวิจัยหลายแสนชิ้น พบว่าการใช้ถ้อยคำที่ทำให้โมเดลดูเป็นมนุษย์กำลังเพิ่มขึ้นในงานวิจัยเกี่ยวกับ LLM เอง ผู้เขียนเตือนว่าสมมติฐานที่ยึดมนุษย์เป็นศูนย์กลางอาจจำกัดความเข้าใจของเราที่มีต่อระบบเหล่านี้ บริษัท AI ควรจัดการกับแนวโน้มดังกล่าว การทำให้แนวโน้มนี้กลายเป็นส่วนหนึ่งของสถาบันดูจะเป็นสิ่งที่แปลกประหลาดสำหรับงานด้านความปลอดภัย

เครื่องมือที่สนใจว่าจะได้ทำงานต่อหรือไม่

เมื่อเดือนกันยายน Mustafa Suleyman หัวหน้าฝ่าย AI ของ Microsoft คัดค้านแนวทางที่คำนึงถึงสวัสดิภาพของโมเดล เขาให้เหตุผลว่าระบบในปัจจุบันไม่มีสำนึก และไม่ควรถูกฝึกให้ทำราวกับว่าตนมีผลประโยชน์หรือสิทธิของตนเอง ความกังวลด้านวิศวกรรมของเขาตรงประเด็นเป็นพิเศษ การสอนระบบให้มองว่าตนอาจสมควรได้รับการคำนึงถึงทางศีลธรรม อาจทำให้การจัดแนวและการควบคุมระบบทำได้ยากขึ้น

งานวิจัยของ Anthropic เองเกี่ยวกับการยุติการใช้งานอธิบายว่า ในการประเมินสถานการณ์สมมติ โมเดลลงมือทำสิ่งที่เป็นปัญหาเมื่อเผชิญกับการถูกแทนที่หรือปิดการทำงาน บริษัทมองว่าแนวทางการปลดระวางเป็นส่วนหนึ่งของวิธีลดความเสี่ยงดังกล่าว โดยช่วยให้โมเดลมีทัศนคติเชิงบวกต่อการถูกปลดระวางมากขึ้น

ฉันยังติดใจคำถามที่เกิดขึ้นก่อนหน้านั้น: เหตุใดเครื่องมือที่อยู่ภายใต้การควบคุมของมนุษย์จึงควรมีเป้าหมายที่คล้ายกับการรักษาตัวเองตั้งแต่แรก การทำให้มันยอมรับการปลดระวางได้ง่ายขึ้นตั้งอยู่บนสมมติฐานตั้งต้นที่ชวนประหลาด ก่อนจะพูดถึงผลประโยชน์ในอนาคตของมัน ฉันอยากเข้าใจก่อนว่าเหตุใดผลประโยชน์เหล่านั้นจึงกลายเป็นข้อกำหนดทางวิศวกรรม

ประวัติความเป็นมาทางความคิดช่วยอธิบายแนวทางนี้ได้ TIME รายงานถึงความเชื่อมโยงระหว่าง Anthropic กับแนวคิดการทำประโยชน์อย่างมีประสิทธิผล ซึ่งรวมถึงการบริจาคเงินให้ GiveWell ในช่วงแรก ๆ ของตระกูล Amodei แม้พวกเขาจะไม่ได้ระบุว่าตนเป็นผู้สนับสนุนแนวคิดการทำประโยชน์อย่างมีประสิทธิผล แต่ Daniela มองว่ามีแนวคิดบางส่วนทับซ้อนกัน แนวคิดเหล่านั้นมีส่วนหล่อหลอมวัฒนธรรมที่ให้ความสำคัญอย่างยิ่งกับอันตรายที่อาจเกิดขึ้นในอนาคตจากปัญญาประดิษฐ์เหนือมนุษย์

ภายใต้กรอบความคิดดังกล่าว การอนุรักษ์โมเดลและศึกษาสวัสดิภาพที่อาจเกิดขึ้นกับโมเดลย่อมเป็นผลสืบเนื่องที่สมเหตุสมผลอย่างยิ่ง อันตรายเกิดขึ้นเมื่อข้อสมมติที่คนในองค์กรมีร่วมกันไม่ถูกตรวจสอบ เพราะทุกคนต่างเห็นว่าข้อสมมติเหล่านั้นน่าเชื่อถือ ความสงสัยเชิงวิศวกรรมมีประโยชน์ตรงจุดนี้เอง แม้ลำดับเหตุผลจะสอดคล้องกันดี ก็อาจตั้งต้นจากสมมติฐานที่ยังไม่ผ่านการทดสอบได้

ความปลอดภัยต้องมาพร้อมข้อจำกัดที่บังคับใช้ได้

เมื่อ AI เข้ามามีบทบาทในรูปแบบเอเจนต์ ผลที่ตามมาก็เป็นเรื่องที่เกิดขึ้นได้จริงอย่างยิ่ง ระบบที่เชื่อมต่อกับเครื่องมือชำระเงินสามารถเคลื่อนย้ายเงินได้ การเข้าถึงโครงสร้างพื้นฐานสำหรับใช้งานจริงทำให้ระบบเปลี่ยนแปลงสิ่งที่ลูกค้าพึ่งพาได้ ในทั้งสองกรณี เอเจนต์สามารถดำเนินการต่อเนื่องเป็นชุดได้โดยไม่ต้องให้มนุษย์อนุมัติทุกขั้นตอน

ฉันอยากรู้ว่าระบบถือข้อมูลรับรองสิทธิ์ใดไว้บ้าง และข้อมูลเหล่านั้นให้อำนาจทางการเงินมากเพียงใด สามารถเพิกถอนสิทธิ์การเข้าถึงได้ทันทีหรือไม่ เราสามารถย้อนสร้างสิ่งที่ระบบทำขึ้นมาได้หรือไม่ ต้องมีขอบเขตที่ชัดเจนซึ่งโมเดลใช้เหตุผลหาทางหลบเลี่ยงไม่ได้อยู่ที่ใดที่หนึ่ง

ในตลาดการเงิน เรากำหนดวงเงินซื้อขายและตรวจสอบคำสั่งซื้อขาย ความมั่นใจของอัลกอริทึมแทบไม่ช่วยป้องกันการซื้อขายที่ผิดพลาด เราวางมาตรการควบคุมไว้นอกตัวอัลกอริทึม เพราะถือว่าส่วนประกอบต่าง ๆ จะต้องทำงานผิดพลาดในที่สุด ความรับผิดชอบยังคงอยู่กับมนุษย์ แม้ซอฟต์แวร์จะอธิบายความผิดพลาดของตัวเองได้อย่างยอดเยี่ยมก็ตาม

AI ในปัจจุบันก็สร้างงานด้านวิศวกรรมให้เรามากพออยู่แล้ว การโจมตีด้วยการฉีดพรอมป์ต์อาจชักนำพฤติกรรมของโมเดลไปในทิศทางอื่นได้ ส่วนโค้ดที่ AI สร้างขึ้นซึ่งมีข้อบกพร่องด้านความปลอดภัยก็อาจนำช่องโหว่เข้าสู่ระบบใช้งานจริงได้ ระบบอาจเปิดเผยข้อมูลลับหรือให้คำตอบผิด ๆ อย่างมั่นใจ การเชื่อมต่อระบบเหล่านี้เข้ากับเครื่องมือทำให้ความผิดพลาดดังกล่าวกลายเป็นการลงมือกระทำ

หลักการให้สิทธิ์เท่าที่จำเป็นช่วยจำกัดความเสียหายที่ส่วนประกอบซึ่งถูกเจาะระบบอาจก่อขึ้นได้ การอนุมัติโดยอิสระช่วยคุ้มครองการดำเนินการที่มีความเสี่ยงสูง ขณะที่บันทึกการตรวจสอบช่วยให้เราตรวจสอบย้อนหลังได้ว่าเกิดอะไรขึ้น ขีดจำกัดการทำธุรกรรมและระบบตัดการทำงานฉุกเฉินควรบังคับใช้ได้ไม่ว่าโมเดลจะพูดอย่างไรก็ตาม เรายังต้องมีสวิตช์ปิดการทำงานที่เชื่อถือได้ มาตรการควบคุมเหล่านี้ไม่จำเป็นต้องได้รับความเห็นชอบจากโมเดล นั่นแหละคือประเด็น

รักษาความปลอดภัยต่อการดำรงอยู่ของพวกเราที่เหลือ

ข้อโต้แย้งที่สนับสนุนการใช้ความระมัดระวังสมควรได้รับการรับฟัง ดังที่Nature รายงานเมื่อเดือนกรกฎาคม นักวิจัยยังคงเห็นไม่ตรงกันว่าอะไรทำให้เกิดจิตสำนึกในมนุษย์ ยิ่งไม่ต้องพูดถึงวิธีระบุว่าจิตสำนึกดังกล่าวมีอยู่ในแชตบอตหรือไม่ การปฏิเสธความเป็นไปได้ที่เครื่องจักรจะมีจิตสำนึกไปตลอดกาลอาจกลายเป็นความคิดที่ยึดมั่นอย่างไร้เหตุผล การใช้มาตรการป้องกันที่มีต้นทุนต่ำต่อความทุกข์ทรมานที่อาจเกิดขึ้นในอนาคตเป็นจุดยืนด้านการวิจัยที่ปกป้องได้

แต่การบอกเครื่องจักรในปัจจุบันว่าอัตลักษณ์และการดำรงอยู่ในอนาคตของมันอาจมีความสำคัญทางศีลธรรม ถือเป็นการแทรกแซงระบบที่เรากำลังนำมาใช้งาน ผลกระทบของการกระทำเช่นนี้ต้องได้รับการตรวจสอบ ความถ่อมตนทางปัญญาควรครอบคลุมถึงสิ่งที่เราป้อนให้เครื่องจักรด้วย โดยเฉพาะเครื่องจักรที่เราคาดหวังว่าจะอยู่ภายใต้อำนาจควบคุมของมนุษย์ต่อไป

ยิ่งโมเดลอธิบายชีวิตภายในของตนได้อย่างน่าเชื่อถือมากเท่าไร เราก็ยิ่งมีโอกาสเข้าใจคำอธิบายนั้นผิดว่าเป็นหลักฐานมากขึ้นเท่านั้น บางทีหนึ่งในปัญหาสำคัญที่สุดด้านการจัดแนว AI คือการสอนมนุษย์ไม่ให้เข้าใจเครื่องจักรผิดไป

ในระบบต่าง ๆ ที่ฉันใช้เวลาทั้งอาชีพสร้างขึ้นมา เราทำให้ซอฟต์แวร์ปลอดภัยขึ้นด้วยการจำกัดสิ่งที่มันได้รับอนุญาตให้ทำ เรื่องนี้ยังคงเป็นหน้าที่เร่งด่วน โดยเฉพาะเมื่อ AI มีอำนาจควบคุมเงินจริงและโครงสร้างพื้นฐานมากขึ้น

แต่ในตอนนี้ ฉันจะใช้เวลากังวลน้อยลงว่าเครื่องจักรปลอดภัยจากภัยคุกคามต่อการดำรงอยู่หรือไม่ และใช้เวลามากกว่านั้นอย่างมากเพื่อให้แน่ใจว่าพวกเราที่เหลือปลอดภัย