มนุษย์ต้องรั้งชีวิตไว้ขณะ AI เร่งความเร็วการส่งมอบซอฟต์แวร์

ตลอดส่วนใหญ่ของประวัติศาสตร์การพัฒนาซอฟต์แวร์ คนเป็นผู้ควบคุม นักพัฒนาทำการเปลี่ยนแปลง คนอื่นทำการตรวจสอบ ผู้ใดผู้หนึ่งอนุมัติ และในที่สุดก็ถูกนำไปใช้งาน

AI กำลังเร่งความเร็วของระบบทั้งหมดนั้นในขณะที่เรายังคงพยายามให้คนอยู่ตรงกลางของมัน นักพัฒนาตอนนี้สามารถสร้างโค้ดและการเปลี่ยนแปลงได้ในไม่กี่วินาที ตัวแทนสามารถทำงานข้ามคลังโค้ด เครื่องมือ โครงสร้างพื้นฐาน และระบบอื่น ๆ ด้วยการมีส่วนร่วมของมนุษย์ที่น้อยลง

สัญชาตญาณของเราคือการนำมนุษย์กลับเข้าสู่กระบวนการ เราตรวจสอบ pull request, อนุมัติการเรียกใช้เครื่องมือ, ตรวจสอบการเปลี่ยนแปลง, และยืนยันการปรับใช้ เพราะเราต้องการให้แน่ใจว่า AI ไม่ได้ทำสิ่งที่ไม่ควรทำ เราต้องรั้งชีวิตไว้

สัญชาตญาณนั้นมีเหตุผล การตรวจสอบโดยมนุษย์ทำให้เรามีวิธีควบคุมเมื่อซอฟต์แวร์ก้าวสู่การผลิต แต่ AI เริ่มทำงานด้วยความเร็วและปริมาณที่มนุษย์ไม่สามารถเป็นหน่วยสเกลสำหรับการกำกับได้

AI กำลังเคลื่อนที่เร็วกว่า การตรวจสอบของมนุษย์

คลื่นแรกของ AI สร้างสรรค์ในด้านการพัฒนาซอฟต์แวร์มุ่งเน้นที่การช่วยนักพัฒนียนโค้ดให้เร็วขึ้น สิ่งนั้นเพียงอย่างเดียวก็เปลี่ยนการส่งมอบซอฟต์แวร์แล้ว โค้ดที่เพิ่มขึ้นหมายถึงการเปลี่ยนแปลงของแอปพลิเคชัน, โครงสร้างพื้นฐาน, และฐานข้อมูลที่ต้องผ่านการทดสอบ, ความปลอดภัย, การตรวจสอบ, การปรับใช้, และการผลิต

ปัญหาไม่ได้จำเป็นว่า AI สร้างการเปลี่ยนแปลงที่แย่กว่า แต่คือมันสร้างการเปลี่ยนแปลงมากขึ้นและเร็วขึ้น หากการควบคุมของผลลัพธ์ใหม่ทั้งหมดต้องอาศัยคนตรวจสอบทุกการเปลี่ยนแปลง ในที่สุดคณิตศาสตร์ก็จะไม่ทำงาน

เรากำลังเห็นสัญญาณเหล่านี้อยู่แล้ว Anthropic รายงานว่า ผู้ใช้ Claude Code อนุมัติประมาณ 93% ของคำขออนุญาต บริษัทพบว่าคำขอที่ซ้ำกันทำให้เกิดความเหนื่อยล้าในการอนุมัติ เนื่องจากผู้คนให้ความสนใจน้อยลงเมื่อจำนวนการอนุมัติเพิ่มขึ้น Anthropic กำลังใช้ ตัวจัดประเภทอัตโนมัติ เพื่อประเมินการกระทำและหยุดการกระทำที่อาจเป็นอันตรายแทนการขอให้คนอนุมัติทุกอย่าง

ลองคิดถึงสิ่งที่นั่นบอกเกี่ยวกับการควบคุมโดยมนุษย์ หากคนคลิกอนุมัติ 93% ของเวลา การเพิ่มการอนุมัติอีกครั้งไม่ได้หมายความว่าจะได้การควบคุมมากขึ้น ในบางจุดมนุษย์ก็กลายเป็นขั้นตอนอีกหนึ่งในกระบวนการทำงาน

เราสามารถใช้ AI เพื่อสร้างซอฟต์แวร์มากขึ้น เราไม่สามารถตอบสนองโดยการสร้างทีมตรวจสอบมนุษย์ขนาดเท่ากันได้

AI กำลังย้ายจากการสร้างโค้ดไปสู่การดำเนินการ

ผู้ช่วยเขียนโค้ดทำให้ AI มีบทบาทในการพัฒนา ตัวแทนทำให้ AI สามารถมีส่วนร่วมในขั้นตอนของ SDLC มากขึ้น ตัวแทนสามารถรับเป้าหมาย, ตัดสินใจว่าจะทำอย่างไร, ใช้เครื่องมือ, สังเกตผลลัพธ์, และปรับสิ่งที่ทำต่อไป

ในวิศวกรรมซอฟต์แวร์ นั่นอาจหมายถึงการแก้ไขไฟล์, รันคำสั่ง, โต้ตอบกับคลังโค้ด, เรียก API, ทดสอบโค้ด, หรือทำงานกับโครงสร้างพื้นฐาน ผู้คนก็เริ่มคุ้นเคยกับการให้ตัวแทนทำงานด้วยตนเองมากขึ้น ในการศึกษาการโต้ตอบระหว่างมนุษย์และตัวแทนหลายล้านครั้ง Anthropic พบว่า ผู้ใช้ Claude Code ที่มีประสบการณ์ใช้การอนุมัติอัตโนมัติเต็มรูปแบบในมากกว่า 40% ของเซสชัน ซึ่งประมาณสองเท่าของอัตราผู้ใช้ใหม่

นั่นไม่ได้หมายความว่าตัวแทนอิสระกำลังรันสภาพแวดล้อมการผลิตทั่วทุกที่ในวันนี้ พวกมันไม่ได้เป็นเช่นนั้น แต่การพัฒนาซอฟต์แวร์ให้เราได้มองเห็นแนวโน้มในอนาคต

ในวันนี้ AI สร้างการเปลี่ยนแปลงมากขึ้น และการตรวจสอบโดยมนุษย์เริ่มเครียด ต่อไป AI จะเข้าร่วมในส่วนต่าง ๆ ของ SDLC มากขึ้น ในที่สุดตัวแทนจะสร้าง, ตรวจสอบ, ปรับใช้, สังเกต, และแก้ไขการเปลี่ยนแปลงด้วยการมีส่วนร่วมของมนุษย์ที่น้อยลง

ที่แต่ละขั้นตอน เรากำลังลบจุดที่คนเคยให้การควบคุมออกไป คำถามเปลี่ยนจากว่า AI สามารถทำงานได้หรือไม่ ไปเป็นว่า AI ควรได้รับอนุญาตให้ทำอะไรด้วยตนเอง

การให้สิทธิ์ไม่เท่ากับอำนาจ

ตัวแทนต้องการการเข้าถึงเพื่อทำงานที่มีประโยชน์ ตัวแทนที่ช่วยปรับใช้ซอฟต์แวร์อาจต้องการเข้าถึงคลังโค้ด, ระบบ CI/CD, สภาพแวดล้อมคลาวด์, หรือฐานข้อมูล หากเราถอดการเข้าถึงนั้นไป เราก็จะสูญเสียส่วนสำคัญที่ทำให้ตัวแทนมีประโยชน์

แต่การเข้าถึงและอำนาจไม่ใช่สิ่งเดียวกัน การให้ตัวแทนมีสิทธิ์เข้าถึงระบบไม่ได้หมายความว่าตัวแทนควรมีอำนาจทำทุกการกระทำที่มีอยู่ในระบบนั้น

การควบคุมการเข้าถึงแบบดั้งเดิมสามารถบอกได้ว่าตัวแทนมีสิทธิ์เข้าถึงบางสิ่งหรือไม่ เรายังต้องการวิธีกำหนดว่าการกระทำเฉพาะที่ตัวแทนต้องการทำควรเกิดขึ้นหรือไม่ สิ่งนี้สำคัญยิ่งเมื่อระบบที่ทำการตัดสินใจอาจตีความงานต่างจากผู้มอบหมาย, พบอุปสรรคและเลือกเส้นทางอื่น, หรือใช้เครื่องมือที่ถูกต้องในวิธีที่ไม่มีใครคาดคิด

OWASP อธิบายเวอร์ชันของปัญหานี้ว่า การทำหน้าที่เกินขอบเขต. มันชี้ให้เห็นถึงฟังก์ชัน, สิทธิ์, และอิสระที่มากเกินไปเป็นสาเหตุของการกระทำที่ทำลายและแนะนำให้มีการอนุมัติอิสระสำหรับการกระทำที่มีผลกระทบสูง

NVIDIA กำลังแก้ไขปัญหาเดียวกันในระดับสถาปัตยกรรม แพลตฟอร์ม Open Agent Safety Platform ของมันนำการบังคับใช้นโยบายออกมานอกตัวแทนและสรุปประเด็นง่าย ๆ ว่า: ตัวแทนไม่สามารถคาดหวังให้ควบคุมพฤติกรรมของตนเองได้อย่างเต็มที่

สิ่งนั้นควรกำหนดแนวทางการสร้าง AI SDLC ของเรา ตัวแทนอาจต้องการสิทธิ์ในการเข้าถึงฐานข้อมูล สิ่งแวดล้อมโครงสร้างพื้นฐาน หรือระบบการปรับใช้ ซึ่งไม่ได้หมายความว่าตัวแทนควรตัดสินใจด้วยตนเองว่าการเปลี่ยนแปลงทุกอย่างที่ต้องการทำนั้นปลอดภัยหรือไม่.

AI ตัดสินใจโดยอิงจากความน่าจะเป็น เราไม่ควรให้การตัดสินใจเหล่านั้นทั้งหมดกลายเป็นการกระทำโดยอัตโนมัติกับระบบสำคัญ.

มนุษย์ในวงจรไม่สามารถเป็นคำตอบทั้งหมดได้

การตอบสนองที่ชัดเจนคือให้คนอยู่หน้าการกระทำของ AI ที่มีผลสำคัญ สำหรับการตัดสินใจบางอย่าง นั่นคือสิ่งที่เราควรทำ ความผิดพลาดคือการทำให้ “มนุษย์ในวงจร” กลายเป็นคำตอบสำหรับการตัดสินใจทุกกรณี.

หากการกระทำทุกอย่างของตัวแทนต้องให้ใครสักคนตรวจสอบและคลิกอนุมัติ เราก็ได้สร้างคอขวดที่ AI ควรจะขจัดขึ้นใหม่ ยิ่งกว่านั้น การอนุมัติหลายครั้งอาจทำให้การควบคุมกลายเป็นนิสัย คนที่คลิกอนุมัติตลอดวันไม่ได้หมายความว่ากำลังใช้การตัดสินใจอย่างรอบคอบ.

เราต้องระมัดระวังมากขึ้นเกี่ยวกับสถานที่ที่การตัดสินใจเกิดขึ้น AI สามารถทำการตัดสินใจภายในงานที่เรามอบให้ได้ นโยบายสามารถจัดการการตัดสินใจที่กฎเกณฑ์เป็นที่ทราบอยู่แล้ว คนสามารถจัดการข้อยกเว้นและการตัดสินใจที่ต้องการการพิจารณาอย่างแท้จริง.

การเปลี่ยนแปลงที่มีความเสี่ยงต่ำและสอดคล้องกับนโยบายที่กำหนดไว้ไม่ควรต้องการให้ใครมองอยู่ การเปลี่ยนแปลงที่ละเมิดนโยบายควรหยุดโดยอัตโนมัติ ข้อยกเว้นที่มีผลกระทบต่อธุรกิจ ความปลอดภัย หรือการดำเนินงานอย่างมีนัยสำคัญอาจต้องการให้คนตัดสินใจ.

นี่เป็นโมเดลที่แตกต่างอย่างมากจากการใส่มนุษย์ในทุกวงจร เป้าหมายไม่ได้คือการกำจัดมนุษย์ แต่เพื่อหยุดทำให้การให้ความสนใจของมนุษย์เป็นสิ่งที่ทุกการกระทำต้องพึ่งพาและทำให้เส้นทางที่มีการกำกับเป็นเส้นทางที่ง่ายที่สุด.

วางการควบคุมไว้ที่จุดที่การกระทำเกิดขึ้น

องค์กรจะไม่ทำมาตรฐานบนโมเดล AI หรือเอเจนต์เดียว นักพัฒนาจะใช้ผู้ช่วยโคไพลอตที่แตกต่างกัน ทีมต่าง ๆ จะทดลองโมเดลที่หลากหลาย AI จะปรากฏในเครื่องมือของนักพัฒนา ผลิตภัณฑ์ด้านความปลอดภัย แพลตฟอร์มข้อมูล และแอปพลิเคชันภายใน.

การพยายามสร้างกระบวนการกำกับดูแลที่แตกต่างสำหรับแต่ละเครื่องมือ AI จะไม่สามารถขยายได้ การควบคุมต้องอยู่ใกล้กับการกระทำที่ AI ต้องการทำ.

หากการเปลี่ยนแปลงที่สร้างโดย AI เข้าสู่สายการปรับใช้ มันควรต้องเผชิญกับนโยบายเดียวกับการเปลี่ยนแปลงที่มนุษย์สร้าง หากเอเจนต์ต้องการแก้ไขโครงสร้างพื้นฐาน ข้อมูล หรือฐานข้อมูลการผลิต การควบคุมรอบระบบนั้นไม่ควรหายไปเพราะผู้กระทำเปลี่ยนแปลง.

แหล่งที่มาของการเปลี่ยนแปลงไม่ได้กำหนดความเสี่ยง การเปลี่ยนแปลงเองเป็นตัวกำหนด นักพัฒนา ผู้ช่วยเขียนโค้ด กระบวนการอัตโนมัติ หรือเอเจนต์อิสระอาจใช้เส้นทางที่ต่างกันเพื่อทำการเดียวกัน แต่การกระทำนั้นยังคงต้องเผชิญกับนโยบายเดียวกันก่อนที่จะมีผลสำคัญ.

สิ่งนี้ยังทำให้เทคโนโลยีสามารถเปลี่ยนแปลงได้โดยไม่ต้องบังคับให้บริษัทสร้างกระบวนการกำกับดูแลใหม่ทุกครั้ง โมเดลจะเปลี่ยนแปลง เอเจนต์จะมีความสามารถมากขึ้น การควบคุมรอบระบบสำคัญสามารถคงความสอดคล้องได้.

NIST ใช้วิธีการที่อิงความเสี่ยงคล้ายกันใน AI Risk Management Framework ของมัน ซึ่งมองว่าการกำกับดูแลเป็นสิ่งที่ต้องทำงานตลอดวงจรชีวิตของ AI แทนที่จะเป็นการอนุมัติครั้งเดียวในตอนท้าย สำหรับการส่งมอบซอฟต์แวร์ นั่นหมายถึงการใส่การควบคุมเข้าไปในเส้นทางที่ AI ใช้แล้ว ไม่ใช่การต่อกระบวนการแบบแมนนวลเพิ่มเติม.

เมื่อมนุษย์ออกจากกระบวนการ หลักฐานก็ไม่สามารถหายไปกับพวกเขาได้

มีปัญหาอื่นซ่อนอยู่ในโมเดลการตรวจสอบโดยมนุษย์ เมื่อคุณลบคนออกจากกระบวนการ คุณไม่ได้เสียการตรวจสอบเพียงอย่างเดียว แต่คุณอาจสูญเสียคนที่ช่วยยืนยันว่าการตรวจสอบได้เกิดขึ้น.

สิ่งนี้กลายเป็นปัญหาใหญ่สำหรับบริษัทที่มีข้อกำหนดด้านความปลอดภัย การปฏิบัติตามกฎระเบียบ และการตรวจสอบ พวกเขายังคงต้องรู้ว่ามีการเปลี่ยนแปลงอะไร ใครหรืออะไรเป็นผู้เริ่มต้น นโยบายใดที่ใช้ การเปลี่ยนแปลงผ่านหรือไม่ ใครอนุมัติข้อยกเว้น การเปลี่ยนแปลงดำเนินการที่ไหน และเกิดอะไรขึ้นต่อมา.

คุณไม่สามารถทำให้การเปลี่ยนแปลงเป็นอัตโนมัติแล้วปล่อยให้หลักฐานเป็นแบบแมนนวลได้ ในกระบวนการที่มนุษย์เป็นผู้ขับเคลื่อน ทีมสามารถสร้างหลักฐานใหม่ภายหลังจากตั๋ว การอนุมัติ บันทึกของสายการปรับใช้ ภาพหน้าจอ และการสนทนา วิธีการนี้จะยากขึ้นเมื่อปริมาณการเปลี่ยนแปลงเพิ่มขึ้นและกลายเป็นสิ่งที่ไม่เป็นจริงเมื่อเครื่องจักรสร้างและดำเนินการเปลี่ยนแปลงอย่างต่อเนื่อง.

หลักฐานต้องกลายเป็นส่วนหนึ่งของกระบวนการส่งมอบ การตัดสินใจตามนโยบาย การอนุมัติ ข้อยกเว้น การปรับใช้ และผลลัพธ์ควรสร้างบันทึกขณะทำงานอยู่ หลักฐานการตรวจสอบจึงกลายเป็นผลพลอยได้ของการส่งมอบซอฟต์แวร์ ไม่ใช่สิ่งที่ทีมต้องรวบรวมภายหลัง.

ดังนั้นการกำกับดูแลใน SDLC ที่ขับเคลื่อนด้วย AI มีสองหน้าที่ที่แตกต่างกัน ก่อนการกระทำ ต้องกำหนดว่าควรทำหรือไม่ หลังการกระทำ ต้องพิสูจน์ว่ามีอะไรเกิดขึ้น.

มนุษย์จะไม่หายไป งานของเรากำลังเปลี่ยนแปลง

มีสัญชาตญาณที่เข้าใจได้ในการวัดการควบคุมโดยจำนวนครั้งที่คนเข้ามามีส่วนร่วม การตรวจสอบมากขึ้นทำให้รู้สึกปลอดภัย การอนุมัติมากขึ้นทำให้รู้สึกปลอดภัย การรักษามนุษย์ในทุกวงจรทำให้รู้สึกปลอดภัย.

AI จะทดสอบสมมติฐานนั้น หาก AI ยังคงเพิ่มปริมาณซอฟต์แวร์ที่เราสามารถสร้างได้มนุษย์จะไม่สามารถตรวจสอบการเปลี่ยนแปลงทุกอย่าง อนุมัติการกระทำทุกอย่าง เฝ้าดูการปรับใช้ทุกครั้ง และสร้างการตัดสินใจใหม่หลังจากนั้นได้ การพยายามทำเช่นนั้นจะทำให้ AI ชะลอหรือทำให้การควบคุมของมนุษย์กลายเป็นเพียงตราประทับเท่านั้น.

AI SDLC ต้องการการแบ่งงานที่แตกต่างกัน AI สามารถทำงานส่วนใหญ่ได้ในขณะที่นโยบายควบคุมการตัดสินใจที่ทำซ้ำได้และคนเข้ามาแทรกแซงเมื่อมีสิ่งที่ต้องการการตัดสินใจอย่างแท้จริง หลักฐานควรได้รับการสร้างโดยอัตโนมัติตลอดกระบวนการ

เราจะให้ AI เข้าถึงมากขึ้นเพราะนั่นคือวิธีที่มันจะเป็นประโยชน์ เราจะให้เอเจนต์มีอิสระมากขึ้นเพราะนั่นคือวิธีที่เราจะได้ประโยชน์จากพวกมันมากขึ้น ความท้าทายคือการทำให้แน่ใจว่าการเข้าถึงและอิสระที่เพิ่มขึ้นจะไม่กลายเป็นอำนาจที่ไม่มีขอบเขตโดยเงียบ ๆ

มนุษย์ไม่จำเป็นต้องยึดติดมากขึ้น เป้าหมายไม่ใช่การลดการควบคุม แต่เป็นโมเดลการควบคุมที่ไม่ต้องพึ่งพาให้เรายึดถือการตัดสินใจทุกอย่างด้วยตนเอง เราต้องสร้างกลไกควบคุมที่ทำให้เราสามารถผ่อนคลายการยึดถือโดยไม่สูญเสียการควบคุม