Sapan Pandya วิศวกรซอฟต์แวร์อาวุโสและสมาชิกอาวุโสของ IEEE – ชุดบทสัมภาษณ์

Sapan Pandya เป็นวิศวกรซอฟต์แวร์อาวุโสและสมาชิกอาวุโสของ IEEE ที่ประจำอยู่ในรัฐนิวเจอร์ซีย์ โดยมีประสบการณ์ด้านระบบธุรกรรมแบบกระจายที่ทนทานมากกว่า 10 ปี งานของเขาครอบคลุมความถูกต้องสมบูรณ์ของธุรกรรม การผสานรวมซอฟต์แวร์เข้ากับอุปกรณ์จริง การแก้ไขปัญหาในระบบที่ใช้งานจริง และการตรวจสอบความถูกต้องก่อนนำระบบไปใช้งานในสภาพแวดล้อมที่อยู่ภายใต้การกำกับดูแล เขาสำเร็จการศึกษาระดับปริญญาโทด้านวิทยาการคอมพิวเตอร์จาก Stevens Institute of Technology และมีส่วนร่วมในการพิจารณาผลงานทางวิชาการและการวิจัยด้านเทคนิค

งานวิจัยของ Pandya สำรวจประเด็นความมั่นคงปลอดภัยทางไซเบอร์ของคีออสก์ ปัญญาประดิษฐ์ที่ขอบเครือข่าย และวิศวกรรมความน่าเชื่อถือที่มี AI ช่วยสนับสนุน ขณะที่ประสบการณ์ทำงานกับระบบจริงทำให้เขาให้ความสำคัญกับหลักฐาน ผลลัพธ์ของธุรกรรม และความรับผิดชอบในการปฏิบัติงาน ในบทสัมภาษณ์นี้ เขาพูดถึงการทำงานซ้ำโดยไม่ก่อผลซ้ำ ระเบียนธุรกรรมที่ขัดแย้งกัน ความไม่แน่นอนในระบบกู้คืน และมาตรการควบคุมที่จำเป็นก่อนที่เอเจนต์ AI จะทำงานกับโครงสร้างพื้นฐานที่มีความสำคัญต่อภารกิจได้ เขาแยกแยะประสบการณ์ด้านวิศวกรรมเชิงปฏิบัติออกจากงานวิจัยที่ดำเนินการผ่านการวิเคราะห์วรรณกรรมและการทดสอบแบบควบคุมหรือการทดสอบด้วยข้อมูลสังเคราะห์

เส้นทางอาชีพของคุณมุ่งเน้นเรื่องความน่าเชื่อถือของซอฟต์แวร์และระบบธุรกรรมแบบกระจาย ประสบการณ์ดังกล่าวหล่อหลอมความเข้าใจของคุณเกี่ยวกับความน่าเชื่อถืออย่างไร และความท้าทายใดบ้างที่ส่งผลต่อมุมมองของคุณเกี่ยวกับการใช้ AI จัดการระบบที่ซับซ้อน

มุมมองของผมเปลี่ยนจากการถามว่าส่วนประกอบหนึ่งทำงานได้หรือไม่ มาเป็นการถามว่าธุรกรรมของลูกค้าเสร็จสมบูรณ์และตรวจสอบบัญชีได้หรือไม่

ช่วงแรกของอาชีพ ผมให้ความสนใจกับการทำงานของแอปพลิเคชันเป็นส่วนใหญ่ ไม่ว่าจะเป็นการตรวจสอบข้อมูลขาเข้า การจัดการการตอบกลับ และการทำให้แน่ใจว่าส่วนติดต่อผู้ใช้ดำเนินไปตามขั้นตอนการทำงานที่กำหนดไว้ เมื่อความรับผิดชอบของผมขยายไปถึงการผสานรวมระบบ การแก้ไขปัญหาในระบบที่ใช้งานจริง และการตรวจสอบความถูกต้องก่อนนำระบบไปใช้งาน ผมจึงต้องมองให้ไกลกว่าส่วนประกอบแต่ละส่วน

บริการหนึ่งอาจทำงานเสร็จแล้ว ขณะที่อีกบริการยังรอการยืนยันอยู่ ซอฟต์แวร์อาจบันทึกว่าการดำเนินการสำเร็จแล้ว แต่อุปกรณ์จริงกลับไม่สามารถให้ผลลัพธ์ตามที่คาดหวังได้ การที่ส่วนประกอบแต่ละส่วนผ่านการทดสอบเพียงอย่างเดียว ไม่ได้ยืนยันว่าการทำงานร่วมกันทั้งหมดจะเป็นไปอย่างถูกต้อง

ประสบการณ์ดังกล่าวทำให้ผมสนใจเป็นพิเศษกับจุดเชื่อมต่อระหว่างระบบต่าง ๆ ส่วนประกอบแต่ละส่วนรู้อะไรบ้าง กำลังตั้งสมมติฐานอะไรไว้ และจะเกิดอะไรขึ้นเมื่อสมมติฐานเหล่านั้นไม่เป็นจริงอีกต่อไป

ประสบการณ์นี้ยังส่งผลต่อวิธีคิดของผมเกี่ยวกับ AI ด้วย การช่วยให้วิศวกรรวบรวมหลักฐาน มองเห็นรูปแบบ และตรวจสอบข้อขัดข้องได้เร็วขึ้นนั้นมีคุณค่าอย่างแท้จริง แต่คำอธิบายว่าอะไรน่าจะเกิดขึ้นนั้นต่างจากการยืนยันว่าอะไรเกิดขึ้นจริง

ผมต้องการให้ AI ช่วยลดความพยายามในการตรวจสอบปัญหา โดยไม่ลดมาตรฐานด้านหลักฐานที่จำเป็นต่อการแก้ไขปัญหานั้น

คุณเน้นย้ำว่าโค้ดที่ถูกต้องในทางเทคนิคไม่ได้รับประกันเสมอไปว่าธุรกรรมจะได้ผลลัพธ์ที่ถูกต้อง ช่วยยกตัวอย่างที่เป็นรูปธรรมให้ฟังได้ไหมว่า ธุรกรรมหนึ่งดูเหมือนล้มเหลวเพราะหมดเวลา ทั้งที่ดำเนินการเสร็จสมบูรณ์แล้ว จะเกิดอะไรผิดพลาดได้บ้างเมื่อระบบลองดำเนินการซ้ำโดยอัตโนมัติ และวิศวกรควรป้องกันไม่ให้เกิดธุรกรรมซ้ำอย่างไร

ลองพิจารณาการชำระเงินสมมติจำนวน 50 ดอลลาร์ แอปพลิเคชันส่งคำขอ บริการชำระเงินบันทึกธุรกรรมนั้นสำเร็จ แต่การตอบกลับสูญหายไปก่อนจะส่งถึงแอปพลิเคชัน

ลูกค้าเห็นข้อความแจ้งว่าหมดเวลา ทั้งที่การชำระเงินเกิดขึ้นแล้ว หากแอปพลิเคชันส่งคำขอชำระเงินใหม่ ลูกค้าอาจถูกเรียกเก็บเงินอีกครั้ง

การหมดเวลาบอกคุณเพียงว่าการตอบกลับมาไม่ทันเวลา แต่ไม่ได้บอกว่าธุรกรรมที่อยู่เบื้องหลังสำเร็จหรือไม่

มาตรการป้องกันที่ใช้กันทั่วไปอย่างหนึ่งคือการทำซ้ำคำขอโดยไม่ก่อผลซ้ำ กล่าวคือ อนุญาตให้ส่งคำขอเชิงตรรกะเดียวกันซ้ำได้โดยไม่ทำให้เกิดผลทางการเงินซ้ำ แอปพลิเคชันจะเก็บรหัสประจำการดำเนินการเดิมไว้ระหว่างการลองใหม่ และบริการที่รับคำขอจะจดจำว่าเป็นคำขอเดิม ไม่ใช่การซื้อรายการใหม่

สิ่งสำคัญไม่ใช่แค่การแนบรหัสประจำรายการเข้าไป บริการต้องบังคับใช้รหัสดังกล่าวและเก็บข้อมูลไว้เพียงพอที่จะแยกแยะการดำเนินการที่เสร็จสมบูรณ์แล้วออกจากรายการที่ยังอยู่ระหว่างดำเนินการได้ รหัสประจำรายการไม่อาจป้องกันการดำเนินการขั้นถัดไปที่ไม่สนใจรหัสดังกล่าว

เมื่อผลลัพธ์ยังไม่แน่ชัด ขั้นตอนการกู้คืนควรตรวจสอบธุรกรรมที่มีอยู่และกระทบยอดระเบียนที่เกี่ยวข้อง แทนที่จะสร้างรายการใหม่ขึ้นมาทันที

ผมจะกำหนดขีดจำกัดของการลองใหม่ด้วย และระบุให้ชัดว่าจะทำอย่างไรเมื่อการกู้คืนโดยอัตโนมัติไม่สามารถยืนยันผลลัพธ์ได้ ลูกค้าควรเห็นสถานะรอดำเนินการที่ชัดเจนและมีช่องทางแก้ไขปัญหา ไม่ใช่ถูกเรียกเก็บเงินซ้ำหรือเห็นหน้าจอประมวลผลไม่รู้จบ

ในระบบแบบกระจาย ฐานข้อมูล บริการแบ็กเอนด์ และคีออสก์จริงอาจรายงานข้อมูลที่ขัดแย้งกันเกี่ยวกับธุรกรรมเดียวกันได้ คุณเคยพบความไม่สอดคล้องลักษณะนี้ในระบบที่ใช้งานจริงหรือไม่ และตรวจสอบกับแก้ไขอย่างไร หาก AI มีบทบาทในการกระทบยอดระเบียนที่ขัดแย้งกันนี้ บทบาทนั้นจะเป็นอย่างไร

ใช่ การตรวจสอบความไม่สอดคล้องของสถานะธุรกรรมเป็นส่วนหนึ่งของงานที่ผมทำกับระบบจริง เพื่ออธิบายแนวคิดโดยไม่กล่าวถึงเหตุการณ์ในที่ทำงาน ผมจะยกตัวอย่างสมมติขึ้นมา

ลองพิจารณาระบบชำระเงินแบบบริการตนเองทั่วไป ระบบชำระเงินบันทึกว่าการซื้อสำเร็จ เครื่องพิมพ์แจ้งว่ารับงานพิมพ์ใบเสร็จแล้ว จากนั้นหน้าจอแสดงข้อผิดพลาด ข้อมูลเหล่านี้อาจบ่งชี้ถึงขั้นตอนต่าง ๆ ของการทำรายการ มากกว่าจะยืนยันว่าการซื้อทั้งหมดไม่สำเร็จ

ผมจะเริ่มจากสร้างลำดับเหตุการณ์ขึ้นใหม่ โดยใช้รหัสธุรกรรมและบันทึกของบริการกับอุปกรณ์ที่เกี่ยวข้อง จากนั้นจะตรวจสอบว่าข้อมูลแต่ละรายการยืนยันอะไรได้บ้าง การที่เครื่องพิมพ์รับงานแล้วไม่ได้แปลเสมอไปว่ากระดาษไปถึงมือลูกค้าแล้ว เช่นเดียวกับการที่ระบบได้รับคำขอ ก็ไม่ได้ยืนยันเสมอไปว่าผลทางการเงินของคำขอนั้นได้รับการบันทึกเรียบร้อยแล้ว

แนวทางแก้ไขขึ้นอยู่กับว่าขั้นตอนใดล้มเหลว หากต้องจัดการเฉพาะขั้นตอนการพิมพ์ การทำธุรกรรมทั้งหมดซ้ำอาจไม่เหมาะสม ในกรณีที่หลักฐานที่มีอยู่ไม่เพียงพอจะยืนยันได้ว่าเกิดอะไรขึ้น ควรควบคุมการดำเนินการที่ได้รับผลกระทบไว้ระหว่างที่มีผู้ตรวจสอบ

การแก้ไขให้ปัญหาไม่เกิดซ้ำยังต้องจัดการกับสาเหตุที่ทำให้ข้อมูลไม่สอดคล้องกันได้ ไม่ใช่เพียงแก้ไขระเบียนใดระเบียนหนึ่ง

AI อาจช่วยเชื่อมโยงเหตุการณ์และระบุข้อมูลที่ขาดหายไปได้ ผมจะให้ AI นำเสนอคำอธิบายที่เป็นไปได้หลายแบบ พร้อมหลักฐานสนับสนุนแต่ละแบบ ควรใช้ AI เพื่อช่วยจำกัดขอบเขตการตรวจสอบ ไม่ใช่ให้ตัดสินว่าระเบียนที่ขัดแย้งกันควรเชื่อถือระเบียนใด เพียงเพราะคำอธิบายนั้นฟังดูน่าเชื่อที่สุด

เมื่อ AI agent พัฒนาจากการวินิจฉัยเหตุขัดข้องในระบบจริงไปสู่การแนะนำหรือดำเนินการกู้คืน ควรมีมาตรการป้องกันใดบ้างก่อนอนุญาตให้ระบบ AI ลองทำธุรกรรมซ้ำ กลับรายการ หรือแก้ไขธุรกรรมได้ กลไกควบคุมแบบกำหนดแน่นอน เช่น คีย์ idempotency บันทึกธุรกรรม และกลไกกระทบยอด จะช่วยป้องกันไม่ให้ AI ก่อเหตุขัดข้องเพิ่มเติมได้อย่างไร

ผมจะแยกการเสนอแนวทางดำเนินการออกจากการอนุมัติและลงมือดำเนินการ

AI agent อาจแนะนำให้ลองทำรายการซ้ำ แต่ควรมีกลไกควบคุมอีกส่วนหนึ่งเป็นผู้พิจารณาว่าอนุญาตให้ทำซ้ำได้หรือไม่ โดยต้องตรวจสอบสถานะปัจจุบันของธุรกรรม ลักษณะเฉพาะของการดำเนินการ สิทธิ์ของ agent และเงื่อนไขที่ทำให้การดำเนินการนั้นปลอดภัย

การตรวจสอบดังกล่าวต้องเกิดขึ้นขณะดำเนินการ ไม่ใช่แค่ตอนที่โมเดลตรวจสอบเหตุขัดข้องในครั้งแรก เพราะระหว่างนั้นกระบวนการอื่นอาจทำธุรกรรมเสร็จสิ้นไปแล้ว

เครื่องมือที่ agent ใช้ได้ก็ควรมีขอบเขตจำกัดเช่นกัน สิทธิ์ในการเรียกดูสถานะธุรกรรมแตกต่างจากสิทธิ์ในการกลับรายการชำระเงินหรือแก้ไขระเบียนทางการเงิน agent ไม่ควรขยายอำนาจของตนเองได้เพียงเพราะแนวทางที่ตนต้องการใช้จำเป็นต้องมีสิทธิ์เข้าถึงมากขึ้น

กลไก idempotency ช่วยจำกัดผลกระทบจากการดำเนินการซ้ำ บันทึกช่วยเก็บประวัติที่จำเป็นต่อการตรวจสอบ ส่วนการกระทบยอดช่วยตรวจสอบว่าระเบียนที่เกี่ยวข้องสอดคล้องกันหรือไม่ อย่างไรก็ตาม ไม่มีสิ่งใดในกลไกเหล่านี้เพียงอย่างเดียวที่ยืนยันได้ว่าการดำเนินการที่เสนอมีความเหมาะสม

ผมจะบันทึกหลักฐานที่ใช้ คำแนะนำ การตัดสินใจอนุมัติ และผลลัพธ์ที่เกิดขึ้นจริงด้วย เพื่อให้สามารถตรวจสอบการดำเนินการดังกล่าวย้อนหลังได้

ซอฟต์แวร์ภายนอกโมเดลควรเป็นผู้บังคับใช้มาตรการควบคุมเหล่านี้ และต้องทดสอบได้ คำสั่งที่กำชับให้ agent ระมัดระวังเป็นแนวทางที่มีประโยชน์ แต่ไม่ใช่กลไกอนุมัติการดำเนินการ

ลองพิจารณาสถานการณ์ที่ระบบ AI สำหรับเฝ้าติดตามตรวจพบว่าอาจเกิดความล้มเหลวในการทำธุรกรรม และแนะนำให้กลับรายการโดยอัตโนมัติ หากธุรกรรมสำเร็จจริงแต่การยืนยันล่าช้า การดำเนินการดังกล่าวอาจก่อปัญหาใหม่ ทีมวิศวกรควรออกแบบระบบกู้คืนที่ขับเคลื่อนด้วย AI อย่างไร เพื่อให้ระบบรับรู้ถึงความไม่แน่นอนและหลีกเลี่ยงการแก้ไขโดยอาศัยข้อมูลที่ไม่ครบถ้วน

ระบบจำเป็นต้องมีสถานะ “ยังไม่ทราบผลลัพธ์” อย่างแท้จริง มิฉะนั้นระบบมีแนวโน้มจะตีความข้อมูลที่ขาดหายไปผิดว่าเป็นความล้มเหลว

การยืนยันที่ล่าช้าเป็นเหตุให้ต้องตรวจสอบ ไม่ใช่เหตุให้กลับรายการธุรกรรมโดยอัตโนมัติ การกลับรายการเองก็เป็นธุรกรรมทางการเงินอีกอย่างหนึ่งที่มีผลตามมา จึงต้องมีเหตุผลที่ตรวจสอบยืนยันได้โดยอิสระและได้รับอนุมัติอย่างเหมาะสม

ผมจะแยกการตอบสนองออกเป็นสองแนวทาง แนวทางตรวจสอบสามารถเรียกดูสถานะ รวบรวมเหตุการณ์ที่ขาดหาย เปรียบเทียบระเบียน และแจ้งทีมที่รับผิดชอบได้ ส่วนแนวทางดำเนินการทางการเงินจะยังถูกระงับไว้จนกว่าจะเป็นไปตามเงื่อนไข

วิธีนี้ช่วยป้องกันไม่ให้คะแนนความมั่นใจของ AI ถูกใช้แทนหลักฐานเกี่ยวกับธุรกรรม โมเดลอาจมั่นใจอย่างมากในคำอธิบายที่สร้างขึ้นจากข้อมูลไม่ครบถ้วน

ต้องกำหนดจุดส่งต่อเพื่อยกระดับการจัดการไว้อย่างชัดเจนด้วย การปล่อยให้ธุรกรรมค้างอยู่โดยไม่มีกำหนดไม่ใช่ผลลัพธ์ที่น่าพอใจสำหรับลูกค้า ควรมีผู้รับผิดชอบกรณีที่ยังหาข้อยุติไม่ได้ พร้อมข้อมูลบริบทมากพอที่จะตัดสินใจเลือกขั้นตอนถัดไปอย่างปลอดภัย

ดังนั้น กระบวนการกู้คืนควรสามารถแจ้งได้ทั้งว่า “ตอนนี้ยังไม่มีเหตุผลเพียงพอที่จะเปลี่ยนแปลงธุรกรรมนี้” และ “นี่คือสิ่งที่ต้องดำเนินการเพื่อแก้ไขปัญหา”

การรับรู้ถึงความไม่แน่นอนจะมีประโยชน์ก็ต่อเมื่อระบบมีวิธีจัดการกับความไม่แน่นอนนั้นได้จริง

หนึ่งในประเด็นสำคัญที่สุดเกี่ยวกับ AI แบบทำงานอัตโนมัติคือ การพิจารณาว่าเมื่อใดที่ยังจำเป็นต้องได้รับอนุมัติจากมนุษย์ คุณคิดว่าควรอนุญาตให้ AI ดำเนินการใดในการกู้คืนระบบที่ใช้งานจริงได้โดยอิสระ และการดำเนินการใดที่ควรต้องได้รับอนุญาตจากมนุษย์เสมอ องค์กรควรกำหนดขอบเขตเหล่านี้อย่างไร ในกรณีที่มีธุรกรรมทางการเงิน การปฏิบัติตามกฎระเบียบ หรือความไว้วางใจของลูกค้าเป็นเดิมพัน

ผมจะกำหนดขอบเขตโดยพิจารณาจากผลที่จะเกิดขึ้นหากตัดสินใจผิด ไม่ใช่จากการที่การดำเนินการนั้นถูกเรียกว่า “AI” หรือไม่

การตรวจสอบแบบอ่านอย่างเดียวเป็นจุดเริ่มต้นที่เหมาะสม หากตัวแทนเข้าถึงได้เฉพาะข้อมูลที่ได้รับอนุญาต ตัวแทนสามารถรวบรวมบันทึกเพื่อวินิจฉัยปัญหา จัดกลุ่มการแจ้งเตือนที่เกี่ยวข้อง และจัดทำสรุปเหตุการณ์ได้ โดยไม่เปิดให้แก้ไขธุรกรรมต้นทาง

ขั้นตอนการกู้คืนที่กำหนดไว้ล่วงหน้าบางอย่างก็อาจเหมาะแก่การทำงานอัตโนมัติเช่นกัน หากมีการตรวจสอบเงื่อนไขของขั้นตอนเหล่านั้นอย่างเป็นอิสระ และจำกัดผลกระทบไว้ได้

ผมจะกำหนดให้ต้องได้รับอนุญาตจากมนุษย์เมื่อการดำเนินการที่เสนออยู่นอกขั้นตอนที่อนุมัติไว้ เมื่อข้อมูลในบันทึกขัดแย้งกันและยังหาข้อสรุปเกี่ยวกับผลทางการเงินไม่ได้ หรือเมื่อการดำเนินการนั้นจะเปลี่ยนแปลงมาตรการควบคุมความปลอดภัยหรือสิทธิ์ของตัวแทนเอง ตัวแทนไม่ควรเป็นผู้อนุมัติการตัดสินใจเหล่านี้ด้วยตนเอง

นั่นไม่ได้หมายความว่าการดำเนินงานทางการเงินตามปกติทุกอย่างต้องให้บุคคลอนุมัติ การประมวลผลตามกฎที่กำหนดไว้แล้วแตกต่างจากการปล่อยให้โมเดลคิดวิธีแก้ไขขึ้นมาเองระหว่างเกิดเหตุการณ์

การตรวจสอบโดยมนุษย์ต้องมีความหมายด้วย หน้าจออนุมัติควรแสดงหลักฐานประกอบ ความไม่แน่นอนที่ยังเหลืออยู่ ผลที่คาดว่าจะเกิดขึ้น และทางเลือกที่มีอยู่ การขอให้ใครสักคนอนุมัติข้อความที่เขียนอย่างมั่นใจโดยไม่มีบริบทเหล่านี้แทบไม่ได้ช่วยเพิ่มการคุ้มครองเลย

ควรตกลงกำหนดขอบเขตเหล่านี้ให้เรียบร้อยก่อนนำระบบไปใช้งาน ช่วงที่ระบบขัดข้องไม่ใช่เวลาที่เหมาะจะมาตัดสินว่าระบบอัตโนมัติควรมีอำนาจมากน้อยเพียงใด

คุณมีประสบการณ์อย่างกว้างขวางในการทำงานกับระบบแบ็กเอนด์ที่ทนทานต่อความขัดข้อง เครื่องมือด้านการสังเกตการณ์ระบบ และการผสานการทำงานระหว่างบริการซอฟต์แวร์กับฮาร์ดแวร์จริง ตัวแทน AI จำเป็นต้องใช้ข้อมูลเทเลเมทรีและหลักฐานจากระบบที่ใช้งานจริงประเภทใดบ้าง จึงจะวินิจฉัยเหตุการณ์ได้อย่างน่าเชื่อถือ ทีมวิศวกรรมจะแยกคำแนะนำที่ AI สร้างขึ้นซึ่งมีประโยชน์ ออกจากข้อสรุปที่ฟังดูเป็นไปได้แต่ไม่ถูกต้องและอาจทำให้ระบบขัดข้องหนักขึ้นได้อย่างไร

ผมจะเริ่มจากหลักฐานที่เชื่อมโยงการดำเนินงานของลูกค้าข้ามระบบต่าง ๆ ที่เกี่ยวข้อง ได้แก่ ตัวระบุธุรกรรม เหตุการณ์ที่เกิดขึ้นในบริการ การเปลี่ยนแปลงสถานะที่บันทึกไว้อย่างถาวร การตอบสนองของอุปกรณ์ และความล้มเหลวในการสื่อสาร

เวอร์ชันซอฟต์แวร์และการเปลี่ยนแปลงการกำหนดค่าก็สำคัญเช่นกัน หากความล้มเหลวเริ่มขึ้นหลังการออกรุ่นซอฟต์แวร์ใหม่ นั่นย่อมเป็นเบาะแสที่มีประโยชน์สำหรับผู้ตรวจสอบ แต่การเกิดขึ้นในช่วงเวลาใกล้กันเพียงอย่างเดียวไม่ได้พิสูจน์ว่าเป็นเหตุและผล

ตัวแทนยังต้องเข้าใจข้อจำกัดของหลักฐานด้วย บันทึกอาจไม่ครบถ้วน ข้อมูลอาจมาถึงล่าช้า และนาฬิกาของระบบต่าง ๆ อาจไม่ตรงกัน การไม่มีข้อความตอบรับไม่ได้เป็นหลักฐานยืนยันว่าไม่มีการดำเนินการเกิดขึ้น

การวินิจฉัยที่เป็นประโยชน์ควรแยกสิ่งที่สังเกตพบออกจากการตีความ “ไคลเอนต์บันทึกว่าเกิดการหมดเวลารอ” คือข้อสังเกต ส่วน “แบ็กเอนด์ไม่พร้อมให้บริการ” คือคำอธิบายที่ต้องมีหลักฐานสนับสนุนเพิ่มเติม

ผมคาดหวังว่าคำแนะนำจะระบุบันทึกที่ใช้เป็นหลักฐาน อธิบายสิ่งที่ยังไม่ทราบ และระบุว่าควรตรวจสอบเพิ่มเติมอย่างไรเพื่อยืนยันหรือหักล้างข้อสรุปนั้น

จากนั้นวิศวกรควรตรวจสอบคำแนะนำที่มีผลสำคัญโดยเทียบกับบันทึกต้นฉบับ แทนที่จะเชื่อเพียงสรุปของตัวแทน เรื่องนี้สำคัญเป็นพิเศษเมื่อสรุปย่อประวัติเหตุการณ์ที่ยาวหรือมีข้อมูลขัดแย้งกัน

มาตรฐานที่ผมใช้เรียบง่ายตรงไปตรงมา คือวิศวกรอีกคนสามารถตรวจสอบหลักฐานและได้ข้อสรุปที่มีเหตุผลรองรับหรือไม่ หากคำอธิบายไม่ผ่านการตรวจสอบนี้ ก็ยังไม่พร้อมนำไปใช้ปรับเปลี่ยนระบบที่ใช้งานจริง

ในงานวิจัยที่คุณเผยแพร่เกี่ยวกับความสามารถในการรับมือกับแรนซัมแวร์ของตู้บริการลอตเตอรี่และการพนัน คุณได้ประเมินกรอบงานความมั่นคงปลอดภัยที่ใช้ AI ช่วย โดยใช้สภาพแวดล้อมจำลองตู้บริการ 500 เครื่อง ข้อค้นพบที่สำคัญที่สุดคืออะไร และผู้อ่านควรเข้าใจข้อจำกัดใดเมื่อตีความผลลัพธ์เหล่านี้ ก่อนนำสถาปัตยกรรมที่เสนอไปใช้ในสภาพแวดล้อมการทำงานจริง จำเป็นต้องตรวจสอบยืนยันเพิ่มเติมอย่างไรบ้าง

ผมต้องการศึกษาความสามารถในการรับมือให้ครอบคลุมมากกว่าการตรวจจับ กล่าวคือสภาพแวดล้อมของเครื่องปลายทางจะจำกัดการโจมตี ตรวจจับการโจมตี และกู้คืนระบบได้อย่างไร โดยยังเก็บหลักฐานของสิ่งที่เกิดขึ้นไว้

กรอบงานความมั่นคงปลอดภัยที่ยืดหยุ่นซึ่งพัฒนาขึ้นประกอบด้วยมาตรการป้องกัน การตรวจจับความผิดปกติโดยมี AI ช่วย และกลไกตอบสนองกับกู้คืนที่กำหนดไว้อย่างชัดเจน ส่วนที่ใช้ AI มุ่งเน้นการตรวจจับพฤติกรรมน่าสงสัย การทดลองนี้ไม่ได้เปิดให้ตัวแทนที่ใช้โมเดลภาษาขนาดใหญ่แก้ไขธุรกรรมทางการเงินได้ด้วยตนเอง

การประเมินใช้สภาพแวดล้อมจำลองที่แทนตู้บริการ 500 เครื่องตลอดการจำลอง 72 ชั่วโมง โดยจำลองพฤติกรรมการโจมตีด้วยแรนซัมแวร์ แทนที่จะนำระบบไปใช้กับเครื่องจริง 500 เครื่อง

เมื่อเทียบกับค่าพื้นฐานของการศึกษาซึ่งใช้แอนติไวรัสเพียงอย่างเดียว เวลาเฉลี่ยในการตรวจจับลดลงจาก 52 นาทีเหลือ 31 นาที และเวลาเฉลี่ยในการกู้คืนลดลงจาก 120 นาทีเหลือ 56 นาที

ผลลัพธ์ดังกล่าวเป็นผลจากกรอบการทำงานแบบผสมผสานภายใต้เงื่อนไขการทดลอง ไม่ควรยกผลเหล่านี้ให้เป็นผลงานของ AI เพียงอย่างเดียว หรือมองว่าเป็นการรับประกันประสิทธิภาพในสภาพแวดล้อมที่ใช้งานจริง ข้อค้นพบที่เป็นประโยชน์ประการหนึ่งคือ การตรวจพบได้เร็วขึ้นเพียงอย่างเดียวไม่ได้ช่วยให้การกู้คืนดีขึ้นในระดับเดียวกัน การออกแบบกระบวนการควบคุมความเสียหายและการกู้คืนก็มีความสำคัญเช่นกัน

ข้อจำกัดเหล่านี้มีความสำคัญ ภาระงานที่จำลองขึ้น สภาพเครือข่าย รูปแบบการโจมตี และมาตรการป้องกันพื้นฐาน ไม่ได้ครอบคลุมสภาพแวดล้อมการปฏิบัติงานทุกรูปแบบ อุปกรณ์และแอปพลิเคชันที่แตกต่างกันจำเป็นต้องผ่านการตรวจสอบยืนยันใหม่

ก่อนนำไปใช้จริง ผมต้องการทดสอบกับฮาร์ดแวร์ที่เป็นตัวแทนของการใช้งานจริง ประเมินความปลอดภัยโดยหน่วยงานอิสระ ทดสอบต่อเนื่องเป็นระยะเวลานานขึ้น และวัดอัตราการแจ้งเตือนผิดพลาดกับภาระการประมวลผลอย่างรอบคอบ

ผมจะทดสอบกระบวนการกู้คืนกับกิจกรรมธุรกรรมที่ถูกต้องตามปกติด้วย การกู้คืนอิมเมจซอฟต์แวร์ให้กลับมาใช้งานได้ยังไม่เพียงพอ หากกระบวนการนั้นทำให้ข้อมูลที่จำเป็นต่อการบันทึกบัญชีธุรกรรมที่ดำเนินการเสร็จแล้วสูญหาย

งานศึกษานี้เป็นพื้นฐานสำหรับการทดสอบเพิ่มเติม ส่วนการพิสูจน์ว่าระบบทำงานได้อย่างปลอดภัยในสภาพแวดล้อมการปฏิบัติงานจริงนั้นเป็นอีกขั้นตอนหนึ่ง

มุมมองของคุณผสานประสบการณ์ด้านวิศวกรรมการผลิตที่สั่งสมมาหลายปีเข้ากับงานวิจัยทางวิชาการเกี่ยวกับความน่าเชื่อถือของซอฟต์แวร์และความปลอดภัยที่ขับเคลื่อนด้วย AI คุณช่วยแยกให้เห็นได้ไหมว่า กลไกด้านความน่าเชื่อถือใดบ้างที่คุณลงมือพัฒนาหรือนำไปใช้งานจริงในระบบการผลิต และแนวทางใดที่คุณศึกษาในงานวิจัยหรือการทดสอบแบบจำลอง ปัจจุบันคุณมองว่าความสามารถด้านการกู้คืนที่ขับเคลื่อนด้วย AI แบบใดนำไปใช้ได้จริงแล้ว และแบบใดยังคงอยู่ในขั้นทดลองเป็นส่วนใหญ่

งานด้านการผลิตของผมครอบคลุมการพัฒนาซอฟต์แวร์และการผสานระบบ การตรวจสอบความถูกต้องของธุรกรรม การแก้ไขปัญหา การทดสอบ และการตรวจสอบความถูกต้องก่อนเผยแพร่

งานวิจัยที่ผมตีพิมพ์เป็นอีกส่วนหนึ่งของงาน และควรทำความเข้าใจงานศึกษาแต่ละชิ้นตามวิธีการและข้อจำกัดที่ระบุไว้

บทความวิจัยเกี่ยวกับแรนซัมแวร์ประเมินกรอบการทำงานด้านความปลอดภัยที่นำเสนอในสภาพแวดล้อมทดสอบจำลอง ส่วนบทความวิจัยเกี่ยวกับ AI ที่ทำงานบริเวณขอบเครือข่ายของผมเป็นการวิเคราะห์จากเอกสารเกี่ยวกับระบบอัจฉริยะบนอุปกรณ์และความเป็นไปได้ในการนำไปใช้กับเครื่องรับชำระเงิน บทความของผมใน IEEE FeedForward ศึกษาสถาปัตยกรรมด้านความน่าเชื่อถือที่มี AI ช่วย ผ่านการจำลองแบบควบคุม ซึ่งครอบคลุมการติดตามตรวจสอบ การยกระดับการแจ้งเหตุ และพฤติกรรมสำรองเมื่อระบบหลักขัดข้อง

ไม่ควรอ่านงานตีพิมพ์เหล่านั้นว่าเป็นหลักฐานว่าผมเคยติดตั้งใช้งานเอเจนต์ AI อัตโนมัติที่มีอำนาจควบคุมธุรกรรมทางการเงินจริง

หากนำไปใช้จริง ผมจะให้ความสำคัญกับเครื่องมือช่วยเหลือที่วิศวกรตรวจสอบได้ เช่น สรุปเหตุการณ์ที่เชื่อมโยงกับบันทึกต้นทาง การหาความสัมพันธ์ระหว่างการแจ้งเตือน และข้อเสนอแนะสำหรับการตรวจวินิจฉัย อย่างไรก็ตาม ยังต้องวัดประโยชน์ของเครื่องมือเหล่านี้ในสภาพแวดล้อมที่จะนำไปใช้งาน

โจทย์ที่ยากกว่าคือการกู้คืนในสถานการณ์ที่กำหนดไว้ล่วงหน้าไม่ได้ ซึ่งโมเดลต้องเลือกและดำเนินการเปลี่ยนแปลงภายใต้เงื่อนไขที่ไม่มีใครคาดการณ์ไว้ เรื่องนี้ต้องอาศัยหลักฐานในระดับที่สูงกว่าการเสนอคำแนะนำเพื่อช่วยวินิจฉัยที่เป็นประโยชน์มาก

ผมมองว่าประสบการณ์การทำงานจริงและงานวิจัยของผมส่งเสริมกัน ประสบการณ์ช่วยให้เห็นปัญหาในการปฏิบัติงานที่ผมเข้าใจ ส่วนงานวิจัยสำรวจแนวทางต่าง ๆ ซึ่งยังต้องผ่านการตรวจสอบยืนยันก่อนจึงจะพิสูจน์ได้ว่าควรนำมาใช้

เมื่อมองไปข้างหน้า ในขณะที่เอเจนต์ AI มีความสามารถมากขึ้นในการตรวจจับความผิดปกติ วินิจฉัยความขัดข้อง และประสานงานการกู้คืนในระบบแบบกระจาย คุณคิดว่าความสัมพันธ์ระหว่างระบบอัตโนมัติกับวิศวกรที่เป็นมนุษย์จะเปลี่ยนแปลงไปอย่างไร องค์กรจำเป็นต้องมีมาตรการป้องกันทางเทคนิค หลักฐานจากการปฏิบัติงาน และกลไกความรับผิดชอบแบบใดบ้าง จึงจะมอบอำนาจให้ AI ควบคุมโครงสร้างพื้นฐานการผลิตที่มีความสำคัญต่อภารกิจได้มากขึ้นอย่างมั่นใจ

ผมคาดว่า AI จะเข้ามาช่วยรวบรวมข้อมูลเพื่อให้เห็นภาพรวมของเหตุการณ์ได้มากขึ้น วิศวกรอาจเริ่มทำงานด้วยลำดับเหตุการณ์ที่เป็นประโยชน์ รายการส่วนประกอบที่ได้รับผลกระทบ คำอธิบายที่เป็นไปได้หลายแนวทาง และหลักฐานที่ยังขาด แทนที่จะต้องเสียเวลามากมายรวบรวมข้อมูลเหล่านั้นด้วยตนเอง

วิธีนี้จะทำให้ผู้คนมีเวลามากขึ้นสำหรับการตัดสินใจที่ต้องอาศัยความเข้าใจในข้อผูกพันของระบบและผลที่จะตามมาจากการเปลี่ยนแปลงระบบ

ผมจะเพิ่มขอบเขตอำนาจในการดำเนินการทีละน้อย ในช่วงแรก เอเจนต์อาจทำงานในโหมดเงา โดยจัดทำคำแนะนำแต่ไม่ลงมือทำ ทีมงานสามารถเปรียบเทียบคำแนะนำเหล่านั้นกับผลลัพธ์ที่ผ่านการตรวจทานแล้ว และทดสอบพฤติกรรมของเอเจนต์เมื่อข้อมูลขาดหาย ขัดแย้งกัน หรือล้าสมัย

การประเมินควรครอบคลุมการแทรกแซงที่ไม่ถูกต้อง ปัญหาที่ตรวจไม่พบ การยกระดับเหตุการณ์โดยไม่จำเป็น และการกู้คืนจากความผิดพลาดของเอเจนต์เอง คำแนะนำที่รวดเร็วไม่มีประโยชน์ หากทำให้ทีมรับมือเหตุการณ์มุ่งไปผิดทาง

การมอบอำนาจมากขึ้นควรมีเงื่อนไขกำกับด้วย การอัปเดตโมเดลหรือการเปลี่ยนแปลงระบบครั้งใหญ่อาจทำให้ผลการทดสอบก่อนหน้านี้ใช้ไม่ได้อีกต่อไป ทีมงานจึงต้องมีวิธีลดหรือถอนสิทธิ์ของเอเจนต์ เมื่อพฤติกรรมของเอเจนต์ไม่เป็นไปตามมาตรฐานที่กำหนดอีกต่อไป

ความรับผิดชอบของมนุษย์ไม่ได้หายไปเมื่อระบบอัตโนมัติมีความก้าวหน้าขึ้น ต้องมีผู้รับผิดชอบกฎการปฏิบัติงาน หลักฐานที่จำเป็นสำหรับการเปลี่ยนแปลง และกระบวนการตรวจสอบความขัดข้อง

ผมมองว่าวิศวกรจะใช้เวลารวบรวมข้อมูลน้อยลง และใช้เวลากำหนด ทดสอบ และดูแลเงื่อนไขที่ทำให้การดำเนินการอัตโนมัติมีเหตุผลรองรับมากขึ้น

ขอขอบคุณสำหรับบทสัมภาษณ์ที่ยอดเยี่ยมนี้ ผู้อ่านที่ต้องการติดตามผลงานของเขาด้านความน่าเชื่อถือของธุรกรรมแบบกระจายและการกู้คืนระบบโดยใช้ AI ช่วยอย่างมีความรับผิดชอบ สามารถติดต่อ Sapan Pandya ได้