วิกฤตความจำของ AI: เรากำลังสร้างยุคมืดทางดิจิทัล

ปัญญาประดิษฐ์ (AI) นับล้านกำลังเข้าสู่ระบบการผลิต แต่แทบไม่มีตัวใดเลยที่สามารถแบ่งปันประสบการณ์การใช้งานได้ นี่คือเหตุผลว่าทำไมการเลือกโครงสร้างสถาปัตยกรรมจึงมีความสำคัญ และอะไรจะเปลี่ยนแปลงไปหากเราเลือกได้อย่างถูกต้อง

เวลา 2:06 น. ลูกค้าสั่งซื้อแล็ปท็อปทางออนไลน์

ระบบแคชเชียร์ตรวจสอบฐานข้อมูลการดำเนินงาน: ประวัติการซื้อสะอาด จำนวนเงินอยู่ในช่วงปกติ ที่อยู่จัดส่งที่เคยใช้มาก่อน อุปกรณ์และสถานที่ตรงกับคำสั่งซื้อที่สำเร็จล่าสุด ทุกอย่างดูปกติ ระบบจึงอนุมัติคำสั่งซื้อ

ในขณะเดียวกัน ตัวแทนวิเคราะห์พฤติกรรมจะประมวลผลข้อมูลการคลิกในคลังข้อมูลของบริษัท จากเซสชันนั้น ตัวแทนจะแยกรูปแบบออกมาได้ นั่นคือ ผู้ใช้เข้ามายัง URL สำหรับการชำระเงินโดยตรงโดยไม่มีการเรียกดูหรือเปรียบเทียบสินค้ามาก่อน สัญญาณนี้อาจอ่อนมากหากพิจารณาเพียงอย่างเดียว แต่เป็นสัญญาณเตือนที่รู้จักกันดีในสถานการณ์การเข้ายึดบัญชี เมื่อรวมกับการซื้อสินค้าปกติทั่วไป

ตัวแทนพฤติกรรมจะบันทึกการตีความนี้ไว้เป็นความรู้ที่ได้มา เพื่อใช้ในการวิเคราะห์และฝึกฝนโมเดลในภายหลัง

พนักงานแคชเชียร์ไม่เคยเห็นข้อมูลนี้ ไม่ใช่เพราะสัญญาณนั้นไม่ได้ถูกประมวลผล และไม่ใช่เพราะสัญญาณนั้นถูกละเลย แต่เป็นเพราะข้อมูลนั้นอยู่ในระบบที่พนักงานแคชเชียร์ไม่ได้เรียกใช้ในระหว่างการตรวจสอบความถูกต้อง

ตัวแทนแต่ละตัวประพฤติตนอย่างถูกต้องตามสิ่งที่ตนมองเห็น แต่ละตัวเขียนข้อมูลลงในระบบที่ตนเป็นเจ้าของ แต่ข้อมูลเชิงลึกที่ได้จากตัวแทนตัวหนึ่งนั้น ตัวแทนอีกตัวจะมองไม่เห็นในขณะที่ทำการตัดสินใจ

แล็ปท็อปถูกจัดส่งแล้ว

สามสิบหกชั่วโมงต่อมา ยอดเงินดังกล่าวถูกโต้แย้ง การตรวจสอบยืนยันว่าบัญชีถูกแฮ็กไปก่อนหน้านี้ในวันเดียวกัน ผู้โจมตีทำธุรกรรมโดยอาศัยข้อเท็จจริงที่ว่าสัญญาณเตือนล่วงหน้าเพียงอย่างเดียวที่มีอยู่คือข้อมูลพฤติกรรมที่อยู่นอกเหนือบริบทการตัดสินใจของเจ้าหน้าที่ชำระเงิน

ความล้มเหลวไม่ได้เกิดจากการขาดข้อมูล การประมวลผลช้า หรือแบบจำลองที่ไม่ดี แต่เกิดจากระบบการทำงานแบบแยกส่วน: ความรู้ถูกสร้างขึ้น แต่ไม่ได้ถูกแบ่งปัน

และนี่คือปัญหาที่แทบไม่มีใครพูดถึง เราได้สร้างสถาปัตยกรรมที่ตัวแทน AI ที่ทำการตัดสินใจไม่สามารถเข้าถึงสิ่งที่ตัวแทน AI ตัวอื่นได้ค้นพบไปแล้ว

ปัญหาที่แท่นพิมพ์แก้ไขได้

ก่อนการประดิษฐ์แท่นพิมพ์ ความรู้เป็นสิ่งที่เปราะบาง เมื่อนักวิชาการเสียชีวิต ความรู้ส่วนใหญ่ที่พวกเขาได้ศึกษามาก็สูญหายไปด้วย นักคณิตศาสตร์ในลอนดอนอาจใช้เวลาหลายสิบปีในการค้นพบหลักการต่างๆ ซึ่งนักคณิตศาสตร์ในปารีสอาจค้นพบใหม่ได้โดยอิสระในอีกห้าสิบปีต่อมา ความก้าวหน้ามีอยู่จริง แต่เป็นความก้าวหน้าในระดับท้องถิ่น ช้า และต้องเริ่มต้นใหม่ซ้ำแล้วซ้ำเล่า

เครื่องพิมพ์ ไม่ได้ทำให้แต่ละบุคคลฉลาดขึ้น แต่มันทำให้ความทรงจำกระจายออกไปภายนอก ความรู้ไม่ได้จำกัดอยู่แค่ในจิตใจของคนๆ เดียวอีกต่อไป และเริ่มคงอยู่ต่อไปได้แม้ผู้สร้างจะเสียชีวิตไปแล้ว ความเข้าใจต่างๆ สามารถแบ่งปัน ทบทวน และต่อยอดได้ในรุ่นต่อๆ ไป นั่นคือสิ่งที่ทำให้ความก้าวหน้าทวีคูณขึ้น

เราเสี่ยงที่จะทำผิดพลาดซ้ำรอยเดิมเหมือนยุคก่อนการพิมพ์ด้วยปัญญาประดิษฐ์ (AI)

ปัจจุบันองค์กรส่วนใหญ่กำลังนำเอเจนต์ AI มาใช้งานในระบบการผลิตและยังมีอีกหลายหน่วยงานที่กำลังทดลองอย่างจริงจังในด้านต่างๆ เช่น การสนับสนุนลูกค้า การพัฒนาซอฟต์แวร์ การวิจัย และการตรวจจับการฉ้อโกง โดยทั่วไปแล้ว หน่วยงานเหล่านี้จะถูกใช้งานในฐานะบริการอิสระที่สอดคล้องกับมาตรฐานสมัยใหม่ สถาปัตยกรรมไมโครเซอร์วิสแต่ละหน่วยงานมีข้อมูลและขอบเขตการดำเนินงานของตนเอง แม้แต่ภายในองค์กรเดียวกัน หน่วยงานต่างๆ ก็ได้ข้อมูลเชิงลึกจากประสบการณ์การผลิตของตนเอง แต่แทบจะไม่แบ่งปันความรู้ที่ตนสร้างขึ้นกับหน่วยงานอื่นๆ ที่ทำการตัดสินใจในเรื่องเดียวกันเลย

ผลที่ตามมาคือ ข้อมูลเชิงลึกในการปฏิบัติงานยังคงกระจัดกระจาย การตัดสินใจในระดับท้องถิ่นอาจดีขึ้น แต่ประสบการณ์ไม่ได้สะสมไปทั่วทั้งระบบ ความก้าวหน้าทุกอย่างที่ยังคงติดอยู่ภายในตัวแทนเพียงตัวเดียว คือความก้าวหน้าที่ไม่สามารถต่อยอดได้

คราวนี้ ปัจจัยจำกัดไม่ใช่สติปัญญาหรือความเร็ว แต่เป็นหน่วยความจำ หากไม่มีวิธีที่ระบบ AI จะแสดงผลและแบ่งปันสิ่งที่ค้นพบได้ ความก้าวหน้าก็จะเริ่มต้นใหม่บ่อยกว่าที่จะสร้างขึ้นใหม่

หน่วยความจำร่วม (Shared Memory) มีลักษณะอย่างไรกันแน่

หน้าต่างบริบทที่กว้างขึ้นสามารถเสริมสร้างการให้เหตุผลของแต่ละบุคคลได้ แต่ไม่ได้สร้างบริบทที่ใช้ร่วมกัน ประสบการณ์ที่ต่อเนื่องในหมู่ตัวแทน.

หน่วยความจำร่วมเปลี่ยนผลลัพธ์ไม่ใช่ด้วยการปรับปรุงโมเดล แต่ด้วยการเปลี่ยนแปลงสิ่งที่ตัวแทนสามารถมองเห็นได้ในขณะตัดสินใจ

ในระบบที่แยกส่วนกัน ตัวแทนแต่ละตัวจะใช้เหตุผลได้อย่างถูกต้องภายในขอบเขตของตนเอง ตัวแทนการชำระเงินจะประเมินความเสี่ยงของธุรกรรม ตัวแทนพฤติกรรมจะวิเคราะห์รูปแบบการคลิก ตัวแทนแต่ละตัวจะบันทึกข้อสรุปของตนลงในระบบที่ตนเองเป็นเจ้าของ และข้อสรุปเหล่านั้นจะมองไม่เห็นสำหรับตัวแทนอื่นๆ ที่ทำงานควบคู่กันไป การตัดสินใจจึงถูกต้องในระดับท้องถิ่น แต่ไม่สมบูรณ์ในระดับโดยรวม

ด้วยเลเยอร์หน่วยความจำร่วม ขอบเขตนั้นก็จะหายไป

ขณะที่ตัวแทนพฤติกรรมประมวลผลเซสชัน มันจะได้รับสัญญาณที่อ่อนแต่มีความหมาย: รูปแบบการนำทางที่เกี่ยวข้องกับความพยายามในการเข้ายึดบัญชีในช่วงแรก แทนที่จะเก็บข้อมูลเชิงลึกนั้นไว้เพื่อการวิเคราะห์แบบออฟไลน์เท่านั้น มันจะบันทึกสัญญาณนั้นลงในหน่วยความจำที่ใช้ร่วมกัน ซึ่งเชื่อมโยงกับเซสชันที่ใช้งานอยู่

ไม่กี่นาทีต่อมา เมื่อพนักงานเก็บเงินตรวจสอบการซื้อ ระบบจะเรียกใช้ข้อมูลจากหน่วยความจำเดิม การทำธุรกรรมยังคงดูเป็นปกติ แต่คราวนี้ระบบเห็นบริบทเพิ่มเติม นั่นคือคำเตือนเกี่ยวกับพฤติกรรมที่ปกติแล้วจะไม่มีให้เห็น สัญญาณแต่ละอย่างนั้นไม่สามารถตัดสินได้ด้วยตัวเอง แต่เมื่อรวมกันแล้ว จะทำให้ต้องตรวจสอบเพิ่มเติม

ไม่มีอะไรเปลี่ยนแปลงเกี่ยวกับตัวเอเจนต์เอง ไม่มีการฝึกฝนโมเดลใหม่ ไม่มีตัวควบคุมส่วนกลางเข้ามาแทรกแซง ความแตกต่างอยู่ที่การมองเห็น: ข้อมูลเชิงลึกที่เกิดขึ้นจากเอเจนต์หนึ่งจะพร้อมใช้งานสำหรับเอเจนต์อีกตัวในขณะที่มันยังมีความสำคัญอยู่

ที่สำคัญคือ ความเข้าใจนั้นยังคงอยู่ เมื่อทราบผลลัพธ์ในภายหลัง ไม่ว่าจะเป็นการฉ้อโกงหรือถูกต้องตามกฎหมาย ความสัมพันธ์ระหว่างสัญญาณและผลลัพธ์จะถูกบันทึกไว้ เมื่อเวลาผ่านไป ระบบจะสะสมบันทึกเชิงประจักษ์ว่าตัวบ่งชี้ที่อ่อนแอตัวใดมีแนวโน้มที่จะมีความสำคัญ และภายใต้เงื่อนไขใด การตัดสินใจในอนาคตจะได้รับข้อมูลจากประสบการณ์ที่ขยายออกไปนอกเหนือจากปฏิสัมพันธ์หรือตัวแทนเพียงครั้งเดียว

หน่วยความจำร่วมไม่ใช่คลังข้อมูลและไม่ใช่ฐานข้อมูลเชิงปฏิบัติการ แต่เป็นโครงสร้างพื้นฐานที่มีความหน่วงต่ำสำหรับบริบทที่ได้มา: สัญญาณ การตีความ และความสัมพันธ์ที่ยังคงอยู่หลังจากการปฏิสัมพันธ์ที่สร้างขึ้น และยังคงสามารถสอบถามได้โดยตัวแทนอื่นๆ ที่ทำการตัดสินใจที่เกี่ยวข้อง

นี่คือวิธีการที่ประสบการณ์สะสมเพิ่มขึ้น ไม่ใช่ภายในแบบจำลองใดแบบจำลองหนึ่ง แต่เกิดขึ้นทั่วทั้งระบบ

ข้อแลกเปลี่ยนทางสถาปัตยกรรมที่อยู่เบื้องหลังการแบ่งแยกตัวแทน

การแยกส่วนของเอเจนต์ไม่ใช่ความผิดพลาดในการใช้งาน แต่เป็นผลลัพธ์ที่คาดการณ์ได้จากการออกแบบสถาปัตยกรรมองค์กรที่คำนึงถึงผู้บริโภคประเภทที่แตกต่างกัน

เป็นเวลาหลายทศวรรษแล้วที่ระบบการผลิตได้แยกภาระงานตามหน้าที่ ระบบปฏิบัติการได้รับการปรับให้เหมาะสมสำหรับธุรกรรมที่มีความหน่วงต่ำและสม่ำเสมอ ในขณะที่ระบบวิเคราะห์ได้รับการปรับให้เหมาะสมสำหรับการรวบรวมข้อมูลขนาดใหญ่และการค้นพบรูปแบบในอดีต (OLTP กับ OLAPการแยกส่วนนี้สะท้อนให้เห็นถึงวิธีการบริโภคข้อมูลเชิงลึก: ผลการวิเคราะห์ถูกสร้างขึ้นเพื่อมนุษย์ ไม่ใช่เครื่องจักร และด้วยเหตุนี้จึงคาดว่าจะมาถึงแบบไม่พร้อมกันและอยู่นอกเส้นทางสำคัญของการตัดสินใจ

เอージェนต์ AI สืบทอดโครงสร้างแบบแยกส่วนนี้มา แต่พวกมันไม่เข้ากับโครงสร้างนั้น

ผลที่ตามมาไม่ใช่แค่การรับรู้ข้อมูลเชิงลึกที่ล่าช้า แต่ยังรวมถึงจุดบอดเชิงโครงสร้างด้วย ข้อมูลเชิงลึกที่ได้จากระบบวิเคราะห์นั้น เกิดขึ้นหลังจากที่ได้มีการตัดสินใจแบบเรียลไทม์ไปแล้ว สัญญาณที่อาจเปลี่ยนแปลงผลลัพธ์นั้นมีอยู่ แต่ไม่สามารถปรากฏขึ้นได้ในขณะที่ทำการตัดสินใจ เนื่องจากสัญญาณเหล่านั้นอยู่ในระบบที่ไม่ได้ออกแบบมาให้ผู้ตัดสินใจอิสระสามารถสอบถามได้อย่างต่อเนื่อง

โครงสร้างทางสถาปัตยกรรมไม่ได้เสียหาย เพียงแต่ไม่เหมาะสมกับข้อกำหนดของระบบอัตโนมัติ

สาขาวิชาที่ขาดหายไป: วิศวกรรมบริบท

หน่วยความจำร่วมทำให้เกิดปัญหาที่ทีมส่วนใหญ่ยังไม่พร้อมรับมือ นั่นคือ การตัดสินใจว่าประสบการณ์ใดควรคงอยู่ต่อไป

ระบบ AI สร้างประสบการณ์ดิบจำนวนมหาศาล ไม่ว่าจะเป็นธุรกรรม การคลิก ข้อความ การกระทำ และผลลัพธ์ การจัดเก็บประสบการณ์ทั้งหมดนั้นไม่สามารถทำได้จริงและไม่มีประโยชน์ หากไม่มีการคัดเลือกอย่างรอบคอบ หน่วยความจำร่วมก็จะกลายเป็นเพียงเสียงรบกวน ความท้าทายไม่ได้อยู่ที่การรวบรวมข้อมูลเพิ่มเติม แต่เป็นการจัดเรียงประสบการณ์ให้เข้ากับบริบทที่ตัวแทนอื่นๆ สามารถนำไปใช้ได้

นี่คือบทบาทของ วิศวกรรมบริบท.

วิศวกรรมบริบทคือศาสตร์แห่งการตัดสินใจว่าการสังเกตการณ์ใดบ้างที่จะกลายเป็นสัญญาณที่คงอยู่ถาวร วิธีการนำเสนอสัญญาณเหล่านั้น และเวลาใดที่ควรเปิดเผยสัญญาณเหล่านั้นให้แก่ตัวแทนอื่นๆ ศาสตร์นี้อยู่ระหว่างเหตุการณ์ดิบและการให้เหตุผลของตัวแทน โดยเปลี่ยนกิจกรรมชั่วคราวให้กลายเป็นความเข้าใจร่วมกันที่เกี่ยวข้องกับการตัดสินใจ

ในทางปฏิบัติ นั่นหมายถึงการเน้นรูปแบบ ตัวชี้วัด และความสัมพันธ์แบบมีเงื่อนไข ในขณะที่ปล่อยให้ประสบการณ์ดิบส่วนใหญ่จางหายไป สัญญาณที่อ่อนแอหรือกรณีพิเศษอาจไม่สำคัญหากพิจารณาเพียงลำพัง แต่จะกลายเป็นสิ่งที่มีค่าเมื่อสะสมและปรากฏขึ้นในเวลาที่เหมาะสม

การออกแบบบริบทจะกำหนดว่าหน่วยความจำร่วมนั้นทำหน้าที่เพียงแค่จัดเก็บประสบการณ์ หรือช่วยให้ประสบการณ์นั้นทวีคูณขึ้นได้

จะเกิดอะไรขึ้นถ้าเราทำสิ่งนี้ได้ถูกต้อง

นี่ไม่ใช่เรื่องที่ต้องกังวลในอนาคต แต่เป็นการตัดสินใจด้านสถาปัตยกรรมที่ทีมงานด้านโครงสร้างพื้นฐานกำลังดำเนินการอยู่ในปัจจุบัน ซึ่งมักจะเป็นไปโดยปริยาย

เส้นทางเริ่มต้นคือการแยกตัวโดดเดี่ยว ตัวแทน AI ทำงานอย่างอิสระ โดยอาศัยเพียงประสบการณ์ของตนเองเท่านั้น แต่ละตัวตัดสินใจได้อย่างรวดเร็วและถูกต้องในระดับท้องถิ่น แต่ความฉลาดจะถึงจุดสูงสุด กรณีพิเศษเดิมๆ จะเกิดขึ้นซ้ำ สัญญาณที่อ่อนแอจะถูกค้นพบอีกครั้ง และความล้มเหลวจะเกิดขึ้นซ้ำด้วยความเร็วและปริมาณที่มากขึ้น

ทางเลือกอื่นคือเลเยอร์หน่วยความจำร่วม

เมื่อบริบทที่ได้มาคงอยู่และปรากฏให้เห็นในขณะตัดสินใจ ประสบการณ์จะไม่เลือนหายไป ข้อมูลเชิงลึกที่ค้นพบครั้งหนึ่งจะยังคงอยู่ สัญญาณที่อ่อนแอจะมีความหมายมากขึ้นผ่านการสะสม การตัดสินใจจะดีขึ้นไม่ใช่เพราะแบบจำลองเปลี่ยนแปลง แต่เพราะผู้กระทำจะไม่ใช้เหตุผลอย่างโดดเดี่ยวอีกต่อไป

สิ่งนี้ไม่จำเป็นต้องใช้โมเดลขนาดใหญ่ การฝึกอบรมใหม่แบบเรียลไทม์ หรือการควบคุมจากส่วนกลาง แต่จำเป็นต้องมองหน่วยความจำเสมือนเป็นชั้นสถาปัตยกรรมหลักที่ออกแบบมาเพื่อการเข้าถึงที่รวดเร็ว การคงอยู่ของข้อมูล และการมองเห็นร่วมกัน

ค่าเริ่มต้นทางสถาปัตยกรรมจะแข็งตัวอย่างรวดเร็ว ระบบที่สร้างขึ้นโดยไม่มีหน่วยความจำร่วมจะแก้ไขได้ยากขึ้นเรื่อยๆ เมื่อจำนวนเอเจนต์เพิ่มมากขึ้น ทางเลือกนั้นง่ายมาก: สร้างระบบที่สะสมประสบการณ์ หรือสร้างระบบที่รีเซ็ตอย่างไม่รู้จบ