ปัญหาหน่วยความจำของ AI: ทำไมการเปลี่ยนแปลงบริบทที่มีประสิทธิภาพจึงมีความสำคัญ และอะไรที่ต้องทำเพื่อให้ได้ผล

同事ที่ลืมการสนทนาครั้งก่อนทันทีที่การสนทนาเสร็จสิ้นจะไม่สามารถทำงานได้นานในหลายงาน อย่างไรก็ตาม AI ในธุรกิจหลายตัวทำงานในลักษณะเดียวกัน เมื่อสิ้นสุดเซสชัน บริบทจะหายไปพร้อมกัน ผู้บริโภคที่ถามคำถามแบบ one-off อาจไม่สังเกตเห็น แต่บริษัทที่ดำเนินการกระบวนการที่ใช้เวลานานกว่าหนึ่งครั้งจะพบขีดจำกัดเกือบในทันที

งานจริงจะดำเนินต่อไปจากเซสชันหนึ่งไปยังอีกเซสชันหนึ่ง และการตัดสินใจที่ทำในวันพฤหัสบดีโดยปกติจะขึ้นอยู่กับการตัดสินใจที่ทำในวันจันทร์ โดยมีการคิดที่อยู่เบื้องหลังที่ต้องอยู่ระหว่างนั้น AI ที่ลบตัวเองเมื่อสิ้นสุดเซสชันสามารถทำงานได้ดีภายในเซสชัน แต่ยังสามารถมีส่วนร่วมในการทำงานที่ใช้เวลานานกว่าสัปดาห์ได้ไม่ดี

AI ขององค์กรได้เปลี่ยนแปลงความต้องการจากโมเดลอย่างเงียบๆ ในช่วงหลายปีที่ผ่านมา โมเดลเหล่านี้ถูกประเมินโดยส่วนใหญ่จากความรู้ที่พวกมัน吸 thụมา องค์กรต้องการให้พวกมันเก็บข้อมูลที่ถูกต้องไว้ในทัศนวิสัยขณะทำงาน ซึ่งเป็นความสามารถที่ต้องใช้การออกแบบที่มีประสิทธิภาพในแบบต่างๆ จนถึงปัจจุบัน ความสามารถในการเก็บข้อมูลที่ยั่งยืนในระดับนี้ยังไม่ได้รับการบรรลุ เนื่องจากต้องใช้หน่วยความจำ (GPU) ที่มาก, การคำนวณ และต้นทุนที่สูงในการขยายความสามารถนี้ การรักษาความหน่วงและระดับของการหลอกลวงของโมเดลให้อยู่ในระดับที่ยอมรับได้จะกลายเป็นความท้าทายเมื่อมีการใช้งานพร้อมกันเมื่อใช้บริบทขนาดใหญ่ มีความต้องการที่เพิ่มขึ้นสำหรับความสามารถด้านความรู้เหล่านี้ แต่ไม่มีหน่วยความจำและกำลังคำนวณเพียงพอ ดังนั้นจึงทำให้เกิดคำถามว่า: คุณจะบรรลุความฉลาดที่แม่นยำมากขึ้นในระดับที่กว้างขึ้นด้วยโครงสร้างพื้นฐานและรอยบumin ที่น้อยลงได้อย่างไร?

โต๊ะและตู้เก็บเอกสาร

มีสองสิ่งที่รวมอยู่ในหมวดหน่วยความจำ และมันทำงานต่างกันเพียงพอจนขึ้นอยู่กับการแยกแยะระหว่างทั้งสองสิ่ง

เริ่มต้นด้วยหน้าต่างบริบท ซึ่งเป็นปริมาณข้อมูลที่โมเดลสามารถรับและให้เหตุผลได้ในครั้งเดียว มันทำงานเหมือนกับพื้นผิวของโต๊ะ โต๊ะขนาดเล็กจะรับได้เพียงไม่กี่หน้าในครั้งเดียว ดังนั้นทุกอย่างอื่นจึงรออยู่ในตู้และถูกดึงออกมาและล้างเมื่อคุณดำเนินการต่อ ในขณะที่โต๊ะขนาดใหญ่จะทำให้ไฟล์กรณีทั้งหมดเปิดอยู่ในขณะทำงาน โต๊ะจะถูกล้างทุกวัน

หน่วยความจำที่คงอยู่คือตู้เก็บเอกสารที่อยู่ข้างโต๊ะ ระบบเลือกข้อมูลที่จะเก็บและดึงออกมาเมื่อมันเกี่ยวข้อง ดังนั้นสิ่งที่เกิดขึ้นในสัปดาห์นี้จึงสามารถแจ้งให้ทราบในสัปดาห์หน้าได้ หน่วยความจำนี้จะคงอยู่ระหว่างเซสชัน และต้องมีการตัดสินใจเกี่ยวกับสิ่งที่จะเก็บไว้, วิธีการจัดระเบียบ และเมื่อจะดึงออกมา

การออกแบบวิศวกรรมที่มองเห็นได้มากที่สุดได้ไปสู่โต๊ะ Windows ที่เคยถือได้เพียงไม่กี่พันโทเค็น ตอนนี้สามารถรองรับได้ถึงหลายร้อยพันโทเค็น และโมเดลที่ใหญ่ที่สุดจาก OpenAI และ Anthropic มีขนาดใหญ่ถึงหนึ่งล้าน

คำว่า “วิศวกรรมบริบท” นี้มาจาก Tobi Lutke ของ Shopify และได้รับความนิยมจาก Andrej Karpathy ในกลางปี 2025 ทักษะหลักในการใช้งาน AI ที่จริงจัง คือ การเติมหน้าต่างด้วยข้อมูลที่ถูกต้องสำหรับการดำเนินการต่อ โดยใช้การเปรียบเทียบกับฮาร์ดแวร์ – โมเดลเป็นโปรเซสเซอร์ และหน้าต่างเป็นหน่วยความจำที่ทำงาน นักปฏิบัติงานได้รับคำนี้อย่างรวดเร็ว เพราะพวกเขาได้เข้าใกล้แนวคิดนี้โดยไม่มีชื่อ

โต๊ะที่ใหญ่ขึ้นไม่ได้แก้ปัญหาหน่วยความจำ

ที่นี่คือจุดที่การเคลื่อนไหวที่ชัดเจน – เพียงเพิ่มขนาดโต๊ะ – พบปัญหา

นักวิจัยจาก Stanford ในปี 2024 พบว่าเมื่อข้อมูลที่โมเดลต้องการอยู่ตรงกลางของข้อมูลยาว ความแม่นยำจะลดลงอย่างรวดเร็วเมื่อเทียบกับข้อมูลเดียวกันที่อยู่ที่จุดเริ่มต้นหรือจุดสิ้นสุด พวกเขาตั้งชื่อเรื่องนี้ว่า “สูญเสียไปในตรงกลาง” และยังคงอยู่แม้สำหรับโมเดลที่ออกแบบมาเพื่อบริบทที่ยาว การเพิ่มข้อมูลให้กับโมเดลไม่ใช่สิ่งเดียวกับการที่โมเดลใช้ข้อมูลนั้นได้อย่างน่าเชื่อถือ

ผลกระทบนี้ยังคงอยู่เมื่อทีมอื่นๆ ค้นหามัน และการศึกษาในปี 2025 ที่ใช้โมเดล 18 โมเดลที่ดีที่สุดเทียบกับข้อมูลยาวขึ้นเรื่อยๆ พบว่า ประสิทธิภาพลดลงอย่างรวดเร็วแม้ว่าหน้าต่างยังไม่เต็ม ซึ่งเป็นรูปแบบที่ผู้เขียนเรียกว่า “การเน่าของบริบท” การเพิ่มโต๊ะและทำให้โมเดลให้เหตุผลได้อย่างสะอาดทั่วทั้งโต๊ะเป็นปัญหาที่แยกจากกัน และการเพิ่มโต๊ะไม่ได้ช่วยแก้ปัญหาใดๆ

การคัดเลือกมีรายได้มากกว่าความจุ

วิศวกรรมบริบทได้เติบโตขึ้นเป็นวิชาที่มีหลักการจากสิ่งนี้ โดยมีการสำรวจในปี 2025 ที่อ้างอิงจากเอกสารมากกว่า 1,400 ฉบับ ที่กำหนดวิธีการและ Gartner แนะนำให้ลูกค้าจัดลำดับความสำคัญของบริบทมากกว่าคำสั่ง ในเดือนกรกฎาคม 2025 วิชานี้ได้พัฒนาไปจากการจัดรูปคำสั่งที่ชัดเจนยิ่งขึ้นไปสู่การรวบรวมชุดข้อมูลที่ชัดเจนยิ่งขึ้นสำหรับโมเดลในการทำงาน

โต๊ะที่ใหญ่ขึ้นเพิ่มความเสี่ยงเกี่ยวกับสิ่งที่คุณเลือกที่จะวางบนโต๊ะ ถ้าคุณวางเอกสารทั้งหมดบนพื้นผิว โทเค็นที่สำคัญจะสูญหายไปในหมู่เสียงรบกวน ข้อขัดแย้ง และรุ่นที่ล้าสมัย ในขณะที่การคัดเลือกที่เข้มงวดของสิ่งที่เกี่ยวข้องกับงานจะทำให้โมเดลเดียวกันทำงานได้ดีขึ้นอย่างเห็นได้ชัด การตัดสินใจอยู่ที่สิ่งที่ควรอยู่ในหน้าต่างของโมเดล, วิธีการจัดรูป, เมื่อจะปรากฏ และสิ่งที่จะเก็บไว้ในตู้

สิ่งนี้คือสิ่งที่ RAG (การสร้างแบบจำลองที่เพิ่มการค้นหา) ถูกสร้างขึ้น: การตัดเอกสารออกเป็นชิ้นเล็กๆ และดึงชิ้นที่ดูเกี่ยวข้องออกมาเพื่อทำงานรอบๆ หน้าต่างที่เล็กเกินกว่าจะเก็บเอกสารทั้งหมดได้ หากมีข้อพิพาทสัญญาที่ขึ้นอยู่กับข้อกำหนดหนึ่งในหน้า 200 การเข้าใกล้แบบปกติคือการตัดสัญญาออกเป็นชิ้นเล็กๆ และให้ระบบค้นหาชิ้นที่ดูเกี่ยวข้อง หากคุณให้คะแนนหน้า 200 ว่าเป็นข้อมูลที่ไม่เกี่ยวข้อง โมเดลจะไม่เห็นข้อกำหนด

หน้าต่างที่มีขนาดใหญ่พอที่จะเก็บสัญญาทั้งหมดจะข้ามขั้นตอนการค้นหาและให้โมเดลเห็นข้อกำหนดพร้อมกับข้อมูลที่อยู่รอบๆ มัน ไม่ว่าโมเดลจะอ่านข้อมูลยาวได้ดีหรือไม่นั้นเป็นปัญหาเรื่องความน่าเชื่อถือจากส่วนก่อนหน้า และเป็นปัญหาที่ดีกว่าที่จะถูกปล่อยให้ระบบค้นหาตัดสินใจอย่างเงียบๆ ว่าข้อกำหนดไม่สำคัญ

ภายในเซสชันและหลังจากเซสชัน

บริบทที่ยาวคือสิ่งที่ทำให้เอเย่นต์ AI สามารถทำงานข้ามงานที่ยาวได้ ไม่ใช่เพียงการแลกเปลี่ยนเดียว เอเย่นต์ที่จัดการการตรวจสอบการปฏิบัติตามกฎระเบียบที่ใช้เวลามากว่าวันหรือการรับสมัครซัพพลายเออร์จะเก็บงานทั้งหมดไว้ในหน้าต่างในขณะที่ทำงาน ดังนั้นแต่ละขั้นตอนจะอาศัยสถานะของงานทั้งหมด บริบทที่ยาวพอที่จะแทนหน่วยความจำภายในเซสชัน

นั่นคือจุดที่ความคล้ายคลึงกันหยุดอยู่ ทุกอย่างที่ระบบควรระลึกในอาทิตย์หน้าเมื่อเซสชันนี้ปิดแล้ว จะต้องอยู่ที่ไหนสักแห่งที่หน้าต่างไม่ได้อยู่

การสร้างหน่วยความจำประเภทนี้นำปัญหาใหม่ๆ มากมาย ซึ่งอุตสาหกรรมเพิ่งเริ่มเผชิญกับปัญหาเหล่านี้ การฝึกอบรมด้านจิตวิทยาและประสาทวิทยาศาสตร์ของฉันทำให้การเปรียบเทียบกับหน่วยความจำของมนุษย์ยากที่จะไม่สังเกตเห็น เราไม่ได้ดึงหน่วยความจำที่สมบูรณ์แบบของเหตุการณ์ออกมา แต่ละครั้งที่เรานึกถึงมัน เราจะสร้างมันขึ้นมาใหม่ และข้อผิดพลาดเล็กๆ น้อยๆ สามารถกลายเป็นส่วนหนึ่งของเวอร์ชันที่ยอมรับได้ หน่วยความจำของเครื่องสามารถพัฒนาเป็นปัญหาเดียวกันเมื่อข้อมูลที่เก็บไว้ถูกสรุป, รวม หรือเขียนใหม่ซ้ำๆ เมื่อเวลาผ่านไป บันทึกสามารถเคลื่อนไหวออกจากเหตุการณ์ดั้งเดิมได้ หากไม่มีใครตรวจสอบ, แก้ไขข้อผิดพลาด และลบข้อมูลที่ไม่น่าเชื่อถือ

หลายบริษัทที่ใช้ระบบเหล่านี้ยังไม่พบปัญหาเหล่านี้ และไม่มีใครใกล้จะแก้ไขปัญหาเหล่านี้ได้ สิ่งที่ฉันจะดูในผู้ขายคือไม่ใช่ขนาดของหน้าต่างที่พวกเขาส่งเสริม โมเดลที่เก็บโทเค็นได้ 10 ล้านโทเค็นจะมีค่าไม่มากหากสิ่งที่เก็บไว้ส่วนใหญ่ล้าสมัย, ไม่เกี่ยวข้องหรือไม่ถูกต้อง คำตอบของมันอาจดูเหมือนมีแหล่งที่มาที่ดีในขณะที่อาศัยอยู่บนข้อมูลที่ธุรกิจไม่ควรเชื่อถือ สิ่งที่สร้างรายได้คือการตัดสินใจเกี่ยวกับสิ่งที่จะเก็บไว้และความสามารถในการให้เหตุผลอย่างแม่นยำเกี่ยวกับข้อมูลทั้งหมด โดยใช้โครงสร้างพื้นฐานและรอยบumin ที่น้อยลง นั่นคือการทำมากกว่าด้วยน้อยกว่า และไม่ใช่ทุกหน้าต่างที่ใหญ่ขึ้นมาพร้อมกับความสามารถที่แท้จริงนี้