หน่วยความจำของบริษัทของคุณควรอยู่ได้นานกว่ารุ่น AI ของคุณ

หลายคนมักถามว่ารุ่นใดเป็นแรงขับเคลื่อนบริษัทของฉัน คำตอบสำคัญเพราะมันกำหนดคุณภาพ, ค่าใช้จ่ายและข้อจำกัดต่าง ๆ และฉันยินดีใช้เวลาหนึ่งชั่วโมงเพื่ออธิบาย ฉันยังต้องการรู้สิ่งที่สอง: สิ่งที่องค์กรจะยังคงมีเมื่อโมเดลนั้นเปลี่ยนแปลง

ให้คิดเป็นวันที่ หากผู้ให้บริการของคุณเพิ่มราคาขึ้นเป็นสองเท่าในวันอังคาร หรือยกเลิก endpoint ที่คุณสร้างไว้ สิ่งที่คุณยังคงมีในเช้าวันพุธจะเป็นอะไร

สำหรับหลายบริษัท คำตอบที่ซื่อสัตย์คือ: คีย์ API, ใบแจ้งหนี้, และประวัติการสนทนาที่ยาวมากที่เก็บอยู่บนเซิร์ฟเวอร์ของคนอื่นภายใต้กำหนดการเก็บข้อมูลของคนอื่น

พื้นฐานของฉันคือเคมี ฉันใช้เวลาหลายปีในการสร้างโมเดล grey-box สำหรับโรงงานเคมี เชื่อมต่อกับ SCADA, ผลการทดลองในห้องปฏิบัติการ, และบันทึกของผู้ปฏิบัติงาน งานนั้นสอนกฎหนึ่งอย่างรวดเร็ว: ตัวเลขที่ไม่มีเงื่อนไขไม่ใช่ผลลัพธ์ หากมีคนเปลี่ยนเซ็นเซอร์เมื่อสัปดาห์ที่แล้วและไม่มีใครบันทึกไว้ การอ่านค่าในหน้าจอก็ไม่มีความหมาย

นั่นเป็นปัญหาโน๊ตบันทึกในห้องปฏิบัติการ ปัญหานี้ปรากฏขึ้นตอนเป็นปัญหาการจัดซื้อและมักไม่ได้อยู่ในเอกสารที่กำหนดงบประมาณ AI

สามคำถามที่ตอบได้ในหนึ่งเดียว

หน้าต่างบริบทที่ใหญ่ขึ้นทำให้โมเดลใช้ข้อมูลได้มากขึ้นในคำขอเดียว การจัดเก็บที่ทนทานกำหนดว่าข้อมูลใดจะคงอยู่ระหว่างคำขอ การพกพากำหนดว่าข้อมูลนั้นยังคงใช้งานได้หรือไม่เมื่อผู้ให้บริการเปลี่ยนแปลง สิ่งเหล่านี้เป็นคำถามสถาปัตยกรรมที่แยกจากกัน และหน้าต่างที่มีหนึ่งล้านโทเคนทำให้ทุกคนมองว่ามันเป็นเรื่องเดียวกัน

เอกสารของ Google เองให้ การเปรียบเทียบโดยตรง: “การเปรียบเทียบสำหรับหน้าต่างบริบทคือความจำระยะสั้น” รับเอาอย่างตรงไปตรงมา ความจำระยะสั้นคือสิ่งที่คุณจะสูญเสีย

ดังนั้นผู้ขายทุกคนที่เสนอหน้าต่างขนาดมหาศาลก็ต้องขายสิ่งแยกต่างหากเพื่อคงสถานะ อ่านชั้นเหล่านั้นอย่างระมัดระวังในคำพูดของพวกเขาเองและจดบันทึกว่าทุกชั้นครอบคลุมอะไรจริง ๆ

OpenAI เก็บวัตถุ Response ไว้เป็นเวลา 30 วันโดยค่าเริ่มต้น; วัตถุ Conversation และรายการของมันไม่อยู่ภายใต้ TTL นั้น. การลบ 30 วันของ Amazon ใช้กับ the Bedrock Session Management API และครอบคลุมเฉพาะ API นั้นเท่านั้น. เครื่องมือหน่วยความจำฝั่งไคลเอนต์ ของ Anthropic แสดงขอบเขตที่เป็นประโยชน์หนึ่ง: โมเดลขอการดำเนินการหน่วยความจำ, แอปพลิเคชันควบคุมการจัดเก็บ, ในขณะที่บริษัทเดียวกันยังให้บริการ ที่เก็บหน่วยความจำที่จัดการไว้ สำหรับเอเจนต์ที่โฮสต์ของตน

ทั้งหมดนี้เป็นการตัดสินใจด้านวิศวกรรมทั่วไปที่เผยแพร่โดยเปิดเผย พวกมันยังหมายความว่ากฎการเก็บรักษาสำหรับบริบทการทำงานของบริษัทคุณอาศัยอยู่ในบันทึกการอัปเดตของคนอื่นและคุณควรสามารถระบุได้ว่ากฎใดใช้กับข้อมูลของคุณแต่ละประเภท

ที่ที่ค่าใช้จ่ายในการสลับเกิดขึ้นจริง

การสลับการเรียกสร้างข้อความจากหนึ่งไปยังอีกหนึ่งเป็นเรื่องที่ทำได้ในวันหยุดสุดสัปดาห์ นั่นคือเหตุผลที่การพูดว่า “เรามีหลายโมเดล” เป็นเรื่องง่าย ๆ ชั้นที่มีค่าใช้จ่ายสูงคือสิ่งที่ไม่มีใครสาธิต

การฝังข้อมูล. การเปลี่ยนแปลง การฝังข้อมูล โมเดลโดยทั่วไปต้องการการฝังข้อมูลใหม่ของคอร์ปัสและการย้ายหรือสร้างดัชนีใหม่. การเปลี่ยนแปลงของ การสร้าง โมเดลไม่มีข้อกำหนดเช่นนั้น, และสองโมเดลมักสับสนกันอย่างต่อเนื่อง — โดยปกติคือผู้ที่สัญญาว่าการย้ายจะเร็ว. วรรณกรรมปี 2025 อธิบายเส้นทางมาตรฐานว่า “การเข้ารหัสใหม่ทั้งหมดของคอร์ปัสและการสร้างดัชนี Approximate Nearest Neighbor (ANN) ใหม่, ทำให้เกิดการหยุดชะงักในการดำเนินงานอย่างสำคัญและค่าใช้จ่ายในการคำนวณ”; การมีส่วนร่วมของกระดาษนั้นเอง, Drift-Adapter, เป็นวิธีสำหรับ การชะลอ การสร้างดัชนีใหม่โดยเรียนรู้การแปลงระหว่างพื้นที่การฝังข้อมูล. ไม่ว่ากรณีใด, ค่าใช้จ่ายการย้ายรวมถึงการตรวจสอบการดึงข้อมูลและงานดำเนินการรวมถึงการเรียกใช้การฝังข้อมูลเอง.

พฤติกรรมที่ผ่านการปรับแต่ง.หนึ่งประโยคจาก Cohere’s กันยายน 2025 deprecation noticeอยู่เหนือทุกโต๊ะจัดซื้อ: “โมเดลที่ผ่านการปรับแต่งก่อนหน้านี้จะไม่สามารถเข้าถึงได้อีกต่อไป.” พฤติกรรมที่คุณจ่ายเพื่อสร้าง, ถูกยกเลิกพร้อมกับ endpoint ที่โฮสต์มัน. ทุกคนทำตามกระบวนการที่เผยแพร่. โมเดลของคุณยังคงหายไป.

พฤติกรรมของพรอมต์และเครื่องมือ. คำสั่งเดียวกันสร้างแอปพลิเคชันที่แตกต่างบนโมเดลที่ต่างกัน ในแอปพลิเคชันระดับองค์กรหนึ่ง, นักวิจัย รายงานอัตราการผ่านของการถดถอยลดลงจาก 100% บนโมเดลเดิมเป็น 97.3% บนโมเดลใหม่ที่มีพรอมต์เดียวกัน, ฟื้นฟูได้เฉพาะหลังจากออกแบบพรอมต์ใหม่โดยเจตนา. สถานการณ์ทดสอบปรากฏในผลิตภัณฑ์ตามความถี่ของมันเอง, ดังนั้นตัวเลขนี้ไม่สนับสนุนการประมาณว่าการทำงานแบบสดล้มเหลวบ่อยแค่ไหน. กฎการปฏิบัติที่สนับสนุนคือง่ายกว่า: ตรวจสอบการอัปเกรดโมเดลทุกครั้งในระดับแอปพลิเคชันด้วยตนเองก่อนที่มันจะถึงลูกค้า.

ทั้งหมดนี้จะสะท้อนถึงใบแจ้งหนี้ในที่สุด หลังจากที่หน้าเปรียบเทียบราคาได้ถูกเปรียบเทียบไปนานแล้ว

คนอื่นกำลังถือปฏิทินของคุณ

การยกเลิกใช้งานทำตามกำหนดการที่เผยแพร่และกำหนดการเหล่านั้นไม่ได้เป็นของคุณ OpenAI ได้แจ้งล่วงหน้าเป็นปีหนึ่ง ก่อนปิด Assistants API ในเดือนสิงหาคม 2026 – ถือว่าใจกว้างตามมาตรฐานของหน้าเดียวกันที่ GPT‑4.5 Preview ได้รับการแจ้งล่วงหน้าประมาณสามเดือน นโยบายของ Mistral คือหกเดือนสำหรับโมเดล GA และหนึ่งเดือนสำหรับรุ่น preview และของบุคคลที่สาม พร้อมคำเตือนว่าการใช้ alias แบบหมุนเวียนอาจทำให้คุณเผชิญกับการอัปเดตพฤติกรรมและราคาโมเดลโดยไม่มีการแจ้งเตือน

AWS กล่าวส่วนที่เงียบให้ชัดเจนใน นโยบายวงจรชีวิต ของตนว่า “ย้ายไปใช้โมเดล Active ก่อนวันสิ้นสุดอายุการใช้งาน; การย้ายจะไม่เกิดขึ้นโดยอัตโนมัติ”

แผนงานของคุณมีผู้ร่วมเขียน ไม่ได้เข้าร่วมการประชุมวางแผนของคุณและก็ไม่สนใจว่าคุณอยู่ในไตรมาสใด

ราคาก็เป็นส่วนที่เคลื่อนที่ได้เช่นกัน

ตามอัตรามาตรฐานที่ระบุของ Gemini 3.7 Flash จำนวนโทเค็นอินพุตที่ไม่ได้แคช 5 พันล้านโทเค็นและโทเค็นเอาต์พุตที่เรียกเก็บ 1 พันล้านโทเค็นมีค่าใช้จ่าย 7,500 ดอลลาร์ต่อเดือน อัตราที่ กำหนดไว้ในปัจจุบัน สำหรับวันที่ 1 มกราคม 2027 จะทำให้บิลโทเค็นนี้เพิ่มเป็น 15,000 ดอลลาร์ ก่อนค่าใช้จ่ายหรือส่วนลดอื่น ๆ ในขณะที่ผลิตภัณฑ์ของคุณทำสิ่งเดียวกับที่เคยทำก่อนหน้า

รายการราคาที่คงที่อาจทำให้บิลเพิ่มขึ้นได้ เอกสาร การกำหนดราคา ของ Anthropic ระบุว่า tokenizer ที่ใช้ในรุ่นใหม่ของโมเดล “สร้างโทเค็นเพิ่มประมาณ 30% สำหรับข้อความเดียวกัน” – ขึ้นอยู่กับเนื้อหาและเฉพาะรุ่นเหล่านั้น – ทำให้ผลกระทบต่อใบแจ้งหนี้ใด ๆ ต้องวัดเอง ดังนั้นให้วัดจำนวนโทเค็นที่คุณถูกเรียกเก็บ รายการอัตราเดียวไม่สามารถบอกคุณได้ทั้งหมด

สำหรับผลิตภัณฑ์ที่ดำเนินการเวิร์กโฟลว์ ตัวชี้วัดทางเศรษฐกิจที่มีประโยชน์คือค่าใช้จ่ายของงานที่สำเร็จอย่างสมบูรณ์รวมถึงการลองใหม่และการตรวจสอบโดยมนุษย์ ตัวเลขนี้จะเปลี่ยนเมื่อโมเดลเปลี่ยนแปลงแม้ว่าใบอัตราจะคงที่

และทั้งหมดนี้ไม่สามารถต่อรองได้จากตำแหน่งที่การออกจากระบบต้องใช้เวลาหนึ่งปี Capgemini สำรวจผู้บริหาร 1,300 คน ที่องค์กรระดับพันล้านดอลลาร์ในฤดูใบไม้ผลิ 2026 เกี่ยวกับผู้ให้บริการเทคโนโลยีสำคัญโดยทั่วไป: 36% บอกว่าการย้ายออกจากผู้ให้บริการหนึ่งจะใช้เวลามากกว่าหนึ่งปี และหนึ่งในสิบไม่มีทางเลือกที่เป็นไปได้เลย นี่คือคำอธิบายของความสัมพันธ์กับผู้ให้บริการที่ไม่มีแหล่งสำรอง

นำไปสู่การจัดซื้อ

ฉันดำเนินการบริษัทฝรั่งเศสที่จดทะเบียนในมาร์เซย์ โฮสต์ในยุโรป และฉันยังคงข้ามการพูดถึงอธิปไตยในเชิงนามธรรม การเป็นอิสระจากผู้ให้บริการเทคโนโลยีทุกคนเป็นสิ่งที่บริษัทปกติไม่สามารถทำได้ การศึกษาของ Capgemini เดียวกันพบว่า 59% ของผู้บริหารมองว่าการมีอธิปไตยดิจิทัลเต็มรูปแบบเป็นเรื่องที่ไม่เป็นจริง และฉันก็เห็นด้วยกับพวกเขา

การทำความเข้าใจและควบคุมการพึ่งพาที่สำคัญของคุณเป็นงานที่เล็กลงและเป็นไปได้ มีคำถามสามข้อที่ตอบได้ในที่ประชุม: ข้อมูลของเราถูกจัดเก็บและประมวลผลที่ไหน, ใครสามารถเข้าถึงได้, และต้องทำอย่างไรจึงจะดำเนินการต่อได้กับผู้ให้บริการคนอื่น

ทุกบริษัทต่างรู้วิธีถามเรื่องโลจิสติกส์ การชำระเงิน และการจัดเก็บคลาวด์ เมื่อถามเกี่ยวกับบริบทการทำงาน การพึ่งพาในยุโรปจะปรากฏในที่ประชุมเป็นการสนทนาเรื่องแหล่งสำรองพร้อมตัวเลข ซึ่งเป็นรูปแบบที่ฝ่ายจัดซื้อสามารถดำเนินการได้

ข้อควรระวังหนึ่งเรื่องเกี่ยวกับตัวเลขที่ผู้คนอ้างอ้างที่นี่ การที่องค์กรใช้หลายโมเดลไม่ได้บ่งบอกว่าองค์กรนั้นสามารถย้ายบริบทการทำงานระหว่างผู้ให้บริการได้หรือไม่ สิ่งนี้ต้องทดสอบแยกต่างหาก: บันทึก สิทธิ์การเข้าถึง และงานที่ยังไม่เสร็จสามารถย้ายไปยังผู้ให้บริการอื่นและยังคงใช้งานได้หรือไม่

สิ่งที่ทำให้โมเดลสามารถสลับเปลี่ยนได้จริงคืออะไร

อินเทอร์เฟซที่ใช้ร่วมกันระหว่างโมเดลเป็นประโยชน์และฉันจะสร้างหนึ่งขึ้นมา มันควรทำให้ความสามารถและการพึ่งพาเฉพาะโมเดลปรากฏชัด การพกพาต้องไม่มีการหลอกลวงว่าทุกโมเดลทำงานแบบเดียวกัน และการสรุปความแตกต่างอย่างเงียบ ๆ จะทำให้คุณสูญเสียเหตุผลที่คุณจ่ายเพื่อโมเดลที่ดี

งานที่หนักกว่าคือการเป็นเจ้าของสถานะที่ไม่มีผู้ให้บริการคนใดควรเป็นผู้ดูแลคนเดียว มีสี่สิ่งที่ต้องทำตามลำดับที่พวกมันจะล่ม

บันทึกอ้างอิงที่มีอำนาจภายใต้การควบคุมของคุณข้อความ, แหล่งที่ดึงมา, การอนุมัติ, จุดตรวจสอบการดำเนินการ บันทึกสิ่งที่เสร็จสิ้นในระบบภายนอกและสิ่งที่สามารถลองใหม่ได้อย่างปลอดภัย: อีเมลอาจส่งออกไปแล้วแต่การยืนยันไม่บันทึกไว้ และขั้นตอนการกู้คืนที่ไม่รู้เรื่องนี้จะส่งอีเมลซ้ำสองครั้ง สถานะของผู้ให้บริการใดที่คุณไม่สามารถสร้างใหม่ได้คือการพึ่งพา เขียนมันลงเป็นบันทึกอย่างชัดเจนก่อนที่เหตุการณ์จะทำการบันทึกให้คุณ

แหล่งที่มาพร้อมกับเวกเตอร์ทุกตัวเวกเตอร์คือผลลัพธ์ที่คอมไพล์; ชunks คือโค้ดต้นฉบับ เก็บเอกสารแหล่งที่มาและเวอร์ชันของมัน, ID เอกสาร, ขอบเขตของ chunk, เวอร์ชันของ chunker, โมเดลฝังเวกเตอร์พร้อมเวอร์ชันและมิติ, เวอร์ชันของดัชนี, และกระบวนการที่สร้างข้อความนั้น แค่ส่วนข้อความที่เก็บไว้ไม่สามารถสร้างตาราง ภาพ หรือผลลัพธ์ OCR ได้ การเก็บทั้งหมดนี้ทำให้การทำดัชนีใหม่กลายเป็นการย้ายที่วางแผนไว้ ซึ่งให้ความสบายใจเท่าที่ฉันจะสัญญา

บันทึกที่แยกแยะแหล่งที่มา การสรุปผล และการตัดสินใจ ระบบต้องแยกความแตกต่างระหว่างสิ่งที่แหล่งที่มาพูด สิ่งที่โมเดลสรุปผล และสิ่งที่บุคคลอนุมัติ ลูกค้าที่สัญญาว่าจะชำระเงินในวันพฤหัสบดี การคาดการณ์ของโมเดลว่าการชำระเงินอาจล่าช้า และการขยายเวลาที่ตกลงกันไว้จนถึงวันศุกร์ เป็นบันทึกที่แตกต่างกันสามรายการที่มีสถานะต่างกัน ระบบต้องทราบว่าบันทึกใดที่สามารถดำเนินการได้แต่ละรายการต้องมีที่มาของมัน ขอบเขต กฎการเข้าถึง และสถานะปัจจุบัน รวมถึงว่ามันได้รับการแก้ไขหรือถูกแทนที่หรือไม่ การถอดความอาจมีหลักฐานอยู่ แต่การเล่นซ้ำไม่ได้ระบุอย่างแม่นยำว่าข้อสรุปใดยังเป็นปัจจุบันและการตัดสินใจใดยังคงมีผล

ความพกพาที่คุณได้ทดสอบจริง ทำให้สามารถทดสอบได้สองวิธี: การส่งออกและกู้คืน, และชุดการประเมินที่กำหนดว่าการใช้งานต้องทำอะไรให้สำเร็จ จากนั้น “เราสามารถสลับ” จะกลายเป็นการวัดที่ใครก็ทำได้: ตัวแทนใหม่สามารถดำเนินการเวิร์กโฟลว์ที่เป็นตัวแทนภายในข้อกำหนดของคุณเกี่ยวกับคุณภาพ, สิทธิ์การเข้าถึง, ความหน่วงเวลาและค่าใช้จ่ายได้หรือไม่? และ รักษาข้อมูลการฝึกที่คุณมีสิทธิ์ใช้ซ้ำไว้พร้อมกับเวอร์ชัน การกำหนดค่าการปรับแต่ง และการทดสอบการยอมรับ สิ่งเหล่านี้ทำให้การฝึกใหม่เป็นไปได้ แม้ไม่มีการรับประกันว่าพฤติกรรมจะเหมือนเดิม และรหัสโมเดลที่ปรับแต่งละเอียดจะหมดอายุในวันที่กำหนดโดยบุคคลที่คุณไม่เคยพบ

จากนั้นใช้เซสชันที่โฮสต์, แคชคำสั่งและการดึงข้อมูลจากผู้ให้บริการเมื่อใดก็ตามที่พวกมันช่วยได้ พวกมันมักจะยอดเยี่ยม และการปฏิเสธใช้ตามหลักการก็เป็นค่าใช้จ่ายที่สูงเช่นกัน ความต้องการคือบันทึกที่พวกมันเก็บต้องสามารถกู้คืนและใช้ในที่อื่นได้โดยยังคงกฎการเข้าถึงและการเก็บรักษาไว้ครบถ้วน เช่าใช้การคำนวณ; รักษาการควบคุมบันทึกไว้

ฉันก็ไม่อยากทำให้สถาปัตยกรรมดูเกินจริงเช่นกัน ก่อนที่ผลิตภัณฑ์จะเข้าตรงกับตลาด การส่งมอบเร็วกว่าหกสัปดาห์มักจะเหนือกว่าชั้นนามธรรมใด ๆ และสตาร์ทอัพที่สร้างแบ็กเอนด์การดึงข้อมูลสามตัวก่อนจะมีลูกค้าแล้วนั้นเหมือนกับสร้างพิพิธภัณฑ์ การตัดสินใจว่าการแลกเปลี่ยนนั้นถูกต้องหรือไม่ขึ้นอยู่กับผลิตภัณฑ์และราคาของการสร้างใหม่ในภายหลัง รักษาวัตถุดิบให้สามารถกู้คืนได้และทางลัดก็ยังคงเป็นทางลัด

ส่วนที่เปลี่ยนแปลง

ในขณะที่ AI เพียงตอบคำถาม การสูญเสียบริบทเป็นเพียงความไม่สะดวก คุณพิมพ์คำสั่งใหม่และดำเนินต่อไป ตอนนี้มันจองการประชุม, สร้างตั๋วและเชื่อมต่อกับ CRM, และการขาดบริบททำให้เกิดงานที่ซ้ำซ้อนหรือทำไม่เสร็จในระบบที่เป็นของลูกค้าของคุณ

ผู้จำหน่ายโมเดลสร้างสิ่งที่ยอดเยี่ยมและฉันใช้มันทุกวัน ความรับผิดชอบที่ฉันอธิบายนี้อยู่กับพวกเราที่สร้างแพลตฟอร์มระหว่างกลาง: ทำให้การพึ่งพาเป็นที่มองเห็นได้และรักษาบันทึกที่เชื่อถือได้ของสิ่งที่ได้รับอนุมัติและสิ่งที่เสร็จสมบูรณ์

ทุกเวิร์กโฟลว์ที่เสร็จสมบูรณ์ควรทิ้งสิ่งที่องค์กรสามารถนำกลับมาใช้ใหม่ได้ — ผลลัพธ์ที่ตรวจสอบแล้ว, การตัดสินใจที่มีประวัติการติดตาม, จุดเริ่มต้นที่ชัดเจนยิ่งขึ้นสำหรับงานต่อไป มูลค่าที่สะสมนี้ควรคงอยู่ได้นานกว่ารุ่นโมเดลที่ช่วยสร้างมัน

ถามตัวเองว่าคุณยังคงเป็นเจ้าของอะไรในเช้าวันพุธ