Bộ nhớ của công ty bạn nên tồn tại lâu hơn các mô hình AI

Mọi người thường hỏi mô hình nào đang hỗ trợ công ty tôi. Câu trả lời quan trọng: nó quyết định chất lượng, chi phí và các giới hạn, và tôi sẵn sàng dành một giờ để tìm hiểu. Tôi cũng muốn biết một điều nữa: tổ chức sẽ còn gì khi mô hình đó thay đổi.

Hãy đặt nó thành một ngày. Nếu nhà cung cấp của bạn tăng giá gấp đôi vào một ngày thứ Ba, hoặc ngừng hỗ trợ endpoint mà bạn đã xây dựng, bạn sẽ còn sở hữu gì vào sáng thứ Tư?

Đối với nhiều công ty, câu trả lời trung thực là: một khóa API, một hoá đơn, và một lịch sử cuộc trò chuyện rất dài nằm trên máy chủ của người khác theo lịch trình lưu trữ của họ.

Nền tảng của tôi là hoá học. Tôi đã dành nhiều năm xây dựng các mô hình hộp xám cho các nhà máy hoá chất, kết nối với SCADA, kết quả phòng thí nghiệm và ghi chú của người vận hành. Công việc đó dạy một quy tắc nhanh chóng: một con số không có các điều kiện kèm theo không phải là kết quả. Nếu ai đó đã thay cảm biến vào tuần trước và không ai ghi lại, thì giá trị hiển thị trên màn hình không giải thích được gì.

Đó là một vấn đề sổ ghi chép phòng thí nghiệm. Nó hiện nay xuất hiện như một vấn đề mua sắm, và hiếm khi xuất hiện trên bảng tính nơi ngân sách AI được quyết định.

Ba câu hỏi được trả lời cùng một lúc

Một cửa sổ ngữ cảnh lớn hơn cho phép mô hình sử dụng nhiều thông tin hơn trong một yêu cầu duy nhất. Lưu trữ bền vững quyết định những gì tồn tại giữa các yêu cầu. Khả năng di chuyển quyết định liệu thông tin đó có vẫn sử dụng được khi nhà cung cấp thay đổi hay không. Đây là những câu hỏi kiến trúc riêng biệt, và cửa sổ một triệu token đã khuyến khích mọi người xem chúng như một.

Tài liệu của Google cung cấp cách ẩn dụ trực tiếp: “Một phép ẩn dụ cho cửa sổ ngữ cảnh là bộ nhớ ngắn hạn.” Hãy hiểu theo nghĩa đen. Bộ nhớ ngắn hạn là thứ bạn sẽ mất.

Vì vậy, mỗi nhà cung cấp bán một cửa sổ khổng lồ cũng bán một thứ riêng để duy trì trạng thái. Hãy đọc các lớp này một cách hẹp hòi, theo lời họ, và ghi chú những gì mỗi lớp thực sự bao phủ.

OpenAI lưu trữ các đối tượng Response mặc định trong 30 ngày; Các đối tượng cuộc trò chuyện và các mục của chúng được miễn khỏi TTL đó. Việc xóa 30 ngày của Amazon áp dụng cho API Quản lý Phiên Bedrock, và chỉ bao phủ API đó. Công cụ bộ nhớ phía máy khách của Anthropic minh họa một ranh giới hữu ích: mô hình yêu cầu các thao tác bộ nhớ, ứng dụng kiểm soát việc lưu trữ, trong khi cùng công ty cũng cung cấp các kho bộ nhớ được quản lý cho các tác nhân được lưu trữ của mình.

Tất cả những điều này là các quyết định kỹ thuật thông thường, được công bố công khai. Chúng cũng đồng nghĩa với việc các quy tắc lưu trữ cho ngữ cảnh làm việc của công ty bạn nằm trong ghi chú phát hành của người khác, và bạn nên có khả năng chỉ ra quy tắc nào áp dụng cho dữ liệu nào của mình.

Nơi Chi phí Chuyển đổi Thực sự Ẩn Nằm

Thay đổi một lời gọi tạo văn bản sang lời gọi khác chỉ mất một cuối tuần. Đó là lý do tại sao “chúng tôi đa mô hình” lại là một lời nói rẻ tiền. Các lớp tốn kém là những thứ mà không ai trình diễn.

Nhúng. Thay đổi đặc trưng nhúng mô hình thường yêu cầu tái nhúng tập dữ liệu và di chuyển hoặc xây dựng lại chỉ mục. Một sự thay đổi của tạo mô hình không có yêu cầu như vậy, và hai loại thường bị nhầm lẫn liên tục — thường là do người hứa rằng quá trình di chuyển sẽ nhanh. Tài liệu năm 2025 mô tả con đường tiêu chuẩn là “tái mã hoá toàn bộ tập dữ liệu và xây dựng lại chỉ mục Gần đúng hàng xóm (ANN), dẫn đến gián đoạn hoạt động đáng kể và chi phí tính toán cao”; đóng góp của bài báo đó, Drift-Adapter, là một phương pháp để hoãn việc xây dựng lại bằng cách học một phép biến đổi giữa các không gian embedding. Dù sao, chi phí di chuyển bao gồm việc xác thực truy xuất và công việc vận hành cũng như các cuộc gọi embedding tự nó.

Hành vi được tinh chỉnh. Một câu từ Thông báo ngừng hỗ trợ Tháng 9 năm 2025 thuộc trên mọi bàn mua sắm: “Các mô hình đã được tinh chỉnh trước đây sẽ không còn khả dụng nữa.” Hành vi mà bạn đã trả tiền để tạo ra, đã bị ngừng cùng với endpoint đã lưu trữ nó. Mọi người đều tuân theo quy trình đã công bố. Mô hình của bạn vẫn biến mất.

Hành vi lời nhắc và công cụ. Các hướng dẫn giống nhau tạo ra một ứng dụng khác trên một mô hình khác. Trong một ứng dụng doanh nghiệp, các nhà nghiên cứu báo cáo tỷ lệ vượt qua hồi quy giảm từ 100% trên mô hình gốc xuống 97,3% trên mô hình mới hơn với các lời nhắc giống hệt, chỉ được khôi phục sau khi thiết kế lại lời nhắc một cách có chủ đích. Các kịch bản kiểm tra xuất hiện trong môi trường thực tế với tần suất riêng của chúng, vì vậy con số này không hỗ trợ ước tính tần suất các quy trình làm việc trực tiếp bị lỗi. Quy tắc vận hành mà nó hỗ trợ đơn giản hơn: tự mình xác thực mỗi lần nâng cấp mô hình ở mức ứng dụng, trước khi nó đến tay khách hàng.

Tất cả những điều này cuối cùng sẽ xuất hiện trên hoá đơn, lâu sau khi các trang giá đã được so sánh.

Ai đó khác đang nắm giữ lịch của bạn

Việc ngừng hỗ trợ diễn ra theo lịch đã công bố, và các lịch này không phải của bạn. OpenAI đã thông báo trước một năm trước khi tắt Assistants API vào tháng 8 năm 2026 – rộng rãi so với tiêu chuẩn trên cùng trang, nơi GPT‑4.5 Preview chỉ nhận được khoảng ba tháng. Chính sách của Mistral là sáu tháng cho các mô hình GA và một tháng cho các bản preview và bên thứ ba, kèm cảnh báo rằng một bí danh quay vòng “có thể khiến bạn gặp các cập nhật im lặng về hành vi và giá của mô hình.”

AWS nói thẳng phần im lặng trong chính sách vòng đời của mình: “Di chuyển sang mô hình Active trước ngày EOL; việc di chuyển sẽ không tự động xảy ra.”

Lộ trình của bạn có một đồng tác giả. Người này không bao giờ tham dự các cuộc họp lập kế hoạch của bạn và không quan tâm quý nào bạn đang ở.

Giá Cũng Là Một Thành Phần Động

Theo mức giá Standard được liệt kê của Gemini 3.7 Flash, năm tỷ token đầu vào chưa được lưu và một tỷ token đầu ra được tính phí sẽ tốn 7.500 USD mỗi tháng. Các mức giá hiện đang được lên lịch cho ngày 1 tháng 1 năm 2027 sẽ làm hóa đơn token tăng lên 15.000 USD, chưa tính các khoản phí hoặc giảm giá khác, trong khi sản phẩm của bạn vẫn hoạt động đúng như trước.

Một bảng giá cố định cũng có thể tạo ra hoá đơn lớn hơn. tài liệu định giá của Anthropic ghi chú rằng bộ mã hoá token được sử dụng trong các thế hệ mô hình mới hơn “tạo ra khoảng 30% token nhiều hơn cho cùng một đoạn văn bản” – phụ thuộc vào nội dung và riêng cho các thế hệ đó – điều này khiến ảnh hưởng lên bất kỳ hoá đơn nào cần phải đo lường. Vì vậy, hãy đo lường số token bạn bị tính phí. Một bảng giá riêng lẻ sẽ không cho bạn biết.

Đối với một sản phẩm chạy quy trình công việc, thước đo kinh tế hữu ích là chi phí của một nhiệm vụ hoàn thành thành công, bao gồm các lần thử lại và kiểm tra của con người. Con số này thay đổi khi mô hình thay đổi ngay cả khi bảng giá không thay đổi.

Và không có gì trong số này có thể thương lượng khi việc rời bỏ mất một năm. Capgemini đã khảo sát 1.300 giám đốc điều hành tại các tổ chức trị giá hàng tỷ đô la vào mùa xuân 2026 về các nhà cung cấp công nghệ quan trọng nói chung: 36% cho biết việc chuyển sang nhà cung cấp khác sẽ mất hơn mười hai tháng, và một trong mười không có bất kỳ lựa chọn thay thế khả thi nào. Đó là mô tả một mối quan hệ nhà cung cấp không có nguồn thứ hai.

Đưa Nó Đến Bộ Phận Mua Sắm

Tôi điều hành một công ty Pháp, đăng ký tại Marseille, được lưu trữ ở châu Âu, và tôi vẫn sẽ bỏ qua bài phát biểu về chủ quyền trong trừu tượng. Sự độc lập khỏi mọi nhà cung cấp công nghệ là điều không thể đạt được đối với một công ty bình thường. Nghiên cứu Capgemini cùng lúc cho thấy 59% các giám đốc điều hành cho rằng chủ quyền kỹ thuật số toàn diện là không thực tế, và tôi đồng ý với họ.

Hiểu và kiểm soát các phụ thuộc quan trọng của bạn là một công việc nhỏ hơn, và có thể thực hiện được. Ba câu hỏi, tất cả đều có thể trả lời trong một cuộc họp: dữ liệu của chúng ta được lưu trữ và xử lý ở đâu, ai có thể truy cập, và cần gì để tiếp tục vận hành với nhà cung cấp khác?

Mọi công ty đều biết cách đặt câu hỏi này về logistics, thanh toán và lưu trữ đám mây. Khi hỏi về bối cảnh làm việc, phụ thuộc châu Âu xuất hiện trong cuộc họp như một cuộc thảo luận về nguồn thứ hai kèm theo một con số, là dạng mà bộ phận mua sắm có thể hành động.

Một lời cảnh báo về các con số mà mọi người trích dẫn ở đây. Việc một doanh nghiệp sử dụng nhiều mô hình không cho chúng ta biết nhiều về khả năng chuyển bối cảnh làm việc giữa các nhà cung cấp. Điều này đòi hỏi một thử nghiệm riêng: liệu các hồ sơ, quyền truy cập và công việc chưa hoàn thành có thể được chuyển sang và vẫn sử dụng được không?

Điều Thực Sự Khiến Một Mô Hình Có Thể Thay Thế Được

Một giao diện chung giữa các mô hình là hữu ích, và tôi sẽ xây dựng một giao diện như vậy. Nó nên làm cho các khả năng và phụ thuộc riêng của mô hình trở nên hiện rõ. Tính di động không đòi hỏi phải giả vờ rằng mọi mô hình hoạt động giống nhau, và một lớp trừu tượng làm phẳng các khác biệt sẽ âm thầm loại bỏ lý do bạn trả tiền cho một mô hình tốt.

Công việc nặng hơn là sở hữu trạng thái mà không nhà cung cấp nào nên là người bảo quản duy nhất. Bốn điều, theo thứ tự chúng bị phá vỡ.

Một bản ghi có thẩm quyền dưới quyền kiểm soát của bạn. Tin nhắn, nguồn được truy xuất, phê duyệt, điểm kiểm tra thực thi. Ghi lại những gì đã hoàn thành trong các hệ thống bên ngoài và những gì có thể được thử lại một cách an toàn: email có thể đã được gửi trong khi xác nhận không được lưu, và một quy trình khôi phục không biết điều này sẽ gửi lại hai lần. Bất kỳ trạng thái nào của nhà cung cấp mà bạn không thể tái tạo đều là một phụ thuộc. Hãy ghi lại chúng như một mục, một cách rõ ràng, trước khi một sự cố tự động ghi chép cho bạn.

Nguồn song song với mỗi vector. Một vector là một artefact đã biên dịch; chunk là mã nguồn. Lưu trữ tài liệu nguồn và phiên bản của nó, ID tài liệu, ranh giới chunk, phiên bản chunker, mô hình embedding với phiên bản và kích thước, phiên bản chỉ mục, và quá trình xử lý đã tạo ra văn bản. Một đoạn văn bản được lưu riêng lẻ sẽ không tái tạo được bảng, hình ảnh hay kết quả OCR. Giữ lại toàn bộ sẽ biến việc tái chỉ mục thành một cuộc di chuyển có kế hoạch, đó là mức độ an tâm mà tôi sẽ hứa.

Bản ghi phân biệt nguồn, suy luận và quyết định.Bộ nhớ phải tách biệt những gì một nguồn nói, những gì một mô hình suy luận và những gì một người phê duyệt. Một khách hàng hứa sẽ thanh toán vào thứ Năm, dự đoán của mô hình rằng thanh toán sẽ bị trễ, và việc gia hạn đồng ý đến thứ Sáu là ba bản ghi khác nhau với ba trạng thái khác nhau, và hệ thống phải biết bản ghi nào có thể được thực thi. Mỗi bản ghi cần có nguồn gốc, phạm vi, quy tắc truy cập và trạng thái hiện tại, bao gồm việc nó đã được sửa chữa hay thay thế chưa. Một bản ghi âm có thể chứa bằng chứng; việc phát lại nó không thể xác định một cách đáng tin cậy những kết luận nào vẫn còn hiện hành và những quyết định nào vẫn còn hiệu lực.

Tính di động mà bạn đã thực sự kiểm tra.Hãy làm cho nó có thể kiểm tra theo hai cách: một bài tập xuất và khôi phục, và một bộ đánh giá xác định những gì ứng dụng phải đạt được. Khi đó \”chúng ta có thể chuyển đổi\” trở thành một phép đo mà ai đó có thể thực hiện: liệu sự thay thế có tiếp tục các quy trình đại diện trong các yêu cầu của bạn về chất lượng, quyền truy cập, độ trễ và chi phí không? Và giữ lại dữ liệu đào tạo mà bạn có quyền tái sử dụng, cùng với các phiên bản, cấu hình tinh chỉnh và các bài kiểm tra chấp nhận. Những yếu tố này làm cho việc tái đào tạo khả thi, nhưng không có đảm bảo hành vi sẽ giống hệt, và ID mô hình đã tinh chỉnh sẽ hết hạn vào một ngày do người mà bạn chưa bao giờ gặp đặt ra.

Sau đó, sử dụng các phiên được lưu trữ, bộ nhớ đệm lời nhắc và việc truy xuất từ nhà cung cấp ở bất cứ nơi nào chúng hữu ích. Chúng thường rất tốt, và việc từ chối chúng vì nguyên tắc lại là một loại chi phí riêng. Yêu cầu là các bản ghi mà chúng giữ phải có thể được khôi phục và sử dụng ở nơi khác mà vẫn giữ nguyên các quy tắc truy cập và lưu trữ. Thuê tính toán; giữ kiểm soát bản ghi.

Tôi cũng sẽ không phóng đại kiến trúc. Trước khi đạt được sự phù hợp sản phẩm-thị trường, việc giao hàng sớm sáu tuần thường thắng bất kỳ lớp trừu tượng nào, và một công ty khởi nghiệp xây dựng ba backend truy xuất trước khi có khách hàng đã tạo ra một bảo tàng. Việc giao dịch này có đúng hay không phụ thuộc vào sản phẩm và chi phí của việc xây dựng lại cuối cùng. Giữ nguyên vật liệu thô có thể khôi phục và một lối tắt vẫn là một lối tắt.

Phần Đã Thay Đổi

Trong khi AI chỉ trả lời các câu hỏi, việc mất ngữ cảnh chỉ là một bất tiện. Bạn phải gõ lại lời nhắc và tiếp tục. Bây giờ nó lên lịch họp, tạo vé và tương tác với CRM, và việc thiếu ngữ cảnh dẫn đến công việc trùng lặp hoặc chưa hoàn thành trong các hệ thống thuộc khách hàng của bạn.

Các nhà cung cấp mô hình xây dựng những thứ phi thường và tôi sử dụng chúng hàng ngày. Trách nhiệm tôi đang mô tả nằm ở chúng tôi, những người xây dựng các nền tảng trung gian: làm cho các phụ thuộc trở nên hiện rõ, và bảo tồn một bản ghi đáng tin cậy về những gì đã được ủy quyền và những gì đã hoàn thành.

Mỗi quy trình làm việc đã hoàn thành nên để lại cho tổ chức một thứ có thể tái sử dụng — một kết quả đã được xác minh, một quyết định có lịch sử truy xuất được, một điểm khởi đầu rõ ràng hơn cho nhiệm vụ tiếp theo. Giá trị tích lũy đó nên tồn tại lâu hơn mô hình đã giúp tạo ra nó.

Hỏi xem bạn sẽ còn sở hữu gì vào sáng thứ Tư.