귀사의 메모리는 AI 모델보다 오래 지속되어야 합니다

사람들은 종종 내 회사에 어떤 모델이 적용되는지 묻습니다. 답은 중요합니다: 품질, 비용 및 제한을 결정하고, 저는 이에 한 시간을 할애할 의향이 있습니다. 또한 두 번째로 알고 싶은 것은 모델이 바뀔 때 조직이 무엇을 여전히 보유하게 될지입니다.

날짜로 생각해 보세요. 공급업체가 화요일에 가격을 두 배로 올리거나, 여러분이 구축한 엔드포인트를 폐기한다면, 수요일 아침에 여러분이 여전히 가지고 있을 것은 무엇일까요?

많은 기업에게 솔직한 답은 다음과 같습니다: API 키, 청구서, 그리고 다른 사람의 서버에 다른 사람의 보존 일정에 따라 저장된 매우 긴 대화 기록.

제 배경은 화학입니다. 저는 수년간 화학 플랜트를 위한 그레이박스 모델을 구축했으며, 이를 SCADA, 실험실 결과, 그리고 운영자의 메모와 연결했습니다. 그 작업을 통해 빠르게 배운 한 가지 규칙은: 조건이 없는 숫자는 결과가 아니라는 것입니다. 누군가 지난 주에 센서를 교체했지만 아무도 기록하지 않았다면, 화면에 표시된 값은 아무 의미가 없습니다.

이는 실험실 노트북 문제입니다. 이제는 조달 문제로 나타나며, AI 예산이 결정되는 문서에 거의 포함되지 않습니다.

한 번에 답을 얻는 세 가지 질문

더 큰 컨텍스트 창은 모델이 단일 요청 내에서 더 많은 정보를 사용할 수 있게 합니다. 영구 저장소는 요청 사이에 무엇이 유지되는지를 결정합니다. 이동성은 제공자가 바뀔 때 해당 정보가 계속 사용 가능한지를 결정합니다. 이는 별개의 아키텍처 질문이며, 백만 토큰 창이 모두를 하나로 취급하도록 장려했습니다.

Google의 자체 문서에서는 직접적인 비유를 제공합니다: “컨텍스트 창에 대한 비유는 단기 기억입니다.” 이를 문자 그대로 받아들이세요. 단기 기억은 여러분이 잃어버리는 것입니다.

따라서 거대한 창을 제공하는 모든 벤더는 상태를 지속시키는 별도의 제품도 판매합니다. 해당 계층을 그들의 말대로 정확히 읽고, 각 계층이 실제로 무엇을 포괄하는지 확인하세요.

OpenAI는 기본적으로 응답 객체를 30일 동안 저장합니다; 대화 객체와 그 항목은 해당 TTL에서 제외됩니다. Amazon의 30일 삭제 정책은 Bedrock Session Management API에만 적용되며, 해당 API만을 포함합니다. Anthropic의 클라이언트 측 메모리 도구는 유용한 경계를 보여줍니다: 모델은 메모리 작업을 요청하고, 애플리케이션이 저장을 제어하며, 같은 회사가 관리형 메모리 저장소를 호스팅 에이전트를 위해 제공하기도 합니다.

이 모든 것은 공개된 일반적인 엔지니어링 결정이며, 귀사의 작업 컨텍스트에 대한 보존 규칙이 타사의 릴리스 노트에 존재한다는 의미이기도 합니다. 따라서 어떤 규칙이 귀사의 어느 데이터에 적용되는지 명시할 수 있어야 합니다.

전환 비용이 실제로 존재하는 곳

텍스트 생성 호출을 다른 것으로 교체하는 데는 주말이 걸립니다. 그래서 “우리는 멀티 모델입니다”라는 말이 이렇게 쉬운 이유입니다. 비용이 많이 드는 계층은 아무도 시연하지 않는 부분입니다.

임베딩.변경하는 경우 임베딩 모델은 일반적으로 코퍼스를 재임베딩하고 인덱스를 마이그레이션하거나 재구축해야 합니다. 변경은 생성 모델은 이러한 요구사항이 없으며, 두 모델이 지속적으로 혼동됩니다 — 보통 마이그레이션이 빠를 것이라고 약속하는 사람에 의해. 2025년 문헌은 표준 경로를 다음과 같이 설명합니다: “전체 코퍼스를 재인코딩하고 근사 최근접 이웃(ANN) 인덱스를 재구축하는 것”은 상당한 운영 중단 및 계산 비용을 초래합니다 해당 논문의 자체 기여인 Drift-Adapter는 연기 재구축을 임베딩 공간 간 변환을 학습함으로써 연기합니다. 어느 쪽이든, 마이그레이션 비용은 검색 검증 및 운영 작업은 물론 임베딩 호출 자체까지 포함합니다.

미세 조정된 동작.Cohere의 한 문장은 2025년 9월 폐기 공지 모든 조달 부서 위에 놓여야 합니다: “이전의 미세 조정 모델은 더 이상 접근할 수 없습니다.” 여러분이 비용을 들여 만든 동작이었으며, 이를 호스팅하던 엔드포인트와 함께 폐기되었습니다. 모든 사람이 공개된 절차를 따랐습니다. 그러나 여러분의 모델은 여전히 사라졌습니다.

프롬프트 및 도구 동작. 동일한 지시가 다른 모델에서 다른 애플리케이션을 생성합니다. 한 기업 애플리케이션에서 연구원들은 회귀 통과율이 하락했다고 보고했습니다 원래 모델에서 100%였던 것이 동일한 프롬프트를 가진 최신 모델에서는 97.3%로 떨어졌으며, 이는 의도적인 프롬프트 재설계 후에야 회복되었습니다. 테스트 시나리오는 실제 운영에서 각각의 빈도로 나타나므로, 이 수치는 실시간 워크플로우가 얼마나 자주 실패하는지에 대한 추정치를 제공하지 않습니다. 이를 뒷받침하는 운영 규칙은 더 간단합니다: 모델 업그레이드가 고객에게 전달되기 전에 애플리케이션 수준에서 직접 검증하십시오.

이 모든 것은 결국 청구서에 반영되며, 가격 페이지를 비교한 뒤 오랜 시간이 지난 후에 나타납니다.

다른 사람이 귀하의 캘린더를 관리하고 있습니다

폐기는 공개된 일정에 따라 진행되며, 그 일정은 여러분의 것이 아닙니다. OpenAI 1년 사전 통지를 제공했다는 2026년 8월에 Assistants API를 종료하기 전에 이루어졌으며—동일 페이지의 기준으로는 관대한 조치로, GPT‑4.5 Preview는 약 3개월 정도였던 것과 비교됩니다. Mistral의 정책은 GA 모델에 대해 6개월, 프리뷰 및 타사 모델에 대해 1개월이며, 롤링 별칭이 “모델 동작 및 가격 책정의 무음 업데이트에 노출될 수 있다”는 경고를 포함합니다.

AWS는 수명 주기 정책에서 조용한 부분을 크게 말합니다: “EOL 날짜 이전에 Active 모델로 마이그레이션하십시오; 마이그레이션은 자동으로 이루어지지 않습니다.”

귀하의 로드맵에는 공동 저자가 있습니다. 이 공동 저자는 귀하의 계획 회의에 참석하지 않으며, 현재 어느 분기에 있는지도 신경 쓰지 않습니다.

가격도 변동 요소입니다

Gemini 3.7 Flash의 표준 요금표에 따르면, 50억 개의 캐시되지 않은 입력 토큰과 10억 개의 청구된 출력 토큰은 월 $7,500의 비용이 듭니다. 2027년 1월 1일에 현재 예정된 요금은 기타 요금이나 할인 전에도 해당 토큰 청구액을 $15,000으로 증가시킬 것이며, 귀사의 제품은 이전과 동일하게 동작합니다.

동결된 가격 목록도 더 큰 청구서를 초래할 수 있습니다. Anthropic의 가격 문서에 따르면, 최신 모델 세대에서 사용되는 토크나이저가 “동일한 텍스트에 대해 약 30% 더 많은 토큰을 생성한다”고 명시되어 있습니다 – 이는 내용에 따라 달라지며 해당 세대에만 적용됩니다 – 따라서 특정 청구서에 미치는 영향을 측정해야 합니다. 따라서 청구되는 토큰을 측정하십시오. 단순히 가격표만으로는 알 수 없습니다.

워크플로를 실행하는 제품의 경우, 유용한 경제적 측정 기준은 재시도와 인간 검토를 포함한 성공적으로 완료된 작업의 비용입니다. 모델이 변경되면 해당 수치는 가격표가 변하지 않더라도 변동합니다.

그리고 이 모든 것이 1년이 걸리는 상황에서는 협상할 여지가 없습니다. Capgemini은 1,300명의 임원을 조사했습니다 2026년 봄에 억대 규모 조직을 대상으로 주요 기술 공급업체에 대해 일반적으로 조사했으며, 36%는 하나를 떠나는 데 12개월 이상이 걸릴 것이라고 답했으며, 10명 중 1명은 전혀 실현 가능한 대안이 없다고 답했습니다. 이는 두 번째 공급원이 없는 공급자 관계에 대한 설명입니다.

구매 부서에 전달하세요

저는 프랑스 회사를 운영하고 있으며, 마르세유에 등록되고 유럽에 호스팅됩니다. 그리고 추상적인 수준에서 주권에 관한 연설은 여전히 건너뛰겠습니다. 모든 기술 공급업체로부터의 독립은 일반 기업에게는 도달할 수 없습니다. 동일한 Capgemini 연구에 따르면 59%의 임원들이 완전한 디지털 주권을 비현실적이라고 생각했으며, 저도 그 의견에 동의합니다.

핵심 의존성을 이해하고 통제하는 일은 규모가 작고 가능한 일입니다. 회의에서 답변할 수 있는 세 가지 질문: 우리의 데이터가 어디에 저장·처리되는가, 누가 접근할 수 있는가, 그리고 다른 공급업체와 함께 운영을 지속하려면 무엇이 필요한가?

모든 기업은 물류, 결제, 클라우드 스토리지에 대해 어떻게 질문해야 하는지 알고 있습니다. 작업 환경에 대해 물었을 때, 유럽 의존성은 수치가 붙은 2차 공급원 논의 형태로 회의에 등장하며, 이는 구매 부서가 조치를 취할 수 있는 형태입니다.

여기서 인용되는 수치에 대한 한 가지 주의점이 있습니다. 기업이 여러 모델을 사용한다는 사실은 작업 환경을 공급업체 간에 이동할 수 있는지에 대해 거의 알려주지 않습니다. 이는 별도의 테스트가 필요합니다: 기록, 권한 및 미완성 작업을 다른 공급업체로 옮겨도 계속 사용할 수 있는가?

모델을 교체 가능하게 만드는 실제 요소

모델 간에 공유 인터페이스를 갖는 것은 유용하며, 저는 이를 구축하고 싶습니다. 이는 모델별 기능과 종속성을 명확히 보여줘야 합니다. 이동성은 모든 모델이 동일하게 동작한다는 가장을 요구하지 않으며, 차이를 평탄화하는 추상화는 좋은 모델에 비용을 지불한 이유를 조용히 없애버립니다.

더 무거운 작업은 어느 공급자도 단독 보관자가 되어서는 안 되는 상태를 소유하는 것입니다. 네 가지 항목을, 문제가 발생하는 순서대로 나열합니다.

귀하가 제어하는 권위 있는 기록.메시지, 검색된 소스, 승인, 실행 체크포인트. 외부 시스템에서 완료된 작업과 안전하게 재시도할 수 있는 작업을 기록하십시오: 이메일은 전송됐지만 확인이 저장되지 않았을 수 있으며, 이를 모르는 복구 절차는 이메일을 두 번 보낼 수 있습니다. 재구성할 수 없는 공급자 상태는 모두 의존성입니다. 사고가 문서화를 대신하기 전에 이를 하나의 명시적인 기록으로 작성하십시오.

각 벡터와 함께하는 소스.벡터는 컴파일된 산출물이며, 청크는 소스 코드입니다. 소스 문서와 그 버전, 문서 ID, 청크 경계, 청크 생성기 버전, 임베딩 모델(버전 및 차원), 인덱스 버전, 그리고 텍스트를 생성한 처리 과정을 저장하십시오. 저장된 텍스트 조각만으로는 표, 이미지 또는 OCR 결과를 재구성할 수 없습니다. 모든 정보를 보관하면 재인덱싱을 계획된 마이그레이션으로 전환하게 되며, 이는 제가 약속할 수 있는 만큼의 안심을 제공합니다.

소스, 추론 및 결정을 구분하는 기록. 메모리는 소스가 말한 내용, 모델이 추론한 내용, 그리고 사람이 승인한 내용을 구분해야 합니다. 목요일에 결제를 약속한 고객, 결제가 지연될 것이라는 모델의 추측, 그리고 금요일로 연장된 합의는 각각 다른 상태를 가진 세 개의 기록이며, 시스템은 어느 기록을 실행할 수 있는지 알아야 합니다. 각 기록은 그 출처, 범위, 접근 규칙 및 현재 상태가 필요하며, 수정되었는지 대체되었는지도 포함됩니다. 전사에는 증거가 포함될 수 있지만, 이를 재생한다고 해서 어떤 결론이 여전히 유효하고 어떤 결정이 유지되는지는 신뢰성 있게 식별되지 않습니다.

실제로 테스트한 이식성. 두 가지 방법으로 테스트 가능하게 만드세요: 내보내기‑복원 연습과 애플리케이션이 달성해야 할 목표를 정의하는 평가 스위트입니다. 그러면 “우리는 전환할 수 있다”는 측정값이 생겨, 교체가 품질, 권한, 지연 시간 및 비용에 대한 요구 사항 내에서 대표적인 워크플로를 지속할 수 있는지를 누군가가 실행할 수 있게 됩니다. 그리고 재사용할 권리가 있는 학습 데이터를 그 버전, 튜닝 구성 및 수용 테스트와 함께 보존하십시오. 이는 재학습을 가능하게 하지만 동일한 동작을 보장하지 않으며, 미세 조정된 모델 ID는 당신이 한 번도 만나본 적 없는 사람이 설정한 날짜에 만료됩니다.

그렇다면 도움이 되는 곳에서는 호스팅 세션, 프롬프트 캐시 및 제공자 검색을 사용하십시오. 이들은 종종 훌륭하지만, 원칙적으로 거부하는 것은 자체적으로 비용이 많이 드는 행위입니다. 요구 사항은 그들이 보유한 기록을 복구하여 다른 곳에서 사용할 수 있어야 하며, 접근 및 보존 규칙이 그대로 유지되어야 한다는 것입니다. 컴퓨팅을 임대하고; 기록에 대한 통제를 유지하십시오.

저도 이 아키텍처를 과대 포장하지는 않을 것입니다. 제품‑시장 적합성에 도달하기 전에, 6주 일찍 출시하는 것이 어떤 추상화 레이어보다도 자주 유리하며, 고객이 생기기 전에 세 개의 검색 백엔드를 구축한 스타트업은 사실상 박물관을 만든 셈입니다. 그 거래가 옳은지는 제품과 최종 재구축 비용에 따라 달라집니다. 원자재를 복구 가능하게 유지하고, 단축키는 여전히 단축키로 남아 있습니다.

변경된 부분

AI가 질문에만 답변하던 시절에는 컨텍스트 손실이 불편함에 불과했습니다. 프롬프트를 다시 입력하고 넘어갔죠. 이제는 회의를 예약하고, 티켓을 생성하며, CRM을 조작합니다. 컨텍스트가 누락되면 고객 시스템에서 중복되거나 미완성된 작업이 발생합니다.

모델 공급업체는 놀라운 기술을 구축하고 저는 이를 매일 사용합니다. 제가 말하는 책임은 그 사이의 플랫폼을 구축하는 우리에게 있습니다: 의존성을 가시화하고, 승인된 내용과 완료된 내용에 대한 신뢰할 수 있는 기록을 보존하는 일입니다.

완료된 모든 워크플로는 조직이 다시 사용할 수 있는 무언가—검증된 결과, 추적 가능한 이력이 있는 결정, 다음 작업을 위한 명확한 시작점—를 남겨야 합니다. 이 누적된 가치는 그것을 만든 모델보다 오래 지속되어야 합니다.

수요일 아침에 아직도 소유하고 있을 것이 무엇인지 물어보세요.