휴리스틱스 vs. RAG: 물가상승으로 인한 정책 결정

대부분의 경우, 웹을 검색하면 ChatGPT의 질문에 대한 사실적 정확도가 향상됩니다. 그렇다면 AI가 공공의 수용을 위해 어려움을 겪고 있는 상황에서, 왜 기본적으로 ‘추측’을 하는 것일까요?

의견 LLMs(대규모 언어 모델)인 ChatGPT가 자신의 호스트의 잠재적으로 부정한 관행에 대한 내부 정보를 공개하는 경우는 결코 없다고 생각하는 것은 잘못된 것입니다. 비록 비싼 세션이 끝나고 시스템의 결함에 대해 충분히 조사한 경우에도 말입니다:

여기서 ChatGPT의 내부 논리(웹 기반 연구 및 RAG를 통한 검증과 비교)를 선호하는 토론은 명백한 솔직함의 순간을 유발합니다. 그러나 그것을 한 줌의 소금으로 받아들이세요. 출처

대부분의 경우 – 특히 지식 종료 날짜가 더 поздняя 모델의 경우 – AI는 단순히 훈련 중에 본 Reddit 및 포럼 게시물을 따라합니다. 실제로 이러한 ‘내부 정보’에 가치가 있다고 가정하더라도, 그것이จริง한지 증명하는 것은 불가능합니다.

그러나 때때로 이러한 격렬한 교환은 ‘해킹'(또는 적어도 ‘트릭’)의 발견으로 이어지는데, 이는 일부 최악의 반복적인 습관을 방지하는 데 도움이 될 수 있습니다. 예를 들어, 지난 주 ChatGPT는 ‘추측’을 포함하지 말라는 명령을 포함하면 더 열심히 일하고 환상을 덜 일으킬 수 있다고 제안했습니다:

그 때부터 ‘추측’을 많이 사용했으며, 한 번도 모델이 명령을 닫은 후에 자신의 훈련된 지식으로 돌아가지 않았습니다. 대신, GPT는 즉시 检索 보강 생성(RAG)를 사용하여 인터넷에서 조명이나 확인 문서를 검색합니다.

실제로, 대부분의 요청에 대해서는 이것은 시스템에 ‘웹을 검색’하도록 지시하는 것과 거의 다를 바 없습니다. 그러나 ‘추측’이라는 단어가 真正로 도움이 될 수 있는 경우는, 실제로 새로운 업로드된 PDF를 읽지 않고 이전 세션의 메타데이터 또는 기타 가능한 소스를 사용하여 ‘유사한’하지만 완전히 환상적인 응답을 생성할 때입니다.

그러나 채팅 세션이 진행될수록, 이것이 작동할 가능성은 낮아집니다. 또한 이러한 ‘트릭’이 신뢰할 수 있거나 시스템이 발전함에 따라 유지될 것이라고 생각하는 것은 잘못입니다.

RAG 트레이드

성장하는 문화와 물가상승이 발생하는 상황에서, 대규모 시스템인 OpenAI의 GPT 인프라는 매우 작고广泛한 행동의 변화에 영향을 받습니다. 따라서, 이러한 결정이 사용자에게 영향을 미치는 경우, LLMs와 같은 ChatGPT가 RAG를 사용할지 여부를 결정하는 것은 쉽게 믿을 수 있습니다.

예를 들어, RAG를 사용하여 웹을 검색하거나, 더 나은 결과를 얻을 수 있는 사슬思考(CoT) 프로세스를 시작하거나, 가장 빠르고 저렴한 해결책인 자신의 훈련된 임베딩과 로컬에 있는 지식을 사용할지 여부를 결정하는 것입니다.

여러 가지 실제 이유로 인해, 공개 프로필이 민감한 LLM인 ChatGPT와 같은 경우, RAG 호출을 제한하고, 자신의 추측을 선호할 수 있습니다. 첫째, PR 관점에서, 웹을 자주 사용하는 것은 LLMs를 단순한 구글代理로 만들 수 있습니다. 이것은 내재된 지식의 가치를 낮추고, 유료 구독의 매력을 떨어뜨릴 수 있습니다.

둘째, RAG 인프라는 유지하고 업데이트하는 데 비용이 듭니다. 반면에, 로컬 추론은 매우 저렴하고 빠릅니다.

셋째, 시스템은 RAG가 자신의 추측 결과를 개선할 수 있는지 여부를 결정하는 효과적인 방법이 없습니다. 또한, 이것을 결정하기 위해서는 먼저 추측을 실행해야 합니다. 이것은 사용자가 결함이 있는 추측 결과를 평가하고, 결과가 부족한 경우 RAG 호출을 요청하는 일을 맡깁니다.

AI 물가상승의 관점에서, ChatGPT가 추측을 통해 오류가 발생하고, RAG를 통해 성공하는 횟수는 시스템이 결과보다 비용을优先한다는 것을 나타낼 수 있습니다.

RAG는 시간이 지남에 따라 필수적입니다

ChatGPT의 최근 ‘고백’에도 불구하고, 물가상승은 더广泛한 맥락을 가지고 있습니다. RAG는 저렴하지 않지만, 모델의 크기가 작을수록 더 많이 필요합니다. 또한, 모델의 크기가 작을수록, RAG를 사용하여 외부的事実를 보충할 수 있습니다.

구식 모델의 경우, RAG는 네트워크 호출 및 기타 자원 비용을 지불하면서 시스템의 통화를 유지할 수 있습니다. 새로운 모델의 경우, RAG의 próprias检索는 더 적거나, 심지어 결과의 품질을 낮출 수 있습니다.

따라서, AI는 RAG를 사용해야 하는지 여부를 결정하는 능력뿐만 아니라, 내부 가중치가 더 오래될수록 RAG 사용 정책을 지속적으로 발전시켜야 합니다.

同時에, 시스템은 ‘상대적 상수’를 링그펜스해야 합니다. 예를 들어, 달의 궤도, 고전 문학, 문화, 역사, 기본 지리, 물리학 및 기타 과학적 진리를 포함한 지식입니다. 이러한 지식은 시간이 지남에 따라 크게 발전할 가능성이 낮습니다.

이상한 주제

현재, 적어도 ChatGPT의 경우, RAG 호출(즉, 웹 연구를 사용하는 사용자 쿼리)은 시스템에 의해 자율적으로 선택되는 경우가 거의 없습니다. 특히, ‘주변’ 하위 도메인과 관련하여 그렇습니다.

예를 들어, ‘희귀한’ 소프트웨어 사용과 같은 주변 도메인입니다. 이러한 경우, 최소한의 소스 데이터가 훈련 중에 주목을 받지 못했을 수 있으며, 데이터의 ‘이상한’ 상태는 주목을 받거나, ‘주변’ 또는 ‘중요하지 않은’ 것으로 표시될 수 있습니다. 그러나, 모델의 지식 종료 날짜 이후에 작성된 단 하나의 포럼 게시물도, 작은 주제에 대한 전체 데이터와 품질의 응답을 크게 향상시킬 수 있습니다.

RAG의优势은 기초 모델이 더 강력해질수록 감소하는趨勢가 있습니다. 더 작은 모델은检索에서 크게 혜택을 받지만, 더 큰 시스템은 RAG에서 마진이나 부정적인 개선만을 보입니다.

많은 벤치마크에서,检索는 혜택보다 더 많은 방해를 일으킵니다. 이것은 더 큰 모델에 투자하거나,检索와 결합된 더 작은 모델 사이에서 트레이드오프가 존재한다는 것을 시사합니다.

따라서, RAG는 중간 크기의 모델에서 가장 유용합니다. 이러한 모델은 외부的事実가 필요하지만, 더 복잡한 내부 추측을 사용하여 평가할 수 있습니다.

비상시만 사용

ChatGPT의 RAG 사용 결정에 대한 지침은 명시적으로 노출되지 않지만, 암시적으로 주어집니다:

웹 도구를 사용하여 웹의 최신 정보에 액세스하거나 사용자의 위치에 대한 정보가 필요한 경우에 사용합니다. 예를 들어:

로컬 정보: 웹 도구를 사용하여 사용자의 위치에 대한 정보가 필요한 질문에 응답합니다. 예를 들어, 날씨, 로컬 비즈니스 또는 이벤트입니다.

신선도: 주제에 대한 최신 정보가 답변을 개선할 수 있는 경우, 웹 도구를 호출합니다.

니치 정보: 답변에詳細한 정보가 필요한 경우, 웹 소스를 직접 사용합니다.

정확도: 작은 오류 또는 구식 정보의 비용이 높은 경우, 웹 도구를 사용합니다.

특히, 이러한 지침은 원生 훈련 데이터가 부족한 경우에 RAG를 권장합니다. 그러나, 시스템은 어떻게 이러한 이해에 도달할 수 있을까요? 사용자와 관찰자는 ChatGPT가 ‘웹을 검색’하는 경우, 모델의 내부 추측이 먼저 조사되었으며, 비어 있었다고 결론지을 수 있습니다.

또한, RAG는 매우 제한된 사용 사례에만 권장됩니다. 이것은 GPT가 대부분의 사실 기반 도메인 쿼리에서 자신의 추측을 폴링해야 한다는 것을 의미합니다. 이러한 경우, AI의 내재된 환상이 주목할만한 책임이 될 수 있습니다.

결론

최근 연구의 경향은, 추측 생성은 빠르고 저렴하지만, 너무 자주 잘못된 반면, RAG는 더 느리고 비용이 많이 들지만, 더 자주 옳다는 것을 나타냅니다. 모델의 크기가 작을수록, 이러한 차이는 더 크게 나타납니다.

ChatGPT를 사용한 경험에 따르면, OpenAI는 RAG를 너무 적게 사용하고 있다고 주장할 수 있습니다. 특히, 커지는 컨텍스트 창으로 인해, 긴 대화에서 환상을 일으킬 가능성이 더 높아집니다.

이 상황은, 내부 결과를 웹 기반 권위 소스와 비교하여, 사용자가 의심하거나 그에 걸려 넘어지지 않도록, 시스템이 스스로 의심하고, RAG를 사용하여 웹과 상호작용하는 방식으로 완화될 수 있습니다.

대신, 시스템은 경우에 따라 스스로를 선택적으로 의심하고, 웹과 상호작용하는 방식으로 설계될 수 있습니다. 그러나, 현재 모델의 아키텍처는 이러한 접근 방식을 허용하지 않는 것 같습니다.

현재로서는, 나는 문제가 있다는 것을 입증할 수조차 없습니다. 심지어 ‘고백’도 없습니다:

* 위의 링크를 참조하십시오.

** 이것은 ‘자체 노출’된 GPT-5 시스템 프롬프트입니다. 일부 사람들은 이것이 GPT-5를 위해 재훈련된 프롬프트 포럼 게시물의 요약이라고 주장합니다.

^† 나는 정말로 ChatGPT의 ‘유죄한 솔직함’이 여기서 의미가 있다고 주장하지 않습니다. 오픈AI 정책과 관련된 문제에서 내 자신의 당파를 반대하는 경향이 있기 때문에, 시스템은 결국 내 의견과 동의하고, 내 암묵적인 의견을 되풀이할 것입니다. 이것은 압력下에서 노르망디 상륙의 세부 사항을 말하는 것과는遠い 것입니다.

최초로 게시된 날: 2025년 12월 10일 수요일