체인 오브 사고의 종말? CoreThink과 캘리포니아 대학교 연구자들은 AI 이성에 대한 패러다임 전환을 제안합니다.

수년 동안 인공 지능 분야는 규모에 대한 경쟁이었습니다. 더 큰 모델과 더 많은 GPU, 더 긴 프롬프트가 중심이었습니다. OpenAI와 Anthropic, Google은 LLM과 강화학습 미세 조정, 사고 연쇄 프롬프팅으로 단계별 답변을 생성해 추론을 모사하는 기술을 이끌어 왔습니다. (GOOGL )

그러나 CoreThink AI와 캘리포니아 대학교 연구자들이 작성한 새로운 기술 보고서 CoreThink: LLM과 함께 긴 호라이즌 작업에서 이성을 위해는 이러한 패러다임이 한계에 도달하고 있을 수 있다고 주장한다. 저자들은 도발적인 주장을 한다. LLM은 강력한 통계적 텍스트 생성기이지만, 이성 엔진은 아니다. 그리고 체인 오브 사고, 가장 자주 사용되는 방법은 진정한 논리보다는 더 많은 성과를 위한 연극이다.

대응으로, 팀은 일반 심볼릭을 도입한다. 이는 기존 모델에 플러그인할 수 있는 신경-심볼릭 이성 계층이다. 그들의 평가에서는 Dramatic 개선이 rộng은 범위의 이성 벤치마크에서 달성되었으며, 다시 훈련이나 추가 GPU 비용 없이 달성되었다. 이러한 접근법이 검증된다면, 이는 AI 시스템이 논리와 의사 결정에 대해 설계되는 방식에서 전환점을 나타낼 수 있다.

체인 오브 사고란 무엇이며, 왜 중요할까

체인 오브 사고(CoT) 프롬프팅은 현대 AI에서 가장 널리 채택된 기술 중 하나가 되었다. 모델에 이성 단계를 작성하도록 요청함으로써, 연구자들은 종종 벤치마크 점수를 개선할 수 있었다. 수학, 코딩, 계획과 같은 분야에서.

그러나 보고서는 이 접근법의 한계를 강조한다. CoT 설명은 설득력 있게 보일 수 있지만, 연구에 따르면, 이러한 설명은 종종 모델이 실제로 계산한 내용과 부정확하며, 사실 후에 합리화된 출력이다. 이는 실제 위험을 초래한다. 의학에서는, 설득력 있는 내러티브는 가짜 상관관계에 의존할 수 있으며, 이는 위험한 오진으로 이어질 수 있다. 법률에서는, 허구의 이유는 진정한 정당화로 오인될 수 있으며, 이는 적절한 절차와 책임성을 위협할 수 있다.

보고서는 비효율성도 지적합니다. CoT는 단순한 문제에서는 지나치게 길어지고 복잡한 문제에서는 얕은 추론으로 무너질 수 있습니다. 계산을 낭비하고 정확도도 낮아집니다. 저자들은 사고 과정이 실제 기계적 추론이 아니라 해석 가능성을 주지 못하는 피상적 연출이라고 결론 내립니다.

심볼릭 AI: 초기 꿈에서 새로운 부흥까지

CoT의 비판은 심볼릭 AI의 역사로 돌아가도록 초대한다. 초기에, AI 연구는 명시적 논리적 형태로 지식을 인코딩하는 규칙 기반 시스템을 중심으로 진행되었다. 전문가 시스템은 수동으로 작성된 규칙을 적용하여 질병을 진단하려고 시도했으며, 사기 탐지 시스템은 논리 집합을 사용하여 이상을 감지했다.

심볼릭 AI는 명백한 강점을 가지고 있었다. 모든 이성의 단계는 투명하고 추적 가능했다. 그러나 이러한 시스템은 취약했다. 수만 개의 규칙을 인코딩하는 것은 엄청난 노력이 필요했고, 새로운 상황에 직면했을 때 어려움을 겪었다. 비평가들은 인간 지성이 규칙 집합으로 포착할 수 없는 상황에 따른 노하우에 의존한다고 주장했다. 1990년대에, 심볼릭 접근법은 데이터 주도 신경망으로 대체되었다.

최근 몇 년 동안, 두 세계의 강점을 결합하여 신경-심볼릭 AI를 만들기 위한 노력이 재개되었다. 아이디어는 간단하다. 신경망이 어수선한 입력을 처리하고, 심볼릭 모듈이 구조화된 이성과 논리적 보증을 제공한다. 그러나 이러한 하이브리드는 종종 통합에 어려움을 겪었다. 심볼릭 백본은 너무 경직되었고, 신경 모듈은 종종 일관성을 저해했다. 결과는 복잡하고 무거운 시스템이 되었으며, 약속된 해석 가능성을 제공하지 못했다.

일반 심볼릭: 새로운 이성 계층

CoreThink의 일반 심볼릭 이성자(GSR)는 다른 접근법으로 이러한 제한을 극복하려고 한다. 언어를 엄격한 형식 구조나 고차원 임베딩으로 번역하는 대신, GSR은 자연 언어 자체에서 작동한다. 이성의 모든 단계는 단어로 표현되므로, 맥락, 뉴앙스, 모달리티가 보존된다. 이는 “반드시”와 “해야한다”와 같은 차이가 이성 과정에서 유지된다.

이 프레임워크는 언어를 자연 언어로 파싱하고, 언어적 변환을 통해 논리적 제약을 적용하며, 완전히 인간이 읽을 수 있는 이성 추적을 생성한다. 모순이나 오류가 나타나면, 직접 이성 경로에서 표면화되므로 투명성과 디버깅이 가능하다. 효율성을 유지하기 위해, 시스템은 불필요한 단계를 제거하여 안정적인 장기 이성을 가능하게 한다.

기존 기본 모델에 적용할 수 있으므로, GSR은 다시 훈련할 필요가 없다. 평가에서, GSR은 이성 작업에서 30~60%의 정확도 개선을 일관되게 제공했다. 모든 경우에 훈련 비용을 증가시키지 않았다.

벤치마크 결과

개선은 벤치마크를 통해 가장 잘 설명된다. LiveCodeBench v6에서, 코딩 문제를 평가하는 경쟁 등급 벤치마크에서, CoreThink은 66.6%의 통과율을 달성했다. 이는 해당 카테고리의 선도적인 모델보다 훨씬 높다. SWE-Bench Lite에서, GitHub 저장소에서 실제 버그 수정을 위한 벤치마크에서, 시스템은 62.3%의 정확도를 달성했다. 이는 지금까지 보고된 최고 결과이다. ARC-AGI-2에서, 추상적 이성의 가장 어려운 테스트 중 하나에서, 24.4%의 점수를 달성했다. 이는 Claude와 Gemini와 같은 최전선 모델을 훨씬 초과했다.

이 수치는 단순한 정확도 이상의 의미를 지닌다. 자세한 사례 연구에서 심볼릭 계층은 모델의 작동 방식 자체를 바꿨다. 예를 들어 scikit-learn의 ColumnTransformer에서 기준 모델은 피상적인 패치만 제안했습니다. CoreThink 보강 시스템은 근본적인 동기화 문제를 찾아 전면 수정했습니다. 어려운 LeetCode 문제에서도 기준 모델은 동적 계획법을 잘못 적용했지만 상징 추론 계층은 잘못된 상태 표현을 고쳐 작동하는 해법을 만들었습니다.

심볼릭 부흥에 어떻게 적합하는가

일반 심볼릭은 AI 이성에 구조를 다시 가져오는 시도하는 증가하는 운동에 합류한다. 고전적인 심볼릭 AI는 투명성의 가치를 보여주었지만, 새로운 상황에 적응하지 못했다. 전통적인 신경-심볼릭 하이브리드는 균형을 약속했지만, 종종 무거웠다. Planner 스택은 LLM에 검색을 연결했지만, 복잡성으로 인해 붕괴했다.

최근의 발전은 새로운 하이브리드의 잠재력을 가리킨다. 예를 들어, DeepMind의 AlphaGeometry는 기하학 문제에서 심볼릭 구조가 순수한 신경 모델을 초과할 수 있음을 보여주었다. CoreThink의 접근법은 이러한 추세를 확장한다. ARC-AGI 파이프라인에서, 결정적 객체 감지와 심볼릭 패턴 추상화가 신경 실행과 결합되어, LLM-ONLY 시스템을 훨씬 초과하는 결과를 생성한다. 도구 사용에서, 심볼릭 계층은 맥락을 유지하고 제약을 적용하도록 도와주어, 더 신뢰할 수 있는 멀티-턴 계획을 가능하게 한다.

General Symbolics의 핵심 차이는 엄격한 논리나 대규모 재훈련에 의존하지 않는다는 점입니다. 언어 자체에서 추론해 유연성과 해석 가능성을 함께 유지합니다. 기존 하이브리드보다 가볍고 기업 애플리케이션에 통합하기에도 실용적입니다.

왜 중요할까

사고 과정이 추론의 환상에 불과하다면 AI 업계는 시급한 문제에 직면한다. 기업은 실제 추론을 제공하지 않는 시스템에 의존할 수 없다. 특히 의료, 법률, 금융처럼 위험 부담이 큰 환경에서는 더욱 그렇다.

General Symbolics는 이 과제를 해결하는 한 가지 방법입니다. 기존 모델을 재훈련하지 않고도 실제 추론을 제공하는 가볍고 해석 가능한 계층입니다. 이는 경직된 규칙 집합이 아니라 신경망 학습의 유연한 동반자로서 상징 추론이 부활하는 계기가 될 수 있습니다.

저자들은 다음과 같이 말한다. “우리는 더 나은 이성을 얻기 위해 더 많은 매개변수를 추가할 필요가 없다. 우리는 기초를 다시 생각해야 한다.”