체인 오브 사고의 종말? CoreThink과 캘리포니아 대학교 연구자들은 AI 이성에 대한 패러다임 전환을 제안합니다.

수년 동안 인공 지능 분야는 규모에 대한 경쟁이었다. 더 큰 모델, 더 많은 GPU, 더 긴 프롬프트. OpenAI, Anthropic, Google는 대규모 언어 모델(LLM), 강화 학습 미세 조정, 체인 오브 사고 프롬프팅과 같은 기술을 통해 리더십을 발휘해 왔다. 이러한 기술은 단계별 답변을拼出함으로써 이성을 시뮬레이션하도록 설계되었다.

그러나 CoreThink AI와 캘리포니아 대학교 연구자들이 작성한 새로운 기술 보고서 CoreThink: LLM과 함께 긴 호라이즌 작업에서 이성을 위해는 이러한 패러다임이 한계에 도달하고 있을 수 있다고 주장한다. 저자들은 도발적인 주장을 한다. LLM은 강력한 통계적 텍스트 생성기이지만, 이성 엔진은 아니다. 그리고 체인 오브 사고, 가장 자주 사용되는 방법은 진정한 논리보다는 더 많은 성과를 위한 연극이다.

대응으로, 팀은 일반 심볼릭을 도입한다. 이는 기존 모델에 플러그인할 수 있는 신경-심볼릭 이성 계층이다. 그들의 평가에서는 Dramatic 개선이 rộng은 범위의 이성 벤치마크에서 달성되었으며, 다시 훈련이나 추가 GPU 비용 없이 달성되었다. 이러한 접근법이 검증된다면, 이는 AI 시스템이 논리와 의사 결정에 대해 설계되는 방식에서 전환점을 나타낼 수 있다.

체인 오브 사고란 무엇이며, 왜 중요할까

체인 오브 사고(CoT) 프롬프팅은 현대 AI에서 가장 널리 채택된 기술 중 하나가 되었다. 모델에 이성 단계를 작성하도록 요청함으로써, 연구자들은 종종 벤치마크 점수를 개선할 수 있었다. 수학, 코딩, 계획과 같은 분야에서.

그러나 보고서는 이 접근법의 한계를 강조한다. CoT 설명은 설득력 있게 보일 수 있지만, 연구에 따르면, 이러한 설명은 종종 모델이 실제로 계산한 내용과 부정확하며,事実 후에 합리화된 출력이다. 이는 실제 위험을 초래한다. 의학에서는, 설득력 있는 내러티브는 가짜 상관관계에 의존할 수 있으며, 이는 위험한 오진으로 이어질 수 있다. 법률에서는, 허구의 이유는 진정한 정당화로 오인될 수 있으며, 이는 적절한 절차와 책임성을 위협할 수 있다.

보고서는 또한 비효율성을 강조한다. CoT 체인은 간단한 문제에서 지나치게 길어질 수 있으며, 복잡한 문제에서는浅い 이성으로崩壊할 수 있다. 결과는 낭비된 계산이고, 많은 경우에 낮은 정확도이다. 저자들은 체인 오브 사고는 “수행적이지 않다, 기계적이지 않다”라고 결론지었다. 즉, 해석 가능성을 제공하지 않는表面적인 표시이다.

심볼릭 AI: 초기 꿈에서 새로운 부흥까지

CoT의 비판은 심볼릭 AI의 역사로 돌아가도록 초대한다. 초기에, AI 연구는 명시적 논리적 형태로 지식을 인코딩하는 규칙 기반 시스템을 중심으로 진행되었다. 전문가 시스템은 수동으로 작성된 규칙을 적용하여 질병을 진단하려고 시도했으며, 사기 탐지 시스템은 논리 집합을 사용하여 이상을 감지했다.

심볼릭 AI는 명백한 강점을 가지고 있었다. 모든 이성의 단계는 투명하고 추적 가능했다. 그러나 이러한 시스템은 취약했다. 수만 개의 규칙을 인코딩하는 것은 엄청난 노력이 필요했고, 새로운 상황에 직면했을 때 어려움을 겪었다. 비평가들은 인간 지성이 규칙 집합으로 포착할 수 없는 상황에 따른 노하우에 의존한다고 주장했다. 1990년대에, 심볼릭 접근법은 데이터 주도 신경망으로 대체되었다.

최근 몇 년 동안, 두 세계의 강점을 결합하여 신경-심볼릭 AI를 만들기 위한 노력이 재개되었다. 아이디어는 간단하다. 신경망이凌乱한 입력을 처리하고, 심볼릭 모듈이 구조화된 이성과 논리적 보증을 제공한다. 그러나 이러한 하이브리드는 종종 통합에 어려움을 겪었다. 심볼릭 백본은 너무僵硬했고, 신경 모듈은 종종 일관성을 저해했다. 결과는 복잡하고 무거운 시스템이 되었으며, 약속된 해석 가능성을 제공하지 못했다.

일반 심볼릭: 새로운 이성 계층

CoreThink의 일반 심볼릭 이성자(GSR)는 다른 접근법으로 이러한 제한을 극복하려고 한다. 언어를 엄격한 형식 구조나 고차원 임베딩으로 번역하는 대신, GSR은 자연 언어 자체에서 작동한다. 이성의 모든 단계는 단어로 표현되므로, 맥락, 뉴앙스, 모달리티가 보존된다. 이는 “반드시”와 “해야한다”와 같은 차이가 이성 과정에서 유지된다.

이 프레임워크는 언어를 자연 언어로 파싱하고, 언어적 변환을 통해 논리적 제약을 적용하며, 완전히 인간이 읽을 수 있는 이성 추적을 생성한다. 모순이나 오류가 나타나면, 직접 이성 경로에서 표면화되므로 투명성과 디버깅이 가능하다. 효율성을 유지하기 위해, 시스템은 불필요한 단계를 제거하여 안정적인 장기 이성을 가능하게 한다.

기존 기본 모델에 적용할 수 있으므로, GSR은 다시 훈련할 필요가 없다. 평가에서, GSR은 이성 작업에서 30~60%의 정확도 개선을 일관되게 제공했다. 모든 경우에 훈련 비용을 증가시키지 않았다.

벤치마크 결과

개선은 벤치마크를 통해 가장 잘 설명된다. LiveCodeBench v6에서, 코딩 문제를 평가하는 경쟁 등급 벤치마크에서, CoreThink은 66.6%의 통과율을 달성했다. 이는 해당 카테고리의 선도적인 모델보다 훨씬 높다. SWE-Bench Lite에서, GitHub 저장소에서 실제 버그 수정을 위한 벤치마크에서, 시스템은 62.3%의 정확도를 달성했다. 이는 지금까지 보고된最高 결과이다. ARC-AGI-2에서, 추상적 이성의 가장 어려운 테스트 중 하나에서, 24.4%의 점수를 달성했다. 이는 Claude와 Gemini와 같은 최전선 모델을 훨씬超过했다.

이러한 숫자는 순수한 정확도 이상을 반영한다.詳細한 사례 연구에서, 심볼릭 계층은 모델이 다르게 작동하도록 ermög했다. 예를 들어, scikit-learn의 ColumnTransformer에서, 기준 모델은 표面的 패치를 제안했다. CoreThink-augmented 시스템은 根本的な 동기화 문제를 식별하고 toàn diện하게 수정했다. 어려운 LeetCode 챌린지에서, 기준 모델은 동적 프로그래밍을 잘못 적용하고 완전히 실패했다. 그러나 심볼릭 이성 계층은 잘못된 상태 표현을 수정하고 작동하는 솔루션을 생성했다.

심볼릭 부흥에 어떻게 적합하는가

일반 심볼릭은 AI 이성에 구조를 다시 가져오는 시도하는 증가하는 운동에 합류한다. 고전적인 심볼릭 AI는 투명성의 가치를 보여주었지만, 새로운 상황에 적응하지 못했다. 전통적인 신경-심볼릭 하이브리드는 균형을 약속했지만, 종종 무거웠다. Planner 스택은 LLM에 검색을 연결했지만, 복잡성으로 인해 붕괴했다.

최근의 발전은 새로운 하이브리드의 잠재력을 가리킨다. 예를 들어, DeepMind의 AlphaGeometry는 기하학 문제에서 심볼릭 구조가 순수한 신경 모델을超过할 수 있음을 보여주었다. CoreThink의 접근법은 이러한 추세를 확장한다. ARC-AGI 파이프라인에서, 결정적 객체 감지와 심볼릭 패턴 추상화가 신경 실행과 결합되어, LLM-ONLY 시스템을 훨씬超过하는 결과를 생성한다. 도구 사용에서, 심볼릭 계층은 맥락을 유지하고 제약을 적용하도록 도와주어, 더 신뢰할 수 있는 멀티-턴 계획을 가능하게 한다.

핵심적인 차이점은 일반 심볼릭이 엄격한 논리 또는大量한 다시 훈련에 의존하지 않는다는 것이다. 언어 자체에서 이성을 Reasoning함으로써, 유연성을 유지하면서 해석 가능성을 보존한다. 이는 이전의 하이브리드보다 가볍고, 중요하게는 기업 애플리케이션에 통합하기 praktisch하다.

왜 중요할까

체인 오브 사고가 이성의 환상이라면, AI 산업은迫切한 도전에 직면한다. 기업은 실제로 이성을 제공하지 않는 시스템에 의존할 수 없다. 특히의료, 법률, 금융과 같은 고위험 환경에서.

일반 심볼릭은 이러한 도전을 해결하는 하나의 방법이다. 기존 모델을 다시 훈련하지 않고, 실제 이성을 제공하는 가벼운 해석 가능한 계층을 제공한다. 더 넓은 AI 커뮤니티에게, 이는 심볼릭 이성의 부흥을 나타낼 수 있다. 규칙 집합으로서의僵硬하지 않은, 신경 학습의 유연한 동반자로서의 심볼릭 이성.

저자들은 다음과 같이 말한다. “우리는 더 나은 이성을 얻기 위해 더 많은 매개변수를 추가할 필요가 없다. 우리는 기초를 다시 생각해야 한다.”