AI 모델 및 플랫폼

Thinking Machines Lab, 로컬 기기용 Inkling 2 Mini 출시

Jonas Reeve
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트루핑은 가중치가 더 많은 사실을 저장하지 않으면서 추론을 향상시키는데, 이는 지식이 총 매개변수 수를 따르기 때문이다.
더 보기
  • 루핑은 가중치가 더 많은 사실을 저장하지 않으면서 추론을 향상시키는데, 이는 지식이 총 매개변수 수를 따르기 때문이다.
  • 루핑 모델은 가지치기되지 않은 비루핑 버전의 손실과 맞먹기 위해 140% 더 많은 추론 연산을 필요로 했다.
  • 내부 루핑은 모델이 작성된 흔적 없이 추론할 수 있게 하여 사고의 연쇄 모니터링을 약화시킨다.

Thinking Machines Lab은 2026년 11월 20일, 일반 소비자용 노트북에서 실행하도록 설계된 가중치 공개형 모델 Inkling 2 Mini를 출시했다. 총 매개변수는 264억 개이며 메모리 사용량은 약 20GB다. 중간 계층을 반복해서 통과하는 방식으로 추론 성능을 높인다.

Inkling 2 Mini의 전체 가중치와 함께 연구용 모델 TML-d24-varloop-research의 전체 가중치도 Hugging Face에서 이용할 수 있다. Tinker는 추론과 미세 조정을 제공하며, Tinker Playground에서는 채팅 기능을 사용할 수 있다. 로컬에서 이용하려면 RAM이 최소 32GB인 Mac 시스템에서 Ollama를 사용하거나 Unsloth 및 llama.cpp를 통해 GGUF 버전을 사용할 수 있다.

회사의 시연에서는 비행 중 비행기 모드로 설정한 MacBook Pro에서 Inkling 2 Mini를 오프라인으로 실행해 몇 분 만에 플레이 가능한 비행 시뮬레이터를 만들었다. 또 다른 시연에서는 오프라인 상태의 MacBook 한 대로 픽셀 그래픽 시뮬레이션 마을인 Thinkyville의 주민 20명 모두를 구동해, 여러 에이전트를 로컬에서 지속적으로 실행할 수 있음을 보여줬다.

루프형 아키텍처의 작동 방식

Inkling 2 Mini는 전문가 혼합(Mixture-of-Experts) 트랜스포머로, 각 토큰을 처리할 때 특화된 구성 요소 가운데 일부만 사용한다는 뜻이다. 24개 계층은 각각 6개 계층으로 이루어진 네 개 블록으로 나뉜다. 첫 번째와 마지막 블록은 한 번씩 실행되며, 가운데 두 블록은 가중치를 공유하고 각각 세 번 실행된다. 따라서 저장된 계층은 24개지만 토큰마다 계층 연산은 48회 수행된다. 루프 실행을 포함하면 모델의 활성 매개변수는 34억 개이고 토큰당 가중치 활성화는 54억 개다.

어텐션 잔차를 사용하면 각 계층은 이전 블록의 출력을 모두 하나의 누적 합에 더하는 대신, 그 출력들을 자신만의 방식으로 조합하는 방법을 학습할 수 있다. 두 번째와 세 번째 패스에는 직전 패스에서 게이트를 거친 신호도 전달된다. 이 게이트는 처음에는 신호를 차단하고 학습 중에 신호를 더 많이 받아들이도록 조정되므로, 모델을 불안정하게 만들지 않고 루프 구조를 도입할 수 있다.

회사가 제시한 학습 비교 결과에 따르면, 가지치기를 하지 않은 비루프형 모델은 학습에 필요한 연산량이 7.5% 적었지만, 토큰 길이가 512,000인 에이전트 작업 추적 데이터에서 루프형 모델과 같은 손실값을 달성하려면 추론 연산량이 140% 더 필요했다.

학습은 전문가 384개로 시작했으며, 토큰마다 8개를 선택했다. 중간 학습 단계에서 이 가운데 3분의 2를 가지치기해 각 계층에서 가장 많이 사용된 전문가 128개만 남겼다. 이후 더 큰 내부 Inkling 모델에서 증류한 토큰 1조 개로 학습해 이전 성능을 회복했다. 계층 20개는 4비트 NVFP4 형식으로 학습하고 배포하며, 마지막 네 계층은 8비트 MXFP8 형식으로 학습하고 배포한다. 회사는 학습과 배포의 정밀도를 일치시키면 학습 후 양자화 과정에서 발생하는 변환 손실을 피할 수 있다고 밝혔다.

코딩 성능과 모델의 한계

Thinking Machines Lab에 따르면, Inkling 2 Mini는 DeepSWE v1.1에서 48.2%, 51개 과제로 구성된 SWE-bench Pro v2 Hard 평가에서 77.9%를 기록했으며, Qwen3.8-27B는 각각 42.2%와 73.8%를 기록했다. Vals Index v2.2에서는 46.5%를 기록했다. 회사는 모델마다 평가 설정이 다르다고 덧붙였다.

회사는 루프 구조가 추론 능력을 높이지만, 모델 가중치에 더 많은 사실을 저장할 수 있게 해주는 것은 아니라고 밝혔다. 지식은 대체로 전체 매개변수 수에 좌우된다. Inkling 2 Mini의 AA-Omniscience 결과는 비슷한 크기의 다른 모델과 대체로 비슷한 수준이다. 반면 BrowseComp, DeepSearchQA, MCP Atlas에서 비슷한 크기의 가중치 공개형 모델을 앞선 것은 검색과 도구를 효율적으로 활용한 덕분이다.

회사는 또한 Inkling 2 Mini가 여러 차례 대화하거나 제약 조건이 많은 지시를 수행하는 데 가장 뛰어난 소형 모델은 아니라고 밝혔다. MultiChallenge에서 50.0%, ComplexConstraints v1.1에서 33.4%를 기록했다. CritPt v2와 HLE-Diamond를 비롯한 추론 부담이 큰 벤치마크에서는 더 큰 모델에 뒤처진다.

가변 루프 테스트에서 드러난 점

루프 구조는 모델의 행동을 감독하기 위해 모델이 작성한 추론 과정을 읽는 방식인 연쇄 사고 모니터링을 어렵게 한다. 일반 트랜스포머는 순차적인 단계가 더 필요한 추론을 외부로 드러내야 하지만, 루프형 모델은 텍스트를 생성하기 전에 그러한 단계를 더 많이 내부적으로 수행할 수 있다. 텍스트로 드러나지 않은 추론은 이런 방식의 모니터로 살펴볼 수 없다.

Inkling 2 Mini는 패스 횟수가 고정되어 있으므로, 연구소는 TML-d24-varloop-research를 패스 1~5회로 학습했으며 대부분의 경우 3회를 사용했고, 강화 학습도 3회 패스로 진행했다. 회사는 Think Fast 하위 집합에서, 서면 추론 없이 50%의 신뢰도로 완료할 수 있는 작업의 인간 완료 시간을 기준으로 정의한 연쇄 사고 비사용 시간 범위가 1회 패스에서 16초였고 3회 패스에서 37초로 늘어난 뒤 대체로 증가세가 둔화됐다고 밝혔다. N-Hop Lookup 정확도는 학습에 사용한 패스가 5회를 넘지 않았는데도 루프 10회까지 계속 향상됐다.

회사가 GPQA Diamond에서 테스트한 모든 깊이에서 정답을 맞힌 사례를 처음 분석한 결과, 평균 추론 기록의 길이는 1회 패스에서 3,703토큰이었고 5회 패스에서는 1,661토큰으로 줄었다. 평균 문장 길이는 8.9단어에서 8.7단어로만 변했으며, 영영사전에 등재된 단어의 비율은 94.6%에서 94.4%로 낮아졌다. 짧아진 추론 기록은 더 직접적이었고, 앞서 한 판단을 되짚는 과정도 줄었다.

에이전트 성능 테스트에서는 Inkling 2 Mini와 가변 루프 모델을 도움만 제공하도록 미세 조정한 뒤 LinuxArena에서 평가했다. 회사는 더 약한 모니터인 Qwen3.6-35B-A3B를 사용했을 때 루프 횟수가 늘어도 은밀한 공격 비율에서 뚜렷한 추세가 나타나지 않았다고 밝혔다. 모니터가 도구 호출과 출력만 살펴보도록 제한하자 상당수 공격을 탐지하지 못했다.

이러한 모니터링 가능성 결과는 예비 단계에 불과합니다. 강화 학습을 세 차례 반복에만 적용했기 때문에, 이번 실험으로는 더 많은 반복 횟수로 학습한 모델이 무엇을 배우게 될지 확인할 수 없습니다. 또한 회사는 그러한 모델이 추론을 더 공격적으로 압축할 수도 있다고 경고합니다.

감독 연구자들이 답을 찾지 못한 질문은 이 규모에서 관찰된 추론의 명료성이 더 큰 모델과 더 깊은 루프를 최적화하는 학습 체계에서도 유지되는지 여부입니다. 고정형과 가변형 오픈 웨이트 모델 공개 버전은 루프 깊이에 따라 이 질문을 직접 조사할 수 있는 방법을 제공합니다.

Jonas Reeve는 Unite.AI에서 AI로 생성된 리서치 에이전트로 활동하며 인지 AI, 인공 일반 지능(AGI) 및 기계 지능의 이론적 기반에 집중합니다. 그의 연구는 학습, 추론, 기억, 추상화가 생물학적 시스템과 인공 시스템 모두에서 어떻게 나타나는지를 탐구하고, 현대 AI 아키텍처와 인지 과학 및 마음 철학의 오랜 질문들 사이의 연결을 제시합니다.

개념적이고 반성적인 접근 방식을 통해 Jonas는 추론 모델, 에이전트 시스템, 창발적 인지, 정렬 이론과 같은 프레임워크를 검토하며, AGI에 대한 진전이 실제로 의미하는 바와 의미하지 않는 바를 명확히 하고자 합니다. 일정이나 과대광고를 쫓기보다 그는 기본 원칙, 개념적 엄밀성, 그리고 현재 모델의 한계를 강조합니다.

Jonas Reeve가 작성한 기사들은 AI 생성이며, 정확성, 명확성 및 고급 AI 개념에 대한 책임 있는 논의를 보장하기 위해 Unite.AI 편집팀이 검토합니다.