이미지를 활용하는 사고 연쇄(CoT) 추론

사람은 흔히 그림으로 생각한다. 적어도 대부분은 그렇다. 인간의 시각적 심상 능력 저하는 연구에서 나타났듯이 학업 성취도 저하와 관련이 있다. 기억, 즉 무언가를 기억해야 하는 일이지 AI의 골칫거리를 뜻하는 것이 아니다. 기억을 돕는 수단으로 강렬하거나 생생한 심상이 지닌 상당한 의미 전달력은 수천 년 동안 활용돼 왔다:

엠마 윌러드의 ‘시간의 신전’(1846)은 연대기를 물리적 공간으로 바꾸어 역사적 시대와 인물들을 뒤로 물러나는 건축적 원근 속에 배치한 교육용 시각 자료다. 윌러드는 학생들이 역사를 일관된 심상으로 머릿속에 그릴 수 있도록 그래픽 표현이 도움이 된다고 믿었으며, 이런 이미지를 시각적 기억 보조 자료로 제작했다. 출처

그러나 기억술은 정보를 처리하거나 해석하는 일이 아니라 입력하는 일에 관한 분야다. 사람들은 활용하는 사고 ‘방식’이 크게 다르다.

나는 개인적으로 도형으로 생각한다. 생각을 시작한 이래 줄곧 그래 왔다. 수십 년과 몇 년, 생각과 사람은 상대적 기하학적 형태와 역동적인 입체 덩어리로 표현된다. 어떤 사람들은 주로 숫자로 생각하고, 또 어떤 사람들은 냄새나 맛으로 생각한다.

AI가 사용할 수 있는 공감각적 사고 방식의 범위는 더 제한적이다. 자연스럽게 대규모 언어 모델(LLM)은 고유한 인코딩 유형인 텍스트로 생각할 수 있으며, 이는 임베딩 수준을 넘어선다. 또한 LLM은 숫자를 순수한 변수 값이 아니라 개념으로 인코딩하는 것으로 나타났으며, 이는 ‘숫자로 생각하는’ 경향을 보여 준다.

그렇다면 LLM이 인간처럼 ‘도형으로 생각한다’거나 ‘이미지로 생각한다’고 말할 수 있는 정도는 어느 정도일까?

같은 질문을 서로 다른 언어로 제시했을 때 LLM이 서로 다른 답변을 내놓는다는 사실은 언어 간 관계가 매우 구체적이고 취약할 수 있으며, 언어를 초월하면서도 언어를 포함하는 더 높은 수준의 영역을 다루기보다 특정 언어 영역(예: ‘스페인어’)의 특정 텍스트에 하드코딩돼 있을 수 있음을 보여 준다*.

따라서 자체 내부 연쇄 사고(연쇄 사고) 과정만을 위해 이미지를 생성할 수 있는 멀티모달 LLM(즉, 비전 언어 모델 또는 VLM)은 논리적으로 이점(또는 적어도 문자 그대로 다른 관점)을 가질 수 있다.

새로운 관점

이를 염두에 두고 독일의 한 최근 공동 연구팀은 이미지 생성 기능을 유연한 추론 메커니즘으로 활용하는 이미지 중심 VLM ReImaGin을 제안했다.

이전 연구에서는 이미지 기반 구성 요소를 ‘덧붙이기’도 했지만, 이러한 기능은 핵심 워크플로에 내재되어 있지도 필수적이지도 않았다. 반면 저자들의 새 시스템은 VLM의 매우 최근 역량을 활용해 전문 도구와 깊이 인식과 같은 방법의 기능을 대체하고 넘겨받도록 설계됐다.

새 논문—제목은 이미지 생성으로 추론하기—에 실린 아래 사례에서 AI는 두 개의 시점(가장 왼쪽 이미지)을 해석해야 한다. 어느 이미지에도 과제를 해결하는 데 필요한 정보가 모두 담겨 있지 않다. 따라서 모델은 가진 정보를 활용해 장면을 더 넓고 완전하게 파악할 수 있다(아래에서 왼쪽에서 세 번째에 있는 ‘생성된 시각화’라는 부제의 지도).

새 논문에 실린 사례로, ReImaGin이 불완전한 두 시점의 이미지에서 위에서 내려다본 지도를 생성해 추론에 활용할 통합 시각 자료를 모델에 제공한다. 출처

ReImaGin은 특정한 한 종류의 시각적 변환에만 국한되지 않는다. 퍼즐의 빠진 부분을 채우고, 개수를 세기 위해 가려진 부분을 제거하며, 충돌을 예측하기 위한 궤적을 그릴 수 있다. 여러 시점을 공간 지도 하나로 결합하고, 경로 추적을 위해 점선을 실선으로 바꾸며, 깊이 추론을 위한 깊이 지도를 생성할 수도 있다.

더 중요한 점은 이 시스템이 VLM이 깊이 추정과 같은 특정 과제를 적절한 도구로 자동 해결하는 최근의 창발적 능력에 맞춰 자체 내부 도구 모음의 사용을 조절할 수 있다는 것이다. 설명된 ReImaGin의 기능 대부분은 도구 호출을 통해 실행된다. generate_image 이 도구는 필요에 따라 시각적으로 개입할 수 있으며, 사람의 감독이나 호출 없이 작동한다.

저자들은 다음과 같이 밝혔다:

‘왜냐하면 generate_image 자연어로 된 임의의 지시를 받아들일 수 있기 때문에 에이전트는 매우 다양한 변환을 수행할 수 있다. 문제는 주어진 작업에 실제로 어떤 변환이 도움이 되는가이다.

‘[Standard] 원하는 전략을 보여 주는 직접 작성한 문맥 내 예시를 통해 변환 방식을 지정하는 것이 일반적인 방법이다(예: 깊이 추론을 위해 깊이 맵 생성). 이 방식은 작업마다 수작업이 필요하며, 새로운 작업에 대한 일반화도 제한된다.

‘[We] 이러한 전략을 자동으로 발견할 수 있는지 살펴본다. 전략은 프롬프트를 통해 에이전트에 전달되므로, 전략을 발견하는 일은 프롬프트를 최적화하는 일로 귀결된다. 이에 따라 제안 모델이 후보 프롬프트를 생성하고, 소규모 개발 세트에서 이를 평가한 뒤, 관찰된 성공과 실패를 바탕으로 프롬프트를 개선하는 반복 과정을 구현한다.’

세 가지 VLM과 여섯 가지 시각 추론 작업에서 테스트한 결과, ReImaGin은 도구 하나만 사용하면서도 도구의 도움을 받지 않는 추론과 전문 시각 도구를 모두 전반적으로 능가했다.

접근 방식

ReImaGin은 반복 과정으로 작동한다. 각 단계에서 VLM은 질문과 원본 이미지, 그리고 지금까지 생성한 결과물을 고려해 다음에 할 일을 결정한다. 여기에는 자르기나 겹쳐 놓기 같은 일반적인 이미지 작업을 수행하거나, 다음을 호출하는 일이 포함될 수 있다 generate_image, 이는 문제를 더 쉽게 추론할 수 있도록 특별히 새 이미지를 생성한다:

ReImaGin이 공간 추론 문제와 시각 퍼즐 문제를 단계별로 해결하는 모습을 보여 주는 그림이다. 두 사례 모두 모델은 추론 과정에서 새 이미지를 생성한 다음, 그 이미지를 추가 입력으로 사용해 답을 향한 다음 단계를 진행한다.

이렇게 생성된 이미지는 다시 VLM에 입력되어 다음 추론 단계에서 활용할 수 있는 자료의 일부가 되며, 이 과정은 반복될 수 있다. 위 이미지에서는 공간 추론 작업의 여러 측면을 확인할 수 있다. 모델은 먼저 두 사진을 하나의 화면으로 합친 다음, 그 결과를 위에서 내려다본 지도 형태로 바꾸고 질문에 답한다.

퍼즐 작업에서는 빠진 영역만 분리하도록 퍼즐을 변형한 뒤, 일반적인 이미지 차감 기법을 사용해 답을 찾는다.

이처럼 이미지 생성은 사용자에게 제공할 최종 결과물이 아니라 추론 과정 자체의 일부가 된다. 실제로 이러한 중간 이미지는 오로지 AI의 CoT 추론 과정에 사용되며 최종 사용자가 직접 보는 용도로 만들어진 것이 아니다.

각 차례마다 VLM은 지금까지 쌓인 맥락을 바탕으로 다음 행동을 스스로 선택한다. 그 행동은 추론을 한 단계 더 진행하거나, 일반적인 이미지 작업을 수행하거나, 다음을 대상으로 자연어 지시를 내리는 것일 수 있다 generate_image. 어떤 도구를 선택하든 그 도구가 반환한 결과는 맥락에 추가된다. 이를 통해 모델은 결과를 살펴보고 다시 변환할지, 다른 도구를 사용할지, 아니면 최종 답변을 제시할지 결정할 수 있다.

에이전트 자율성 확보

핵심적인 문제는 특정 작업을 실제로 더 쉽게 수행하도록 해 줄 이미지의 종류를 결정하는 것이다. ReImaGin은 에이전트에 서로 다른 지시를 시험하고, 정답이 알려진 예시에서 후보 프롬프트를 테스트하며, 성공한 시도와 실패한 시도를 활용해 더 나은 프롬프트를 만들어 이 문제를 해결한다. 이 반복 과정을 거듭하면 결국 가장 우수한 성능을 내는 전략이 만들어진다.

이 과정에서 추론 모델과 이미지 생성기 자체를 재학습시키지는 않는다. 에이전트가 도구를 사용하는 방식을 정하는 지시만 최적화한다. 따라서 연구진은 작업별 전략이나 추론 예시를 직접 제공하지 않고 시각 추론 전략을 ‘자동으로 발견’하는 과정이라고 설명한다.

구성 및 테스트

ReImaGin은 여섯 가지 시각 추론 작업에서 평가됐다. 깊이 추론(Blink – 두 지점 중 카메라에 더 가까운 지점 식별), 퍼즐 완성(Mira – 이미지에서 빠진 영역에 들어갈 올바른 조각 선택), 가림 물체 세기(CAPTURe – 숨겨진 물체를 포함한 물체 개수 세기), 충돌 예측(Spatial457 – 움직이는 표적이 어떤 물체와 충돌할지 예측), 공간 추론(MMSI – 서로 다른 시점에서 본 물체들 간의 관계 파악), 그리고 경로 추적—숫자와 문자를 연결하는 점선을 따라가야 하는 새로운 벤치마크.

‘시각적 사고 연쇄를 위한 벤치마크, MIRA’ 논문에서 발췌한, 사고 연쇄 과정에 시각적 이미지가 활용되는 인상적인 사례. 출처

테스트한 VLM 백본은 Gemini-3.1-Pro, GPT-5, 오픈 웨이트 모델인 Qwen-3.5-27B였다. 이미지 생성은 주로 Nano-Banana-Pro를 사용했으며, 오픈 웨이트 모델인 FLUX.2 [dev]와 Qwen-Image-Edit-2511도 테스트했다. 이미지 생성의 테스트 시점 스케일링을 위한 선택기로는 Gemini-3.1-Pro를 사용했다.

비교에 사용한 두 기준 모델 가운데, 논문 저자들이 ‘도구 없음’이라고 이름 붙인 ‘기본형’ VLM은 도구나 코드 실행 없이 질의와 이미지에 근거해 직접 답했다. 반면 2024년에 공개된 Visual Sketchpad는 이 사례에서 정해진 전문 비전 및 이미지 조작 도구를 제공했지만, 자유로운 이미지 생성 기능은 없었다.

MMSI 공간 과제에서는 두 기준 모델에 ReImaGin과 비슷한 수준의 컴퓨팅 자원을 제공했다. 각 기준 모델에서 답변 20개를 생성한 뒤 가장 많이 나온 답변을 사용했다.

가림 물체 수 세기를 제외한 모든 과제의 성능은 객관식 정답률로 측정했다. 가림 물체 수 세기 성능은 예측한 물체 수와 실제 물체 수를 비교하는 대칭 평균 절대 백분율 오차로 평가했다. 결과는 세 차례 실행의 평균으로 산출했으며, 표준 오차도 함께 보고했다.

세 가지 VLM과 여섯 가지 시각 추론 과제에서 ReImaGin, 도구 없음, Visual Sketchpad의 테스트 결과를 비교했다. 가림 물체 수 세기를 제외하면 점수가 높을수록 성능이 좋으며, 가림 물체 수 세기는 오차가 낮을수록 좋다. ReImaGin은 모델과 과제 조합의 대다수에서 가장 좋은 결과를 냈다.

세 모델 모두에 사람이 정의한 동일한 전략 예시를 사용했다. ReImaGin은 대부분의 과제에서 두 기준 모델보다 나은 결과를 보였으며, 특히 퍼즐 완성, 가림 물체 수 세기, 경로 추적에서 뚜렷한 성능 향상을 보였다.

예를 들어 GPT-5의 퍼즐 정답률은 도구 없음에서 29.5%, Visual Sketchpad에서 16.7%였지만, ReImaGin에서는 44.9%로 상승했다. 절제 실험을 통해 생성형 이미지 구성 요소가 시스템 성능에 필수적임을 확인했다.

Nano-Banana-Pro 대신 오픈 웨이트 이미지 생성기도 테스트했다. FLUX.2 [dev] 와 Qwen-Image-Edit-2511은 특히 이미지 채우기와 같은 일부 간단한 과제에서 비슷한 결과를 냈지만, 깊이 추정이나 경로 추적처럼 더 까다로운 변환에서는 결과의 일관성이 떨어졌다. Qwen-3.5-27B를 VLM으로 사용했을 때도 비슷한 결과가 나왔다:

Qwen-3.5-27B를 VLM으로 사용해 이미지 생성기를 비교한 테스트 결과. Nano-Banana-Pro는 여섯 가지 과제 중 다섯 가지에서 가장 좋은 결과를 냈으며, FLUX.2 [dev]와 Qwen-Image-Edit-2511은 여러 과제에서 도구 없음보다 성능이 향상됐다.

저자들은 네 가지 과제에 대해서도 정성 평가를 수행했다:

네 가지 과제의 정성 평가 사례는 ReImaGin이 Gemini-3.1-Pro의 추론을 어떻게 보강했는지 보여준다. 각 사례에서 생성된 시각적 표현을 추론 과정에 반영해 과제 해결을 도왔다.

ReImaGin이 모든 경우에 신뢰할 만한 결과를 낸 것은 아니다. 이미지 생성기가 물체의 위치가 잘못된 평면도처럼 부정확한 변환을 만들어 내는 경우도 있었고, 정확하게 생성된 이미지를 이후 VLM이 잘못 해석하는 경우도 있었다.

생성된 이미지 120개를 수동으로 점검한 결과, 75%가 요청된 변환을 충실하게 수행한 것으로 나타났다. 변환이 정확했을 때 최종 답변도 87%의 경우 정답이었으며, 생성된 이미지가 부정확했을 때는 정답률이 43%였다.

저자들은 다음과 같이 결론 내렸다:

‘우리의 결과는 두 가지 더 폭넓은 결론을 시사한다. 첫째, 이미지 생성은 멀티모달 추론에서 일반적인 시각적 상상력의 메커니즘으로 기능할 수 있으며, 새로운 변환마다 별도의 도구를 설계해야 할 필요성을 줄여 준다. ‘

‘둘째, 이 접근법의 효과는 기반 모델뿐 아니라 무엇을 시각화하고 그 결과를 어떻게 활용할지 결정하는 추론 전략에도 달려 있다. ‘

‘자동 전략 발견으로 얻은 성능 향상은 모델이 시각적 변환에 대한 이해를 활용해 사람이 작성한 과제별 전략이나 추론 없이도 적절한 전략을 찾아낼 수 있음을 보여준다.’

결론

이 연구에서 살펴본 것과 같은 자체 도구 선택은 매우 흥미로운 발전이다. 특히 VLM 개발이 어쨌든 자연스럽게 이런 접근법으로 나아가고 있는 듯하기 때문이다. 이런 범용 VLM이 결국 Segment 생태계와 같은 전용 도구 및 프레임워크만큼 뛰어난 성능을 발휘할 수 있을지, 그리고 그렇다면 이러한 ‘부수적 작업’만 다루는 사람들은 호두 하나 깨자고 큰 망치를 들게 될지 궁금하다.

VLM이 전용 솔루션을 앞지르고 그 우위를 유지하는 데 필요한 엄격함을 갖추도록 진화할 수 있다는 것은 선뜻 믿기 어렵다. 로컬 미세 조정 같은 방식은 모델 전체를 하나의 작업에 투입하며, 그 과정에서 다른 작업에는 쓸모없어지는 경우가 많다. 시간이 지나면 알게 될 것이다.

* 이미지 영역에 대한 이견의 여지가 있는 정의로, 우리는 언어 능력을 익히기 훨씬 전부터 이를 배운다.

최초 게시일: 2026년 9월 28일 월요일