AI가 행간을 읽을 때: OCR vs. VLMs

기계가 정말 문서를 이해할 수 있는가, 아니면 단지 정보를 추출하는 능력만 더 향상된 것인가? 기존 OCR에서는 오류를 보통 찾아내고 측정할 수 있지만, VLM은 설득력 있는 해석을 제공하면서도 여전히 잘못될 수 있다. 기업에게 이는 모델 선택에서 벗어나 보다 불편한 질문: 비즈니스가 감당할 수 있는 오류는 어떤 종류인가? 인식과 이해 사이의 경계는 품질, 자동화, 신뢰에 관한 실질적인 질문이 된다. 

트랜스포머가 문서 처리를 변화시킨 방법

문서 인식이 문서 해석으로 전환되는 과정을 이해하려면, 먼저 이를 가능하게 만든 기술적 변화를 살펴볼 필요가 있다.

AI 개발은 비교적 단순한 아이디어에 기반했다: 이전에는 결정론적이던 계산에 확률을 도입한 것이다. 동일한 입력에 대해 항상 같은 결과를 내는 대신, 시스템은 여러 가능한 결과를 평가하고 가장 가능성이 높은 것을 선택할 수 있게 되었다.

초기 단계에서 Google과 같은 기업들은 방대한 정보를 검색하고 순위화하는 정교한 모델을 개발하기 시작했다. 문장을 번역하고, 검색 결과를 선택하고, YouTube 동영상을 추천하는 작업은 서로 다른 과제로 보이지만, 모두 “이전에 나온 내용에 기반해 가장 관련성 높은 다음 요소를 찾는다”는 공통 원리를 공유한다. 트랜스포머는 이 원리를 보다 보편적인 아키텍처로 구현했다.

다시 말해, 트랜스포머는 주어진 컨텍스트를 고려하고 다음에 올 내용을 예측한다. 이를 통해 언어 모델은 단어를 고립된 단위가 아니라 더 큰 구조의 일부로 처리할 수 있다.

이러한 발전이 문서 처리를 바꾸었다. OCR은 수십 년 동안 문자 인식과 기계가 읽을 수 있는 텍스트 변환을 수행해 왔다. 트랜스포머는 인식된 단어들을 받아 그들 사이의 관계를 분석하고 문서가 의미하는 바를 추론할 수 있게 만든 것이다. 

오류가 답처럼 보이기 시작할 때

OCR은 주로 인식 기술이다. 문서를 문자 단위로 읽고 각 결과에 신뢰 점수를 부여한다. 만약 기호가 불명확하면 시스템은 “숫자 ‘3’일 확률이 50%, 문자 ‘Z’일 확률이 40%”와 같이 표시할 수 있다. 이러한 불확실성은 눈에 보이고 측정 가능하다.

VLM은 인식된 텍스트를 받아 주변 컨텍스트를 활용해 이러한 모호성을 해소한다. 단어 혹은 문장 안에서 특정 문자가 의미를 이루지 못하면, 모델은 보다 타당한 옵션을 선택한다. 많은 경우 이는 더 나은 결과를 만든다.

동시에 이 능력은 품질의 의미를 바꾼다. 전통적인 OCR 오류는 보통 쉽게 찾아낼 수 있다: 문서에는 하나의 문자, 추출된 텍스트에는 다른 문자가 존재한다. VLM 오류는 시스템이 일관된 해석을 구성해 버리기 때문에 훨씬 눈에 띄지 않을 수 있다.

문서를 처리하지 못하는 시스템은 명백한 중단을 일으킨다. 반면, 불확실성을 표시하지 않고 잘못 해석하는 시스템은 오류가 데이터베이스, 결제 혹은 다른 자동화된 의사결정으로 전파될 수 있다. 따라서 품질은 단순히 몇 개의 문자나 필드가 정확히 추출되었는가를 넘어, 시스템이 인식된 정보를 자체 추론과 구분할 수 있는지 여부까지 고려해야 한다.

프로세스가 허용할 수 있는 오류 유형은?

얼마 전까지만 해도 VLM 기반 문서 처리를 가장 안전하게 수행하려면 거의 모든 결과를 검증해야 했다. 오늘날 모델이 불일치를 식별하고 이전에 수동 검토가 필요했던 결함을 처리하는 능력이 향상되면서, 그 답은 점점 더 복잡해지고 있다.

따라서 자동화에 대한 결정은 일반적인 정확도 점수가 아니라 오류가 초래할 결과를 기준으로 시작해야 한다.

슈퍼마켓 영수증에서 제품 카테고리를 잘못 읽는 경우와 최종 금액을 잘못 읽는 경우가 같은 문서 내에 발생할 수 있지만, 위험 수준은 동일하지 않다. 시스템이 계약 조항, 의료 기록, 정부 양식을 처리할 때 그 차이는 더욱 커진다. 모델이 전체 데이터셋에서 높은 성능을 보이더라도 비즈니스 결과에 결정적인 소수의 필드에서 실패할 수 있다.

이는 기업이 워크플로우를 자동화하기 전에 문서의 핵심 요소를 정의해야 함을 의미한다. 일부 오류는 비용이 적게 들고 쉽게 되돌릴 수 있다. 반면, 다른 오류는 잘못된 결제, 계약상의 의무, 혹은 잘못된 의료·재무 정보에 기반한 의사결정을 초래할 수 있다.

따라서 첫 번째 질문은 “어떤 모델을 선택해야 할까?”가 아니라 “잘못된 해석이 용납될 수 없는 결과를 초래할 수 있는 영역은 어디인가?”가 되어야 한다. 이 질문에 답한 뒤에야 기업은 어떤 문서를 자동으로 처리하고 어떤 문서는 추가적인 통제가 필요한지 결정할 수 있다.

VLM은 이미 문서를 넘어선 영역으로 확장되고 있다

시각 정보를 컨텍스트와 결합하는 능력은 문서 처리 범위를 훨씬 넘어 적용되고 있다. VLM은 페이지를 읽는 데 그치지 않는다: 카메라가 포착한 장면을 해석하고 시각 객체를 언어, 명령, 가능한 행동과 연결한다.

자율 주행에서는 이러한 모델이 개별 차량, 보행자, 교통 표지판을 단순히 감지하는 것을 넘어 도로 상황을 이해하도록 돕는다. 방위 분야에서는 드론이 촬영한 영상을 분석해 사람, 중장비, 기타 지상 객체를 구분한다.

농업도 또 다른 예시다. 시스템이 잡초나 해충을 식별하고 종류를 판단한 뒤, 레이저 사용이나 특정 화학 처리와 같은 적절한 대응 방안을 제시할 수 있다. 

로봇공학도 같은 방향으로 발전하고 있다. 로봇은 단순히 물체가 존재한다는 것을 인식하는 것을 넘어, 그 물체가 무엇인지, 주변과 어떤 관계인지, 상황에 따라 어떤 행동이 필요한지를 이해해야 한다. VLM은 시각 인식을 명령 및 행동과 연결하는 층을 제공한다.

유사한 원리는 컴퓨터 인터페이스와 상호작용하는 AI 에이전트에서도 볼 수 있다. 커서를 움직이거나 버튼을 누르기 위해서는 먼저 화면에 표시된 내용을 해석해야 한다. 시각 모델은 브라우저가 열려 있음을 식별하고, 이메일 전송 버튼을 찾아 그 좌표를 반환함으로써 에이전트가 동작할 수 있게 한다.

이 모든 응용 분야가 동일한 수준의 생산 성숙도에 도달한 것은 아니다. 그러나 이들은 AI 전반에 걸친 전환을 보여준다: 시스템이 눈에 보이는 것을 식별하는 단계에서 시각 정보를 더 큰 추론 및 행동 체인에 활용하는 단계로 이동하고 있다.

문서 처리 측면에서 이는 VLM의 출력이 단순히 추출된 텍스트에 머무르지 않을 수 있음을 의미한다. 출력이 다른 프로세스를 트리거하거나 시스템을 업데이트하거나 비즈니스 의사결정에 영향을 미칠 수 있다. 해석의 가치는 상승하지만, 해석이 잘못됐을 때의 파급 효과도 커진다.

문서를 읽는 것에서 행동으로 옮기기까지

문서 처리의 미래는 OCR이 사라지고 VLM이 그 자리를 완전히 차지하는 것으로 정의되지 않을 것이다. 두 기술은 동일한 워크플로우 내에서 서로 다른 기능을 수행한다.

이러한 계층 구조는 왜 하나의 보편적 모델이 모든 문서에 적합하지 않은지를 설명한다. 명확하고 표준화된 양식은 정확한 인식만으로 충분할 수 있다. 복잡한 계약서, 의료 기록, 혹은 비정형 손글씨 문서는 컨텍스트 분석이 필요하다. 따라서 문서는 구조, 복잡성, 비즈니스 중요도에 따라 서로 다른 도구로 라우팅될 수 있다.

하지만 이로 인해 또 다른 중요한 질문이 생긴다: 최초 라우팅 결정을 누가 내리는가? 시스템이 문서를 분류하고, 처리 방식을 선택하고, 결과를 해석하며, 자체 성능을 평가한다면 품질 관리 역시 동일 기술에 맡겨지는 작업이 된다. 초기 단계의 오류가 이후 모든 단계에 영향을 미칠 수 있다.

이것이 인간 역할이 변하기 시작한 지점이다. 일부 Keymakr’s 문서 처리 프로젝트에서는 주석 담당자가 개별 문자나 추출된 필드를 검증하는 것 이상을 수행했다. 워크플로우에 따라 데이터에 주석을 달고 검증하거나 모델이 생성한 결과를 검증하는 데 집중했다. 그들의 작업은 콘텐츠 분류, 문서 구조 해석, 모호하거나 읽기 어려운 요소 식별, 수정이나 추가 검토가 필요한 출력 표시 등을 포함할 수 있었다. 이러한 경우 인간 참여는 고립된 데이터 포인트를 검증하는 수준을 넘어 전체 워크플로우에서 정보가 어떻게 처리되는지를 감독하는 역할을 확장했다. 

그렇다면 기계가 정말 문서를 이해하고 있는가? 이미 콘텐츠를 인식하고, 컨텍스트를 활용해 모호성을 해소하며, 전통적인 OCR이 결코 만들 수 없었던 결론을 도출할 수 있다. 실용적인 측면에서 이는 이해와 유사해 보인다. 그러나 이 과정은 여전히 확률과 예측된 관계에 기반하며, 내부 논리가 항상 완전히 드러나는 것은 아니다.

기업 입장에서는 용어 자체보다 그것이 드러내는 경계가 더 중요하다. 시스템이 단순히 읽는 것을 넘어 실제 프로세스를 지원할 때 유용해진다. 해석이 시작되는 지점, 오류가 어떻게 감지되는지, 그리고 이후 의사결정에 대한 책임이 누구에게 있는지를 기업이 명확히 이해할 때 비로소 신뢰를 얻을 수 있다.