์ธ๊ณต์ง๋ฅ
DocLang, AI ๋ฌธ์๋ฅผ ์ํ ๋ณดํธ์ ์ธ ์ธ์ด๊ฐ ๋๊ธฐ ์ํ ๋ชฉํ
수십 년 동안 기업은 인간이 읽기 위해 설계된 문서 형식을 사용해 왔습니다. 계약, 청구서, 보고서, 프레젠테이션, 양식 등 다양한 비즈니스 문서에는 귀중한 정보가 포함되어 있지만, 그 정보를 AI 응용 프로그램에서 추출하는 것은 복잡한 처리 파이프라인이 필요로 하며, 비용, 지연, 오류의 가능성이 증가합니다.
조직이 점점 더 많이 생성적인 AI와 자율 에이전트를 배치함에 따라, 문서와 AI 시스템 간의 연결고리가 점점 더 큰 도전이 되고 있습니다. 이를 해결하기 위해, ABBYY는 IBM, NVIDIA, Red Hat, HumanSignal, Linux Foundation의 LF AI & Data Foundation과 함께 DocLang를 출시했습니다. DocLang는 문서를 AI 시스템에서 이해하기 쉽게 만들기 위한 새로운 오픈 표준입니다. 이니셔티브의 지지자들은 DocLang가 HTML이 웹 콘텐츠를 표준화한 것과 유사한 역할을 할 수 있다고 믿습니다. 즉, AI 시스템이 문서를 더 일관성 있게 이해할 수 있도록 문서를 위한 공통 언어를 만드는 것입니다.
문서가 왜 AI 문제가 되었는가
세계의 대부분의 비즈니스 지식은 PDF, 스캔된 이미지, 스프레드시트, 프레젠테이션 등의 형식으로 존재합니다. 이러한 형식은 인간이 사용하기에 적합하지만, 기계가 이해하기에는 적합하지 않습니다.
인간은 문서의 제목, 표, 섹션 간의 관계, 정보의 중요성을 문서 내에서 즉시 인식할 수 있습니다. 그러나, AI 시스템은 문서를 해석하기 위해 여러 단계의 OCR, 레이아웃 분석, 문서 파싱, 후처리가 필요로 합니다.
이 도전은 조직이 대량의 기업 데이터를 처리할 수 있는 AI 에이전트를 채택함에 따라 더욱 중요해집니다. 각 문서는 언어 모델, 검색 시스템, 또는 자동화된 워크플로우에서 효과적으로 사용되기 전에 구조화된 표현으로 변환되어야 합니다.
결과적으로, 서로 다른 도구가 문서를 자신의 방식으로 표현하여 상호 운용성이 어려워지고, 불일치가 발생할 가능성이 증가합니다.
ABBYY가 비전을 어떻게 형성했는가
ABBYY는 DocLang 이니셔티브의 핵심 기여자 중 하나로 나타났습니다. 회사는 문서 지능, OCR, 자동화 기술을 개발해 왔으며, 전통적인 문서와 현대의 AI 시스템 간의 간격을 메우는 데企業이 직면하는 도전에 대한 고유한 관점을 가지고 있습니다.
Maxime Vermeir는 ABBYY의 AI 전략 부사장이며, DocLang의 아이디어는 문서 AI 커뮤니티 내에서 문서를 위한 공통 표현 계층이 필요하다는 대화에서 비롯되었다고 설명합니다.
“DocLang는 기업 AI의 근본적인 문제 중 하나를 해결하기 위해 설계되었습니다. 즉, 문서는 인간을 위해, 기계를 위해 만들어진 것이 아닙니다.”라고 Vermeir는 설명했습니다.
각 AI 시스템이 문서 레이아웃, 표, 관계, 메타데이터, 구조를 독립적으로 해석하는 대신, DocLang는 공유할 수 있는 표준화된 프레임워크를 설정하려고 합니다.
목표는 문서 이해를 더 신뢰할 수 있게 만들고, 결측값으로 인한 환각을 줄이고, 동일한 정보를 반복적으로 처리하는 데 관련된 계산 비용을 낮추는 것입니다.
DocLang는 무엇인가?
DocLang는 문서를 AI 시스템에서 이해하기 쉽게 만들기 위한 오픈 사양입니다.
전통적인 형식과 달리, DocLang는 문서의 시각적 표현에 초점을 맞추지 않고, 문서의 의미, 구조, 계층, 기하학적 레이아웃, 표, 복잡한 문서 요소, 메타데이터, 거버넌스 및 사용 제어를 동시에 저장합니다.
이 접근 방식은 AI 시스템이 문서 내의 정보를 이해하는 것뿐만 아니라, 정보가 어떻게 구성되어 있는지와 관련되어 있는지 이해할 수 있도록 합니다.
예를 들어, 재무 표에 포함된 값은 단순히 숫자 자체의 의미뿐만 아니라, 주변 행, 열, 제목, 맥락 정보와의 관계로 인해 의미를 가집니다. 이러한 관계를 표준화된 형식으로 저장하면 AI 시스템이 문서 내용에 대해 더 정확하게 추론할 수 있습니다.
DocLang는 또한 거버넌스 제어를 포함하여, 조직이 문서 내용을 어떻게 사용할 수 있는지 지정할 수 있습니다. 즉, 개인 정보, 추출, AI 모델 훈련과 관련된 정책을 포함합니다.
HTML 비교
이니셔티브의 지지자들은 종종 DocLang를 HTML의 웹 콘텐츠 표준화와 비교합니다.
HTML이 널리 채택되기 전에, 브라우저가 일관되게 콘텐츠를 해석하고 표시할 수 있는 보편적인 방법이 없었습니다. HTML은 웹사이트가 다양한 시스템과 플랫폼에서 이해될 수 있도록 공통 구조를 도입했습니다.
DocLang는 기업 문서에 유사한 수준의 표준화를 가져오려고 합니다. 즉, 각 AI 플랫폼이 문서 구조에 대한 자신의 해석을 개발하는 대신, 공유된 형식이 제공될 수 있습니다.
AI 채택이 가속화됨에 따라, 지지자들은 표준화된 문서 표현이 모델, 애플리케이션, 자율 에이전트 간의 상호 운용성을 보장하기 위해 점점 더 중요해질 수 있다고 주장합니다.
DocLang와 Docling은 어떻게 함께 작동하는가?
이니셔티브는 또한 Docling을 기반으로 합니다. Docling은 IBM Research Zurich에서 개발하여 2024년에 오픈 소스로 공개한 문서 처리 툴킷입니다.
Docling은 문서 摂取 및 변환에 중점을 두고 있습니다. PDF, 워드 문서, 스프레드시트, 프레젠테이션, HTML 파일, 이미지 등을 처리하여, 고급 레이아웃 분석 및 문서 이해 모델을 사용하여 구조화된 표현으로 변환합니다.
DocLang는 이러한 기능을 보완하여, Docling과 같은 툴이 생성한 구조화된 출력을 나타내고 교환하기 위한 표준화된 형식을 제공합니다.
두 프로젝트는 더 완전한 문서 AI 스택을 생성합니다:
- Docling은 摂取 및 문서 이해를 처리합니다.
- DocLang는 보편적인 표현 계층을 제공합니다.
- AI 모델 및 에이전트는 결과 구조화된 정보를 사용합니다.
이 분리는 단편화를 줄이고, 다양한 벤더와 개발자가 채택할 수 있는 공통 프레임워크를 생성합니다.
기업 AI에서 오픈 표준이 왜 중요한가
기업 AI 배포가 실험에서 생산으로 이동함에 따라, 상호 운용성이 점점 더 중요해지고 있습니다.
조직은 단일 AI 모델, 문서 플랫폼, 소프트웨어 벤더에만 의존하지 않습니다. 대신, 정보가 시스템 간에 원활하게 이동해야 하는 복잡한 생태계를 운영합니다.
오픈 표준은 기술 채택을 가능하게 하는 공통 프레임워크를 생성하여, 통합 복잡성과 벤더 잠금을 줄이는 데 역사적으로 중요한 역할을 했습니다. Kubernetes는 클라우드 네이티브 인프라를 표준화했으며, HTML은 현대 웹의 기반이 되었습니다.
DocLang의 지지자들은 AI 네이티브 문서 표준이 문서 지능 및 에이전트 워크플로우에서 유사한 기능을 수행할 수 있다고 믿습니다.
미래를 향해
AI 산업은 기계가 문서를 해석하는 방법을 가르치기 위해 엄청난 노력을 기울였습니다. DocLang는 문서를 위한 언어를 만들기 위한 시도입니다. 즉, 문서를 위한 언어는 AI를 위해 설계되었습니다.
성공할 경우, 이니셔티브는 문서 해석을 개선하고, 결측값으로 인한 환각을 줄이고, 처리 비용을 낮추고, AI 시스템이 플랫폼 간에 정보를 교환하기 쉽게 만들 수 있습니다.
조직이 점점 더 많이 AI 에이전트를 사용하여 대량의 비즈니스 지식을 탐색하는 시대에, 문서를 어떻게 나타내는지 표준화하는 것은 모델을 발전시키는 것만큼 중요할 수 있습니다. ABBYY와 그 협력자들은 DocLang를 통해 그러한 미래를 가능하게 만들기 위한 기반을 구축하려고 합니다.
