인용문: Anthropic의 새로운 기능이 AI의 신뢰 문제를 해결할 수 있는가?

AI 검증은 이미 오랜 시간 동안 심각한 문제로 남아있었습니다. 대규모 언어 모델(Large Language Models, LLMs)이 놀라운 속도로 발전했지만, 그 정확성을 증명하는 문제는 여전히 해결되지 않고 있습니다.

Anthropic은 이 문제를 해결하려고 시도하고 있으며, 저는 큰 AI 회사 중에서 Anthropic이 가장 좋은 기회를 가지고 있다고 생각합니다.

이 회사는 인용문(Citations)이라는 새로운 API 기능을 출시했습니다. 이 기능은 Claude 모델의 일부로, AI 시스템이 응답을 검증하는 방식을 변경합니다. 이 기술은 원본 문서를 소화하기 쉬운 청크로 분해하고, 생성된 각 문장을 원본 출처에 연결합니다. 이는 학술 논문이 참고 문헌을 인용하는 방식과 유사합니다.

인용문은 AI의 가장 지속적인 도전 중 하나를 해결하려고 합니다. 즉, 생성된 콘텐츠가 정확하고 신뢰할 수 있는지 증명하는 것입니다. 복잡한 프롬프트 엔지니어링이나 수동 검증이 필요 없도록, 시스템은 문서를 자동으로 처리하고 각 주장에 대한 문장 수준의 출처 검증을 제공합니다.

데이터는 유망한 결과를 보여줍니다. 전통적인 방법과 비교하여 인용문 정확도가 15% 개선되었습니다.

이번에 중요한 이유

AI 신뢰는 기업의 도입과 개인의 도입에서 중요한 장벽이 되었습니다. 조직이 실험적인 AI 사용에서 핵심 운영으로 이동함에 따라, AI 출력을 효율적으로 검증할 수 없는 능력은 상당한 병목 현상을 생성했습니다.

현재의 검증 시스템은 명확한 문제를 보여줍니다. 즉, 조직은 속도와 정확성 사이에서 선택해야 합니다. 수동 검증 프로세스는 확장되지 않으며, 검증되지 않은 AI 출력은 너무 많은 위험을 수반합니다. 이 도전은 정확성이 선호되는 것이 아니라 필수적인 규제 산업에서 특히 심각합니다.

인용문의 시점은 AI 개발의 중요한 순간에 도착했습니다. 언어 모델이 더 정교해짐에 따라, 내장된 검증의 필요성이 비례하여 증가했습니다. 우리는 전문 환경에서 정확성이 불가결한 시스템을 구축해야 합니다.

기술 아키텍처 분해

인용문의 마법은 문서 처리 접근 방식에 있습니다. 인용문은 다른 전통적인 AI 시스템과 다릅니다. 이러한 시스템은 문서를 단순한 텍스트 블록으로 처리합니다. 인용문은 Anthropic이 “청크”라고 부르는 것을 생성합니다. 이는 개별 문장 또는 사용자 정의 섹션이 될 수 있으며, 이는 검증을 위한 세분화된 기반을 제공합니다.

기술적인 분해는 다음과 같습니다.

문서 처리 및 처리

인용문은 문서의 형식에 따라 문서를 다르게 처리합니다. 텍스트 파일의 경우, 총 요청에 대한 200,000 토큰의 표준 제한을 제외하고는 본질적으로 제한이 없습니다. 이는 컨텍스트, 프롬프트 및 문서 자체를 포함합니다.

PDF 처리는 더 복잡합니다. 시스템은 텍스트가 아닌 시각적으로 PDF를 처리하여 일부 키 제약이 발생합니다.

• 32MB 파일 크기 제한
• 최대 100 페이지당 문서
• 각 페이지는 1,500-3,000 토큰을 소비합니다

토큰 관리

이제 이러한 제한의 실제 측면을 살펴보겠습니다. 인용문을 사용할 때 토큰 예산을 신중하게 고려해야 합니다. 다음과 같이 분해됩니다.

표준 텍스트의 경우:

• 전체 요청 제한: 200,000 토큰
• 포함: 컨텍스트 + 프롬프트 + 문서
• 인용문 출력에는 별도의 요금이 없습니다

PDF의 경우:

• 페이지당 토큰 소비가 더 높습니다
• 시각적 처리 오버헤드
• 더 복잡한 토큰 계산이 필요합니다

인용문 대 RAG: 주요 차이점

인용문은 검색 증강 생성(Retrieval Augmented Generation, RAG) 시스템이 아닙니다. 이는 중요한 차이입니다. RAG 시스템은 지식 베이스에서 관련 정보를 찾는 데 중점을 두는 반면, 인용문은 이미 선택한 정보를 사용합니다.

이렇게 생각해 보세요: RAG는 사용할 정보를 결정하는 반면, 인용문은 정보가 정확하게 사용되도록 합니다. 이는 다음과 같은 것을 의미합니다.

• RAG: 정보 검색을 처리합니다
• 인용문: 정보 검증을 관리합니다
• 결합된 잠재력: 두 시스템을 함께 사용할 수 있습니다

이 아키텍처 선택은 인용문이 제공된 컨텍스트 내에서 정확성에 탁월하다는 것을 의미합니다. 그러나 검색 전략은 보완 시스템에 맡깁니다.

통합 경로 및 성능

설정은 간단합니다: 인용문은 Anthropic의 표준 API를 통해 실행되므로, 이미 Claude를 사용 중이라면 절반은 이미 완료되었습니다. 시스템은 Messages API와 직접 통합되어 별도의 파일 저장소 또는 복잡한 인프라 변경이 필요 없습니다.

가격 구조는 Anthropic의 토큰 기반 모델을 따르며, 주요 이점은 있습니다. 즉, 원본 문서의 입력 토큰에 대해 요금을 지불하지만, 인용문 출력 자체에는 별도의 요금이 없습니다. 이는 사용량에 따라 확장되는 예측 가능한 비용 구조를 생성합니다.

성능 지표는 설득력 있는 이야기를 전합니다:

• 전체 인용문 정확도 15% 개선
• 원본 환상 완전 제거(10% 발생에서 0으로)
• 각 주장에 대한 문장 수준의 검증

검증되지 않은 AI 시스템을 사용하는 조직(및 개인)은 특히 정확성이 중요한 규제 산업이나 고위험 환경에서 불리한 위치에 있습니다.

미래를 내다보면, 다음과 같은 것을 볼 수 있습니다:

• 인용문과 같은 기능의 통합이 표준이 됩니다
• 검증 시스템의 텍스트를 넘어 다른 미디어로의 진화
• 산업별 검증 표준의 개발

전체 산업은 AI의 신뢰성과 검증을 다시 생각해야 합니다. 사용자는 쉽게 모든 주장을 검증할 수 있는 지점에 도달해야 합니다.