인용문: Anthropic의 새로운 기능이 AI의 신뢰 문제를 해결할 수 있는가?

AI 검증은 이미 오랜 시간 동안 심각한 문제로 남아있었습니다. जबक에 대규모 언어 모델 (LLM)이 놀라운 속도로 발전해 왔지만, 그 정확성을 증명하는 문제는 여전히 해결되지 않은 채로 남아있습니다.

Anthropic은 이 문제를 해결하려고 시도하고 있으며, 모든 큰 AI 회사 중에서 그들이 가장 좋은 기회를 가지고 있다고 생각합니다.

이 회사는 Citations라는 새로운 API 기능을 출시했습니다. 이 기능은 Claude 모델의 응답을 검증하는 방식을 변경합니다. 이 기술은 자동으로 소스 문서를 소화하기 쉬운 조각으로 나누고, 학술 논문이 참조를 인용하는 방식과 유사하게 생성된 각 문장을 원래 소스에 연결합니다.

Citations는 AI의 가장 지속적인 도전 중 하나를 해결하려고 시도합니다. 즉, 생성된 콘텐츠가 정확하고 신뢰할 수 있다는 것을 증명하는 것입니다. 복잡한 프롬프트 엔지니어링이나 수동 검증을 요구하는 대신, 시스템은 문서를 자동으로 처리하고 생성하는 모든 주장에 대한 문장 수준의 소스 검증을 제공합니다.

데이터는 약속하는 결과를 보여줍니다. 전통적인 방법과 비교하여 인용 정확도가 15% 개선되었습니다.

왜 지금이 중요한가

AI 신뢰는 기업採用 (및 개인採用)의 임계 장벽이 되었습니다. 조직이 실험적인 AI 사용에서 핵심 운영으로 이동함에 따라, AI 출력을 효율적으로 검증할 수 없는 것은 상당한 병목 현상을 생성했습니다.

현재 검증 시스템은 명백한 문제를 보여줍니다. 즉, 조직은 속도와 정확성 사이에서 선택해야 합니다. 수동 검증 프로세스는 확장할 수 없으며, 검증되지 않은 AI 출력은 너무 많은 위험을 수반합니다. 이 도전은 정확성이 선호되는 것이 아니라 필요한 규제 산업에서 특히 심각합니다.

Citations의 시점은 AI 개발의 중요한 순간에 도착했습니다. 언어 모델이 더 정교해짐에 따라, 내장된 검증의 필요성이 비례하여 증가했습니다. 우리는 전문 환경에서 확신을 가지고 배포할 수 있는 시스템을 구축해야 합니다. 여기서 정확성은 협상할 수 없습니다.

기술 아키텍처 분해

Citations의 마법은 문서 처리 접근 방식에 있습니다. Citations는 다른 전통적인 AI 시스템과 다릅니다. 이러한 시스템은 문서를 단순한 텍스트 블록으로 처리하는 반면, Citations는 Anthropic이 “조각”이라고 부르는 것을 생성합니다. 이는 개별 문장 또는 사용자 정의 섹션이 될 수 있으며, 검증을 위한 세분화된 기초를 제공합니다.

여기에서 기술적인 분해를 볼 수 있습니다:

문서 처리 및 처리

Citations는 문서의 형식에 따라 문서를 다르게 처리합니다. 텍스트 파일의 경우, 총 요청에 대한 표준 200,000 토큰 제한을 제외하고는 거의 제한이 없습니다. 여기에는 컨텍스트, 프롬프트 및 문서 자체가 포함됩니다.

PDF 처리는 더 복잡합니다. 시스템은 텍스트가 아니라 시각적으로 PDF를 처리하여 몇 가지 주요 제약이 있습니다:

• 32MB 파일 크기 제한
• 최대 100 페이지의 문서
• 각 페이지는 1,500-3,000 토큰을 소비합니다

토큰 관리

이제 실제적인 측면으로 넘어갑니다. Citations를 사용할 때 토큰 예산을 신중하게 고려해야 합니다. 여기에서 분해됩니다:

표준 텍스트의 경우:

• 전체 요청 제한: 200,000 토큰
• 포함: 컨텍스트 + 프롬프트 + 문서
• 인용 출력에는 별도의 요금이 없습니다

PDF의 경우:

• 페이지당 토큰 소비가 더 높습니다
• 시각적 처리 오버헤드
• 더 복잡한 토큰 계산이 필요합니다

Citations vs RAG: 주요 차이점

Citations는 검색 보강 생성 (RAG) 시스템이 아닙니다. 이는 중요한 차이입니다. RAG 시스템은 지식 베이스에서 관련 정보를 찾는 데 중점을 두는 반면, Citations는 이미 선택한 정보에서 작동합니다.

이렇게 생각해 보십시오: RAG는 사용할 정보를 결정하는 반면, Citations는 정보가 정확하게 사용되는 것을 보장합니다. 이는:

• RAG: 정보 검색을 처리합니다
• Citations: 정보 검증을 관리합니다
• 결합된 잠재력: 두 시스템은 함께 작동할 수 있습니다

이 아키텍처 선택은 Citations가 제공된 컨텍스트 내에서 정확성에 뛰어나지만, 검색 전략은 보완 시스템에 맡긴다는 것을 의미합니다.

통합 경로 및 성능

설정은 간단합니다: Citations는 Anthropic의 표준 API를 통해 실행되므로, 이미 Claude를 사용하고 있다면 절반은 이미 완료되었습니다. 시스템은 Messages API와 직접 통합되어 별도의 파일 저장소 또는 복잡한 인프라 변경의 필요성을 제거합니다.

가격 구조는 Anthropic의 토큰 기반 모델을 따르며, 주요 이점이 있습니다. 즉, 소스 문서의 입력 토큰에 대해 요금을 지불하는 반면, 인용 출력 자체에는 추가 요금이 없습니다. 이는 사용량에 따라 확장하는 예측 가능한 비용 구조를 생성합니다.

성능 지표는 설득력 있는 이야기를 전합니다:

• 전체 인용 정확도가 15% 향상되었습니다
• 소스 환상이 완전히 제거되었습니다 (10% 발생에서 0으로)
• 모든 주장에 대한 문장 수준의 검증

검증되지 않은 AI 시스템을 사용하는 조직 (및 개인)은 특히 규제 산업이나 정확성이 중요한 환경에서 불리한 위치에 있습니다.

앞으로 우리는 다음을 볼 수 있을 것입니다:

• Citations와 같은 기능이 표준이 되는 통합
• 검증 시스템의 텍스트를 넘어서 다른 미디어로의 발전
• 산업별 검증 표준의 개발

전체 산업은 실제로 AI의 신뢰성과 검증을 다시 생각해야 합니다. 사용자는 모든 주장을 쉽게 검증할 수 있는 지점에 도달해야 합니다.