Цитаты: может ли новая функция Anthropic решить проблему доверия к ИИ?

Проверка ИИ была серьезной проблемой уже некоторое время. Хотя большие языковые модели (LLM) продвинулись вперед с невероятной скоростью, проблема доказательства их точности осталась нерешенной.

Anthropic пытается решить эту проблему, и из всех крупных компаний ИИ, я думаю, что у них есть лучший шанс.

Компания выпустила Цитаты, новую функцию API для своих моделей Claude, которая меняет способ, которым системы ИИ проверяют свои ответы. Эта технология автоматически разбивает документы-источники на понятные фрагменты и связывает каждый сгенерированный ИИ утверждение с его первоначальным источником – подобно тому, как академические статьи цитируют свои ссылки.

Цитаты пытаются решить одну из самых постоянных проблем ИИ: доказать, что сгенерированный контент точен и заслуживает доверия. Вместо того, чтобы требовать сложной инженерии запросов или ручной проверки, система автоматически обрабатывает документы и предоставляет проверку источников на уровне предложения для каждого утверждения.

Данные показывают обнадеживающие результаты: 15% улучшение точности цитат по сравнению с традиционными методами.

Почему это важно сейчас

Доверие к ИИ стало критическим барьером для внедрения в企业 (а также для индивидуального использования). Когда организации переходят от экспериментального использования ИИ к основным операциям, невозможность эффективно проверять выходные данные ИИ создала значительную瓶颈.

Текущие системы проверки выявляют ясную проблему: организации вынуждены выбирать между скоростью и точностью. Ручные процессы проверки не масштабируются, а непроверенные выходные данные ИИ несут слишком большой риск. Эта проблема особенно актуальна в регулируемых отраслях, где точность не только предпочтительна, но и обязательна.

Сроки появления Цитат приходятся на критический момент в развитии ИИ. Когда языковые модели становятся более сложными, необходимость встроенной проверки выросла пропорционально. Нам нужно строить системы, которые можно с уверенностью развертывать в профессиональных средах, где точность не обсуждается.

Разбор технической архитектуры

Магия Цитат заключается в их подходе к обработке документов. Цитаты не похожи на другие традиционные системы ИИ. Эти часто рассматривают документы как простые текстовые блоки. С Цитатами инструмент разбивает исходные материалы на то, что Anthropic называет “фрагментами”. Эти могут быть отдельными предложениями или пользовательскими разделами, что создает детальную основу для проверки.

Вот технический разбор:

Обработка и управление документами

Цитаты обрабатывают документы по-разному в зависимости от их формата. Для текстовых файлов практически нет ограничений, кроме стандартного ограничения в 200 000 токенов для общего количества запросов. Это включает ваш контекст, запросы и сами документы.

Обработка PDF более сложна. Система обрабатывает PDF визуально, а не только как текст, что приводит к некоторым ключевым ограничениям:

• Ограничение размера файла 32 МБ
• Максимально 100 страниц на документ
• Каждая страница потребляет 1500-3000 токенов

Управление токенами

Теперь, перейдя к практической стороне этих ограничений. Когда вы работаете с Цитатами, вам нужно тщательно учитывать свой бюджет токенов. Вот как это разбивается:

Для стандартного текста:

• Полное ограничение запроса: 200 000 токенов
• Включает: Контекст + запросы + документы
• Нет дополнительной платы за выходные данные цитат

Для PDF:

• Более высокое потребление токенов на страницу
• Визуальные накладные расходы на обработку
• Необходимость более сложных расчетов токенов

Цитаты против RAG: ключевые различия

Цитаты не являются системой Retrieval Augmented Generation (RAG) – и это различие имеет значение. Хотя системы RAG фокусируются на нахождении релевантной информации из базы знаний, Цитаты работают с информацией, которую вы уже выбрали.

Подумайте об этом так: RAG решает, какую информацию использовать, а Цитаты обеспечивают точность использования этой информации. Это означает:

• RAG: Обрабатывает извлечение информации
• Цитаты: Управляют проверкой информации
• Совместный потенциал: Обе системы могут работать вместе

Этот выбор архитектуры означает, что Цитаты превосходят в точности в предоставленных контекстах, оставляя стратегии поиска для дополнительных систем.

Пути интеграции и производительность

Настройка проста: Цитаты работают через стандартный API Anthropic, что означает, что если вы уже используете Claude, вы уже на полпути. Система интегрируется напрямую с API Messages, исключая необходимость отдельного хранения файлов или сложных изменений инфраструктуры.

Структура ценообразования следует модели токенов Anthropic с ключевым преимуществом: хотя вы платите за входные токены из документов-источников, нет дополнительной платы за выходные данные цитат самих по себе. Это создает предсказуемую структуру затрат, которая масштабируется с использованием.

Метрики производительности рассказывают убедительную историю:

• 15% улучшение общей точности цитат
• Полное устранение галлюцинаций источников (с 10% до нуля)
• Проверка на уровне предложения для каждого утверждения

Организации (и отдельные лица), использующие непроверенные системы ИИ, обнаруживают себя в невыгодном положении, особенно в регулируемых отраслях или высокорисковых средах, где точность имеет решающее значение.

Взглянув вперед, мы, вероятно, увидим:

• Интеграцию функций, подобных Цитатам, как стандарт
• Эволюцию систем проверки за пределами текста в другие медиа
• Разработку отраслевых стандартов проверки

Вся отрасль действительно должна пересмотреть достоверность и проверку ИИ. Пользователям нужно добиться того, чтобы они могли проверить каждое утверждение с легкостью.