Цитати: Чи може нова функція Anthropic вирішити проблему довіри до штучного інтелекту?

Верифікація штучного інтелекту була серйозною проблемою вже давно. Хоча більші моделі мови (LLM) розвивалися неймовірними темпами, проблема доведення їхньої точності залишилася нерозв’язаною.

Anthropic намагається вирішити цю проблему, і серед усіх великих компаній штучного інтелекту я думаю, що вони мають найкращий шанс.

Компанія випустила Цитати, нову функцію API для своїх моделей Claude, яка змінює спосіб, у який системи штучного інтелекту верифікують свої відповіді. Ця технологія автоматично розбиває джерельні документи на засвоювані частини та пов’язує кожну згенеровану штучним інтелектом заяву з її первинним джерелом – подібно до того, як академічні статті цитують свої джерела.

Цитати намагаються вирішити одну з найбільш постійних проблем штучного інтелекту: доведення того, що згенеровані вмісти є точними та заслуговують довіри. Замість того, щоб вимагати складної інженерії запитів або ручної верифікації, система автоматично обробляє документи та забезпечує верифікацію джерел на рівні речень для кожної заяви, яку вона робить.

Дані показують перспективні результати: 15% покращення точності цитування порівняно з традиційними методами.

Чому це має значення зараз

Довіра до штучного інтелекту стала критичною бар’єром для прийняття підприємств (а також індивідуального прийняття). Коли організації переходять від експериментального використання штучного інтелекту до основних операцій, нездатність ефективно верифікувати виходи штучного інтелекту створила значний瓶 cổ.

Поточні системи верифікації показують чітку проблему: організації змушені вибирати між швидкістю та точністю. Ручні процеси верифікації не масштабуються, тоді як неверифіковані виходи штучного інтелекту несуть надто великий ризик. Ця проблема особливо гостра в регульованих галузях, де точність не тільки бажана – вона необхідна.

Час появи Цитатів припав на критичний момент у розвитку штучного інтелекту. Коли моделі мови стають більш досконалими, потреба у вбудованій верифікації зростає пропорційно. Нам потрібно будувати системи, які можна впевнено розгортати в професійних середовищах, де точність є непереговорною.

Розбивка технічної архітектури

Магія Цитатів полягає в їхньому підході до обробки документів. Цитати не схожі на інші традиційні системи штучного інтелекту. Ці часто розглядають документи як прості блоки тексту. З Цитатами інструмент розбиває джерельні матеріали на те, що Anthropic називає “чанками”. Це можуть бути окремі речення або визначені користувачем розділи, які створюють детальну основу для верифікації.

Ось технічний розбив:

Обробка документів та обробка

Цитати обробляють документи по-різному залежно від їхнього формату. Для текстових файлів практично немає обмежень, окрім стандартного обмеження у 200 000 токенів для загального запиту. Це включає ваш контекст, запити та самі документи.

Обробка PDF є більш складною. Система обробляє PDF візуально, а не тільки як текст, що призводить до деяких ключових обмежень:

• Обмеження розміру файлу 32 МБ
• Максимально 100 сторінок на документ
• Кожна сторінка споживає 1 500-3 000 токенів

Управління токенами

Тепер звертаємося до практичної сторони цих обмежень. Коли ви працюєте з Цитатами, вам потрібно ретельно розглянути свій бюджет токенів. Ось як це розбивається:

Для стандартного тексту:

• Ліміт повного запиту: 200 000 токенів
• Включає: Контекст + запити + документи
• Немає окремої плати за виходи цитування

Для PDF:

• Більше споживання токенів на сторінку
• Візуальне навантаження обробки
• Потрібне більш складне розрахунку токенів

Цитати проти RAG: Ключові відмінності

Цитати не є системою Retrieval Augmented Generation (RAG) – і ця відмінність має значення. Хоча системи RAG зосереджуються на пошуку відповідної інформації з бази знань, Цитати працюють з інформацією, яку ви вже вибрали.

Подумайте про це так: RAG вирішує, яку інформацію використовувати, тоді як Цитати забезпечують точність використання цієї інформації. Це означає:

• RAG: Обробляє пошук інформації
• Цитати: Керують верифікацією інформації
• Потенціал у поєднанні: Обидві системи можуть працювати разом

Цей вибір архітектури означає, що Цитати досконалі у точності в рамках наданих контекстів, залишаючи стратегії пошуку для додаткових систем.

Шляхи інтеграції та продуктивність

Налаштування є простим: Цитати працюють через стандартний API Anthropic, що означає, якщо ви вже використовуєте Claude, ви вже на половині шляху. Система інтегрується безпосередньо з API Messages, усуваючи потребу у окремому сховищі файлів або складних змін інфраструктури.

Структура ціноутворення слідує токенній моделі Anthropic з ключовою перевагою: хоча ви платите за вхідні токени з джерельних документів, немає додаткової плати за виходи цитування самих по собі. Це створює передбачувану структуру вартості, яка масштабується з використанням.

Метрики продуктивності розповідають переконливу історію:

• 15% покращення загальної точності цитування
• Повне усунення галюцинацій джерел (з 10% випадків до нуля)
• Верифікація на рівні речень для кожної заяви

Організації (та окремі особи), які використовують неверифіковані системи штучного інтелекту, знаходяться у невигідному становищі, особливо у регульованих галузях чи середовищах високих ставок, де точність є критичною.

Оглядаючи майбутнє, ми, ймовірно, побачимо:

• Інтеграцію функцій, подібних до Цитатів, як стандарт
• Еволюцію систем верифікації за межами тексту до інших медіа
• Розробку галузевих стандартів верифікації

Ціла галузь штучного інтелекту справді повинна переглянути проблему довіри до штучного інтелекту та верифікації. Користувачам потрібно дійти до точки, де вони можуть легко верифікувати кожну заяву.