Цитати: чи може нова функція Anthropic вирішити проблему довіри до штучного інтелекту?

Верифікація штучного інтелекту була серйозною проблемою вже давно. Хоча багатомовні моделі мови (LLM) розвивалися неймовірними темпами, проблема доведення їхньої точності залишилася нерозв’язаною.

Anthropic намагається вирішити цю проблему, і серед усіх великих компаній штучного інтелекту я думаю, що вони мають найкращі шанси.

Компанія випустила Цитати, нову функцію API для своїх моделей Claude, яка змінює спосіб, у який системи штучного інтелекту верифікують свої відповіді. Ця технологія автоматично розбиває джерельні документи на зрозумілі частини та пов’язує кожну згенеровану штучним інтелектом заяву з її первинним джерелом – подібно до того, як академічні статті цитують свої джерела.

Цитати намагаються вирішити одну з найбільш постійних проблем штучного інтелекту: доведення того, що згенерований контент точний і достовірний. Замість того, щоб вимагати складного інженерного проекту або ручної верифікації, система автоматично обробляє документи та надає верифікацію джерел на рівні речень для кожної заяви, яку вона робить.

Дані показують перспективні результати: 15% покращення точності цитат порівняно з традиційними методами.

Чому це має значення зараз

Довіра до штучного інтелекту стала критичною бар’єром для впровадження у великих організаціях (а також для окремих осіб). Коли організації переходять від експериментального використання штучного інтелекту до його використання у核心 своїх операцій, нездатність ефективно верифікувати виводи штучного інтелекту створила значну瓶 cổ.

Поточні системи верифікації показують ясну проблему: організації змушені вибирати між швидкістю та точністю. Ручна верифікація не масштабується, тоді як неверифіковані виводи штучного інтелекту несуть занадто великий ризик. Ця проблема особливо гостра у регульованих галузях, де точність не тільки бажана, але й обов’язкова.

Час появи Цитат збігається з критичним моментом у розвитку штучного інтелекту. Коли моделі мови стають більш досконалими, потреба у вбудованій верифікації зростає пропорційно. Нам потрібно будувати системи, які можна впевнено розгортати у професійних середовищах, де точність є непоговорним.

Розбивка технічної архітектури

Магія Цитат полягає у їхньому підході до обробки документів. Цитати не схожі на інші традиційні системи штучного інтелекту. Tyto часто розглядають документи як прості блоки тексту. З Цитатами, інструмент розбиває джерельні матеріали на те, що Anthropic називає “частинами”. Це можуть бути окремі речення або визначені користувачем секції, які створюють ґранульований фундамент для верифікації.

Ось технічний розбив:

Обробка документів та керування ними

Цитати обробляють документи по-різному залежно від їхнього формату. Для текстових файлів практично немає обмежень, окрім стандартного ліміту у 200 000 токенів для загальних запитів. Це включає ваш контекст, запити та самі документи.

Обробка PDF є більш складною. Система обробляє PDF візуально, а не лише як текст, що призводить до деяких ключових обмежень:

• Ліміт розміру файлу 32 МБ
• Максимально 100 сторінок на документ
• Кожна сторінка споживає 1500-3000 токенів

Керування токенами

Тепер розглянемо практичну сторону цих обмежень. Коли ви працюєте з Цитатами, вам потрібно ретельно розглянути свій бюджет токенів. Ось як це відбувається:

Для стандартного тексту:

• Ліміт повного запиту: 200 000 токенів
• Включає: Контекст + запити + документи
• Немає окремої плати за вивід цитат

Для PDF:

• Більше токенів споживається на сторінку
• Візуальне оброблення має перевагу
• Більш складний розрахунок токенів потрібен

Цитати проти RAG: ключові відмінності

Цитати не є системою Retrieval Augmented Generation (RAG) – і ця відмінність має значення. Хоча системи RAG зосереджені на пошуку відповідної інформації з бази знань, Цитати працюють з інформацією, яку ви вже вибрали.

Подумайте про це так: RAG вирішує, яку інформацію використовувати, тоді як Цитати забезпечують точність цієї інформації. Це означає:

• RAG: Обробляє пошук інформації
• Цитати: Керують верифікацією інформації
• Потенціал об’єднання: Обидві системи можуть працювати разом

Цей вибір архітектури означає, що Цитати досконалі у точності в рамках наданих контекстів, залишаючи стратегії пошуку для додаткових систем.

Шляхи інтеграції та продуктивність

Налаштування просте: Цитати працюють через стандартний API Anthropic, що означає, якщо ви вже використовуєте Claude, ви вже на половині шляху. Система інтегрується безпосередньо з API повідомлень, що усуває потребу у окремому зберіганні файлів або складних змін інфраструктури.

Структура цінових тарифів слідує токенній моделі Anthropic з ключовою перевагою: хоча ви платите за токени вхідних документів, немає додаткової плати за самі виводи цитат. Це створює передбачувану структуру вартості, яка масштабується з використанням.

Метрики продуктивності розповідають переконливу історію:

• 15% покращення загальної точності цитат
• Повне усунення галюцинацій джерел (з 10% випадків до нуля)
• Верифікація на рівні речень для кожної заяви

Організації (та окремі особи), які використовують неверифіковані системи штучного інтелекту, знаходяться у невигідному становищі, особливо у регульованих галузях або високоризикових середовищах, де точність має вирішальне значення.

Оглядывая вперед, ми, ймовірно, побачимо:

• Інтеграцію функцій, подібних до Цитат, як стандарт
• Еволюцію систем верифікації за межами тексту до інших медіа
• Розробку галузевих стандартів верифікації

Ціла галузь штучного інтелекту справді повинна переглянути проблему довіри та верифікації. Користувачі повинні дійти до точки, де зможуть легко верифікувати кожну заяву.