Cytaty: Czy nowa funkcja Anthropic może rozwiązać problem zaufania do AI?

Weryfikacja AI była poważnym problemem przez jakiś czas. Podczas gdy duże modele językowe (LLM) rozwijały się w niesamowitym tempie, wyzwanie polegające na udowodnieniu ich dokładności pozostało nierozwiązane.

Anthropic próbuje rozwiązać ten problem, i spośród wszystkich dużych firm AI, uważam, że mają one największe szanse.

Firma wydała Cytaty, nową funkcję API dla swoich modeli Claude, która zmienia sposób, w jaki systemy AI weryfikują swoje odpowiedzi. Ta technologia automatycznie rozkłada dokumenty źródłowe na strawne fragmenty i łączy każde wygenerowane przez AI oświadczenie z jego oryginalnym źródłem – podobnie jak w przypadku cytowań w pracach naukowych.

Cytaty próbują rozwiązać jeden z najbardziej uporczywych wyzwań AI: udowodnienie, że wygenerowana treść jest dokładna i godna zaufania. Zamiast wymagać skomplikowanego inżynierii podpowiedzi lub ręcznej weryfikacji, system automatycznie przetwarza dokumenty i zapewnia weryfikację na poziomie zdania dla każdego twierdzenia.

Dane pokazują obiecujące wyniki: 15% poprawę dokładności cytowań w porównaniu z tradycyjnymi metodami.

Dlaczego to ma znaczenie właśnie teraz

Zaufanie do AI stało się krytyczną barierą dla przyjęcia przez przedsiębiorstwa (a także przez osoby fizyczne). Podczas gdy organizacje przechodzą od eksperymentalnego wykorzystania AI do podstawowych operacji, niemożliwość wydajnej weryfikacji danych wyjściowych AI stworzyła znaczącą wąskie gardło.

Obecne systemy weryfikacji ujawniają wyraźny problem: organizacje są zmuszone wybierać między szybkością a dokładnością. Ręczne procesy weryfikacji nie są skalowalne, podczas gdy niezweryfikowane dane wyjściowe AI niosą ze sobą zbyt duże ryzyko. To wyzwanie jest szczególnie ostre w branżach regulowanych, gdzie dokładność nie jest tylko preferowana – jest wymagana.

Czas wprowadzenia Cytatów jest krytycznym momentem w rozwoju AI. Podczas gdy modele językowe stają się bardziej zaawansowane, potrzeba wbudowanej weryfikacji rosła proporcjonalnie. Musimy budować systemy, które mogą być wdrożone z pewnością w profesjonalnych środowiskach, gdzie dokładność jest niezbywalna.

Rozbicie architektury technicznej

Magia Cytatów leży w ich podejściu do przetwarzania dokumentów. Cytaty nie są jak inne tradycyjne systemy AI. Te często traktują dokumenty jako proste bloki tekstu. Z Cytatami, narzędzie rozkłada materiały źródłowe na to, co Anthropic nazywa “fragmentami”. Mogą to być pojedyncze zdania lub zdefiniowane przez użytkownika sekcje, które tworzą drobną podstawę dla weryfikacji.

Oto techniczne rozbicie:

Przetwarzanie i obsługa dokumentów

Cytaty przetwarzają dokumenty w zależności od ich formatu. Dla plików tekstowych nie ma praktycznie żadnych ograniczeń poza standardowym limitem 200 000 tokenów dla wszystkich żądań. Obejmuje to kontekst, podpowiedzi i same dokumenty.

Obsługa plików PDF jest bardziej skomplikowana. System przetwarza pliki PDF wizualnie, a nie tylko jako tekst, co prowadzi do niektórych kluczowych ograniczeń:

• Limit rozmiaru pliku 32MB
• Maksymalnie 100 stron na dokument
• Każda strona zużywa 1 500-3 000 tokenów

Zarządzanie tokenami

Teraz przechodząc do praktycznej strony tych limitów. Podczas pracy z Cytatami, należy starannie rozważyć budżet tokenów. Oto jak to się rozbija:

Dla standardowego tekstu:

• Limit pełnego żądania: 200 000 tokenów
• Obejmuje: Kontekst + podpowiedzi + dokumenty
• Brak dodatkowych opłat za dane wyjściowe cytowań

Dla plików PDF:

• Wyższe zużycie tokenów na stronę
• Nadwyżka przetwarzania wizualnego
• Konieczność bardziej złożonego obliczania tokenów

Cytaty vs RAG: Kluczowe różnice

Cytaty nie są systemem Retrieval Augmented Generation (RAG) – i ta różnica ma znaczenie. Podczas gdy systemy RAG koncentrują się na znajdowaniu istotnych informacji z bazy wiedzy, Cytaty pracują nad informacjami, które już zostały wybrane.

Myśl o tym w ten sposób: Systemy RAG decydują, jakie informacje wykorzystać, podczas gdy Cytaty zapewniają, że informacje te są wykorzystywane dokładnie. Oznacza to:

• RAG: Obsługuje pobieranie informacji
• Cytaty: Zarządzają weryfikacją informacji
• Potencjał połączenia: Obie systemy mogą współpracować

To rozwiązanie architektoniczne oznacza, że Cytaty wyróżniają się pod względem dokładności w podanych kontekstach, pozostawiając strategie pobierania informacji systemom uzupełniającym.

Ścieżki integracji i wydajność

Ustawienie jest proste: Cytaty działają za pośrednictwem standardowego API Anthropic, co oznacza, że jeśli już korzystasz z Claude, jesteś na pół drogi. System integruje się bezpośrednio z Messages API, eliminując potrzebę oddzielnego przechowywania plików lub skomplikowanych zmian w infrastrukturze.

Struktura cenowa opiera się na modelu opartym na tokenach Anthropic z kluczową zaletą: podczas gdy płacisz za tokeny wejściowe z dokumentów źródłowych, nie ma dodatkowych opłat za same dane wyjściowe cytowań. Tworzy to przewidywalną strukturę kosztów, która skaluje się z użytkowaniem.

Wskaźniki wydajności opowiadają przekonywującą historię:

• 15% poprawa ogólnej dokładności cytowań
• Kompletna eliminacja halucynacji źródłowych (z 10% występowania do zera)
• Weryfikacja na poziomie zdania dla każdego twierdzenia

Organizacje (i osoby) korzystające z niezweryfikowanych systemów AI znajdują się w niekorzystnej sytuacji, szczególnie w branżach regulowanych lub środowiskach o wysokim ryzyku, gdzie dokładność jest kluczowa.

Spójrzmy w przyszłość, prawdopodobnie zobaczymy:

• Integracja funkcji podobnych do Cytatów staje się standardem
• Ewolucja systemów weryfikacji poza tekst do innych mediów
• Rozwój branżowych standardów weryfikacji

Cały przemysł musi naprawdę przemyśleć zaufanie do AI i weryfikację. Użytkownicy muszą dojść do punktu, w którym mogą łatwo zweryfikować każde twierdzenie.