Cytaty: Czy nowa funkcja Anthropic może rozwiązać problem zaufania do sztucznej inteligencji?

Weryfikacja sztucznej inteligencji była poważnym problemem przez jakiś czas. Podczas gdy duże modele językowe (LLM) rozwinęły się w niesamowitym tempie, wyzwanie udowodnienia ich dokładności pozostało nierozwiązane.

Anthropic próbuje rozwiązać ten problem, i spośród wszystkich dużych firm AI, myślę, że mają one najlepszą szansę.

Firma wydała Cytaty, nową funkcję API dla swoich modeli Claude, która zmienia sposób, w jaki systemy sztucznej inteligencji weryfikują swoje odpowiedzi. Ta technologia automatycznie dzieli dokumenty źródłowe na strawne fragmenty i łączy każde wygenerowane przez sztuczną inteligencję oświadczenie z jego oryginalnym źródłem – podobnie jak w przypadku cytowań w pracach naukowych.

Cytaty próbują rozwiązać jeden z najbardziej uporczywych wyzwań sztucznej inteligencji: udowodnienie, że wygenerowana treść jest dokładna i godna zaufania. Zamiast wymagać skomplikowanego inżynierii podpowiedzi lub ręcznej weryfikacji, system automatycznie przetwarza dokumenty i zapewnia weryfikację na poziomie zdania dla każdego twierdzenia.

Dane pokazują obiecujące wyniki: 15% poprawę dokładności cytowań w porównaniu z tradycyjnymi metodami.

Dlaczego to ma znaczenie teraz

Zaufanie do sztucznej inteligencji stało się krytyczną barierą dla przyjęcia przez przedsiębiorstwa (oraz przez osoby prywatne). Podczas gdy organizacje przechodzą od eksperymentalnego użytkowania sztucznej inteligencji do podstawowych operacji, niezdolność do wydajnej weryfikacji danych wyjściowych sztucznej inteligencji stworzyła znaczącą blokadę.

Obecne systemy weryfikacji ujawniają wyraźny problem: organizacje są zmuszone wybierać między szybkością a dokładnością. Ręczne procesy weryfikacji nie są skalowalne, podczas gdy nieweryfikowane dane wyjściowe sztucznej inteligencji niosą ze sobą zbyt duże ryzyko. To wyzwanie jest szczególnie ostre w regulowanych branżach, gdzie dokładność nie jest tylko preferowana – jest wymagana.

Czas wprowadzenia Cytatów jest krytycznym momentem w rozwoju sztucznej inteligencji. Podczas gdy modele językowe stają się bardziej zaawansowane, potrzeba wbudowanej weryfikacji rosła proporcjonalnie. Musimy budować systemy, które mogą być wdrożone z pewnością w profesjonalnych środowiskach, gdzie dokładność jest niezmienna.

Rozbijanie architektury technicznej

Magia Cytatów leży w ich podejściu do przetwarzania dokumentów. Cytaty nie są jak inne tradycyjne systemy sztucznej inteligencji. Te często traktują dokumenty jako proste bloki tekstu. Z Cytatami, narzędzie dzieli materiały źródłowe na to, co Anthropic nazywa “fragmentami”. Mogą to być pojedyncze zdania lub fragmenty zdefiniowane przez użytkownika, które tworzą podstawę dla weryfikacji.

Oto techniczny rozbiór:

Przetwarzanie i obsługa dokumentów

Cytaty przetwarzają dokumenty inaczej w zależności od ich formatu. Dla plików tekstowych nie ma praktycznie żadnych ograniczeń poza standardowym limitem 200 000 tokenów dla wszystkich żądań. Obejmuje to kontekst, podpowiedzi i same dokumenty.

Obsługa plików PDF jest bardziej skomplikowana. System przetwarza pliki PDF wizualnie, a nie tylko jako tekst, co prowadzi do pewnych ograniczeń:

• 32MB limit rozmiaru pliku
• Maksymalnie 100 stron na dokument
• Każda strona zużywa 1 500-3 000 tokenów

Zarządzanie tokenami

Teraz przechodząc do praktycznej strony tych ograniczeń. Podczas pracy z Cytatami, należy starannie rozważyć swój budżet tokenów. Oto jak to się rozkłada:

Dla standardowego tekstu:

• Limit pełnego żądania: 200 000 tokenów
• Obejmuje: Kontekst + podpowiedzi + dokumenty
• Brak dodatkowych opłat za dane wyjściowe cytowań

Dla plików PDF:

• Wyższe zużycie tokenów na stronę
• Nadwyżka przetwarzania wizualnego
• Konieczność bardziej złożonego obliczania tokenów

Cytaty vs RAG: Kluczowe różnice

Cytaty nie są systemem Retrieval Augmented Generation (RAG) – i ta różnica ma znaczenie. Podczas gdy systemy RAG koncentrują się na znajdowaniu istotnych informacji z bazy wiedzy, Cytaty pracują nad informacjami, które już zostały wybrane.

Myśl o tym w ten sposób: Systemy RAG decydują, które informacje wykorzystać, podczas gdy Cytaty zapewniają, że informacje te są wykorzystywane dokładnie. Oznacza to:

• RAG: Obsługuje pobieranie informacji
• Cytaty: Zarządzają weryfikacją informacji
• Potencjał połączenia: Obie systemy mogą współpracować

Ten wybór architektury oznacza, że Cytaty wyróżniają się pod względem dokładności w ramach podanych kontekstów, pozostawiając strategie pobierania informacji systemom uzupełniającym.

Ścieżki integracji i wydajność

Ustawienie jest proste: Cytaty działają przez standardowe API Anthropic, co oznacza, że jeśli już używasz Claude, jesteś na pół drogi. System integruje się bezpośrednio z API Messages, eliminując potrzebę oddzielnego przechowywania plików lub skomplikowanych zmian w infrastrukturze.

Struktura cenowa opiera się na modelu opartym na tokenach Anthropic z kluczową zaletą: podczas gdy płacisz za tokeny wejściowe z dokumentów źródłowych, nie ma dodatkowych opłat za same dane wyjściowe cytowań. Tworzy to przewidywalną strukturę kosztów, która skaluje się z użytkowaniem.

Wskaźniki wydajności mówią przekonywującą historię:

• 15% poprawa ogólnej dokładności cytowań
• Kompletna eliminacja halucynacji źródłowych (z 10% występowania do zera)
• Weryfikacja na poziomie zdania dla każdego twierdzenia

Organizacje (i osoby prywatne) korzystające z nieweryfikowanych systemów sztucznej inteligencji znajdują się w niekorzystnej sytuacji, szczególnie w regulowanych branżach lub środowiskach o wysokim ryzyku, gdzie dokładność jest kluczowa.

Spójrzmy w przyszłość, prawdopodobnie zobaczymy:

• Integrację funkcji podobnych do Cytatów jako standard
• Ewolucję systemów weryfikacji poza tekst do innych mediów
• Rozwój branżowych standardów weryfikacji

Cały przemysł naprawdę musi przemyśleć zaufanie do sztucznej inteligencji i weryfikację. Użytkownicy muszą dojść do punktu, w którym mogą zweryfikować każde twierdzenie z łatwością.