Gdzie powinien zatrzymać się model językowy: projektowanie AI na potrzeby płac, rekrutacji na studia i innych obszarów, w których błędy mają poważne konsekwencje

Od kilku lat wdrażam AI w produktach, w których błędna odpowiedź ma swoją cenę: platformie opartej na AI, która pomaga zapewnić zgodność z przepisami dotyczącymi płac na rynku australijskim, gdzie błąd odbija się na czyimś koncie bankowym, oraz produkcie wspierającym rekrutację na studia, gdzie nietrafiony wybór może wpłynąć na kolejne cztery lata życia studenta. W obu przypadkach o architekturze przesądziło to samo pytanie: jak daleko można pozwolić modelowi językowemu posunąć się, zanim przejmie kontrolę coś działającego deterministycznie?

Na jednej z pięciu list płac w USA pojawia się błąd, którego średni koszt wynosi 291 USD, zanim jeszcze dojdzie do postępowania sądowego. Unijny akt o sztucznej inteligencji zalicza AI wykorzystywaną przy podejmowaniu decyzji rekrutacyjnych i zarządzaniu zatrudnieniem do systemów wysokiego ryzyka.

Liczby powinny podlegać regułom

Reguły działające deterministycznie powinny rozstrzygać wszystko, co wiąże się z konkretną kwotą lub konsekwencjami prawnymi. Model ma interpretować te reguły i je objaśniać — i nic ponadto.

W przypadku platformy płacowej zależało nam na wyraźnym rozgraniczeniu reguł dotyczących płac i AI. Najpierw eksperci ds. płac definiują reguły wynagradzania w ustrukturyzowanym formacie. Następnie system przetwarza te reguły i generuje wszystkie możliwe scenariusze, które mogą z nich wynikać. Ten pełny zestaw scenariuszy staje się źródłem prawdy dla modelu. Model nie może tworzyć nowych reguł, zmieniać istniejących ani decydować o tym, z których źródeł korzystać. Może jedynie pobierać odpowiedni zestaw reguł, sprawdzać tabele stawek i wskazywać scenariusz, na którym się oparł. Tworzenie reguł, generowanie scenariuszy i wybór źródeł pozostają całkowicie poza warstwą AI.

Produkt wspierający rekrutację na studia opiera się na tej samej zasadzie: wymagania dotyczące lokalizacji, limity budżetowe, status uczelni i progi kwalifikacyjne są uwzględniane jako reguły, zanim model może wpłynąć na ranking. Jeśli student mówi, że musi studiować w Kalifornii, model nie może zastąpić uczelni z tego stanu placówką spoza niego tylko dlatego, że uznał ją za dobrze dopasowaną pod innymi względami. Model zajmuje się mniej rygorystycznymi preferencjami i wyjaśnieniami, a logika deterministyczna stanowi zabezpieczenie wszędzie tam, gdzie odpowiedź w przybliżeniu poprawna jest nie do zaakceptowania.

Wyszukiwanie wspomagane generowaniem ugruntowuje odpowiedzi modelu — ale tylko do pewnego stopnia

Generowanie wspomagane wyszukiwaniem sprawia, że odpowiedzi opierają się na własnych zasadach organizacji, a nie na wszystkim, co model przyswoił podczas treningu. Możliwości tej metody są jednak przeceniane. Gdy RegLab Uniwersytetu Stanforda przetestował komercyjne narzędzia do wyszukiwania informacji prawnych oparte na RAG, nadal halucynowały one w 17–33% przypadków. Wyszukiwanie zawęża zakres tego, co model może powiedzieć, ale model nadal może się mylić.

Przekonałem się o tym na własnej skórze. Pewnego razu system platformy płacowej znalazł właściwy akt regulujący warunki zatrudnienia w danej sprawie, ale model i tak błędnie zinterpretował zasady dotyczące nadgodzin. Odnaleziono właściwe źródło, a mimo to odpowiedź była błędna. Po tym zdarzeniu znacznie bardziej ograniczyliśmy zakres decyzji, które model może podejmować samodzielnie. Ważne reguły dotyczące płac przenieśliśmy do jawnej logiki biznesowej, każda odpowiedź musiała być poparta materiałami źródłowymi, a do zestawu testów dodaliśmy przypadek, który wcześniej zakończył się błędem. Dostęp do właściwych informacji pomaga tylko wtedy, gdy kontroluje się również sposób, w jaki model z nich korzysta.

Zapewnij możliwość prześledzenia każdej odpowiedzi

Zanim system wygeneruje odpowiedź, zapisuje dokładnie, z którego zbioru reguł i której jego wersji skorzystano, a także jakiego modelu użyto i jakie były pozostałe szczegóły żądania. Trudno zweryfikować stwierdzenie, że odpowiedź AI opierała się na polityce firmy. Znacznie mocniejszym dowodem jest informacja, że wygenerowano ją z użyciem wersji 7 konkretnej umowy, którą zachowano i którą można porównać z innymi wersjami. Śledzimy również każde wywołanie modelu i narzędzia: o co zapytał użytkownik, jakie informacje pobrano, które narzędzia uruchomiono, co zwrócił model i jakie błędy wystąpiły po drodze. Gdy wpłynie zgłoszenie do działu wsparcia, możemy dokładnie ustalić, skąd wzięła się błędna odpowiedź. Orzeczenie z 2024 r. w sprawie Air Canada, w którym trybunał zobowiązał linię lotniczą do honorowania zniżki wymyślonej przez jej chatbota, pokazuje, jakie są koszty alternatywnego podejścia.

Zaangażuj ludzi tam, gdzie w grę wchodzą konsekwencje

Profil generatywnej sztucznej inteligencji NIST-u traktuje granicę między tym, co system robi samodzielnie, a tym, co wymaga udziału człowieka, jako kwestię zarządzania. Przekazujemy sprawę człowiekowi, gdy system nie jest pewny, gdy informacje są sprzeczne lub gdy decyzja może mieć istotny wpływ na użytkownika. W procesie rekrutacji na studia nietypowy profil kandydata lub rekomendacja, która nie spełnia jednoznacznie jego bezwzględnych wymagań, są oznaczane do weryfikacji przez doradcę. Dzięki temu wychwycono rekomendacje, które na pierwszy rzut oka wydawały się rozsądne, ale pomijały ograniczenie wskazane w profilu kandydata; każda z nich trafiała z powrotem do systemu. Żaden z tych produktów nie podejmuje samodzielnie ostatecznych decyzji. Zanim rekomendacja zostanie wykorzystana, konieczny jest udział doradcy, a każdy odcinek wypłaty wygenerowany przez system płac jest oznaczany do zatwierdzenia, zanim zostanie wysłany. Weryfikacja przez człowieka nie jest przewidziana dla każdego wniosku. Celem jest pewna automatyzacja rutynowych spraw i angażowanie człowieka wtedy, gdy system ma uzasadnione powody, by nie być pewnym.

Jak decydować, za co model może odpowiadać już dziś

Przy każdym procesie stosuję praktyczny test. Jeśli błędny wynik można wychwycić i cofnąć, zanim dotrze do człowieka, model może odpowiadać za ten etap. Jeśli odpowiedź można sprawdzić na podstawie reguły, to reguła rozstrzyga, a model ją objaśnia. Jeśli błędny wynik dotarłby do listy płac lub wpłynął na decyzję dotyczącą podania, zanim ktokolwiek go zobaczy, tego etapu nie należy jeszcze automatyzować.

Modele językowe są najlepszymi interpretatorami, jakich kiedykolwiek postawiliśmy przed zbiorem zasad. W dziedzinach, w których błędy są surowo karane, na interpretacji powinny poprzestać.