Google Research wprowadza ludzki namysł do klasyfikatorów AI opartych na subiektywnych kategoriach

4 listopada 2026 roku Google Research zaprezentowało Agile Deliberation — interaktywny framework do tworzenia klasyfikatorów obrazów opartych na subiektywnych kategoriach, któremu towarzyszą otwarty kod źródłowy i demonstracyjny notatnik. W badaniu z udziałem użytkowników, obejmującym 18 sesji, naukowcy odnotowali lepsze wyniki klasyfikatorów i mniejszy nakład pracy niż w przypadku ręcznego udoskonalania promptów.

Framework obejmuje kategorie, których granice zależą od osobistej oceny, kontekstu kulturowego lub zasad działania: zdrowej żywności, inspirujących dzieł sztuki oraz obrazów typu clickbait obiecujących wprowadzenie w błąd. Jego główne założenie jest takie, że użytkownicy często odkrywają własne granice decyzyjne podczas analizowania trudnych przykładów. W tradycyjnym procesie etykietowania granice te uznaje się za ustalone jeszcze przed rozpoczęciem adnotacji, przez co zmiany intencji ujawniają się w postaci niespójnych etykiet lub arbitralnych decyzji modelu.

Agile Deliberation przekształca zmieniającą się definicję zarówno w zrozumiałą dla człowieka specyfikację, jak i w prompt sterujący klasyfikatorem opartym na modelu wizyjno-językowym. Projekt opiera się na wywiadach z pięcioma ekspertami ds. moderacji treści oraz analizie jakościowej 20 definicji zaczerpniętych z ich praktyki zawodowej. Analiza wykazała, że eksperci najpierw określają zakres pojęć, a następnie doprecyzowują je na podstawie obrazów granicznych.

Dwa etapy namysłu nad pojęciami

Określanie zakresu pojęcia polega na podziale początkowej koncepcji na potencjalne podpojęcia pozytywne i negatywne. Na przykład osoba tworząca klasyfikator zdrowej żywności może uwzględnić sałatki i bowle z produktami zbożowymi, a wykluczyć żywność przetworzoną albo surowe, nieprzygotowane składniki. Każdy wybór jest poparty reprezentatywnymi obrazami, a podpojęcia, które nie opisują istotnych wzorców wizualnych, można odrzucić przed utworzeniem pierwszego klasyfikatora.

Następnie podczas iteracyjnego dopracowywania pojęcia wyszukiwane są obrazy graniczne pod względem znaczenia, zamiast po prostu wybierać przypadki, w których pewność modelu zbliża się do 0,5. Naukowcy twierdzą, że pewność modelu wizyjno-językowego może być słabo skalibrowana względem ludzkiej oceny niejednoznaczności: model może być pewny swojej oceny obrazu, który człowiek uznaje za trudny do sklasyfikowania. Wyszukane przykłady są pozbawiane duplikatów i grupowane w klastry, a reguła wielorękiego bandyty faworyzuje klastry, które wcześniej pomogły skorygować błędy lub dostarczyły przydatnych informacji zwrotnych.

Etap wyszukiwania niejednoznaczności grupuje obrazy w zestawach wokół jednego zrozumiałego problemu, takiego jak kremowe sosy, zawartość cukru lub wielkość porcji, oraz generuje krótkie wyjaśnienie niejednoznaczności każdego obrazu. Użytkownicy oznaczają obrazy jako mieszczące się w zakresie lub poza nim i mogą dodać uzasadnienia w języku naturalnym. System generuje alternatywne definicje, sprawdza je na podstawie wszystkich zebranych dotąd etykiet, wybiera propozycję z najlepszym wynikiem F1 i umożliwia ręczną edycję.

Prototyp wykorzystuje Gemini 2.5 Pro do dekompozycji, a Gemini 2.5 Flash do klasyfikacji, generowania zapytań o obrazy graniczne i wyszukiwania niejednoznaczności. Z modeli tych korzystano bez dodatkowego trenowania ani dostrajania, a interfejs działa w interaktywnym notatniku Colab.

Wyniki badania z udziałem użytkowników

Dziewięciu uczestników bez zawodowego doświadczenia w moderacji treści odbyło po dwie sesje trwające około 90 minut: jedną z użyciem Agile Deliberation, a drugą z ręcznym namysłem; kolejność systemów była losowa. Dwa testowane pojęcia to zdrowa żywność i moderowanie clickbaitów typu pay-to-play. Każda sesja obejmowała około 45 minut pracy nad definicją, oznaczenie 200 odłożonych na bok obrazów testowych, ankietę i 15-minutowy wywiad. Porównanie uwzględniało również klasyfikację bez przykładów oraz Modeling Collaborator — automatyczny model bazowy do dekompozycji pojęć; uczestnicy pracujący ręcznie mogli korzystać ze szczegółowych promptów tego systemu.

W artykule podano, że Agile Deliberation poprawiło wynik F1 dla pay-to-play o 11% względem bazowego wyniku klasyfikacji bez przykładów, podczas gdy ręczny namysł przyniósł poprawę o 8% względem własnego wyniku bazowego. W przypadku zdrowej żywności wynik zmienił się o 10% na korzyść Agile Deliberation, a przy ręcznym namyśle spadł o 3%. Poprawa wynikała głównie ze wzrostu precyzji, któremu towarzyszył mniejszy spadek czułości. Nie wykorzystano dokładności, ponieważ spersonalizowane definicje uczestników prowadziły do niezrównoważonego rozkładu etykiet w danych testowych.

Wszyscy uczestnicy woleli Agile Deliberation od ręcznego namysłu. Uczestnicy ocenili średni nakład pracy na 3,11 w przypadku Agile Deliberation i 4,67 w przypadku pracy ręcznej; średnie oceny poczucia niepewności, stresu lub irytacji wyniosły odpowiednio 1,67 i 3,00. Obie różnice uznano za istotne statystycznie przy p<0,05. Wywiady pozwoliły wyjaśnić te wyniki w praktyce: osoby pracujące ręcznie musiały samodzielnie wymyślać sposoby wyszukiwania kontrprzykładów, a niektóre obawiały się, że zmiana promptu naprawiająca jeden błąd pogorszy działanie systemu w innych przypadkach.

Ograniczenia badania i dostępność kodu

Badanie ma również wyraźne ograniczenia. Autorzy zastrzegają, że udział dziewięciu osób ogranicza moc statystyczną i możliwość uogólniania wyników, a każda osoba korzystała z dwóch systemów przy pracy nad różnymi pojęciami, aby nie przenosić ustalonej definicji do drugiej sesji. Można było zatem porównać subiektywne doświadczenia tych samych uczestników, ale skuteczność klasyfikatorów jedynie między grupami uczestników. W badaniu nie wyodrębniono wpływu poszczególnych komponentów ani nie oceniono całego procesu z użyciem innych modeli generatywnych.

Repozytorium z otwartym kodem źródłowym zawiera powiązany z projektem kod źródłowy i zbiór danych, a także instruktażowy notatnik Demo.ipynb, który krok po kroku pokazuje, jak korzystać z Jupyter lub Google Colab. W ramach demonstracji tworzony jest indeks wyszukiwania najbliższych sąsiadów dla LAION400M. Domyślna konfiguracja pobiera dwa fragmenty danych o łącznym rozmiarze około 260 MB, aby zweryfikować działanie całego procesu; opisana konfiguracja obejmująca 100 fragmentów zajmuje około 13 GB. Wyszukiwanie, pobieranie obrazów z zewnętrznych źródeł i wywołania modeli mogą trwać od kilku sekund do kilku minut, pojedynczy klucz API może podlegać ograniczeniom liczby żądań, a kilka etapów obsługuje buforowanie na dysku. Zastrzeżenie w repozytorium informuje, że nie jest to oficjalnie wspierany produkt Google.

Praktyczny wkład Agile Deliberation polega na tym, że subiektywne intencje stają się jawnym i możliwym do zmiany elementem procesu tworzenia klasyfikatora. Użytkownicy mogą sprawdzać reguły pozytywne i negatywne, analizować przypadki brzegowe, które ujawniły luki, oraz uzasadniać proponowane zmiany. Dzięki temu zespoły moderujące i selekcjonujące treści mogą w ramach możliwego do wglądu procesu tworzenia klasyfikatora śledzić zarówno definicję kategorii, jak i ludzkie osądy, które na nią wpływają.