Iluzja „Pobierz więcej etykiet!” w badaniach nad sztuczną inteligencją

Ogólny pogląd w obecnych badaniach nad uczeniem maszynowym jest taki, że samo uczenie maszynowe może być wykorzystane do poprawy jakości adnotacji zbiorów danych AI – w szczególności podpisów obrazów przeznaczonych do użycia w modelach języka i widzenia (VLM). Ten tok myślenia jest napędzany przez wysoki koszt adnotacji wykonanych przez ludzi oraz dodatkowym obciążeniem nadzorowania wydajności adnotatorów.

Można argumentować, że jest to odpowiednik sztucznej inteligencji wczesnych lat 2000. ‘pobierz więcej pamięci RAM’ meme, który satyryzował pomysł, że ograniczenie sprzętowe mogłoby być rozwiązane za pomocą naprawy opartej na oprogramowaniu.

To również jest pomijane zagadnienie; podczas gdy nowe modele AI przyciągają szerokie zainteresowanie w sferach publicznych i komercyjnych, adnotacja często wydaje się być trywialnym szczegółem w potokach uczenia maszynowego, przytłoczonym przez ekscytację wokół szerszych ram.

W rzeczywistości, zdolność systemów uczenia maszynowego do rozpoznawania i odtwarzania wzorców (centralny przypadek użycia niemal wszystkich systemów AI) jest zależna od jakości i spójności adnotacji rzeczywistych – etykiet i fraz, które są tworzone lub zatwierdzane przez ludzi, często podejmujących subiektywne decyzje o poszczególnych punktach danych w nieidealnych okolicznościach.

Nieuchronnie, systemy, które próbują obserwować i odtwarzać wzorce w zachowaniu adnotatorów (i tym samym zastąpić adnotatorów ludzkich i ułatwić dokładne etykietowanie w skali) nie mogą liczyć na dobre wyniki na danych nie zawartych w przykładach pobranych od obserwatorów ludzkich. Nic „podobnego” nie jest takie samo, a równoważność między domenami pozostaje problematicznym przedsięwzięciem w widzeniu komputerowym.

Handel RAG

Do niedawna, nieścisłości wynikające z niedostatecznie uzupełnionych adnotacji zbiorów danych były, być może, uważane za akceptowalne szkody uboczne w kontekście niedoskonałych, ale nadal rynkowych wyników uzyskanych z generatywnych systemów AI.

W rzeczywistości, dopiero w tym roku badanie z Singapuru wnioskowało, że halucynacje – czyli okazje, kiedy systemy AI wymyślają rzeczy, które podważają nasze intencje – są nieuniknione i związane z architekturą pojęciową takich systemów.

Aby przeciwdziałać temu, agenci oparci na RAG – którzy mogą „zweryfikować” fakty za pomocą wyszukiwań internetowych – stają się popularni w badaniach i komercyjnych rozwiązaniach. Jednak dodają one do kosztu zasobów i opóźnień w zapytaniach; ponadto nowe informacje zastosowane do wytrenowanego modelu nie mogą konkurować z bardziej złożonymi i głęboko splecionymi połączeniami, które charakteryzują rodzime warstwy w wytrenowanym modelu.

RePOPE

Nowy artykuł z Niemiec podkreśla problemy wynikające z polegania na starszych, powszechnie używanych zbiorach danych, koncentrując się w szczególności na dokładności i niezawodności ich podpisów obrazów. Odkrycia badaczy sugerują, że błędy etykiet w benchmarkach mogą maskować lub przedstawiać halucynację w modelach języka i widzenia.

Wyobraź sobie model, który jest pokazywany scenę uliczną i pytany, czy jest tam rower. Model odpowiada tak. Jeśli zbiór danych mówi, że nie ma roweru, model jest oznaczony jako błędny. Ale jeśli rower jest wyraźnie widoczny na zdjęciu i został po prostu pominięty podczas adnotacji, wtedy odpowiedź modelu była poprawna, a zbiór danych zawiera błąd.

Metoda i testy

Badacze ponownie oznaczyli wszystkie adnotacje w oryginalnym zbiorze danych MSCOCO, z dwoma ludzkimi adnotatorami przypisanymi do każdej instancji danych. Gdzie pojawiła się niejasność co do jakości oryginalnych etykiet (jak w poniższych przykładach), te wyniki zostały wyłączone z rundy testowej.

Wyniki graficzne powyżej ilustrują, jak zmienia się liczba prawdziwych pozytywów i fałszywych pozytywów po poprawieniu etykiet w benchmarku.

Wnioski

Ten konkretny eksperyment był możliwy dzięki bardzo małej skali zbioru danych. Udowodnienie tego samego założenia na zbiorach danych o skali hiperskali wymagałoby pracy na bardzo ograniczonych fragmentach danych; w bardzo zróżnicowanych dużych zbiorach danych może to okazać się niemożliwe do izolowania statystycznie reprezentatywnych i semantycznie spójnych grup – potencjalnie zniekształcając wyniki.

Nawet gdyby było to możliwe, jaki byłby remedium w obecnym stanie sztuki? Argumentacja wraca nieuchronnie do potrzeby lepszych i bardziej obfitych adnotacji ludzkich.

W tym zakresie „lepsze” i „bardziej obfite” istnieją jako oddzielne problemy same w sobie, ponieważ można uzyskać większą ilość adnotacji za pomocą gospodarek opartych na wyścigu do dołu, takich jak Amazon Mechanical Turk (AMT). Oczywiście, ta potencjalnie wyzyskowa podgospodarka często prowadzi do gorszych wyników.

Alternatywnie, można by zlecić zadania adnotacji gospodarczym regionom, w których ten sam wydatek przyniósłby większą ilość adnotacji. Jednak im dalej adnotator jest oddalony od zamierzonego przypadku użycia modelu, którego etykiety będą kształtować, tym mniej prawdopodobne jest, że wynikowy model będzie odpowiadał potrzebom lub oczekiwaniom docelowego obszaru.

To pozostaje jednym z najbardziej uporczywych i nierozwiązanych wyzwań w ekonomice rozwoju sztucznej inteligencji.

Pierwotnie opublikowane w środę, 23 kwietnia 2025