Kartel wpływowych zbiorów danych dominuje w badaniach nad sztuczną inteligencją, sugeruje nowe badanie

Nowy artykuł z Uniwersytetu Kalifornijskiego i Google Research wykazał, że niewielka liczba “punktów odniesienia” zbiorów danych sztucznej inteligencji, w większości pochodzących z wpływowych instytucji zachodnich, a często z organizacji rządowych, coraz bardziej dominuje sektor badań nad sztuczną inteligencją.

Badacze dochodzą do wniosku, że ta tendencja do “domyślnego” użycia popularnych, otwartych zbiorów danych, takich jak ImageNet, rodzi szereg praktycznych, etycznych i nawet politycznych powodów do niepokoju.

Wśród ich ustaleń – opartych na danych podstawowych z projektu społecznościowego Papers With Code (PWC) – autorzy twierdzą, że ‘powszechnie używane zbiory danych są wprowadzane tylko przez garstkę elitarnych instytucji’, i że ta “konsolidacja” wzrosła do 80% w ostatnich latach.

‘[Stwierdzamy], że występuje coraz większa nierówność w użytkowaniu zbiorów danych na całym świecie, i że ponad 50% wszystkich użytkowań zbiorów danych w naszym próbie 43 140 odpowiadało zbiorom danych wprowadzonym przez dwanaście elitarnych, głównie zachodnich, instytucji.’

Mapa niezależnych od zadania użytkowań zbiorów danych przez ostatnie dziesięć lat. Kryterium doboru to instytucja lub firma, która odpowiada za ponad 50% znanych użytkowań. Po prawej stronie widoczny jest współczynnik Gini dla koncentracji zbiorów danych w czasie dla instytucji i zbiorów danych. Źródło: https://arxiv.org/pdf/2112.01716.pdf

Do dominujących instytucji należą Uniwersytet Stanforda, Microsoft, Princeton, Facebook, Google, Max Planck Institute i AT&T. Cztery z dziesięciu najlepszych źródeł zbiorów danych to instytucje korporacyjne.

Artykuł charakteryzuje również rosnące użytkowanie tych elitarnych zbiorów danych jako ‘pojazd nierówności w nauce’. Jest to spowodowane tym, że zespoły badawcze poszukujące społecznej akceptacji są bardziej zmotywowane do osiągnięcia wyników na poziomie stanu sztuki (SOTA) w odniesieniu do spójnego zestawu danych niż do generowania oryginalnych zbiorów danych, które nie mają takiego samego statusu i które wymagałyby od peerów adaptacji do nowych miar zamiast standardowych wskaźników.

W każdym razie, jak stwierdza artykuł, tworzenie własnego zestawu danych jest zbyt kosztownym przedsięwzięciem dla mniej zasobnych instytucji i zespołów.

‘Oczywista naukowa ważność przyznana przez wyniki SOTA jest powszechnie mylona z wiarygodnością społeczną, którą badacze uzyskują, pokazując, że mogą konkurować na szeroko rozpoznawanym zestawie danych, nawet jeśli bardziej kontekstowy benchmark byłby bardziej technicznie odpowiedni.

‘Uważamy, że te dynamiki tworzą “efekt Mateusza” (tj. “bogaci stają się bogatsi, a biedni – biedniejsi”), gdzie udane benchmarki i elitarnych instytucji, które je wprowadzają, zyskują nieproporcjonalnie dużą pozycję w dziedzinie.

Artykuł artykuł nosi tytuł Zmniejszone, ponownie wykorzystane i recyklingowane: Życie zestawu danych w badaniach nad sztuczną inteligencją i pochodzi od Bernarda Kocha i Jacoba G. Fostera z UCLA, oraz Emily Denton i Alex Hannę z Google Research.

Praca podnosi szereg kwestii związanych z rosnącym trendem konsolidacji, który dokumentuje, i spotkała się z powszechną akceptacją w Open Review. Jeden z recenzentów z NeurIPS 2021 skomentował, że praca jest ‘niezwykle istotna dla wszystkich zaangażowanych w badania nad sztuczną inteligencją.’ i przewiduje jej włączenie jako obowiązkową lekturę na uniwersytetach.

Od konieczności do korupcji

Autorzy zauważają, że obecna kultura “pobijania benchmarku” powstała jako remedium na brak obiektywnych narzędzi oceny, które spowodowały, że zainteresowanie i inwestycje w sztuczną inteligencję załamały się po raz drugi ponad trzydzieści lat temu, po spadku entuzjazmu biznesowego wobec nowych badań w “systemach ekspertowych”:

‘Benchmarki zwykle formalizują określone zadanie za pomocą zestawu danych i skojarzonej ilościowej miary oceny. Praktyka ta została wprowadzona do badań nad sztuczną inteligencją po “zimie sztucznej inteligencji” w latach 80. przez rządowych fundatorów, którzy starali się dokładniej ocenić wartość uzyskaną z grantów.’

Artykuł argumentuje, że początkowe zalety tej nieformalnej kultury standaryzacji (zmniejszanie barier dla uczestnictwa, spójne miary i więcej możliwości rozwoju) zaczynają być przeważane przez wady, które naturalnie występują, gdy zbiór danych staje się wystarczająco potężny, aby skutecznie określić swoje “warunki użytkowania” i zakres wpływu.

Autorzy sugerują, w zgodzie z wieloma ostatnimi myślami przemysłowymi i akademickimi na ten temat, że społeczność badawcza nie stawia już nowych problemów, jeśli nie mogą one być rozwiązane za pomocą istniejących benchmarkowych zestawów danych.

Dodatkowo zauważają, że ślepe przestrzeganie tego niewielkiego zestawu “złotych” zestawów danych zachęca badaczy do osiągania wyników, które są przeuczone (tj. które są specyficzne dla zestawu danych i nie będą działać prawie tak dobrze na danych rzeczywistych, nowych akademickich lub oryginalnych zestawach danych, lub nawet koniecznie na innych zestawach danych w “złotym standardzie”).

‘Uważamy, że ze względu na obserwowaną wysoką koncentrację badań na niewielkiej liczbie benchmarkowych zestawów danych, uważamy, że różnicowanie form oceny jest szczególnie ważne, aby uniknąć przeuczenia istniejących zestawów danych i nieprawidłowego przedstawiania postępu w dziedzinie.

Wpływ rządu na badania nad widzeniem komputerowym

Zgodnie z artykułem, badania nad widzeniem komputerowym są szczególnie dotknięte zespołem, o którym mowa, niż inne sektory, a autorzy zauważają, że badania nad przetwarzaniem języka naturalnego (NLP) są o wiele mniej dotknięte. Autorzy sugerują, że może to być spowodowane tym, że społeczności NLP są ‘bardziej spójne’ i większe, i że zestawy danych NLP są bardziej dostępne i łatwiejsze do opracowania, a także mniejsze i mniej zasobochłonne pod względem zbierania danych.

W badaniach nad widzeniem komputerowym, a w szczególności w odniesieniu do zestawów danych rozpoznawania twarzy (FR), autorzy twierdzą, że korporacyjne, państwowe i prywatne interesy często kolidują:

‘Korporacyjne i rządowe instytucje mają cele, które mogą być w konflikcie z prywatnością (np. nadzór), a ich ważenie tych priorytetów jest prawdopodobnie inne niż priorytety akademickie lub szerszych interesów społecznych.’

Dla zadań rozpoznawania twarzy badacze stwierdzili, że incydent czysto akademickich zestawów danych spada dramatycznie w porównaniu z przeciętną:

‘[Cztery] z ośmiu zestawów danych (33,69% wszystkich użytkowań) były wyłącznie finansowane przez korporacje, wojsko USA lub rząd chiński (MS-Celeb-1M, CASIA-Webface, IJB-A, VggFace2). MS-Celeb-1M został ostatecznie wycofany z powodu kontrowersji wokół wartości prywatności dla różnych interesariuszy.’

Najlepsze zestawy danych używane w społecznościach badawczych generowania obrazów i rozpoznawania twarzy.

W powyższym wykresie, jak zauważają autorzy, widzimy również, że dość nowa dziedzina generowania obrazów (lub syntezy obrazu) jest silnie uzależniona od istniejących, o wiele starszych zestawów danych, które nie zostały stworzone do tego celu.

W rzeczywistości artykuł obserwuje rosnący trend “migracji” zestawów danych poza ich pierwotnym celem, co podnosi pytania o ich przydatność do potrzeb nowych lub peryferyjnych sektorów badań, oraz o stopień, w jakim ograniczenia budżetowe mogą “uogólniać” zakres ambicji badaczy w węższy zakres zapewniany przez dostępne materiały i kulturę, która jest tak zaabsorbowana rocznymi ocenami benchmarków, że nowe zestawy danych mają trudności z uzyskaniem przyczepności.

‘Nasze ustalenia wskazują również, że zestawy danych regularnie przenoszą się między różnymi społecznościami zadań. Na najbardziej ekstremalnym końcu, większość benchmarkowych zestawów danych w obiegu dla niektórych społeczności zadań została stworzona do innych zadań.’

W odniesieniu do luminarzy sztucznej inteligencji (w tym Andrew Ng), którzy coraz częściej domagają się większej różnorodności i opracowania zestawów danych w ostatnich latach, autorzy popierają ten pogląd, ale uważają, że tego rodzaju wysiłek, nawet jeśli będzie udany, może być potencjalnie podważony przez obecną kulturę zależności od wyników SOTA i ustanowionych zestawów danych:

‘Nasze badania sugerują, że proste wezwanie do rozwoju nowych zestawów danych i przesunięcie struktur zachęt, aby rozwój zestawu danych był ceniony i nagradzany, może nie być wystarczające, aby zróżnicować użytkowanie zestawów danych i perspektywy, które w końcu kształtują i ustalają cele badań nad sztuczną inteligencją.

‘Ponadto, oprócz zachęcania do rozwoju zestawów danych, opowiadamy się za interwencjami politycznymi ukierunkowanymi na równość, które priorytetowo traktują znaczne finansowanie dla osób z mniej zasobnych instytucji w celu tworzenia wysokiej jakości zestawów danych. To zróżnicuje – z perspektywy społecznej i kulturowej – zestawy danych benchmarkowych używanych do oceny nowoczesnych metod sztucznej inteligencji.’

6 grudnia 2021, 16:49 GMT+2 – Poprawiono posiadanie w nagłówku. – MA