Naukowcy komputerowi zajmują się rozwiązywaniem problemu związanych z uprzedzeniami w sztucznej inteligencji

Naukowcy komputerowi z Uniwersytetu Princeton i Stanford obecnie rozwiązują problemy związane z uprzedzeniami w sztucznej inteligencji (AI). Pracują nad metodami, które prowadzą do bardziej sprawiedliwych zbiorów danych zawierających obrazy ludzi. Naukowcy ściśle współpracują z ImageNet, który jest bazą danych zawierającą ponad 13 milionów obrazów. W ciągu ostatniej dekady ImageNet pomógł w rozwoju widzenia komputerowego. Z wykorzystaniem swoich metod, naukowcy zalecili ulepszenia bazy danych. 

ImageNet zawiera obrazy obiektów, krajobrazów i ludzi. Naukowcy, którzy tworzą algorytmy uczenia maszynowego do klasyfikacji obrazów, wykorzystują ImageNet jako źródło danych. Ze względu na ogromny rozmiar bazy danych, konieczne było wykorzystanie automatycznego zbierania obrazów i crowdsourcingu do ich opisu. Obecnie zespół ImageNet pracuje nad poprawieniem uprzedzeń i innych problemów. Często obrazy zawierają ludzi, którzy są niezamierzonymi konsekwencjami konstrukcji ImageNet.

Olga Russakovsky jest współautorem i adiunktem na wydziale informatyki na Uniwersytecie Princeton. 

“Widzenie komputerowe działa teraz naprawdę dobrze, co oznacza, że jest wdrożone wszędzie w różnych kontekstach,” powiedział. “To oznacza, że teraz jest czas, aby porozmawiać o tym, jaki wpływ ma to na świat i pomyśleć o tych rodzajach kwestii równości.”

W nowym artykule, zespół ImageNet systematycznie zidentyfikował pojęcia nie-wizualne i obraźliwe kategorie. Te kategorie obejmowały rasowe i seksualne charakteryzacje, a zespół zaproponował usunięcie ich z bazy danych. Zespół opracował również narzędzie, które pozwala użytkownikom określić i pobrać zestawy obrazów ludzi, i może to robić według wieku, wyrażania płci i koloru skóry. Celem jest stworzenie algorytmów, które bardziej sprawiedliwie klasyfikują twarze i działania ludzi na obrazach. 

Praca wykonana przez naukowców została przedstawiona 30 stycznia na konferencji Association for Computing Machinery’s Conference on Fairness, Accountability, and Transparency w Barcelonie, Hiszpania. 

“Istnieje bardzo duże zapotrzebowanie na naukowców i laboratoria z podstawową wiedzą techniczną w tym zakresie, aby wziąć udział w tego rodzaju rozmowach,” powiedziała Russakovsky. “Biorąc pod uwagę fakt, że musimy zbierać dane na dużą skalę, biorąc pod uwagę fakt, że będzie to robione za pomocą crowdsourcingu, ponieważ jest to najbardziej efektywny i ugruntowany pipeline, jak możemy to zrobić w sposób bardziej sprawiedliwy – który nie popada w te same pułapki? Główny przekaz tego artykułu dotyczy konstruktywnych rozwiązań.”

ImageNet został uruchomiony w 2009 roku przez grupę naukowców komputerowych z Uniwersytetu Princeton i Stanford. Miał służyć jako zasób dla naukowców i edukatorów. Stworzenie systemu zostało poprowadzone przez absolwentkę i członka wydziału Uniwersytetu Princeton Fei-Fei Li. 

ImageNet mógł stać się tak dużą bazą danych ze względu na wykorzystanie crowdsourcingu. Jedną z głównych platform wykorzystywanych był Amazon (AMZN ) Mechanical Turk (MTurk), a pracownicy byli wynagradzani za weryfikację kandydujących obrazów. Spowodowało to pewne problemy, a było wiele uprzedzeń i nieodpowiednich kategorizacji. 

Główny autor Kaiyu Yang jest studentem doktoranckim na wydziale informatyki. 

“Kiedy prosisz ludzi o weryfikację obrazów, wybierając poprawne z dużej liczby kandydatów, ludzie czują presję, aby wybrać niektóre obrazy, a te obrazy mają tendencję do bycia tymi z charakterystycznymi lub stereotypowymi cechami,” powiedział. 

Pierwsza część badania obejmowała filtrowanie potencjalnie obraźliwych lub wrażliwych kategorii osób z ImageNet. Obraźliwe kategorie były definiowane jako te, które zawierały przekleństwa lub rasowe lub płciowe wyzwiska. Jedną z takich wrażliwych kategorii była klasyfikacja ludzi według orientacji seksualnej lub religii. Dwunastu studentów doktoranckich z różnych środowisk zostało poproszonych o opisanie kategorii, a zostali poinstruowani, aby oznaczyć kategorię jako wrażliwą, jeśli nie byli pewni. Około 54% kategorii zostało usuniętych, czyli 1593 z 2932 kategorii osób w ImageNet. 

Pracownicy MTurk oceniali “obrazowość” pozostałych kategorii w skali od 1 do 5. 158 kategorii zostało sklasyfikowanych jako bezpieczne i obrazowe, z oceną 4 lub wyższą. Ten przefiltrowany zestaw kategorii zawierał ponad 133 000 obrazów, co może być bardzo przydatne do szkolenia algorytmów widzenia komputerowego. 

Naukowcy badali reprezentację demograficzną ludzi na obrazach, a poziom uprzedzeń w ImageNet został oceniony. Treści pochodzące z wyników wyszukiwania często zawierają wyniki, które nadmiernie reprezentują mężczyzn, ludzi o jasnej skórze i dorosłych w wieku od 18 do 40 lat.

“Ludzie odkryli, że rozkład demograficzny w wynikach wyszukiwania obrazów jest bardzo związany z uprzedzeniami, i to dlatego rozkład w ImageNet jest również związany z uprzedzeniami,” powiedział Yang. “W tym artykule próbowaliśmy zrozumieć, jak związany z uprzedzeniami jest ten rozkład, i również zaproponować metodę, aby zrównoważyć ten rozkład.”

Naukowcy brali pod uwagę trzy atrybuty, które są również chronione przez amerykańskie prawa antydyskryminacyjne: kolor skóry, wyrażanie płci i wiek. Pracownicy MTurk opisali każdy atrybut każdej osoby na obrazie. 

Wyniki pokazały, że zawartość ImageNet ma znaczne uprzedzenia. Najmniej reprezentowanymi były osoby o ciemnej skórze, kobiety i dorośli powyżej 40 roku życia.

Zostało zaprojektowane narzędzie internetowe, które pozwala użytkownikom uzyskać zestaw obrazów, które są demograficznie zrównoważone w sposób, jaki użytkownik wybiera. 

“Nie chcemy powiedzieć, jaki jest prawidłowy sposób, aby zrównoważyć demografię, ponieważ nie jest to prosta kwestia,” powiedział Yang. “Rozkład może być inny w różnych częściach świata – rozkład kolorów skóry w Stanach Zjednoczonych jest inny niż w krajach azjatyckich, na przykład. Więc pozostawiamy to pytanie naszym użytkownikom, i po prostu zapewniamy narzędzie do pobrania zrównoważonego podzbioru obrazów.”

Zespół ImageNet obecnie pracuje nad uaktualnieniami technicznymi swojego sprzętu i bazy danych. Pracują również nad wdrożeniem filtrowania kategorii osób i narzędzia do zrównoważenia opracowanego w tym badaniu. ImageNet ma zostać ponownie wydany z uaktualnieniami, wraz z wezwaniem do opinii od społeczności badawczej widzenia komputerowego. 

Artykuł został również napisany przez studenta doktoranckiego na Uniwersytecie Princeton Klinta Qinami i adiunkta wydziału informatyki Jia Deng. Badanie zostało wsparte przez Narodową Fundację Nauki.