Els investigadors desenvolupen una nova eina per combatre el biaix en la visió per ordinador

Una de les qüestions recents que ha sorgit dins del camp de la intel·ligència artificial (IA) és la del biaix en la visió per computador. Molts experts estan descobrint ara un biaix dins dels sistemes d'IA, la qual cosa condueix a resultats esbiaixats en diverses aplicacions diferents, com ara programes de condemna a la sala de tribunals.

Hi ha un gran esforç per intentar solucionar alguns d'aquests problemes, i el desenvolupament més recent prové de la Universitat de Princeton. Els investigadors de la institució han creat una nova eina que és capaç de marcar possibles biaixos en les imatges que s'utilitzen per entrenar sistemes d'IA. 

El treballar es va presentar el 24 d'agost a la Conferència Europea virtual sobre Visió per Computador. 

Biaix en sistemes d'IA

Una de les principals raons del biaix present als sistemes d'IA actuals és que sovint s'entrenen en grans conjunts d'imatges procedents de fonts en línia. Aquestes imatges poden ser estereotipades i, quan es dirigeixen al desenvolupament de la visió per ordinador, el resultat pot ser models influenciats sense voler. La visió per ordinador és allò que permet als ordinadors identificar persones, objectes i accions. 

L'eina que van desenvolupar els investigadors és de codi obert i és capaç de revelar automàticament biaixos potencials en conjunts de dades visuals. Funciona prenent mesures abans que els conjunts d'imatges s'utilitzin per entrenar els models de visió per ordinador, i els problemes relacionats amb la subrepresentació i els estereotips es poden solucionar abans que produeixin un efecte. 

REVISE

La nova eina s'anomena REVISE i es basa en mètodes estadístics per identificar possibles biaixos en un conjunt de dades. Se centra en les tres àrees: basat en objectes, basat en gènere i basat en geografia. 

REVISE és totalment automàtic i es va basar en mètodes anteriors que incloïen el filtratge i l'equilibri d'imatges de conjunt de dades perquè l'usuari pogués tenir més control. 

La nova eina es basa en les anotacions i mesures d'imatge existents per analitzar el contingut d'un conjunt de dades. Algunes d'aquestes anotacions existents inclouen el recompte d'objectes i els països d'origen de les imatges. 

En un exemple de funcionament de l'eina, REVISE va mostrar com les imatges de persones i flors eren diferents segons el gènere. Els mascles tenien més probabilitats d'aparèixer amb flors en cerimònies o reunions, i les dones tenien més probabilitats d'aparèixer amb flors en pintures o escenaris escenificats.

Olga Russaskovsky és professora assistent d'informàtica i investigadora principal del Visual AI Lab. El document va ser coautor amb l'estudiant de postgrau Angelina Wang i el professor associat d'informàtica, Arvind Narayanan.

Després que l'eina identifiqui discrepàncies, "aleshores hi ha la qüestió de si es tracta d'un fet totalment innòcu o si està passant alguna cosa més profund, i això és molt difícil d'automatitzar", va dir Russaskovsky. 

Regions infrarepresentades o tergiversades

Diverses regions del món estan subrepresentades en els conjunts de dades de visió per ordinador, i això pot provocar un biaix en els sistemes d'IA. Una de les troballes va ser que una quantitat d'imatges dramàticament més gran prové dels Estats Units i dels països europeus. REVISE també va revelar que les imatges d'altres parts del món sovint no tenen subtítols d'imatges en l'idioma local, el que significa que moltes podrien provenir de la visió d'un turista d'una nació. 

"... aquesta anàlisi de geografia mostra que el reconeixement d'objectes encara pot ser força esbiaixat i exclusiu, i pot afectar diferents regions i persones de manera desigual", va continuar Russaskovsky. 

"Les pràctiques de recollida de conjunts de dades en informàtica no s'han examinat tan a fons fins fa poc", va dir Wang. Pel que fa a la recollida d'imatges, "s'extreuen d'Internet, i la gent no sempre s'adona que les seves imatges s'estan utilitzant [en conjunts de dades]. Hauríem de recollir imatges de grups més diversos de persones, però quan ho fem, hauríem de tenir cura de rebre les imatges d'una manera respectuosa".

Vicente Ordonez-Roman és professor ajudant d'informàtica a la Universitat de Virgínia. 

"Les eines i els punts de referència són un pas important... ens permeten capturar aquests biaixos abans en el pipeline i replantejar la nostra configuració del problema i les hipòtesis, així com les pràctiques de recollida de dades", va dir Ordonez-Roman. “En visió per computador hi ha alguns reptes específics pel que fa a la representació i la propagació d'estereotips. Treballs com els del Princeton Visual AI Lab ajuden a dilucidar i a cridar l'atenció de la comunitat de visió per computador alguns d'aquests problemes i ofereixen estratègies per mitigar-los".

La nova eina desenvolupada pels investigadors és un pas important per ajudar a remeiar el biaix present als sistemes d'IA. Ara és el moment de solucionar aquests problemes, ja que serà molt més difícil a mesura que els sistemes avancin i es facin més complexos.