Tietokoneen tieteilijät käsittelevät AI:n harhaa

Tietokoneen tieteilijät Princetonista ja Stanfordin yliopistosta ovat nyt käsittelemässä ongelmia, jotka liittyvät harhaan tekoälyssä (AI). He työskentelevät menetelmien parissa, joiden avulla voidaan luoda reilumpia tietokantoja, jotka sisältävät kuvia ihmisistä. Tutkijat työskentelevät läheisessä yhteistyössä ImageNetin kanssa, joka on yli 13 miljoonan kuvan tietokanta. Viimeisen vuosikymmenen aikana ImageNet on edistänyt tietokoneen näkökyvyn kehitystä. Tutkijoiden menetelmien avulla he ovat ehdottaneet parannuksia tietokantaan.

ImageNet sisältää kuvia esineistä, maisemista ja ihmisistä. Tutkijat, jotka luovat koneoppimisalgoritmeja, jotka luokittelevat kuvia, käyttävät ImageNetiä tietolähteenä. Tietokannan valtavan koon vuoksi oli tarpeen käyttää automaattista kuvien keräämistä ja joukkorahoitusta. Nyt ImageNetin tiimi työskentelee korjaamaan harhoja ja muita ongelmia. Kuvissa on usein mukana ihmiset, jotka ovat ImageNetin rakenteen tahattomia seurauksia.

Olga Russakovsky on yksi tutkimuksen tekijöistä ja apulaisprofessori tietokoneen tieteen alalla Princetonissa.

“Tietokoneen näkökyky toimii nyt hyvin, mikä tarkoittaa, että sitä käytetään laajasti erilaisissa yhteyksissä”, hän sanoi. “Tämä on oikea aika keskustella siitä, millainen vaikutus sillä on maailmaan ja pohtia näitä reiluuden kysymyksiä.”

Uudessa tutkimuksessa ImageNetin tiimi tunnisti systemaattisesti ei-näkyvät käsitteet ja loukkaavat kategoriat. Nämä kategoriat sisälsivät rotu- ja sukupuolijärjestelmän mukaisia luokituksia, ja tiimi ehdotti niiden poistamista tietokannasta. Tiimi on myös kehittänyt työkalun, joka mahdollistaa käyttäjien määrittää ja hakea kuvia ihmisistä, ja se voi tehdä sen ikän, sukupuolen ilmaisun ja ihonvärin perusteella. Tavoitteena on luoda algoritmeja, jotka luokittelevat ihmisten kasvoja ja toimintaa kuvissa reilummin.

Tutkijoiden tekemä työ esiteltiin 30. tammikuuta Association for Computing Machineryn konferenssissa Barcelonassa, Espanjassa.

“On todella tarpeen, että tutkijat ja laboratoriot, joilla on ydinosaamista tähän aiheeseen, osallistuvat tällaisiin keskusteluihin”, Russakovsky sanoi. “Ottaen huomioon, että meidän on kerättävä dataa laajassa mittakaavassa, ottaen huomioon, että se tehdään joukkorahoituksen avulla, koska se on tehokkain ja vakiintunut prosessi, miten tehdä se reilummin – miten välttää nämä aiemmat virheet? Tutkimuksen keskeinen viesti on rakenteellisista ratkaisuista.”

ImageNet lanseerattiin vuonna 2009 Princetonin ja Stanfordin yliopiston tietokoneen tieteilijöiden ryhmän toimesta. Se oli tarkoitettu akateemisten tutkijoiden ja opettajien resursiksi. Järjestelmän luomiseen johtaja oli Princetonin alumni ja henkilöstön jäsen Fei-Fei Li.

ImageNet pystyi kasvamaan niin suureksi kuvien tietokannaksi joukkorahoituksen avulla. Yksi pääasiallinen alusta, jota käytettiin, oli Amazon (AMZN ) Mechanical Turk (MTurk), ja työntekijät maksettiin kuvien vahvistamisesta. Tämä aiheutti joitain ongelmia, ja siinä oli paljon harhoja ja sopimattomia luokituksia.

Johtava tekijä Kaiyu Yang on jatko-opiskelija tietokoneen tieteen alalla.

“Kun pyydät ihmisiä vahvistamaan kuvia valitsemalla oikeat kuvat suuresta joukosta, ihmiset tuntevat painetta valita joitain kuvia, ja ne kuvat ovat usein niitä, joilla on erottuvia tai stereotyyppisiä piirteitä”, hän sanoi.

Tutkimuksen ensimmäinen osa käsitteli mahdollisesti loukkaavien tai arkaluontoisten henkilökategorien suodattamista ImageNetistä. Loukkaavat kategoriat määriteltiin niiksi, jotka sisälsivät sopimatonta kieltä tai rotu- tai sukupuolijärjestelmän mukaisia luokituksia. Yksi tällainen arkaluontoinen kategoria oli ihmisten luokittelu seksuaalisen suuntautumisen tai uskonnon perusteella. Kahdentoista eri taustasta olevan jatko-opiskelijan ryhmä otettiin mukaan kategorioiden annotoimiseen, ja heidät ohjeistettiin merkitsemään kategoria arkaluontoiseksi, jos he epäilivät sitä. Noin 54 % kategorioiden määrästä poistettiin, eli 1 593 henkilökategoriaa ImageNetin 2 932:sta.

MTurk-työntekijät arvioivat sitten “kuvattavuuden” jäljelle jääneistä kategoriasta asteikolla 1-5. 158 kategoriaa luokiteltiin sekä turvallisiksi että kuvattaviksi, saavuttaen arvosanan 4 tai korkeamman. Tämä suodatettu kategoria sisälsi yli 133 000 kuvaa, jotka voivat olla hyvin hyödyllisiä tietokoneen näkökyvyn algoritmien kouluttamiseen.

Tutkijat tutkivat ihmisten demografiista edustusta kuvissa ja arvioivat ImageNetin harhan tasoa. Hakukoneiden sisältö tarjoaa usein tuloksia, jotka ylipainottavat miehiä, vaaleaihoisia ihmisiä ja 18-40-vuotiaita aikuisia.

“Ihmiset ovat havainneet, että kuvahakutuloksien demografiinen jakautuma on hyvin vinoutunut, ja tämä on myös syynä siihen, että ImageNetin jakautuma on vinoutunut”, Yang sanoi. “Tässä tutkimuksessa yritimme ymmärtää, kuinka vinoutunut se on, ja myös ehdottaa menetelmää sen tasapainottamiseksi.”

Tutkijat ottivat huomioon kolme attribuuttia, jotka ovat myös suojeltuja Yhdysvaltain syrjintälakeja vastaan: ihonväri, sukupuolen ilmaisu ja ikä. MTurk-työntekijät annotoivat kunkin attribuutin kullekin henkilölle kuvissa.

Tulokset osoittivat, että ImageNetin sisältö on merkittävästi vinoutunut. Aliedustettuina olivat tummaihoiset, naiset ja yli 40-vuotiaat aikuiset.

Verkkorajapintaa suunniteltiin, joka mahdollistaa käyttäjien hakea kuvia, jotka ovat demografiassa tasapainossa tavalla, jonka käyttäjä valitsee.

“Emme halua sanoa, mikä on oikea tapa tasapainottaa demografiaa, koska se ei ole hyvin suoraviivainen asia”, Yang sanoi. “Jakautuma voi olla erilainen eri maissa – ihonvärin jakautuma Yhdysvalloissa on erilainen kuin Aasian maissa, esimerkiksi. Jätämme tämän kysymyksen käyttäjille, ja tarjoamme vain työkalun hakea tasapainotettu osajoukko kuvia.”

ImageNetin tiimi työskentelee nyt teknisten päivitysten parissa tietokoneen laitteistoon ja tietokantaan. He yrittävät myös toteuttaa henkilökategoroiden suodattamista ja tasapainotustyökalun, jonka kehittivät tässä tutkimuksessa. ImageNet on tarkoitus julkaista uudelleen päivitysten kanssa, ja siinä on mukana pyyntö palautteeseen tietokoneen näkökyvyn tutkimusyhteisöltä.

Tutkimus oli myös tehty yhteistyössä Princetonin jatko-opiskelija Klint Qinamin ja apulaisprofessori tietokoneen tieteen alalla Jia Dengin kanssa. Tutkimus oli tuettu kansallisella tiedesäätiöllä.