Tekoälytapausrekisteri pyrkii tekemään tekoälyalgoritmeista turvallisempia

Kaikissa riittävän suurissa järjestelmissä on virheitä, ja osa virheiden korjaamisesta on virheiden kokoaminen tietokantaan, jota voidaan analysoida vaikutuksien ja mahdollisten syiden selvittämiseksi. Samoin kuin FDA ylläpitää tietokantaa haitallisten lääkitysvaikutusten seuraamiseksi tai National Transportation Safety Board ylläpitää tietokantaa ilmailuonnettomuuksien seuraamiseksi, tekoälytapausrekisteri on tietokanta, joka on tarkoitettu tekoälyjärjestelmien virheiden katalogisointiin ja avustamaan tekoälytutkijoita kehittämään uusia menetelmiä näiden virheiden välttämiseksi. Tekoälytapausrekisterin (AIID) luojat toivovat, että se auttaa tekoälyyrityksiä kehittämään turvallisempia ja eettisempiä tekoälyjärjestelmiä.

Mikä on AIID?

AIID on Partnership on AI (PAI) -järjestön tuotos. PAI perustettiin alun perin vuonna 2016 suurten teknologiayritysten tekoälytutkimusryhmien jäsenien toimesta, kuten Facebook (META ), Apple (AAPL ), Amazon (AMZN ), Google (GOOGL ), IBM ja Microsoft. Sen jälkeen järjestö on rekrytoinut jäseniä useista muista organisaatioista, mukaan lukien erilaiset voittoa tavoittelemattomat organisaatiot. Vuonna 2018 PAI aloitti tekoälyvirheiden luokittelustandardin kehittämisen. Kuitenkaan tekoälytapauksia ei ollut kerätty tietokantaan, johon perustaa tämän luokittelun. Tästä syystä PAI loi AIID:n.

TechTalks:n mukaan AIID:n muotoilu perustuu National Transportation Safety Boardin ylläpitämän ilmailuonnettomuuksien tietokannan rakenteeseen. Koska raportit ovat olleet kerättävissä vuodesta 1996 lähtien, kaupallinen ilmatila on onnistunut lisäämään ilmailuteollisuuden turvallisuutta arkistoiden ja analysoiden onnettomuuksia. Toiveena on, että vastaava tekoälytapauksien tietokanta voi tehdä tekoälyjärjestelmistä turvallisempia, eettisempiä ja luotettavampia. AIID on saanut myös vaikutteita Common Vulnerabilities and Exposures -tietokannasta, joka on merkittävien ohjelmistovirheiden tietokanta, joka kattaa useita eri aloja ja tieteenaloja.

Sean McGregor on päätekninen konsultti IBM:llä Watson AI XPRIZE -hankkeessa. McGregor on myös vastuussa AIID:n itse tietokannan kehittämisestä. McGregor selitti, että AIID:n lopullinen tavoite on estää tekoälyjärjestelmien aiheuttamia vahinkoja tai vähintään vähentää haitallisten tapausten vakavuutta. Kuten McGregor huomautti, koneoppimisjärjestelmät ovat perinteisiä ohjelmistoja monimutkaisempia ja arvaamattomampia, ja tästä syystä niitä ei voida testata samalla tavalla kuin muita ohjelmistoja. Koneoppimisjärjestelmät voivat muuttaa käyttäytymistään odottamattomilla tavoilla. McGregor huomautti, että syvän oppimisen järjestelmien oppimiskyky voi tarkoittaa, että ”virheet ovat todennäköisempiä, monimutkaisempia ja vaarallisempia”, kun ne siirtyvät epäjärjestäytyneeseen maailmaan.

Yli 1 000 tekoälyyn liittyvää tapausta kirjattu

AIID:n luomisesta lähtien yli 1 000 tekoälyyn liittyvää tapausta on kirjattu tietokantaan. Kaikista tietokannan tapauksista tekoälyyn liittyvät ongelmien yleisin tyyppi oli tekoälyvirheiden yleisyys. Monet näistä virheistä liittyvät kasvojentunnistusalgoritmien käyttöön viranomaisten toimesta. McGregor huomautti myös, että tietokantaan on kirjattu kasvava määrä robotiikkaan liittyviä tapauksia.

Tietokannan käyttäjät voivat suorittaa hakutoimintoja, etsimällä tietokannasta tapauksia hakutermejä, tapaustunnusta, lähdettä tai kirjoittajaa. Esimerkiksi hakusanalla ”Deepfake” löytyy 7 raporttia, kun taas hakusanalla ”robotit” löytyy 158 raporttia.

Keskitetty tietokanta tekoälyjärjestelmien virheistä ja odottamattomista toimista voi auttaa tutkijoita, insinöörejä ja eetikkoja valvomaan tekoälyjärjestelmien kehittämistä ja käyttöönottoa. Teknologiayritysten tuotepäälliköt voivat käyttää AIID:tä tarkistaakseen, onko tekoälysuosittelujärjestelmissä potentiaalisia ongelmia, tai tekoälyinsinööri voi saada käsityksen potentiaalisista harhaista, jotka on korjattava tekoälysovelluksen luomisessa. Samoin riskienhallintapäälliköt voivat käyttää tietokantaa määrittääkseen tekoälymallien potentiaaliset haitalliset vaikutukset ja kehittääkseen toimenpiteitä välttääkseen haitat.

AIID:n arkkitehtuuri on tarkoitettu joustavaksi, mikä mahdollistaa uusien työkalujen luomisen tietokannan kyselyyn ja merkityksellisten näkymien hakemiseen. Partnership on AI ja McGregor tulevat yhteistyöhön joustavan taksonomian kehittämiseksi, jota voidaan käyttää kaikenlaisiin tekoälytapauksiin. Tiimi toivoo, että kun joustava taksonomia on luotu, se voidaan yhdistää automaattiseen järjestelmään, joka kirjaa automaattisesti tekoälytapauksia.

”Tekoälyyhteisö on alkanut jakaa tapausraportteja toistensa kanssa motivaationa tehdä muutoksia tuotteisiinsa, prosessiinsa ja tutkimusohjelmiinsa”, McGregor selitti TechTalks:lle. ”Sivusto julkaistiin julkisesti marraskuussa, joten vasta nyt alamme ymmärtää järjestelmän hyötyjä.”