Tekoälytutkijat kehittävät nopean menetelmän luottamusvälien laskemiseen, raportointiin, kun malliin ei pitäisi luottaa

MIT:n tutkijat ovat äskettäin kehittänyt tekniikan jonka avulla syväoppimisverkkomallit voivat laskea nopeasti luottamustasoja, mikä voi auttaa datatieteilijöitä ja muita tekoälyn käyttäjiä tietämään, milloin mallin antamiin ennusteisiin kannattaa luottaa.

Keinotekoisiin hermoverkkoihin perustuvat tekoälyjärjestelmät ovat nykyään vastuussa yhä useammista päätöksistä, mukaan lukien monet päätökset, jotka koskevat ihmisten terveyttä ja turvallisuutta. Tämän vuoksi hermoverkoilla pitäisi olla jokin menetelmä tulostensa luottamuksen arvioimiseksi, jotta datatieteilijät voivat kertoa, kuinka luotettavia heidän ennusteensa ovat. Äskettäin Harvardin ja MIT:n tutkijaryhmä suunnitteli hermoverkoille nopean tavan luoda osoitus mallin luotettavuudesta sen ennusteiden ohella.

Syväoppimismalleista on tullut entistä kehittyneempiä viimeisen vuosikymmenen aikana, ja nyt ne voivat helposti ylittää ihmiset tietojen luokittelutehtävissä. Syväoppimismalleja käytetään aloilla, joilla ihmisten terveys ja turvallisuus voivat olla vaarassa, jos he epäonnistuvat, ajaessaan autonomisia ajoneuvoja ja diagnosoimalla sairauksia skannausten perusteella. Näissä tapauksissa ei riitä, että malli on 99 % tarkka, vaan 1 % tapauksista, jolloin malli epäonnistuu, voi johtaa katastrofiin. Tämän seurauksena on oltava tapa, jolla datatieteilijät voivat määrittää, kuinka luotettava jokin tietty ennuste on.

On olemassa kourallinen tapoja, joilla luottamusväli voidaan generoida hermoverkkojen ennusteiden kanssa, mutta perinteiset menetelmät neuroverkon epävarmuuden estimoimiseksi ovat melko hitaita ja laskennallisesti kalliita. Neuraaliverkot voivat olla uskomattoman suuria ja monimutkaisia, täynnä miljardeja parametreja. Pelkästään ennusteiden luominen voi olla laskennallisesti kallista ja viedä huomattavan paljon aikaa, ja ennusteiden luottamustason luominen kestää vielä kauemmin. Useimmat aiemmat menetelmät epävarmuuden kvantifiointiin ovat tukeneet otosten ottamista tai verkon käyttämistä yhä uudelleen ja uudelleen saadakseen arvion sen luotettavuudesta. Tämä ei aina ole mahdollista sovelluksissa, jotka vaativat nopeaa liikennettä.

Kuten MIT News raportoi, Alexander Amini johtaa yhdistettyä tutkijaryhmää MIT:stä ja Harvardista, ja Aminin mukaan heidän tutkijoidensa kehittämä menetelmä nopeuttaa epävarmuusestimaattien tuottamista käyttämällä tekniikkaa, jota kutsutaan "syväksi todisteiden regressioksi". Amini selitti MIT:n kautta, että datatutkijat tarvitsevat sekä nopeita malleja että luotettavia arvioita epävarmuudesta, jotta epäluotettavat mallit voidaan erottaa. Säilyttääkseen sekä mallin nopeuden että tuottaakseen epävarmuusarvion, tutkijat suunnittelivat tavan arvioida epävarmuus vain yhdestä mallin ajosta.

Tutkijat suunnittelivat hermoverkkomallin siten, että jokaisen päätöksen rinnalle syntyi todennäköisyysjakauma. Verkko pitää kiinni todisteista päätöksilleen koulutusprosessin aikana ja muodostaa todisteiden perusteella todennäköisyysjakauman. Todistusjakauma edustaa mallin luottamusta, ja se edustaa sekä mallin lopullisen päätöksen että alkuperäisen syöttötiedon epävarmuutta. Epävarmuuden vangitseminen sekä syöttötiedoille että päätöksille on tärkeää, koska epävarmuuden vähentäminen riippuu epävarmuuden lähteen tuntemisesta.

Tutkijat testasivat epävarmuuden estimointitekniikkaansa soveltamalla sitä tietokonenäkötehtävään. Sen jälkeen, kun mallia oli koulutettu useille kuvasarjoille, se loi sekä ennusteita että epävarmuusarvioita. Verkko ennusti oikein suuren epävarmuuden tapauksissa, joissa ennuste tehtiin väärin. "Se oli hyvin kalibroitu verkon tekemiin virheisiin, mikä on mielestämme yksi tärkeimmistä asioista arvioitaessa uuden epävarmuusestimaattorin laatua", Amini sanoi mallin testituloksista.

Tutkimusryhmä suoritti lisää testejä verkkoarkkitehtuurillaan. Tekniikan stressitestaamiseksi he testasivat myös "jakelun ulkopuolella" olevia tietoja, tietojoukkoja, jotka koostuivat kohteista, joita verkko ei ollut koskaan nähnyt. Kuten odotettiin, verkko ilmoitti suuremmasta epävarmuudesta näille näkymättömille kohteille. Sisäympäristöihin koulutettuna verkko osoitti suurta epävarmuutta, kun sitä testattiin ulkoympäristön kuvilla. Testit osoittivat, että verkosto pystyi korostamaan, milloin sen päätöksiin liittyy suurta epävarmuutta, eikä niihin pitäisi luottaa tietyissä, riskialttiissa olosuhteissa.

Tutkimusryhmä kertoi jopa, että verkosto pystyi havaitsemaan, milloin kuvat oli kaapattu. Kun tutkimusryhmä muutti valokuvia kilpailevalla kohinalla, verkosto merkitsi äskettäin muutettuihin kuviin korkeita epävarmuusarvioita, vaikka vaikutus oli liian hienovarainen keskimääräisen ihmistarkkailijan havaittavaksi.

Jos tekniikka osoittautuu luotettavaksi, syvä todistusvoimainen regressio voisi parantaa tekoälymallien turvallisuutta yleisesti. Aminin mukaan syvä evidentiaalinen regressio voisi auttaa ihmisiä tekemään huolellisia päätöksiä käytettäessä tekoälymalleja riskitilanteissa. Kuten Amini selitti MIT Newsin kautta:

"Alamme nähdä paljon enemmän näitä [hermoverkko]malleja valuvan ulos tutkimuslaboratoriosta todelliseen maailmaan, tilanteisiin, jotka koskettavat ihmisiä ja joilla on mahdollisesti hengenvaarallisia seurauksia. Jokaisen menetelmän käyttäjän, olipa kyseessä lääkäri tai ajoneuvon matkustajan istuimella oleva henkilö, on oltava tietoinen päätökseen liittyvistä riskeistä tai epävarmuustekijöistä.