Tekoälytutkijat kehittivät nopean menetelmän luottamusvälien laskemiseen, ilmoittamiseen, milloin malliin ei pitäisi luottaa

Tutkijat MIT:stä ovat hiljattain kehittäneet tekniikan, joka mahdollistaa syvän oppimisen verkkomallien nopean luottamusvälien laskemisen, mikä voisi auttaa data-analyytikkoja ja muita tekoälykäyttäjiä tuntemaan, milloin mallin tekemät ennusteet ovat luotettavia.

Tekoälyjärjestelmät, jotka perustuvat tekoälyverkkoihin, vastaavat yhä useammasta päätöksestä, mukaan lukien monista päätöksistä, jotka liittyvät ihmisten terveyteen ja turvallisuuteen. Tämän vuoksi tekoälyverkkoihin tulisi olla jokin tapa arvioida luottamus heidän tuloksiinsa, jotta data-analyytikot voivat tietää, kuinka luotettavia heidän ennusteensa ovat. Hiljattain Harvardin ja MIT:n tutkijaryhmä suunnitteli nopean tavan tekoälyverkoille generoida mallin luottamusindikaattori ennusteiden rinnalla.

Syvän oppimisen mallit ovat kehittyneet viimeisen vuosikymmenen aikana, ja ne voivat helposti ylittää ihmisten suorituskyvyn data-luokittelutehtävissä. Syvän oppimisen malleja käytetään aloilla, joissa ihmisten terveys ja turvallisuus voivat olla vaarassa, jos ne epäonnistuvat, kuten esimerkiksi itsestään ajavissa ajoneuvoissa ja lääketieteellisten oireiden diagnosoinnissa kuvista. Näissä tapauksissa ei ole riittävää, että malli on 99 %:n tarkka, sillä 1 %:n epäonnistumisista voi johtaa katastrofiin. Tämän vuoksi on olemassa keino, jolla data-analyytikot voivat määrittää, kuinka luotettava kunkin ennusteen on.

On muutamia tapoja, joilla voidaan generoida luottamusväli tekoälyverkkojen ennusteiden rinnalla, mutta perinteiset menetelmät epävarmuuden arvioimiseksi tekoälyverkoissa ovat melko hitaita ja laskennallisesti kalliita. Tekoälyverkot voivat olla erittäin suuria ja monimutkaisia, ja niissä on miljardeja parametreja. Pelkästään ennusteiden generointi voi olla laskennallisesti kallista ja vie paljon aikaa, ja ennusteiden luottamusvälien generointi vie vielä enemmän aikaa. Useimmat aikaisemmat epävarmuuden määritysmenetelmät ovat perustuneet otantamenetelmiin tai verkon useaan kertaan suorittamiseen sen luottamuksen arvioimiseksi. Tämä ei aina ole toteutettavissa sovelluksissa, jotka vaativat nopeaa liikennettä.

MIT Newsin mukaan Alexander Amini johtaa yhdistynyttä tutkijaryhmää MIT:stä ja Harvardista, ja Aminin mukaan heidän tutkijaryhmänsä kehittämä menetelmä kiihdyttää epävarmuuden arviointiprosessia käyttäen tekniikkaa, jota kutsutaan “syvän todistusperäiseksi regressioksi”. Amini selitti MIT:n kautta, että data-analyytikot tarvitsevat sekä nopeita malleja että luotettavia epävarmuuden arvioita, jotta epäluotettavat mallit voidaan erottaa. Jotta mallin nopeus voidaan säilyttää ja epävarmuuden arvio voidaan generoida, tutkijat suunnittelivat tavan arvioida epävarmuutta vain yhdestä mallin suorituksesta.

Tutkijat suunnittelivat tekoälyverkkomallin siten, että se generoi todennäköisyysjakauman jokaisen päätöksen rinnalla. Verkko pitää yllä päätöksiinsä liittyvää näyttöä koulutusprosessin aikana ja generoi todennäköisyysjakauman näytön perusteella. Todistusperäinen jakauma edustaa mallin luottamusta, ja se edustaa epävarmuutta sekä mallin lopullista päätöstä että alkuperäistä syöttödataa. On tärkeää, että epävarmuus voidaan havaita sekä syöttödatasta että päätöksistä, koska epävarmuuden vähentäminen riippuu siitä, mistä epävarmuus johtuu.

Tutkijat testasivat epävarmuuden arviointitekniikkaansa soveltamalla sitä tietokoneen näkötehtävään. Kun malli oli koulutettu sarjaan kuvia, se generoi sekä ennusteita että epävarmuuden arvioita. Verkko projisoi oikein korkean epävarmuuden tapauksissa, joissa väärä ennuste tehtiin. “Se oli erittäin kalibroitu virheisiin, joita verkko tekee, mikä meidän mielestämme oli yksi tärkeimmistä asioista uuden epävarmuuden arvioijan laadun arvioinnissa”, Amini sanoi mallin testituloksista.

Tutkijaryhmä suoritti lisää testejä verkkoarkkitehtuurillaan. Jotta he voivat testata tekniikkaa, he testasivat myös “pois-jakautuneita” tietoja, jotka koostuivat kohteista, joita verkko ei ollut koskaan nähnyt aikaisemmin. Odottamalla verkko ilmoitti korkeamman epävarmuuden näille näkemättömillä kohteilla. Kun se oli koulutettu sisäympäristöissä, verkko näytti korkean epävarmuuden, kun se testattiin ulkoilmaympäristön kuvilla. Testit osoittivat, että verkko pystyi korostamaan, milloin sen päätökset olivat alttiina korkealle epävarmuudelle eivätkä niitä pitäisi luottaa tietyissä, korkean riskin tilanteissa.

Tutkijaryhmä ilmoitti jopa, että verkko pystyi erottamaan, milloin kuvia oli muokattu. Kun tutkijaryhmä muokkasi valokuvia vastakkaisella melulla, verkko merkitsi muokatut kuvat korkeilla epävarmuusarvioilla, vaikka vaikutus oli liian hieno, jotta keskivertoinen ihmis silmin näkisi sen.

Jos tekniikka osoittautuu luotettavaksi, syvä todistusperäinen regressio voi parantaa tekoälymallien turvallisuutta yleisesti. Aminin mukaan syvä todistusperäinen regressio voi auttaa ihmisiä tekemään varovaisia päätöksiä, kun he käyttävät tekoälymalleja riskialttiissa tilanteissa. Aminin mukaan MIT Newsissa:

“Alkaamme nähdä yhä enemmän näitä [tekoälyverkko] malleja valuvan tutkimuslaboratoriosta todelliseen maailmaan, tilanteisiin, jotka koskettavat ihmisiä mahdollisesti elämän uhkaavilla seurauksilla. Kuka tahansa menetelmän käyttäjä, olipa se lääkäri tai henkilö ajoneuvon matkustajapaikalla, tarvitsee tietää riskistä tai epävarmuudesta, joka liittyy siihen päätökseen.”