Tutkijat kehittivät nopean menetelmän luottamusvälien laskemiseen, joka ilmoittaa, milloin mallia ei pidä luottaa

Tutkijat MIT:stä ovat vastikään kehittäneet tekniikan, joka mahdollistaa syvän oppimisen verkkojen nopean luottamusvälien laskemisen, mikä voisi auttaa data-analyytikkoja ja muita tekoälykäyttäjiä tuntemaan, milloin mallin ennusteita voidaan luottaa.

Teckoälyjärjestelmät, jotka perustuvat tekoälyverkkoihin, tekevät yhä useammin päätöksiä, mukaan lukien monet päätökset, jotka liittyvät ihmisten terveyteen ja turvallisuuteen. Tästä syystä tekoälyverkkoihin tulisi olla jokin keino arvioida luottamusvälejä tuloksilleen, jotta data-analyytikot voivat tietää, kuinka luotettavia ennusteita ovat. Hiljattain Harvardin ja MIT:n tutkijaryhmä suunnitteli nopean tavan tekoälyverkoille generoida mallin luottamusvälejä ennusteiden rinnalla.

Syvän oppimisen mallit ovat kehittyneet viimeisen vuosikymmenen aikana, ja ne voivat helposti ylittää ihmisten suorituskyvyn data-luokittelutehtävissä. Syvän oppimisen malleja käytetään aloissa, joissa ihmisten terveydelle ja turvallisuudelle voi olla vaarallista, jos ne epäonnistuvat, kuten esimerkiksi itsestään ajavissa ajoneuvoissa ja lääketieteellisissä oireiden diagnosoinnissa. Näissä tapauksissa ei riitä, että malli on 99 % tarkka, vaan 1 % tapauksista, joissa malli epäonnistuu, voi johtaa katastrofiin. Tästä syystä on olemassa keino, jolla data-analyytikot voivat arvioida, kuinka luotettava kunkin ennusteen on.

On olemassa muutamia keinoja, joilla voidaan generoida luottamusvälejä tekoälyverkkoihin, mutta perinteiset menetelmät epävarmuuden arvioimiseksi tekoälyverkoissa ovat melko hitaita ja laskennallisesti kalliita. Tekoälyverkot voivat olla erittäin suuria ja monimutkaisia, ja niissä on useita miljardeja parametreja. Vain ennusteiden generointi voi olla laskennallisesti kallista ja kestää paljon aikaa, ja luottamusvälien generointi kestää vielä kauemmin. Useimmat aiemmat epävarmuuden määritysmenetelmät ovat perustuneet otantamenetelmiin tai verkon toistuvaan suorittamiseen arvioidakseen sen luottamusvälejä. Tämä ei aina ole mahdollista sovelluksissa, joissa vaaditaan nopeaa liikennettä.

MIT Newsin mukaan Alexander Amini johtaa yhdistynyttä tutkijaryhmää MIT:stä ja Harvardista, ja Aminin mukaan heidän kehittämänsä menetelmä nopeuttaa epävarmuuden arviointiprosessia “syvän todistusperäisen regressio”-tekniikalla. Amini selitti MIT:n kautta, että data-analyytikot tarvitsevat sekä nopeita malleja että luotettavia epävarmuuden arvioita, jotta epäluotettavat mallit voidaan erottaa. Jotta mallin nopeus voidaan säilyttää ja epävarmuuden arvio voidaan generoida, tutkijat suunnittelivat tavan arvioida epävarmuutta vain yhden mallin suorittamisella.

Tutkijat suunnittelivat tekoälyverkon siten, että se generoi todennäköisyysjakauman jokaisen päätöksen rinnalla. Verkko säilyttää näyttöä päätöksilleen koulutusprosessin aikana ja generoi todennäköisyysjakauman näytön perusteella. Todistusperäinen jakauma edustaa mallin luottamusvälejä, ja se edustaa epävarmuutta sekä mallin lopulliselle päätökselle että alkuperäisille syöteille. On tärkeää, että epävarmuus voidaan arvioida sekä syöte- että päätöksille, koska epävarmuuden vähentäminen riippuu siitä, mistä epävarmuus johtuu.

Tutkijat testasivat epävarmuuden arviointitekniikkaansa soveltamalla sitä tietokoneen näkötehtävään. Kun malli oli koulutettu sarjaan kuvia, se generoi sekä ennusteita että epävarmuuden arvioita. Verkko projisoi oikein korkean epävarmuuden tapauksiin, joissa väärä ennuste tehtiin. “Se oli erittäin kalibroitu virheisiin, joita verkko tekee, mikä on yksi tärkeimmistä asioista uuden epävarmuuden arvioijan laadun arvioinnissa”, Amini sanoi mallin testituloksista.

Tutkijaryhmä suoritti lisää testejä verkkoarkkitehtuurinsa kanssa. Jotta he voisivat testata tekniikkaa, he testasivat myös “ulkoisen jakautumisen” dataa, joka koostui objekteista, joita verkko ei ollut aiemmin nähnyt. Kuten odotettua, verkko ilmoitti korkeamman epävarmuuden näille aiemmin tuntemattomille objekteille. Kun se oli koulutettu sisäympäristöissä, verkko näytti korkeaa epävarmuutta, kun se testattiin ulkoilmaympäristöissä. Testit osoittivat, että verkko pystyi korostamaan, milloin sen päätökset olivat alttiina korkealle epävarmuudelle ja eivät voineet luottaa tiettyihin korkean riskin tilanteisiin.

Tutkijaryhmä ilmoitti myös, että verkko pystyi erottamaan väärennettyjä kuvia. Kun tutkijat muuttivat valokuvia vastustuskykyisellä melulla, verkko merkitsi muutetut kuvat korkeilla epävarmuusarvioilla, vaikka vaikutus oli liian hieno, jotta se olisi näkynyt keskivertoihmisen silmissä.

Jos tekniikka osoittautuu luotettavaksi, syvä todistusperäinen regressio voi parantaa tekoälymallien turvallisuutta yleensä. Aminin mukaan syvä todistusperäinen regressio voi auttaa ihmisiä tekemään varovaisia päätöksiä, kun he käyttävät tekoälymalleja riskialttiissa tilanteissa. Aminin mukaan MIT Newsissa:

“Alkaa näkyä yhä useammin näitä [tekoäly]malleja tutkimuslaboratoriosta ja todelliseen maailmaan, tilanteisiin, jotka voivat olla kosketuksissa ihmisten kanssa ja joilla voi olla potentiaalisesti elämän uhkaavia seurauksia. Kuka tahansa, joka käyttää tätä menetelmää, olipa se lääkäri tai henkilö auton matkustajapaikalla, tarvitsee tietää mahdollisista riskeistä tai epävarmuudesta, joka liittyy tähän päätökseen.”