Mikä on NISTin tekoälyn riskienhallintakehys? Opas tekoälytiimeille

NISTin tekoälyn riskienhallintakehys on vapaaehtoinen ja käyttötapauksesta riippumaton viitekehys, jonka avulla luotettavuus ja riskienhallinta voidaan sisällyttää tekoälyn koko elinkaareen.

NISTin tekoälyn riskienhallintakehys on syytä määritellä tarkasti, sillä sen nimi viittaa tiettyyn tiedonkulkuun, koulutusratkaisuun, käytönaikaiseen mekanismiin tai hallinnolliseen rajaan. Jos sitä pidetään edistyneen tekoälyn synonyymina, väitteitä ei voida testata. Tässä oppaassa käsitellään käsitettä sen syötteistä ja oletuksista havaittaviin tuloksiin asti ja testataan sitten oikopolkua, joka sekoitetaan siihen todennäköisimmin.

NISTin tekoälyn riskienhallintakehys: määritelmä, rajaus ja tarkoitus

NISTin tekoälyn riskienhallintakehys on vapaaehtoinen ja käyttötapauksesta riippumaton viitekehys, jonka avulla luotettavuus ja riskienhallinta voidaan sisällyttää tekoälyn koko elinkaareen. Määritelmä sisältää kolme käytännön sitoumusta: syöte on yksilöitävissä, mukana on NISTin tekoälyn riskienhallintakehykselle ominainen muunnos tai päätös, ja tulosta voidaan arvioida ilmoitetun tavoitteen perusteella. Jos jokin näistä osista puuttuu, nimitys voi kuvata tavoitetta toteutetun mekanismin sijaan.

Suorituskyky, turvallisuus, tietoturva ja hallinto vaikuttavat toisiinsa, mutta ne vastaavat eri kysymyksiin. Suorituskykyinen järjestelmä voi olla tietoturvaton; vaatimusten mukaisessa prosessissa mittaukset voivat silti olla heikkoja; vahvalla vertailutestillä ei välttämättä ole merkitystä tietyssä käyttöönotossa. NISTin tekoälyn riskienhallintakehyksen kannalta tämä järjestelmätason näkökulma on tärkeä, sillä suorituskyky voi määräytyä ympäröivän datan, rajapintojen, laitteiston, käyttöoikeuksien ja ihmisten perusteella, vaikka itse malli pysyisi muuttumattomana. Siksi on hyödyllistä erottaa mallin oppima käyttäytyminen siitä tuotteesta, joka päättää, milloin ja missä sitä käytetään ja millaisin valtuuksin.

Lähin harhaanjohtava oikopolku on sertifiointi, jossa tekoälyjärjestelmä julistetaan turvalliseksi yhden auditoinnin jälkeen. Sillä voi olla NISTin tekoälyn riskienhallintakehyksen kanssa jokin näkyvä yhteinen piirre, mutta se muuttaa syy-seuraussuhteita: onnistumisen osoittamiseen tarvittaisiin erilaista näyttöä, kustannuksiin vaikuttaisivat eri resurssit ja haittojen ehkäisemiseen tarvittaisiin erilaisia kontrolleja. Raja on siis toiminnallinen, ei terminologinen.

NISTin tekoälyn riskienhallintakehyksen viisivaiheinen toimintamalli

Kaavio on tiivis syy-seurauskartta NISTin tekoälyn riskienhallintakehyksestä, eikä väite siitä, että jokaisessa toteutuksessa olisi viisi ohjelmistokomponenttia. Joissakin järjestelmissä vaiheet yhdistyvät, toisissa ne toistuvat silmukkana. Kartta on silti hyödyllinen, sillä se edellyttää, että jokaisella tiedon tai toimivallan muutoksella on vastuuhenkilö, syöte, tulos ja testi.

1. Määritä roolit, toimintaperiaatteet ja vastuut: NISTin tekoälyn riskienhallintakehyksen syötteet ja oletukset

Tässä NISTin tekoälyn riskienhallintakehyksen vaiheessa järjestelmän on määritettävä roolit, toimintaperiaatteet ja vastuut. Olennaista ei ole vain se, tapahtuuko kyseinen toiminto, vaan myös se, mitä tietoa se käyttää, mitä tilaa se muuttaa ja millainen näyttö osoittaa muutoksen olleen pätevä. Arvioijan pitäisi pystyä erottamaan toiminto sertifioinnista, jossa tekoälyjärjestelmä julistetaan turvalliseksi yhden auditoinnin jälkeen, sekä toistamaan sen tulos samoissa ilmoitetuissa olosuhteissa.

Siirtymä tähän NISTin tekoälyn riskienhallintakehyksen vaiheeseen alkaa ilmoitetusta tavoitteesta, ja sen tuloksena pitäisi olla tieto, jonka avulla voidaan kartoittaa toimintaympäristö, vaikutukset ja sidosryhmät. Kirjaa epävarmuudet, hylätyt vaihtoehdot, resurssien käyttö sekä kaikki rajapinnassa sovelletut ihmisen tai ohjelmiston toteuttamat kontrollit. Tämän jäljen avulla tiimit voivat havaita, jääkö neljän toiminnon käyttäminen tarkistuslistana vajaaksi, koska niiden luonne on jatkuva ja kontekstisidonnainen, ennen kuin sama heikkous vaikuttaa merkittävään lopputulokseen.

2. Kartoita toimintaympäristö, vaikutukset ja sidosryhmät: NISTin tekoälyn riskienhallintakehyksen esitystapa tai päätös

Tässä NISTin tekoälyn riskienhallintakehyksen vaiheessa järjestelmän on kartoitettava toimintaympäristö, vaikutukset ja sidosryhmät. Olennaista ei ole vain se, tapahtuuko kyseinen toiminto, vaan myös se, mitä tietoa se käyttää, mitä tilaa se muuttaa ja millainen näyttö osoittaa muutoksen olleen pätevä. Arvioijan pitäisi pystyä erottamaan toiminto sertifioinnista, jossa tekoälyjärjestelmä julistetaan turvalliseksi yhden auditoinnin jälkeen, sekä toistamaan sen tulos samoissa ilmoitetuissa olosuhteissa.

Siirtymä tähän NIST AI Risk Management Frameworkin vaiheeseen alkaa roolien, toimintaperiaatteiden ja vastuuvelvollisuuden hallinnasta, ja sen pitäisi päättyä tulokseen, joka mahdollistaa suorituskyvyn ja riskien mittaamisen näyttöön perustuen. Kirjaa epävarmuus, hylätyt vaihtoehdot, resurssien käyttö sekä rajapinnassa sovellettu ihmisen tai ohjelmiston ohjaus. Tämän jäljen avulla tiimit voivat havaita, peittääkö neljän toiminnon käyttäminen tarkistuslistana niiden jatkuvan ja kontekstisidonnaisen luonteen ennen kuin sama heikkous näkyy vaikutuksiltaan merkittävässä tuloksessa.

3. Mittaa suorituskykyä ja riskejä näyttöön perustuen: NIST AI Risk Management Frameworkin ominaislaatuinen muutos

Tässä NIST AI Risk Management Frameworkin vaiheessa järjestelmän on mitattava suorituskykyä ja riskejä näyttöön perustuen. Olennaista ei ole vain se, tapahtuuko kyseinen toiminto, vaan myös se, mitä tietoja se käyttää, mitä tilaa se muuttaa ja mikä näyttö osoittaa, että muutos oli pätevä. Arvioijan pitäisi pystyä erottamaan toiminto sertifioinnista, jossa tekoälyjärjestelmä julistetaan turvalliseksi yhden auditoinnin jälkeen, sekä toistamaan toiminnon tulos samoissa ilmoitetuissa olosuhteissa.

Siirtymä tähän NIST AI Risk Management Frameworkin vaiheeseen alkaa kontekstin, vaikutusten ja sidosryhmien kartoittamisesta, ja sen pitäisi päättyä tulokseen, joka mahdollistaa priorisoitujen riskien ja niihin liittyvien toimien hallinnan. Kirjaa epävarmuus, hylätyt vaihtoehdot, resurssien käyttö sekä rajapinnassa sovellettu ihmisen tai ohjelmiston ohjaus. Tämän jäljen avulla tiimit voivat havaita, peittääkö neljän toiminnon käyttäminen tarkistuslistana niiden jatkuvan ja kontekstisidonnaisen luonteen ennen kuin sama heikkous näkyy vaikutuksiltaan merkittävässä tuloksessa.

4. Hallitse priorisoituja riskejä ja niihin liittyviä toimia: NIST AI Risk Management Frameworkin rajoite- ja varmennusraja

Tässä NIST AI Risk Management Frameworkin vaiheessa järjestelmän on hallittava priorisoituja riskejä ja niihin liittyviä toimia. Olennaista ei ole vain se, tapahtuuko kyseinen toiminto, vaan myös se, mitä tietoja se käyttää, mitä tilaa se muuttaa ja mikä näyttö osoittaa, että muutos oli pätevä. Arvioijan pitäisi pystyä erottamaan toiminto sertifioinnista, jossa tekoälyjärjestelmä julistetaan turvalliseksi yhden auditoinnin jälkeen, sekä toistamaan toiminnon tulos samoissa ilmoitetuissa olosuhteissa.

Siirtymä tähän NIST AI Risk Management Frameworkin vaiheeseen alkaa suorituskyvyn ja riskien mittaamisesta näyttöön perustuen, ja sen pitäisi päättyä tulokseen, joka mahdollistaa toiminnan toistamisen järjestelmien ja ympäristöjen muuttuessa. Kirjaa epävarmuus, hylätyt vaihtoehdot, resurssien käyttö sekä rajapinnassa sovellettu ihmisen tai ohjelmiston ohjaus. Tämän jäljen avulla tiimit voivat havaita, peittääkö neljän toiminnon käyttäminen tarkistuslistana niiden jatkuvan ja kontekstisidonnaisen luonteen ennen kuin sama heikkous näkyy vaikutuksiltaan merkittävässä tuloksessa.

5. Toista toimintaa järjestelmien ja ympäristöjen muuttuessa: NIST AI Risk Management Frameworkin tulos, palaute ja pysäytyssääntö

Tässä NIST AI Risk Management Frameworkin vaiheessa järjestelmän on toistettava toimintaa järjestelmien ja ympäristöjen muuttuessa. Olennaista ei ole vain se, tapahtuuko kyseinen toiminto, vaan myös se, mitä tietoja se käyttää, mitä tilaa se muuttaa ja mikä näyttö osoittaa, että muutos oli pätevä. Arvioijan pitäisi pystyä erottamaan toiminto sertifioinnista, jossa tekoälyjärjestelmä julistetaan turvalliseksi yhden auditoinnin jälkeen, sekä toistamaan toiminnon tulos samoissa ilmoitetuissa olosuhteissa.

Siirtymä tähän NIST AI Risk Management Frameworkin vaiheeseen alkaa priorisoitujen riskien ja niihin liittyvien toimien hallinnasta, ja sen pitäisi päättyä tulokseen, joka mahdollistaa seurannan tai lopullisen päätöksen tekemisen. Kirjaa epävarmuus, hylätyt vaihtoehdot, resurssien käyttö sekä rajapinnassa sovellettu ihmisen tai ohjelmiston ohjaus. Tämän jäljen avulla tiimit voivat havaita, peittääkö neljän toiminnon käyttäminen tarkistuslistana niiden jatkuvan ja kontekstisidonnaisen luonteen ennen kuin sama heikkous näkyy vaikutuksiltaan merkittävässä tuloksessa.

Lue NIST AI Risk Management Frameworkia eteenpäin ymmärtääksesi tuotantokäyttöä ja taaksepäin selvittääksesi vikatilanteita. Eteenpäin suuntautuvassa analyysissä kysytään, miten yksi vaihe tukee seuraavaa. Taaksepäin suuntautuva analyysi lähtee virheellisestä, hitaasta, kalliista tai turvattomasta tuloksesta ja jäljittää, mikä aiempi oletus mahdollisti sen. Usein juuri käänteistä tarkastelua tehdessään tiimi huomaa, että ratkaiseva virhe tapahtui jo ennen kuin malli tuotti mitään.

Esimerkki NIST AI Risk Management Frameworkin soveltamisesta

Sairaala voi kartoittaa tekoälypohjaisen triage-työkalun toimintaympäristön, mitata sen suorituskykyä eri ryhmissä, määrittää vastuut ja hallita tunnistettuja riskejä.

Tämä esimerkki on valaiseva, koska NIST AI Risk Management Framework voidaan yhdistää havaittaviin syötteisiin, välivaiheisiin ja lopputulokseen sen sijaan, että sitä arvioitaisiin viimeistellyn esittelyn perusteella. Perusteellisessa testissä skenaarion ympärille rakennettaisiin tavanomaisia, vaikeita ja tarkoituksella harhaanjohtavia tapauksia, säilytettäisiin vertailutaso ilman kyseistä menetelmää ja kirjattaisiin sekä keskimääräinen suorituskyky että yksittäisten virheiden vakavuus.

Muuta yhtä oletusta NIST AI Risk Management Framework -esimerkissä ja toista analyysi. Poista pakollinen syöte, tuo mukaan ristiriitainen signaali, rajoita laskentakapasiteettia, muuta käyttäjäryhmää tai pakota järjestelmä pidättäytymään vastaamasta. Menetelmän onnistuminen vain yhdessä huolellisesti järjestetyssä esittelyssä ei osoita, että se yleistyy toimintaympäristöön.

NIST AI Risk Management Framework verrattuna yleisimpään oikotiehen

NIST AI Risk Management Framework typistetään usein sertifioinniksi, jossa tekoälyjärjestelmä julistetaan turvalliseksi yhden auditoinnin jälkeen. Tällainen yksinkertaistus hävittää juuri sen rajan, joka määrittää käsitteen. Se voi johtaa siihen, että ostajat vertailevat keskenään erilaisia tuotteita, tutkijat esittävät kokeen osoittavan enemmän kuin se todellisuudessa osoittaa ja käyttöönottajat seuraavat käyttöönoton jälkeen väärää signaalia.

Vertailussa pitäisi myös määritellä analyysin kohde. NIST AI Risk Management Frameworkia käsittelevässä artikkelissa voidaan tarkastella erikseen mallia tai algoritmia, kun taas käyttöön otettuun palveluun kuuluu lisäksi tiedonhaku, reititys, välimuisti, käytännöt, käyttäjätunnistus, käyttöliittymät ja valvonta. Kaksi tuotetta voi käyttää samaa keskeistä termiä, vaikka ne toteuttaisivat tästä kokonaisuudesta eri osia. Selvitä, mikä komponentti suorittaa määrittävän muunnoksen ja mitkä muut komponentit ovat välttämättömiä raportoidun tuloksen saavuttamiseksi.

Miksi NIST AI Risk Management Frameworkilla on merkitystä nykyisissä tekoälyjärjestelmissä

NIST AI Risk Management Frameworkilla on merkitystä juuri nyt, koska tekoälyjärjestelmille annetaan käyttöön yhä laajempia konteksteja, useampia modaliteetteja, enemmän laskentatehoa käytön aikana, laajemmat käyttöoikeudet työkaluihin ja syvemmät yhteydet organisaatioiden päätöksentekoon. Näissä oloissa tutkimuksen yksityiskohdalta aiemmin vaikuttanut asia voi ratkaista viiveen, tietoturvan, esteettömyyden, ympäristökustannukset, tuotteen laadun tai oikeudellisen vastuun toteutumisen.

Olennainen mittari ei ole se, pystyykö NIST AI Risk Management Framework tuottamaan yhden vaikuttavan tuloksen. Ratkaisevaa on, parantaako menetelmä tärkeää lopputulosta edustavissa olosuhteissa ja tekeekö se sen yksinkertaista vertailutasoa tehokkaammin. Raportoi jakaumat, virheluokat, häntäviive, resurssien käyttö ja vaikutuksen kohteena olevat alaryhmät sen sijaan, että tiivistäisit kaikki tulokset yhdeksi keskiarvoksi.

Määrittele toimija, konteksti, omaisuus, vaikutuksen kohteena olevat ihmiset, näyttö ja päätös ennen hallintakeinojen valitsemista. Arvioi tilanne uudelleen, kun malli, data, työkalut, lainkäyttöalue tai toimintaympäristö muuttuu. Kun tätä toimintatapaa sovelletaan nimenomaan NIST AI Risk Management Frameworkiin, näyttöä voidaan hyödyntää muuallakin: toinen tiimi voi arvioida, säilyykö väitetty hyöty todennäköisesti toisessa mallissa, kielessä, laitteistoalustassa, tietojoukossa, käyttäjäryhmässä tai riskinsietotasossa.

Hyödyt, joita NIST AI Risk Management Framework voi tuottaa

Vahvin syy käyttää NIST AI Risk Management Frameworkia on se, että sillä voidaan puuttua suoraan ongelmaan, jonka ratkaisemiseksi se on tarkoitettu. Toteutuksesta riippuen hyöty voi näkyä parempana tietopohjaisuutena, uskollisempana esitystapana, parempana yleistämiskykynä, lyhyempänä viiveenä, vähäisempänä muistiliikenteenä, selkeämpänä vastuunjakona tai turvallisempana rajana mallin ehdotuksen ja todellisen toiminnan välillä.

Hyödyt pitäisi ilmaista päätöksinä ja mittauksina. ”Älykkäämpi” ei ole NIST AI Risk Management Frameworkin hyväksymiskriteeri. Hyödyllinen tavoite voisi määritellä virheosuuden vaikeissa tapauksissa, palautumisen ristiriitaisten todisteiden jälkeen, kustannukset tietyssä liikenteen prosenttipisteessä, ihmisen tekemään tarkastukseen kuluvan ajan, kalibroinnin tai niiden toimien prosenttiosuuden, jotka pysyvät määritellyn toimivaltarajan sisällä.

NIST AI Risk Management Frameworkin määrittävä epäonnistumistapa

Keskeinen rajoitus on, että neljän toiminnon käyttäminen tarkistuslistana voi jättää huomiotta niiden jatkuvan ja tilannesidonnaisen luonteen. Tätä epäonnistumista ei pidä käsitellä jälkikäteen lisättävänä huomiona, joka kirjataan vasta kehitystyön valmistuttua. Sen pitäisi ohjata NIST AI Risk Management Frameworkin tiedonkeruuta, arkkitehtuuria, käyttöoikeuksia, arviointia, julkaisun hyväksymiskriteerejä ja valvontaa alusta alkaen.

NIST AI Risk Management Frameworkin mukaisesta hallintakeinosta on hyötyä vain, jos se toimii ennen kallista tai peruuttamatonta seurausta. Tunnista epäonnistumisen varhaisin havaittavissa oleva ennusmerkki, määritä kynnysarvo tai sääntö, nimeä vastuuhenkilö ja testaa palautumista. Käyttötapauksesta riippuen palautuminen voi tarkoittaa pidättäytymistä, siirtymistä yksinkertaisempaan järjestelmään, lisänäytön pyytämistä, asian siirtämistä ihmiselle, mallin aiemman version palauttamista tai toiminnon pysäyttämistä kokonaan.

NIST AI Risk Management Frameworkin arviointisuunnitelma

Aloita NIST AI Risk Management Frameworkin arviointi kirjaamalla päätös, jota näytön on tarkoitus tukea. Määritä toimintaympäristön kohdejoukko, väärän tuloksen seuraus, päätöksentekohetkellä tosiasiassa käytettävissä olevat tiedot ja yksinkertaisin uskottava vaihtoehto. Näin vertailutestistä ei tule päämäärää vain siksi, että se on helppo toteuttaa.

Käytä kontrolloituihin vertailuihin testijoukkoa, jota ei ole käytetty aiemmin, ja validoi NIST AI Risk Management Framework sen jälkeen vaiheittaisessa toimintaympäristössä. Offline-arviointi tekee vaihtoehdoista vertailukelpoisia; varjotila, canary-julkaisut, käyttötiheyden rajoitukset tai hyväksyntäportit paljastavat, miten todellinen liikenne, palautesilmukat ja ihmiset muuttavat toimintaa. Käyttöönoton vaiheelle tulee määrittää selkeä pysäytysehto sen sijaan, että oletetaan jokaisen parannuksen ansaitsevan täysimittaisen käyttöönoton.

Versioi kaikki NIST AI Risk Management Frameworkin toistamiseen tarvittavat syötteet: lähdetiedot, esikäsittely, tokenisoija tai enkooderi, mallin painot, kokoonpano, kehote tai käytäntö, hakuindeksi, arviointijoukko, laitteistoa koskevat oletukset ja tarjoilukoodi soveltuvin osin. Ilman jäljitettävyyttä tiimi ei voi tietää, johtuiko muuttunut tulos menetelmästä, ympäristöstä vai huomaamatta jääneestä putkiston muokkauksesta.

Kysy lopuksi, mikä havainto kumoaisi väitteen siitä, että NIST AI Risk Management Frameworkista on hyötyä. Jos mikään tulos ei voisi muuttaa käyttöönottopäätöstä, arviointi on markkinointia. Ennalta sovitut hyväksymiskynnykset ja tallessa pidetty vahvistusjoukko tekevät arvioinnista näyttöön perustuvan.

Kysymyksiä ennen NIST AI Risk Management Frameworkin käyttöönottoa

• Tavoite: Minkä mitattavan pullonkaulan NIST AI Risk Management Frameworkin on tarkoitus ratkaista?
• Mekanismi: Missä viidestä vaiheesta tapahtuu menetelmälle ominainen muutos?
• Vertailutaso: Miten se vertautuu sertifiointiin, jossa tekoälyjärjestelmä julistetaan turvalliseksi yhden auditoinnin jälkeen, tai johonkin muuhun yksinkertaisempaan vaihtoehtoon?
• Näyttö: Millaisia tavanomaisia, vaikeita, vastustajan aiheuttamia ja alaryhmiä koskevia tapauksia testattiin?
• Toiminta: Millaisia viiveeseen, muistiin, laskentaan, energiaan, ylläpitoon ja tarkistamiseen liittyviä kustannuksia syntyy suuressa mittakaavassa?
• Riski: Miten tiimi havaitsee, jos neljän toiminnon käyttäminen tarkistuslistana johtaa siihen, että niiden jatkuva ja asiayhteydestä riippuva luonne jää huomaamatta?
• Palautuminen: Voiko järjestelmä pidättäytyä, siirtyä varajärjestelmään, palautua aiempaan versioon tai siirtää asian eteenpäin ennen vahingon syntymistä?

Ensisijaiset lähteet NIST AI Risk Management Frameworkin opiskeluun

Luotettavia lähtökohtia niihin tekoälypinon osiin, jotka liittyvät NIST AI Risk Management Frameworkiin, ovat NIST AI Risk Management Framework, Euroopan komission yleiskatsaus tekoälysäädökseen ja OWASP:n kehotusinjektio-ohjeistus. Lue niitä yhdessä kyseessä olevaa mallia, tietojoukkoa, laitteistoa ja lainkäyttöaluetta koskevan dokumentaation kanssa. Yleinen lähde voi määritellä mekanismin, mutta vain käyttöönottoa koskeva näyttö voi osoittaa, soveltuuko tietty toteutus tarkoitukseen.

Mitä NIST AI Risk Management Frameworkista kannattaa muistaa

NIST AI Risk Management Framework on määritelty mekanismi laajemmassa sosioteknisessä järjestelmässä. Sen arvo syntyy siitä, että se parantaa tiettyä tulosta nimenomaisissa olosuhteissa, ei itse nimestä. Viisivaiheinen malli tekee tiedonkulun näkyväksi, vertailu selventää, mitä se ei ole, ja hallintapolku osoittaa, missä vastuullinen toimija voi puuttua tilanteeseen.

NIST AI Risk Management Frameworkin käytännönläheinen toimintaperiaate on määritellä tavoite, verrata sitä uskottavaan vertailutasoon, testata tärkein epäonnistumistapa ja säilyttää näyttö, jota tarvitaan muutosten seurantaan. Kun nämä asiat ovat kunnossa, käsitteestä tulee arvioitavissa oleva tekninen ja hallinnollinen valinta. Ilman niitä jäljelle jää vain lupaavalta kuulostava nimi, johon liittyvä toiminnallinen riski on tuntematon.