Kuinka suorittaa AI-tarkastus vuonna 2023

AI-tarkastus tarkoittaa AI-järjestelmien arviointia varmistaakseen, että ne toimivat odotetusti ilman harhaa tai syrjintää ja ovat linjassa eettisten ja lakisääteisten standardien kanssa. AI on kokenut eksponentiaalisen kasvun viimeisen vuosikymmenen aikana. Seurauksena AI-aiheiset riskit ovat muodostuneet huolenaiheeksi organisaatioille. Kun Elon Musk sanoi:

”AI on harvinainen tapaus, jossa meidän on oltava proaktiivisia sääntelyssä, ei reaktiivisia.”

Organisaatioiden on kehitettävä hallinto, riskien arviointi ja valvontastrategiat työntekijöille, jotka työskentelevät AI:n parissa. AI:n vastuu on kriittinen päätöksenteossa, jossa panokset ovat korkeat, kuten poliisin käyttäminen tietyssä alueessa eikä toisessa, työnhakijoiden palkkaaminen ja hylkäminen.

Tämä artikkeli esittää yleiskatsauksen AI-tarkastuksesta, kehyksistä ja säännöistä AI-tarkastuksille sekä tarkastuslistan AI-sovellusten tarkastamiseksi.

Asiaa koskevia tekijöitä

• Noudattaminen: Riskien arviointi, joka liittyy AI-järjestelmän noudattamiseen lakisääteisiin, sääntelyvaatimuksiin, eettisiin ja sosiaalisiin näkökohtiin.
• Teknologia: Riskien arviointi, joka liittyy teknisiin kykyihin, mukaan lukien koneoppiminen, tietoturva ja mallin suorituskyky.

Haasteet AI-järjestelmien tarkastamisessa

• Harha: AI-järjestelmät voivat vahvistaa harhan datassa, jolla ne on koulutettu, ja tehdä epäoikeudenmukaisia päätöksiä. Tunnistettuaan tämän ongelman, Stanfordin yliopiston tutkimuslaitos, Human Centered AI (HAI), julkaisi 71 000 dollarin innovaatiokilpailun parempien AI-tarkastusten suunnittelemiseksi. Kilpailun tavoitteena oli estää syrjintä AI-järjestelmissä.
• Monimutkaisuus: AI-järjestelmät, erityisesti ne, jotka käyttävät syvää oppimista, ovat monimutkaisia ja puuttuvat tulkitettavuudesta.

Olemassa olevat säännöt ja kehykset AI-tarkastukselle

Säännöt ja kehykset toimivat AI-tarkastuksen kompassina. Jotkut tärkeät tarkastuskehykset ja -säännöt käydään läpi alla.

Tarkastuskehykset

1. COBIT-kehyksistö (Control Objectives for Information and related Technology): Se on IT-hallinnon ja -johtamisen kehyksistö.
2. IIA:n (Institute of Internal Auditors) AI-tarkastuskehyksistö: Tämä AI-kehyksistö pyrkii arvioimaan AI-järjestelmien suunnittelua, kehittämistä ja toimintaa sekä niiden linjausta organisaation tavoitteiden mukaan. IIA:n AI-tarkastuskehyksistön kolme pääkomponenttia ovat Strategia, Hallinto ja Ihmisen tekijä. Siinä on seitsemän elementtiä, jotka ovat:

• Kyberresilienssi
• AI-osaaminen
• Datatila
• DATA-rakenteen ja -infrastruktuurin arviointi
• Suorituskyvyn mittaaminen
• Etiiikka
• Musta laatikko

3. COSO ERM -kehyksistö: Tämä kehyksistö tarjoaa viitekehyksen AI-järjestelmien riskien arviointiin organisaatiossa. Siinä on viisi komponenttia sisäiselle tarkastukselle:

• Sisäinen ympäristö: Varmistaa, että organisaation hallinto ja johtaminen hallitsevat AI-riskiä
• Tavoitteiden asettaminen: Yhteistyö sidosryhmien kanssa riskistrategian luomiseksi
• Tapahtuman tunnistaminen: Risken tunnistaminen AI-järjestelmissä, kuten tahattomat harhat, tietoturvaloukkaukset
• Riskien arviointi: Mikä on riskin vaikutus?
• Riskien vastaus: Miten organisaatio vastaa riskitilanteisiin, kuten alituisen datan laatuun?

Säännöt

Yleinen tietosuoja-asetus (GDPR) on EU:n sääntely, joka asettaa organisaatioille velvollisuuden käyttää henkilötietoja. Siinä on seitsemän periaatetta:

• Lakisääteisyys, reiluus ja avoimuus: Henkilötietojen käsittely on oltava laillista
• Tarkoituksen mukainen rajoitus: Tietojen käyttäminen ainoastaan tiettyyn tarkoitukseen
• Dataminimointi: Henkilötiedot on oltava riittäviä ja rajoitettuja
• Tarkkuus: Tiedot on oltava oikein ja ajantasaisia
• Varastoinnin rajoitus: Älä säilytä henkilötietoja, joita ei enää tarvita
• Luotettavuus ja luottamuksellisuus: Henkilötietoja on käsiteltävä turvallisesti
• Vastuu: Vastuuhenkilön on käsiteltävä tietoja vastuullisesti noudattaen lakia

Muita sääntöjä ovat CCPA ja PIPEDA.

Tarkastusluettelo AI-sovellusten tarkastamiseksi

Datatietolähteet

Datatietolähteiden tunnistaminen ja tarkastaminen on ensisijainen asia AI-järjestelmien tarkastamisessa. Tarkastajat tarkastavat datan laatua ja varmistavat, että yritys voi käyttää tietoja.

Ristivalidointi

Mallin oikean ristivalidoinnin varmistaminen on yksi tarkastajien tarkastuslistasta. Validointidataa ei saa käyttää koulutukseen, ja validointimenetelmien on varmistettava mallin yleistettävyyden.

Turvallinen isäntä

Joidenkin AI-järjestelmien tapauksessa käytetään henkilötietoja. On tärkeää arvioida, että isäntä- tai pilvipalvelut täyttävät tietoturvaan liittyvät vaatimukset, kuten OWASP (Open Web Application Security Project) -ohjeet.

Selitettävä AI

Selitettävä AI tarkoittaa AI-järjestelmän päätösten tulkitsemista ja ymmärtämistä sekä niiden vaikuttavien tekijöiden tunnistamista. Tarkastajat tarkastavat, ovatko mallit riittävästi selitettävissä tekniikoilla, kuten LIME ja SHAP.

Mallin tulokset

Reiluus on ensisijainen asia, jonka tarkastajat varmistavat mallin tuloksissa. Mallin tulokset on oltava johdonmukaisia, kun muuttujia, kuten sukupuolta, rotua tai uskontoa, muutetaan. Lisäksi arvioidaan myös ennusteiden laatua sopivalla pisteytysmenetelmällä.

Sosiaalinen palaute

AI-tarkastus on jatkuva prosessi. Kun se on käyttöön otettu, tarkastajien on tarkasteltava AI-järjestelmän sosiaalinen vaikutus. AI-järjestelmää ja riskistrategiaa on muutettava ja tarkastettava uudelleen palautteen, käytön, seurausten ja vaikutuksen perusteella, olipa se myönteistä tai kielteistä.

Yritykset, jotka tarkastavat AI-piippulinit ja -sovellukset

Viisi suurta yritystä, jotka tarkastavat AI:a, ovat seuraavat:

• Deloitte: Deloitte on maailman suurin ammattipalveluyritys ja tarjoaa palveluita, jotka liittyvät tarkastamiseen, verotukseen ja rahoitukseen. Deloitte käyttää RPA:ta, AI:ta ja analytiikkaa auttamaan organisaatioita AI-järjestelmien riskien arvioinnissa.
• PwC: PwC on toiseksi suurin ammattipalvelujen verkkoyhtiö tuottojen perusteella. He ovat kehittäneet tarkastusmenetelmiä, joiden avulla organisaatiot voivat varmistaa vastuullisuuden, luotettavuuden ja avoimuuden.
• EY: Vuonna 2022 EY ilmoitti investoivansa 1 miljardia dollaria AI-käyttöön ottamaan teknologiaplatformiin, joka tarjoaa laadukkaita tarkastuspalveluita. AI-vetoinen yritys on hyvin perillä tarkastamaan AI-järjestelmiä.
• KPMG: KPMG on neljänneksi suurin tilintarkastuspalveluja tarjoava yritys. KPMG tarjoaa räätälöityjä palveluita AI-hallinnossa, riskien arvioinnissa ja valvonnassa.
• Grant Thronton: He auttavat asiakkaita hallitsemaan riskejä, jotka liittyvät AI:n käyttöön ja siihen liittyviin eettisiin ja sääntelyvaatimuksiin.

AI-järjestelmien tarkastamisen hyödyt

• Riskien hallinta: Tarkastus estää tai lievittää AI-järjestelmiin liittyviä riskejä.
• Avoimuus: Tarkastus varmistaa, että AI-sovellukset ovat vapaat harhauksista ja syrjinnästä.
• Noudattaminen: AI-sovellusten tarkastaminen tarkoittaa, että järjestelmä noudattaa lakia ja sääntelyvaatimuksia.

AI-tarkastus: Mitä tulevaisuus pitää?

Organisaatioiden, sääntelyviranomaisten ja tarkastajien on oltava ajan tasalla AI-kehityksistä, tunnistettava niiden mahdolliset uhkat ja päivitettävä sääntöjä, kehyksiä ja strategioita säännöllisesti, jotta voidaan varmistaa AI:n reilu, riskitön ja eettinen käyttö.

Vuonna 2021 193 YK:n jäsenvaltiota hyväksyi UNESCO:ssa maailmanlaajuisen sopimuksen AI:n eetiikasta. AI on jatkuvasti kehittyvä ekosysteemi.

Haluatko lisää AI-aiheista sisältöä? Vieraile unite.ai-sivustolla.