Kuinka tehdä AI Audit vuonna 2023

AI-auditointi tarkoittaa tekoälyjärjestelmien arviointia sen varmistamiseksi, että ne toimivat odotetulla tavalla ilman puolueellisuus tai syrjintää, ja ne ovat eettisten ja oikeudellisten standardien mukaisia. Tekoäly on kasvanut eksponentiaalisesti viimeisen vuosikymmenen aikana. Tämän seurauksena tekoälyyn liittyvät riskit ovat nousseet organisaatioille huolenaiheeksi. Kuten Elon Musk sanoi:

"Tekoäly on harvinainen tapaus, jossa mielestäni meidän on oltava ennakoivia sääntelyssä reaktiivisen sijaan."

Organisaatioiden on kehitettävä hallinta-, riskinarviointi- ja valvontastrategiat tekoälyn parissa työskenteleville työntekijöille. Tekoälyn vastuullisuudesta tulee kriittistä päätöksenteossa, jossa panokset ovat korkeat, kuten poliisin sijoittaminen toiselle alueelle ja ei toiselle, ehdokkaiden palkkaaminen ja hylkääminen.

Tämä artikkeli sisältää yleiskatsauksen AI-auditoinnista, tekoälyauditoinnin viitekehyksestä ja määräyksistä sekä tarkistuslistan tekoälysovellusten auditoinnista.

Harkittavia tekijöitä

• Vaatimustenmukaisuus: Riskinarviointi, joka liittyy tekoälyjärjestelmän lakien, säädösten, eettisten ja sosiaalisten näkökohtien noudattamiseen.
• Teknologia: Teknisiin ominaisuuksiin liittyvä riskinarviointi, mukaan lukien koneoppiminen, turvallisuusstandardit ja mallin suorituskyky.

Tekoälyjärjestelmien auditoinnin haasteita

• Harha: Tekoälyjärjestelmät voivat lisätä harhaa tiedoissa, joihin ne on koulutettu, ja tehdä epäreiluja päätöksiä. Tunnustettuaan tämän ongelman Stanfordin yliopiston ihmiskeskeisen tekoälyn (HAI) tutkimusongelman tutkimuslaitos käynnisti. 71,000 XNUMX dollarin innovaatiohaaste parempien tekoälytarkastusten suunnitteluun. Tämän haasteen tavoitteena oli estää syrjintä tekoälyjärjestelmissä.
• Monimutkaisuus: Tekoälyjärjestelmät, erityisesti syväoppimista käyttävät, ovat monimutkaisia, eikä niitä ole tulkittava.

Tekoälytarkastuksen nykyiset määräykset ja puitteet

Säännöt ja puitteet toimivat tekoälyn auditoinnin pohjoistähtenä. Joitakin tärkeitä auditointikehyksiä ja -säännöksiä käsitellään alla.

Tarkastuskehykset

1. COBIT Framework (Control Objectives for Information and related Technology): Se on kehys yrityksen IT-hallinnolle ja johtamiselle.
2. IIA:n (Institute of Internal Auditors) AI Auditing Framework: Tämän tekoälykehyksen tarkoituksena on arvioida tekoälyjärjestelmien suunnittelua, kehitystä ja toimintaa sekä niiden yhteensopivuutta organisaation tavoitteiden kanssa. IIA:n AI Auditing Frameworkin kolme pääkomponenttia ovat strategia, hallinto ja inhimillinen tekijä. Siinä on seitsemän elementtiä, jotka ovat seuraavat:

• Cyber ​​Resilience
• AI-kompetenssit
• Tietojen laatu
• Tietoarkkitehtuuri ja infrastruktuuri
• Suorituskyvyn mittaaminen
• Etiikka
• Musta laatikko

3. COSO ERM Framework: Tämä viitekehys tarjoaa viitekehyksen AI-järjestelmien riskien arvioimiseksi organisaatiossa. Siinä on viisi sisäisen tarkastuksen osaa:

• Sisäinen ympäristö: Varmistetaan, että organisaation hallinto ja johto hallitsevat tekoälyn riskejä
• Tavoitteen asettaminen: Yhteistyö sidosryhmien kanssa riskistrategian laatimiseksi
• Tapahtumien tunnistaminen: tunnistaa tekoälyjärjestelmien riskit, kuten tahattomat harhat, tietomurron
• Riskinarviointi: Mikä on riskin vaikutus?
• Riskivastaus: Miten organisaatio reagoi riskitilanteisiin, kuten optimaalista huonompaan datan laatuun?

Säännöt

Yleinen tietosuoja-asetus (GDPR) on EU-asetuksen laki, joka velvoittaa organisaatioita käyttämään henkilötietoja. Siinä on seitsemän periaatetta:

• Laillisuus, oikeudenmukaisuus ja avoimuus: Henkilötietojen käsittelyssä on noudatettava lakia
• Tarkoituksen rajoitus: Tietojen käyttö vain tiettyyn tarkoitukseen
• Tietojen minimointi: Henkilötietojen on oltava riittäviä ja rajoitettuja
• Tarkkuus: Tietojen tulee olla tarkkoja ja ajan tasalla
• Tallennusrajoitus: Älä säilytä henkilötietoja, joita ei enää tarvita
• Eheys ja luottamuksellisuus: Henkilötietoja on aiemmin käsitelty turvallisesti
• Vastuu: Rekisterinpitäjä käsittelee tietoja vastuullisesti noudattaen vaatimustenmukaisuutta

Muita säännöksiä ovat mm CCPA ja PIPEDA.

AI Auditin tarkistuslista

Tietolähteet

Tietolähteiden tunnistaminen ja tarkistaminen on ensisijainen näkökohta tekoälyjärjestelmien auditoinnissa. Tilintarkastajat tarkistavat tietojen laadun ja sen, voiko yritys käyttää tietoja.

Ristivahvistus

Mallin asianmukaisen ristiinvalidoinnin varmistaminen on yksi tarkastajien tarkistuslistoista. Validointitietoja ei tule käyttää koulutukseen, ja validointitekniikoiden tulee varmistaa mallin yleistettävyys.

Suojattu isännöinti

Joissakin tapauksissa tekoälyjärjestelmät käyttävät henkilötietoja. On tärkeää arvioida, että isännöinti- tai pilvipalvelut täyttävät tietoturvavaatimukset, kuten OWASP (Open Web Application Security Project) -ohjeet.

Selitettävä AI

Selitettävä AI viittaa tekoälyjärjestelmän tekemien päätösten ja siihen vaikuttavien tekijöiden tulkintaan ja ymmärtämiseen. Auditoijat tarkistavat, ovatko mallit riittävän selitettävissä tekniikoilla, kuten LIME ja SHAP.

Mallin lähdöt

Reiluus on ensimmäinen asia, jonka tarkastajat varmistavat mallituloksissa. Mallin tulosten tulee pysyä johdonmukaisina, kun muuttujia, kuten sukupuolta, rotua tai uskontoa muutetaan. Lisäksi arvioidaan ennusteiden laatua sopivalla pisteytysmenetelmällä.

Sosiaalinen palaute

AI Auditing on jatkuva prosessi. Kun se on otettu käyttöön, tarkastajien pitäisi nähdä tekoälyjärjestelmän sosiaaliset vaikutukset. Tekoälyjärjestelmää ja riskistrategiaa tulee muokata ja auditoida palautteen, käytön, seurausten ja vaikutuksen, joko positiivisen tai negatiivisen, perusteella.

Yritykset, jotka tarkastavat tekoälyputkia ja -sovelluksia

Viisi suurta tekoälyn auditoijaa ovat seuraavat:

• Deloitte: Deloitte on maailman suurin asiantuntijapalveluyritys, joka tarjoaa tilintarkastukseen, verotukseen ja talousneuvontaan liittyviä palveluita. Deloitte käyttää RPA:ta, tekoälyä ja analytiikkaa auttaakseen organisaatioita tekoälyjärjestelmiensä riskinarvioinnissa.
• PwC: PwC on liikevaihdoltaan toiseksi suurin asiantuntijapalveluverkosto. He ovat kehittäneet tarkastusmenetelmiä, jotka auttavat organisaatioita varmistamaan vastuullisuuden, luotettavuuden ja läpinäkyvyyden.
• EY: Vuonna 2022 EY ilmoitti miljardin dollarin sijoituksesta tekoälyä tukevassa teknologia-alustassa korkealaatuisten auditointipalvelujen tarjoamiseksi. Tekoälypohjaiset yritykset ovat hyvin perillä tekoälyjärjestelmien tarkastamisesta.
• KPMG: KPMG on neljänneksi suurin kirjanpitopalveluita tarjoava yritys. KPMG tarjoaa räätälöityjä palveluita tekoälyn hallinnassa, riskien arvioinnissa ja hallinnassa.
• Grant Thronton: Ne auttavat asiakkaita hallitsemaan tekoälyn käyttöönottoon ja tekoälyn etiikan ja säännösten noudattamiseen liittyviä riskejä.

Tekoälyjärjestelmien auditoinnin edut

• Riskienhallinta: Auditointi estää tai vähentää tekoälyjärjestelmiin liittyviä riskejä.
• Avoimuus: Tarkastus varmistaa, että tekoälysovellukset ovat vapaita puolueellisuudesta ja syrjinnästä.
• Vaatimustenmukaisuus: AI-sovellusten auditointi tarkoittaa, että järjestelmä noudattaa lakien ja säädöstenmukaisuutta.

AI Auditing: Mitä tulevaisuus tuo tullessaan

Organisaatioiden, sääntelyviranomaisten ja tilintarkastajien tulee pitää yhteyttä tekoälyn kehitykseen, ymmärtää sen mahdolliset uhat ja tarkistaa säännöllisesti säännöksiä, puitteita ja strategioita oikeudenmukaisen, riskittömän ja eettisen käytön varmistamiseksi.

Vuonna 2021 193 jäsenvaltiota UNESCO hyväksyi maailmanlaajuisen sopimuksen tekoälyn eettisyydestä. Tekoäly on jatkuvasti kehittyvä ekosysteemi.

Haluatko lisää tekoälyyn liittyvää sisältöä? Vierailla unite.ai.