Mitä luokkien epätasapaino tarkoittaa? Miksi tarkkuus voi johtaa harhaan

Luokkien epätasapaino syntyy, kun yksi kohdeluokka on paljon harvinaisempi kuin toinen. Tällöin kokonaismittarit ja tavanomainen mallin koulutus voivat sivuuttaa tapaukset, joilla voi olla suurin merkitys.

Luokkien epätasapaino on syytä määritellä täsmällisesti, sillä nimitys viittaa tietynlaiseen tiedonkulkuun, koulutusvalintaan, järjestelmän suoritusaikaiseen mekanismiin tai hallinnolliseen rajaan. Jos sitä käsitellään ”edistyneen tekoälyn” synonyyminä, väitteitä on mahdotonta testata. Tässä oppaassa seurataan käsitettä sen syötteestä ja oletuksista havaittavaan tulokseen asti, minkä jälkeen testataan oikopolkua, joka sekoitetaan siihen todennäköisimmin.

Kohdeluokkien epätasapaino: määritelmä, rajaus ja tarkoitus

Luokkien epätasapaino syntyy, kun yksi kohdeluokka on paljon harvinaisempi kuin toinen. Tällöin kokonaismittarit ja tavanomainen mallin koulutus voivat sivuuttaa tapaukset, joilla voi olla suurin merkitys. Määritelmä sisältää kolme käytännön sitoumusta: syötteen on oltava tunnistettavissa, mukana on oltava luokkien epätasapainolle ominainen muunnos tai päätös, ja tulosta on voitava arvioida suhteessa ilmoitettuun tavoitteeseen. Jos jokin näistä puuttuu, nimitys voi kuvata tavoitetta eikä toteutettua mekanismia.

Tilastollinen oppiminen muuntaa rajallisen määrän havaintoja tulevaa dataa koskeviksi väitteiksi. Siksi aineiston jakaminen, optimointi, säännöllistäminen, mittarit ja seuranta ovat kaikki osia samasta yleistämisongelmasta eivätkä toisistaan irrallisia oppikirjatekniikoita. Luokkien epätasapainon kohdalla tämä järjestelmänäkökulma on tärkeä, sillä suorituskykyyn voivat vaikuttaa ympäröivä data, rajapinnat, laitteisto, käyttöoikeudet ja ihmiset, vaikka itse malli pysyisi muuttumattomana. Hyvässä selityksessä erotetaan siksi mallin oppima käyttäytyminen tuotteesta, joka päättää, milloin, missä ja millaisin valtuuksin tätä käyttäytymistä hyödynnetään.

Lähin harhaanjohtava oikotie on tasapainoinen opetusdata-aineisto, joka ei vastaa todellista esiintyvyyttä. Siinä voi olla luokkien epätasapainon kanssa jokin näkyvä yhteinen piirre, mutta syy-seuraussuhteiden kuva muuttuu: onnistumisen osoittamiseen tarvittaisiin erilaista näyttöä, kustannuksia kasvattaisivat eri resurssit ja haittojen ehkäisemiseen tarvittaisiin erilaisia hallintakeinoja. Raja on siis toiminnallinen, ei terminologinen.

Kohdeluokkien epätasapainon viisivaiheinen toimintamalli

Kaavio on luokkien epätasapainon tiivis syy-seurauskartta, eikä se tarkoita, että jokaisessa toteutuksessa olisi viisi ohjelmistokomponenttia. Joissakin järjestelmissä vaiheet yhdistyvät, toisissa niitä toistetaan silmukkana. Kartta on silti hyödyllinen, sillä se edellyttää, että jokaisella tiedon tai toimivallan muutoksella on omistaja, syöte, tuloste ja testi.

1. Mittaa esiintyvyys todellisessa toimintaympäristössä: kohdeluokkien epätasapainon syöte ja oletukset

Tässä luokkien epätasapainon vaiheessa järjestelmän on mitattava esiintyvyys todellisessa toimintaympäristössä. Olennaista ei ole vain se, suoritetaanko kyseinen toiminto, vaan myös se, mitä tietoa se käyttää, mitä tilaa se muuttaa ja millainen näyttö osoittaa muutoksen olleen pätevä. Arvioijan pitäisi pystyä erottamaan tämä toiminto tasapainoisesta opetusdata-aineistosta, joka ei vastaa todellista esiintyvyyttä, ja toistamaan sen tulos samoissa ilmoitetuissa olosuhteissa.

Siirtyminen tähän luokkien epätasapainon vaiheeseen alkaa ilmoitetusta tavoitteesta, ja sen pitäisi päättyä tulokseen, jonka avulla voidaan osittaa jaot paljastamatta niihin liittyviä tietueita. Kirjaa epävarmuus, hylätyt vaihtoehdot, resurssien käyttö sekä rajalla sovelletut ihmisen tai ohjelmiston tekemät hallintatoimet. Tämän jäljen avulla tiimit voivat havaita, saavutetaanko suuri tarkkuus sivuuttamalla harvinainen luokka kokonaan, ennen kuin sama heikkous vaikuttaa merkittävästi lopputulokseen.

2. Osita jaot paljastamatta toisiinsa liittyviä tietueita: esitystapa tai päätös kohdeluokkien epätasapainossa

Tässä luokkien epätasapainon vaiheessa järjestelmän on ositettava jaot paljastamatta toisiinsa liittyviä tietueita. Olennaista ei ole vain se, suoritetaanko kyseinen toiminto, vaan myös se, mitä tietoa se käyttää, mitä tilaa se muuttaa ja millainen näyttö osoittaa muutoksen olleen pätevä. Arvioijan pitäisi pystyä erottamaan tämä toiminto tasapainoisesta opetusdata-aineistosta, joka ei vastaa todellista esiintyvyyttä, ja toistamaan sen tulos samoissa ilmoitetuissa olosuhteissa.

Tämän luokkien epätasapainoon liittyvän vaiheen luovutus alkaa siitä, että todellisessa toimintaympäristössä mitataan luokkien yleisyys, ja sen pitäisi päättyä tulokseen, jonka avulla voidaan valita luokkien epätasapainon huomioivat mittarit ja kynnysarvot. Kirjaa epävarmuudet, hylätyt vaihtoehdot, resurssien käyttö sekä kaikki rajapinnassa sovelletut ihmisen tai ohjelmiston tekemät hallintatoimet. Tämän jäljen avulla tiimit voivat havaita, saavutetaanko suuri tarkkuus sivuuttamalla harvinainen luokka kokonaan, ennen kuin sama heikkous vaikuttaa merkittävään lopputulokseen.

3. Valitse luokkien epätasapainon huomioivat mittarit ja kynnysarvot: kohdeluokkien epätasapainon erityispiirre

Tässä luokkien epätasapainoon liittyvässä vaiheessa järjestelmän on valittava luokkien epätasapainon huomioivat mittarit ja kynnysarvot. Olennaista ei ole vain se, tapahtuuko kyseinen toiminto, vaan myös se, mitä tietoja se käyttää, mitä tilaa se muuttaa ja millä näytöllä voidaan osoittaa muutoksen olleen pätevä. Arvioijan pitäisi pystyä erottamaan toiminto tasapainotetusta, oppikirjamaisesta aineistosta, joka ei vastaa todellista luokkien yleisyyttä, sekä toistamaan tulos samoissa ilmoitetuissa olosuhteissa.

Tämän luokkien epätasapainoon liittyvän vaiheen luovutus alkaa siitä, että aineisto jaetaan ositettuihin osiin vuotamatta niihin toisiinsa liittyviä tietueita, ja sen pitäisi päättyä tulokseen, jonka perusteella voidaan painottaa havaintoja uudelleen, ottaa aineistoa uudelleen näytteistämällä tai suunnitella tiedonkeruu uudelleen. Kirjaa epävarmuudet, hylätyt vaihtoehdot, resurssien käyttö sekä kaikki rajapinnassa sovelletut ihmisen tai ohjelmiston tekemät hallintatoimet. Tämän jäljen avulla tiimit voivat havaita, saavutetaanko suuri tarkkuus sivuuttamalla harvinainen luokka kokonaan, ennen kuin sama heikkous vaikuttaa merkittävään lopputulokseen.

4. Painota havaintoja uudelleen, ota aineistoa uudelleen näytteistämällä tai suunnittele tiedonkeruu uudelleen: kohdeluokkien epätasapainon rajoitteet ja todentaminen

Tässä luokkien epätasapainoon liittyvässä vaiheessa järjestelmän on painotettava havaintoja uudelleen, otettava aineistoa uudelleen näytteistämällä tai suunniteltava tiedonkeruu uudelleen. Olennaista ei ole vain se, tapahtuuko kyseinen toiminto, vaan myös se, mitä tietoja se käyttää, mitä tilaa se muuttaa ja millä näytöllä voidaan osoittaa muutoksen olleen pätevä. Arvioijan pitäisi pystyä erottamaan toiminto tasapainotetusta, oppikirjamaisesta aineistosta, joka ei vastaa todellista luokkien yleisyyttä, sekä toistamaan tulos samoissa ilmoitetuissa olosuhteissa.

Tämän luokkien epätasapainoon liittyvän vaiheen luovutus alkaa siitä, että valitaan luokkien epätasapainon huomioivat mittarit ja kynnysarvot, ja sen pitäisi päättyä tulokseen, jonka avulla voidaan seurata vähemmistöluokan suorituskykyä käyttöönoton jälkeen. Kirjaa epävarmuudet, hylätyt vaihtoehdot, resurssien käyttö sekä kaikki rajapinnassa sovelletut ihmisen tai ohjelmiston tekemät hallintatoimet. Tämän jäljen avulla tiimit voivat havaita, saavutetaanko suuri tarkkuus sivuuttamalla harvinainen luokka kokonaan, ennen kuin sama heikkous vaikuttaa merkittävään lopputulokseen.

5. Seuraa vähemmistöluokan suorituskykyä käyttöönoton jälkeen: kohdeluokkien epätasapainon tulos, palaute ja pysäytyssääntö

Tässä luokkien epätasapainoon liittyvässä vaiheessa järjestelmän on seurattava vähemmistöluokan suorituskykyä käyttöönoton jälkeen. Olennaista ei ole vain se, tapahtuuko kyseinen toiminto, vaan myös se, mitä tietoja se käyttää, mitä tilaa se muuttaa ja millä näytöllä voidaan osoittaa muutoksen olleen pätevä. Arvioijan pitäisi pystyä erottamaan toiminto tasapainotetusta, oppikirjamaisesta aineistosta, joka ei vastaa todellista luokkien yleisyyttä, sekä toistamaan tulos samoissa ilmoitetuissa olosuhteissa.

Tämän luokkien epätasapainoon liittyvän vaiheen luovutus alkaa siitä, että havainnot painotetaan uudelleen, aineistoa otetaan uudelleen näytteistämällä tai tiedonkeruu suunnitellaan uudelleen, ja sen pitäisi päättyä tulokseen, joka tukee seurantaa tai lopullista päätöstä. Kirjaa epävarmuudet, hylätyt vaihtoehdot, resurssien käyttö sekä kaikki rajapinnassa sovelletut ihmisen tai ohjelmiston tekemät hallintatoimet. Tämän jäljen avulla tiimit voivat havaita, saavutetaanko suuri tarkkuus sivuuttamalla harvinainen luokka kokonaan, ennen kuin sama heikkous vaikuttaa merkittävään lopputulokseen.

Lue luokkien epätasapainoa kuvaavaa kaaviota etenemissuunnassa, jotta ymmärrät tuotantokäyttöä, ja takaperin, jotta voit selvittää virheen syyn. Etenevässä analyysissä tarkastellaan, miten yksi vaihe tuottaa syötteen seuraavalle. Takaperin tehtävässä analyysissä lähdetään virheellisestä, hitaasta, kalliista tai vaarallisesta tuloksesta ja jäljitetään, mikä aiempi oletus sen mahdollisti. Usein juuri käänteistä reittiä seuraamalla tiimi huomaa, että ratkaiseva virhe tapahtui jo ennen kuin malli tuotti mitään.

Esimerkki kohdeluokkien epätasapainosta

Petosmalli, joka luokittelee jokaisen maksutapahtuman lailliseksi, voi saavuttaa yli 99 prosentin tarkkuuden havaitsematta silti yhtäkään petosta.

Tämä esimerkki on havainnollinen, koska luokkien epätasapainoa voidaan arvioida havaittavien syötteiden, välitilojen ja lopputuloksen perusteella sen sijaan, että sitä arvioitaisiin silotellun esittelyn pohjalta. Perusteellisessa testissä rakennettaisiin skenaarion ympärille tavallisia, vaikeita ja tarkoituksella harhaanjohtavia tapauksia, säilytettäisiin vertailutaso ilman kyseistä menetelmää ja kirjattaisiin sekä keskimääräinen suorituskyky että yksittäisten virheiden vakavuus.

Muuta yhtä oletusta luokkien epätasapainoa käsittelevässä esimerkissä ja toista analyysi. Poista pakollinen syöte, lisää ristiriitainen signaali, rajoita laskentatehoa, muuta käyttäjäjoukkoa tai pakota järjestelmä pidättäytymään päätöksestä. Menetelmän toimivuus ei ole osoitettu todellisessa toimintaympäristössä, jos se onnistuu vain yhdessä huolellisesti järjestetyssä esimerkissä.

Kohdeluokkien epätasapaino ja sen yleisin oikotie

Luokkien epätasapaino pelkistetään usein tasapainotetuksi, oppikirjamaiseksi aineistoksi, joka ei vastaa todellista luokkien yleisyyttä. Tällainen pelkistys hävittää juuri sen rajan, joka määrittää käsitteen. Se voi johtaa ostajia vertailemaan keskenään erilaisia tuotteita, tutkijoita liioittelemaan kokeen osoittamaa ja käyttäjiä seuraamaan käyttöönoton jälkeen väärää signaalia.

Vertailussa on myös yksilöitävä analyysin kohde. Luokkien epätasapainoa käsittelevässä tutkimuksessa voidaan tarkastella erikseen mallia tai algoritmia, kun taas käyttöön otettu palvelu sisältää lisäksi tiedon haun, reitityksen, välimuistin, käytännöt, identiteetin, käyttöliittymät ja valvonnan. Kaksi tuotetta voi käyttää samaa keskeistä termiä, vaikka ne toteuttaisivat tästä kokonaisuudesta eri osia. Selvitä, mikä komponentti tekee määrittävän muunnoksen ja mitä muita komponentteja tarvitaan raportoidun tuloksen saavuttamiseksi.

Miksi kohdeluokkien epätasapainolla on merkitystä nykyisissä tekoälyjärjestelmissä

Luokkien epätasapainolla on nyt merkitystä, koska tekoälyjärjestelmille annetaan enemmän kontekstitietoa, useampia modaliteetteja, enemmän laskentatehoa ajon aikana, laajemmat työkalujen käyttöoikeudet ja syvempi yhteys organisaatioiden päätöksentekoon. Näissä oloissa aiemmin tutkimuksen yksityiskohdalta vaikuttanut seikka voi ratkaista viiveen, tietoturvan, saavutettavuuden, ympäristökuormituksen, tuotteen laadun tai oikeudellisen vastuun toteutumisen.

Olennaista ei ole se, pystyykö luokkien epätasapainon käsittely tuottamaan yhden vaikuttavan tuloksen. Olennaista on, parantaako menetelmä merkityksellistä lopputulosta edustavissa olosuhteissa ja tekeekö se sen yksinkertaista vertailutasoa tehokkaammin. Raportoi jakaumat, virheluokat, jakauman hännän viive, resurssien käyttö ja vaikutuksen kohteena olevat alaryhmät sen sijaan, että tiivistäisit kaikki tulokset yhdeksi keskiarvoksi.

Valitse menettelytavat datan rakenteen ja päätöksenteon kustannusten perusteella. Säilytä ryhmät ja ajallinen järjestys, määritä epävarmuus, tarkastele datan osajoukkoja, lukitse lopulliset testit ja varmista, että offline-ympäristössä saavutetut parannukset säilyvät käyttöönotossa. Kun tätä lähestymistapaa sovelletaan nimenomaan luokkien epätasapainoon, näyttöä voidaan hyödyntää myös muualla: toinen tiimi voi arvioida, säilyykö väitetty parannus toisenlaisen mallin, kielen, laitteistoalustan, aineiston, käyttäjäjoukon tai riskinsietokyvyn yhteydessä.

Kohdeluokkien epätasapainon tarjoamat hyödyt

Vahvin peruste luokkien epätasapainon käsittelylle on se, että sillä voidaan puuttua suoraan ongelman aiheuttavaan pullonkaulaan. Toteutustavasta riippuen hyöty voi näkyä parempana tietopohjaisuutena, uskollisempana esitysmuotona, parempana yleistymiskykynä, pienempänä viiveenä, vähäisempänä muistin siirtelynä, selkeämpänä vastuunalaisuutena tai turvallisempana rajana mallin ehdotuksen ja todellisen toiminnan välillä.

Hyödyt kannattaa ilmaista päätöksinä ja mittauksina. ”Älykkäämpi” ei ole hyväksymiskriteeri luokkien epätasapainon käsittelylle. Hyödyllinen tavoite voi määrittää esimerkiksi virheprosentin vaikeissa tapauksissa, palautumisen ristiriitaisten todisteiden jälkeen, kustannukset tietyssä liikenteen prosenttipisteessä, ihmisen tekemään tarkistukseen kuluvan ajan, kalibroinnin tai niiden toimien prosenttiosuuden, jotka pysyvät määritellyissä toimivaltarajoissa.

Kohdeluokkien epätasapainon määrittävä virhetilanne

Keskeinen rajoitus on, että korkea tarkkuus voidaan saavuttaa sivuuttamalla harvinainen luokka kokonaan. Tämä ongelma ei ole jälkikäteen lisättävä huomio, joka kirjataan vasta kehitystyön valmistuttua. Sen pitäisi ohjata luokkien epätasapainoon liittyvää datan keruuta, arkkitehtuuria, käyttöoikeuksia, arviointia, julkaisun ehtoja ja valvontaa alusta alkaen.

Luokkien epätasapainoon liittyvästä ohjauskeinosta on hyötyä vain, jos se toimii ennen kuin seurauksista tulee kalliita tai peruuttamattomia. Tunnista varhaisin havaittavissa oleva merkki uhkaavasta virheestä, aseta kynnysarvo tai sääntö, nimeä siitä vastuussa oleva taho ja testaa, miten tilanteesta palaudutaan. Käyttötapauksen mukaan palautuminen voi tarkoittaa päätöksestä pidättäytymistä, siirtymistä yksinkertaisempaan järjestelmään, lisänäytön pyytämistä, asian eskalointia ihmiselle, mallin palauttamista aiempaan versioon tai toiminnan pysäyttämistä kokonaan.

Kohdeluokkien epätasapainon arviointisuunnitelma

Aloita luokkien epätasapainon arviointi määrittelemällä päätös, jota näytön on tarkoitus tukea. Määrittele käyttöympäristön kohdejoukko, väärän tuloksen seuraukset, päätöshetkellä tosiasiassa käytettävissä olevat tiedot sekä yksinkertaisin uskottava vaihtoehto. Näin vertailutestistä ei tule itseisarvoa vain siksi, että se on helppo toteuttaa.

Käytä vertailukelpoisissa testeissä aineistoa, jota ei ole käytetty mallin kehittämiseen, ja arvioi sen jälkeen luokkien epätasapainoa vaiheittain etenevässä käyttöympäristössä. Offline-arviointi helpottaa eri vaihtoehtojen vertailua; varjotila, rajattu pilottikäyttö, käyttörajoitukset tai hyväksyntäportit paljastavat, miten todellinen liikenne, palautesilmukat ja ihmiset muuttavat toimintaa. Käyttöönoton vaiheelle on määriteltävä selkeä pysäytysehto sen sijaan, että oletettaisiin jokaisen parannuksen oikeuttavan täysimittaisen käyttöönoton.

Versioi luokkien epätasapainon toistamiseen tarvittavat syötteet: lähdedata, esikäsittely, tokenisoija tai enkooderi, mallin painot, konfiguraatio, kehote tai käytäntö, hakuindeksi, arviointiaineisto, laitteistoa koskevat oletukset ja tarjoilukoodi soveltuvin osin. Ilman tietojen alkuperän seurantaa tiimi ei voi päätellä, johtuiko muuttunut tulos menetelmästä, ympäristöstä vai huomaamatta jääneestä putkistomuutoksesta.

Kysy lopuksi, millainen havainto kumoaisi väitteen siitä, että luokkien epätasapainosta on hyötyä. Jos mikään tulos ei voisi muuttaa käyttöönottopäätöstä, arviointi on markkinointia. Ennalta määritellyt hyväksymiskynnykset ja erillään pidetty vahvistusaineisto tekevät arvioinnista näyttöön perustuvan.

Kysymyksiä, jotka kannattaa esittää ennen kohdeluokkien epätasapainon käyttöönottoa

• Tavoite: Minkä mitattavissa olevan pullonkaulan luokkien epätasapainon on tarkoitus ratkaista?
• Mekanismi: Missä viidestä vaiheesta tapahtuu menetelmälle ominainen muunnos?
• Vertailukohta: Miten se vertautuu tasapainotettuun luokkadataan, joka ei vastaa todellista esiintyvyyttä, tai johonkin muuhun yksinkertaisempaan vaihtoehtoon?
• Näyttö: Millaisia tavallisia, vaikeita, vastakkaisia ja alaryhmiin kuuluvia tapauksia testattiin?
• Toiminta: Millaisia viive-, muisti-, laskenta-, energia-, ylläpito- ja tarkastuskustannuksia syntyy suuressa mittakaavassa?
• Riski: Miten tiimi havaitsee, jos korkea tarkkuus saavutetaan jättämällä harvinainen luokka kokonaan huomiotta?
• Palautuminen: Voiko järjestelmä pidättäytyä päätöksestä, siirtyä vararatkaisuun, palautua aiempaan versioon tai eskaloida asian ennen vahingon syntymistä?

Keskeisiä lähteitä kohdeluokkien epätasapainon tutkimiseen

Luokkien epätasapainoa ympäröivän tekoälyjärjestelmän osan luotettaviin lähtökohtiin kuuluvat scikit-learnin mallinvalintaopas, Googlen ML-säännöt ja NIST AI RMF. Tutustu niihin yhdessä juuri kyseistä mallia, aineistoa, laitteistoa ja oikeudenkäyttöaluetta koskevien dokumentaatioiden kanssa. Yleinen lähde voi määritellä mekanismin, mutta vain käyttöönottoa koskeva näyttö voi osoittaa, soveltuuko tietty toteutus tarkoitukseensa.

Mitä kohdeluokkien epätasapainosta kannattaa muistaa

Luokkien epätasapaino on määritelty mekanismi osana laajempaa sosioteknistä järjestelmää. Sen arvo perustuu tietyn tuloksen parantamiseen selkeästi määritellyissä olosuhteissa, ei itse nimitykseen. Viisivaiheinen malli tuo esiin tiedonkulun, vertailu auttaa tunnistamaan, mitä menetelmä ei ole, ja ohjauspolku näyttää, missä vastuullinen toimija voi puuttua tilanteeseen.

Luokkien epätasapainon käytännön toimintaperiaate on määritellä tavoite, verrata tuloksia uskottavaan vertailukohtaan, testata tärkein virhetilanne ja säilyttää muutosten seurantaan tarvittava näyttö. Kun nämä osat ovat kunnossa, käsitteestä tulee arvioitavissa oleva suunnittelua ja hallintaa koskeva valinta. Ilman niitä se jää lupaavaksi nimeksi, johon liittyvää käyttöön kohdistuvaa riskiä ei tunneta.