Mikä on synteettinen data?

Mikä on synteettinen data?

Synteettinen data on nopeasti laajeneva trendi ja kehittyvä työkalu data-tieteen alalla. Mikä on synteettinen data tarkalleen? Lyhyt vastaus on, että synteettinen data koostuu datasta, joka ei perustu mihinkään todelliseen ilmiöön tai tapahtumaan, vaan se luodaan tietokoneohjelmalla. Mutta miksi synteettinen data on tulevaisuudessa tärkeää data-tieteen kannalta? Kuinka synteettinen data luodaan? Selvitämme näihin kysymyksiin.

Mikä on synteettinen tietojoukko?

Kuten termi “synteettinen” viittaa, synteettiset tietojoukot luodaan tietokoneohjelmilla, eikä ne koostu todellisista tapahtumista. Synteettisen tietojoukon tärkein tarkoitus on olla tarpeeksi monipuolinen ja vankka ollakseen hyödyllinen koneoppimismallien koulutukseen.

Jotta synteettinen data olisi hyödyllistä koneoppimisen luokittelijalle, sille on oltava tiettyjä ominaisuuksia. Vaikka data voi olla kategorista, binääri- tai numeerista, tietojoukon pituuden on oltava mielivaltainen ja data on satunnaisesti luotava. Satunnaiset prosessit, joilla data luodaan, on oltava kontrolloitavissa ja perustuvat erilaisiin tilastollisiin jakaumiin. Satunnaisia häiriöitä voidaan myös lisätä tietojoukkoon.

Jos synteettistä dataa käytetään luokittelualgoritmiin, luokkien erottelun määrä on mukautettavissa, jotta luokitteluongelma voidaan tehdä helpommaksi tai vaikeammaksi ongelman vaatimusten mukaan. Vastaavasti, regressio-tehtävissä voidaan käyttää epälineaarisia generoivaa prosessia datan luomiseen.

Miksi käyttää synteettistä dataa?

Koneoppimisraamit, kuten TensorfFlow ja PyTorch, ovat helpompia käyttää ja esisuunnitellut mallit koneen näkemiseen ja luonnollisen kielen prosessointiin ovat yleisempiä ja voimakkaampia, ja data-tieteilijöiden tärkein ongelma on datan kerääminen ja käsittely. Yrityksillä on usein vaikeuksia hankkia suuria määriä dataa koulutusmallin luomiseen annetussa ajassa. Käsinmerkintä dataa on kallista ja hidasta tapaa hankkia dataa. Kuitenkin synteettisen datan luominen ja käyttäminen voi auttaa data-tieteilijöitä ja yrityksiä ylittämään nämä esteet ja kehittämään luotettavia koneoppimismalleja nopeammin.

On useita etuja synteettisen datan käytölle. Selvin tapa, jolla synteettisen datan käyttö hyödyttää data-tiedettä, on se, että se vähentää tarvetta kerätä dataa todellisista tapahtumista, ja tämän vuoksi on mahdollista luoda data ja rakentaa tietojoukko paljon nopeammin kuin tietojoukko, joka perustuu todellisiin tapahtumiin. Tämä tarkoittaa, että suuria määriä dataa voidaan tuottaa lyhyessä ajassa. Tämä on erityisen totta harvinaisille tapahtumille, koska jos tapahtuma on harvinainen luonnossa, voidaan enemmän dataa luoda oikeista data-näytteistä. Lisäksi data voidaan automaattisesti merkitä, kun sitä luodaan, mikä vähentää merkittävästi aikaa, joka tarvitaan datan merkintään.

Synteettinen data voidaan myös käyttää koulutusdatan hankkimiseen reunatapauksiin, jotka ovat tapahtumia, jotka voivat harvoin tapahtua, mutta ovat kriittisiä tekoälymenestykselle. Reunatapaukset ovat tapahtumia, jotka ovat hyvin samanlaisia kuin tekoälyn pääasiallinen kohde, mutta eroavat tärkeässä suhteessa. Esimerkiksi osittain näkyvissä olevat objektit voivat olla reunatapauksia kuvien luokittelijan suunnittelussa.

Lopulta synteettiset tietojoukot voivat vähentää yksityisyyden huolia. Yritykset anonymisoida dataa voivat olla tehottomia, koska vaikka herkillä/identifioivilla muuttujilla poistetaan tietojoukosta, muut muuttujat voivat toimia tunnisteina, kun ne yhdistetään. Tämä ei ole ongelma synteettiselle datalle, koska se ei perustu todelliseen henkilöön tai todelliseen tapahtumaan alun perin.

Synteettisen datan käyttötarkoitukset

Synteettisellä datalla on laaja valikoima käyttötarkoituksia, koska sitä voidaan soveltaa melkein mihin tahansa koneoppimistehtävään. Yleisiä käyttötarkoituksia synteettiselle datalle ovat itseajavat autot, turvallisuus, robottiikka, petossuojelu ja terveydenhuolto.

Yksi ensimmäisistä käyttötarkoituksista synteettiselle datalle oli itseajavat autot, koska synteettistä dataa käytetään koulutusdatan luomiseen autoille, joissa on vaikea tai vaarallista hankkia todellista koulutusdataa. Synteettinen data on myös hyödyllistä kuvien tunnistusjärjestelmien koulutusdataa varten, kuten valvontajärjestelmiä, paljon tehokkaammin kuin manuaalinen koulutusdatakerääminen ja -merkintä. Robottiikka-järjestelmiä voidaan olla hitaasti koulutettu ja kehitetty perinteisillä datan keräämis- ja koulutusmenetelmillä. Synteettinen data sallii robottiikka-yhtiöiden testata ja insinööritöitä robottiikka-järjestelmien kanssa simulaatioita käyttäen. Petossuojelu-järjestelmiä voidaan hyödyttää synteettisestä datasta, ja uusia petosilmoitusmenetelmiä voidaan kouluttaa ja testata jatkuvasti uudella datalla, kun synteettistä dataa käytetään. Terveydenhuolto-alalla synteettistä dataa voidaan käyttää suunnittelemaan terveyden luokittelijoita, jotka ovat tarkkoja ja säilyttävät ihmisten yksityisyyden, koska dataa ei perustu todellisiin ihmisiin.

Synteettisen datan haasteet

Vaikka synteettisen datan käyttö tuo monia etuja, se tuo myös monia haasteita.

Kun synteettistä dataa luodaan, se usein puuttuu poikkeuksia. Poikkeukset ovat luonnollisia datassa, ja vaikka ne usein poistetaan koulutusdatasta, niiden olemassaolo voi olla välttämätöntä luotettavien koneoppimismallien koulutukseen. Lisäksi synteettisen datan laatu voi olla erittäin vaihteleva. Synteettinen data luodaan usein syötteen tai siemenen datan avulla, ja tämän vuoksi datan laatu voi riippua syötteen datan laadusta. Jos data, jota käytetään synteettisen datan luomiseen, on vääristynyt, luotu data voi jatkaa tätä vääristymää. Synteettinen data vaatii myös jonkinlaisen lähtö-/laadunvalvonnan. Se on tarkistettava ihmisten merkittyjen datojen tai muun aution datan avulla.

Kuinka synteettinen data luodaan?

Synteettinen data luodaan ohjelmallisesti koneoppimismenetelmillä. Klassisia koneoppimismenetelmiä, kuten päätöspuita, voidaan käyttää, kuten myös syväoppimismenetelmiä. Synteettisen datan vaatimukset vaikuttavat siihen, minkälaista algoritmia käytetään datan luomiseen. Päätöspuut ja muut koneoppimismallit sallivat yritysten luoda ei-klassisia, monimodaalisia datajakautumia, jotka on koulutettu todellisen maailman datan esimerkeillä. Tällaisten algoritmien avulla luodulla datalla on korkea korrelaatio alkuperäisen koulutusdatan kanssa. Jos datan tyypillinen jakautuma on tiedossa, yritys voi luoda synteettisen datan Monte Carlo -menetelmällä.

Syväoppimismenetelmillä synteettisen datan luominen käyttää yleensä joko variational autoencoderia (VAE) tai generatiivista vastakkainasetteluverkkoa (GAN). VAE on valvomaton koneoppimismalli, joka käyttää koodareita ja dekoodereita. VAE:n koodausosa on vastuussa datan pakkaamisesta yksinkertaisempaan, tiivimpään muotoon alkuperäisestä tietojoukosta, jonka dekooderi analysoi ja käyttää alkuperäisen datan edustamiseen. VAE on koulutettu optimaalisen suhteen saavuttamiseksi syötteen ja tulosteen välillä, jossa sekä syöte- että tulostedata ovat erittäin samanlaisia.

Kun GAN-malleja on kyse, ne kutsutaan “vastakkainasetteluverkoiksi” sen vuoksi, että GANit ovat itse asiassa kaksi verkkoa, jotka kilpailevat toisiaan vastaan. Generaattori on vastuussa synteettisen datan luomisesta, kun taas toinen verkko (diskriminaattori) toimii vertaamalla luotua dataa todelliseen tietojoukkoon ja yrittäämällä määrittää, kumpi data on väärä. Kun diskriminaattori löytää väärän datan, generaattori ilmoittaa tästä ja tekee muutoksia yrittääkseen saada uuden datan diskriminaattorilta. Vastavuoroisesti diskriminaattori tulee yhä paremmaksi väärän datan havaitsemisessa. Kaksi verkkoa on koulutettu toisiaan vastaan, ja väärät datat tulevat yhä aidommaksi.