Esteettisten mieltymysten tunnistaminen mahdollisena todennustekijänä

Uusi tutkimus Israelista on ehdottanut todennusjärjestelmää, joka perustuu käyttäjän esteettisiin mieltymyksiin. Käyttäjä kalibroi järjestelmän kerran arvioimalla kuvia, jolloin luodaan yksityinen “alue” kyseisen henkilön visuaalisista ja visuaalis-käsitteellisistä mieltymyksistä. Myöhemmin käyttäjä haastetaan todennusaikana valitsemaan uusista kuvajoukoista tallennettuja mieltymyksiään vastaavat kuvat.

Pelillistetyn AEbA-toteutuksen kokeista – vasemmalla käyttäjä arvioi kuvan esteettistä laatua; oikealla pisteet näytetään vaiheen lopussa aktiivisen soveltamisen aikana. Lähde: https://arxiv.org/ftp/arxiv/papers/2204/2204.05623.pdf

Järjestelmä on nimeltään Esteettiseen arviointiin perustuva todennus (AEbA), ja se on ehdotus 2022 USENIX Annual Technical Conferenceen Kaliforniassa heinäkuussa.

AEbA:ta kokeiltiin tutkimuksen kirjoittajien toimesta pelisarjana, jossa osallistujien piti kouluttaa järjestelmä ja sitten arvioida uusia kuvia, jotka sopivat heidän rekisteröityjä mieltymyksiään. Toisessa kierroksessa tutkittiin käyttäjän kykyä arvata muiden mieltymyksiä.

Tutkimuksesta – esimerkkikuvat pexels.com:ista, jotka soveltuvat AEbA:han.

Tällainen lähestymistapa ei välttämättä sovi kaikille, koska ei kaikilla ole kehittynyt esteettistä herkkyyttä, mutta se voisi toimia joko pääasiallisena todennusmenetelmänä matalan tai keskitason turvallisuuden vaatimuksille tai yhtenä valittavista apumenetelmistä kahden tekijän todennuksessa (2FA).

Kuitenkin järjestelmän alkuvaiheessa oleva idea voisi muodostua lähtökohdaksi monimutkaisemmille esteettisille haastejärjestelmille, koska esitettävien kuvien määrä voidaan skaalata ylös oletusarvoisesti tarpeen mukaan, samalla tavalla kuin CAPTCHA-haasteet voidaan pidentää epävarman alkuperäisen tuloksen tapauksessa.

Mitä yksityiskohtaisempi ja laajempi haaste on, sitä parempaa turvallisuutta lähestymistapa voi tarjota.

Salasanan suhteellisen vahvuuden asteikko, kun useat AEbA-haasteen tekijät kerrotaan: ‘D’ edustaa haasteen aikana näytettävien kuvien määrää; Dhr edustaa kuvien määrää, jotka käyttäjän on valittava; ja ‘S’ on näyttöjen (eli vaiheiden) määrä lineaarisessa esteettisen valinnan prosessissa.

Ihmisten todentamisen yleisten käytäntöjen näkökulmasta AEbA yhdistää periaatteet jotakin, jonka tiedät (SYK) ja jotakin, mitä olet (SYA). Se perustuu kolmeen oletukseen: pidämme visuaalisesti miellyttäviä asioita helposti erotettavina yleisten muistiperiaatteiden mukaisesti; esteettiset mieltymyksemme pysyvät suhteellisen vakaina; ja eri käyttäjien mieltymykset eroavat riittävästi, jotta eroa ei voi arvata.

Tutkijat ehdottavat, että menetelmää voisi soveltaa koneoppimiskehyksiin, jotka ennustavat yksittäisten käyttäjien arvioita.

Tutkimuksen nimi on Beautiful secrets: using aesthetic images to authenticate users. Sen ovat laatineet kaksi tutkijaa Negevin Ben-Gurionin yliopiston ohjelmisto- ja tietojärjestelmätekniikan tiedekunnasta Beershebasta.

Kuvien alueen voima

AEbA ei perustu ulkoa opetteluun. Sen sijaan se käsittelee loppukäyttäjää koulutettuna kuvantunnistusjärjestelmänä, jolle on kehittynyt vankka ja hyvin yksilöllinen mielihyväreaktioiden kirjo, ja hyödyntää näitä vahvoja mielihyväassosiaatioita.

Pohjimmiltaan AEbA perustuu ihmisen vastineeseen konenäön ja kuvansynteesijärjestelmien abstrakteille ennakkotiedoille. Ne voivat välittää tyylin ja tietyn kuva-alueen ominaisuudet sitoutumatta yhteen muuttumattomaan kuvaan. Tällaisten ennakkotietojen avulla generatiivinen kilpaileva verkko (GAN) voidaan kouluttaa sisällyttämään kuva-alue (esimerkiksi Van Goghin tyyli) muuten täysin uusien kuvien tuottamiseen.

Uusi tutkimus esittää aiemman kirjallisuuden todisteita, että kuvat ovat helpompia muistaa kuin sanat, että miellyttävät kuvat ovat helpompia muistaa kuin yleiset kuvat, ja että aktiivinen kuvien arviointi (kuten AEbA:n lyhyen koulutusprosessin aikana) parantaa kuvien muistettavuutta entisestään. Tutkimukset 1970-luvulta lähtien ovat osoittaneet, että ihmisillä on “massiivinen tallennuskapasiteetti” kuville yleensä ja aiemmin nähdyille kuville, ja kykymme sisällyttää kuvia muistiin on osoitettu merkittävästi ylittävä sanallisen muistin kapasiteettimme.

Vaikka yleinen järki viittaa siihen, että alan asiantuntijat, kuten radiologit, olisivat herkimpiä omien alueidensa kuvia kohtaan, 2010 tutkimus on väittänyt, että muistikapasiteetti arkisten kuvien osalta on paljon suurempi kuin alakohtaisen kuvan osalta, jopa niillä, joilla on visuaalinen “erikoisala”.

Mieltymyksiin perustuva todennus

Mieltymysten hyödyntäminen todennusmenetelmänä nousi esiin kahdessa Palo Alto Research Centerin Markus Jakobssonin johtamassa tutkimuksessa vuodesta 2008 alkaen. Tämä mieltymyksiin perustuvaa todennusta (PBA) koskeva tutkimus esitti, että musiikki, ruoka, taideteokset ja muut mieluisat asiat ovat juurtuneet mieleemme ja niitä vahvistavat voimakkaat sisäiset motivaatiot.

Mieltymyksiin perustuvaa todennusta (PBA) ehdotettiin alun perin vain salasanojen palauttamisen apuvälineeksi, käyttäen kysymyksiä kuten “Pidätkö country-musiikista?”, ja keskittyen tekstimuotoisiin mieltymyksiin perinteisten mnemonisten periaatteiden mukaan, eikä visuaalisiin syötteisiin.

Myöhempi Jakobssonin yhteistyötutkimus vuonna 2012 korvasi tekstin kuvilla:

Kuvakaappaus kalibrointi-/rekisteröintivaiheesta Markus Jakobssonin 2012 PBA-projektissa. Lähde

Kuitenkin tutkijat huomauttavat, että tämä skeema ei ota huomioon kuvien esteettistä arviointia, vaan käyttää kuvia vain sanojen tai käsitteiden vastineina. Sen sijaan AEbA pyrkii havaitsemaan käyttäjäkohtaisen “miellyttävän alueen”, joka ei ole suoraan liitetty tiettyihin asioihin tai toimintoihin.

Tutkimuksen kirjoittajat myös huomauttavat, että on käytännön rajoituksia siinä, kuinka monta kohtaa voidaan esittää katsojalle tämän lähestymistavan mukaan, kun taas abstraktimman käyttäjän mieltymysmallin kehittäminen poistaa nämä rajoitukset ja tekee ulkoiset hyökkäykset ja matkimisen (esim. kalastelun, henkilökohtaisen tiedon tai muiden harhauttamisteknikoiden kautta) paljon vaikeammaksi.

Graafiset salasanat edeltävät tätä työtä, ja monia järjestelmiä kehitettiin 1990-luvun lopulla. Aikakauden tutkimus tarkastelee PassFacesia, jossa käyttäjien piti muistaa kasvot (paitsi heidän omansa), eikä salasanoja. Tässä lähestymistavassa mahdollinen tunkeutuja tarvitsisi poikkeuksellisen intiimin tietämyksen käyttäjän kasvojen suosikkeista. Lisäksi käyttäjän voitiin olettaa valitsevan samat kasvot toistuvasti perehdytysvaiheessa.

Lontoon Goldsmiths-yliopistossa kokeiltiin 1990-luvun lopulla PassFaces-skeemi, jossa käyttäjien piti valita ja muistaa neljä muun henkilön kasvoa. Alkuperäinen valinta perustui käyttäjän omiin suosikkeihin, ja tässä mielessä työ on liitetty AEbA:han. Lähde

AEbA:han lähinnä liittyvä on Déjà vu, jossa katsojille esitettiin satunnaisia taideteoksia, eikä välttämättä miellyttäviä kuvia, vaan tarkoituksena oli käyttää häiritseviä ja epäsointuvia kuvia auttamaan käyttäjiä muistamaan tietyt kuvat, jotka he sisällyttäisivät “portfolioonsa” alkuvaiheessa, ja myöhemmin heidän pitäisi tunnistaa ne useista mahdollisista kuvista todennusaikana.

Kokoamassa “suosikkikuvia” Déjà vu:lle. Lähde: https://netsec.ethz.ch/publications/papers/usenix.pdf

Tutkijat huomauttavat, että tämä lähestymistapa jättää huomiotta neuroestetiikan kirjallisuuden hyödyt (ts. käyttäjällä on vain vähän sisäistä motivaatiota muodostaa yhteys tarjottuihin satunnaisiin kuviin).

Lisäksi tämä menetelmä on altis “olan yli tarkkailulle”, jossa läheinen (tai Man-in-the-Middle) hyökkääjä voi saada mahdollisuuden nähdä, mitkä kuvat valitaan. Sen sijaan AEbA:n täydellinen toteutus ei toistaisi kuvia, jotka olivat aiemmin käytetty koulutus- tai todennusistunnoissa.

Lisäksi tutkimus huomauttaa*:

‘Yksi graafisten salasanojen ongelma on, että käyttäjät usein valitsevat yksinkertaisia piirroksia, mikä vähentää näiden salasanojen vaihtelua ja tekee niistä alttiimpia hyökkäyksille. Toinen ongelma (ja mahdollisesti edellisen syy) on mahdollinen häiriö, jos tällaisia skeemoja käytetään useissa järjestelmissä, eli käyttäjän muisti yhden järjestelmän salasanasta häiritsee toisen järjestelmän salasanan muistamista. Nämä ongelmat ovat vähäisempiä, kun toteutetaan AEbA, joka perustuu sisäisiin suosikkeihin, jotka eivät riipu tietystä tilistä tai kuvien muistamisesta.’

Tutkijat korostavat myös AEbA:n lisäetua: kontekstuaalinen havainto. Vaikka olan yli tarkkailija tai RAT-hyökkääjä pystyisikin näkemään todennusistunnon, he eivät tietäisi, kuinka kaukana vähän pidetyt kuvat (eli kuvat, jotka käyttäjä arvioi huonosti tai hylkää todennuksessa) ovat pidetystä kuvasta – tekijä, joka on erilainen joka kerta.

‘Näin ollen tieto siitä, että joku pitää kuvasta, ei välttämättä auta, jos emme tiedä, kuinka paljon hän pitää siitä suhteessa muihin esitetyn joukon kuviin.’

Lisäksi on mahdotonta, että käyttäjä voi tallentaa salasanansa turvattomasti mukavuuden vuoksi, kuten paperilappuselle, koska heidän suosikkikuvien alueensa on erittäin abstrakti ja yksinkertaiseksi kuvaukseksi palautumaton.

AEbA:n testaus

Tutkijat toteuttivat järjestelmän pelinä testatakseen hankkeen perusoletuksia. He kokosivat 318 kuvan tietokannan ilmaisen kuvapankin pexels.comin kuvista ja lisäsivät mukaan kuvia henkilökohtaisesta arkistosta.

Kuvat luokiteltiin kahdeksaan kategoriaan (Universumi, Luonto, Vuoret, Metsä, Kukat, Kaupunkimaiset, Rannikko ja Muu), ja kokeet jaettiin rekisteröintiin (jossa kuvat arvioitiin käyttäjien toimesta kerran kymmenen minuutin istunnossa), todennuspeliin ja lopulta vastustajapeliin (arvioimalla muiden kuvamieltymyksiä).

Kun osallistumattomat henkilöt oli karsittu, mukavuusotos eli kokeeseen osallistuva ryhmä supistui 33 kelvolliseen pelaajaan: 21 naiseen ja 12 mieheen.

Rekisteröinti

Rekisteröintivaiheessa saatiin 3722 arviota 274:stä kuvasta, keskiarvo 6,07, mediaani 6, tuloksena useimmin 7 ja 8. Vähiten suosittu kuva sai 2,32 pistettä, ja suosituin 8,63 pistettä.

Kuva-arvioiden jakauma kokeen parhaiten suoriutuneilla osallistujilla.

Tutkijat väittävät, että kuva-arvioiden selvä painottuminen korkeisiin ja mataliin arvoihin yhdistettynä käyttäjäkohtaisiin eroihin osoittavat, että käyttäjät pystyvät antamaan erittäin erottuvia arvioita esitetyille kuville ilman, että tarvitaan selvästi epämiellyttäviä tai “pois alueelta” -kuvia. Näyttää siltä, että yleisesti vaihtelevat mieltymykset ja suosikkikuvat pienessä käyttäjäryhmässä ovat riittäviä AEbA:n keskeisen käsitteen vahvistamiseen.

Esimerkkikuvia eri käyttäjien arvioilla.

Todennus

Todennuspelissä suoritettiin 264 pelisessiota, joissa jokainen osallistuja pelasi kahdesti keskimäärin kahdeksan sessiota. Keskimääräinen onnistumisprosentti oli 76%.

Peliarvosanojen jakautumisen laatikkojanakaavio 33 kokeen osanottajasta, jossa keskiarvot on merkitty mustalla viivalla, näyttäen mediaanin, ensimmäisen ja kolmannen kvantiilin, minimin, maksimin ja poikkeamat.

Vaikka suorituskykyssä oli “lievä lasku” ajan myötä, se väheni merkittävästi 50 %:n parhaimmistoista, ja käytännössä katosi 11 parhaan osanottajan (kolmanneksen lopullisesta käyttäjäryhmästä) joukossa.

Vastustajapeli

Vastustajapelissä sai pelata rajoittamattomasti (toisin kuin rekisteröinti), ja se tapahtui kymmenen päivän kuluttua pelivaiheen aloittamisesta. 190 peliä laskettiin tuloksiin (pois lukien pelit, joissa ilmeni teknisiä ongelmia). Oikeiden vastustajavalintojen keskiarvo oli 2,88, 36 %:n onnistumisprosentti, joka vastasi satunnaisuutta (erityisesti kun otetaan huomioon aineiston pieni kuvamäärä). Kuitenkin seitsemässä pelissä osallistujat onnistuivat arvioimaan 75 % tai enemmän oikeista kuvista.

Johtopäätös

Epävirallinen testausmenetelmä (kuten mukavuusotoksen käyttäminen testaamiseen) osoittaa, että lähestymistapa on vasta alustava näyttö konseptin toimivuudesta; aloitteleva osoitus siitä, että ihmiskeskeinen “alueen kaappaus” voisi tarjota helpon ja jopa nautinnollisen todennusmenetelmän, joka on vaikea kaapata tai häiritä. On selvää, että paljon tarkemmat kokeet, joissa on suurempi osallistujamäärä ja oikein suunniteltu todennusskenaario, olisi tarpeen osoittamaan AEbA:n arvo.

Tutkijat päättelevät:

‘Olisi myös mielenkiintoista tutkia koneoppimismenetelmien potentiaalia yksittäisten käyttäjien arvioiden ennustamiseen ja oikeiden kuvien ja harhautuskuvien generoimiseen, joita käyttäjä ei ole aiemmin arvioinut. Tämä voisi kasvattaa salasana-avaruutta kasvattamalla yksittäisten käyttäjien kuvapoolia ja vaihtelua.’

*Minun muunnos kirjoittajien sisäisistä viittauksista hyperlinkkeihin

Julkaistu ensimmäisen kerran 13. huhtikuuta 2022.