“Profesionālu” ļaunprātīgu tiešsaistes atsauksmju noteikšana, izmantojot mašīnmācīšanos

Jaunā pētniecības sadarbība starp Ķīnu un ASV piedāvā veidu, kā atklāt ļaunprātīgus e-komercijas pārskatus, kas paredzēti, lai grautu konkurentus vai veicinātu šantāžu, izmantojot šādu recenzentu parakstu uzvedību.

Sistēma ar nosaukumu ļaunprātīga lietotāja noteikšanas modelis (MMD), izmanto Metriskā mācīšanās, tehnika parasti izmanto datorredzēšanā un ieteikuma sistēmas, kopā ar atkārtotu neironu tīklu (RNN), lai identificētu un marķētu šādu recenzentu rezultātus, kurus dokumentā nosauc. Profesionāli ļaunprātīgi lietotāji (PMU).

Lieliski! 1 zvaigzne

Lielākā daļa tiešsaistes e-komercijas atsauksmju sniedz divu veidu lietotāju atsauksmes: vērtējumu zvaigznītēs (vai vērtējumu no 10) un tekstu balstītu atsauksmi, un tipiskā gadījumā tie atbilst loģiski (ti, slikta atsauksme tiks pievienota zems vērtējums).

Tomēr PMU parasti grauj šo loģiku, atstājot sliktu teksta pārskatu ar augstu novērtējumu vai sliktu vērtējumu kopā ar labu atsauksmi.

Tas ļauj lietotāja atsauksmei nodarīt kaitējumu reputācijai, neiedarbinot salīdzinoši vienkāršos filtrus, ko izvieto e-komercijas vietnes, lai identificētu un risinātu ļaunprātīgi negatīvu atsauksmju sniedzēju rezultātus. Ja filtrs, kura pamatā ir dabiskās valodas apstrāde (NLP), apskata tekstā identificē aizrautīgu, šo “karodziņu” faktiski atceļ augstais zvaigznītes (vai decimālais) vērtējums, ko arī piešķīris PMU, tādējādi ļaunprātīgo saturu padarot par “neitrālu”. , no statistikas viedokļa.

Jaunajā dokumentā norādīts, ka PMU nolūks bieži ir izspiest naudu no tiešsaistes mazumtirgotājiem apmaiņā pret negatīvu atsauksmju grozīšanu un/vai solījumu vairs nepublicēt negatīvas atsauksmes. Dažos gadījumos aktieri ir ad hoc indivīdi meklē atlaides, lai gan bieži PMU ir gadījuma darbā cietušā konkurenti.

Negatīvu atsauksmju maskēšana

Pašreizējās paaudzes automatizētie detektori šādiem pārskatiem izmanto sadarbības filtrēšanu vai a uz saturu balstīts modelis, un meklē skaidrus un nepārprotamus "ārpuses" — atsauksmes, kas ir vienlīdz negatīvas abās atgriezeniskās saites metodēs un kas ievērojami atšķiras no vispārējās tendences attiecībā uz atsauksmju noskaņojumu un vērtējumu.

Otrs klasiskais paraksts, ko izmanto šādi filtri, ir augsts publicēšanas biežums, turpretim PMU publicēs stratēģiski un tikai reizēm (jo katra pārskatīšana var būt vai nu atsevišķa komisijas maksa, vai arī posms garākā stratēģijā, kas izstrādāta, lai aptumšotu “biežuma” metriku. ).

Tāpēc jaunā raksta pētnieki ir integrējuši profesionālu ļaunprātīgu atsauksmju dīvaino polaritāti īpašā sistēmā, kā rezultātā ir izveidots algoritms, kas ir gandrīz līdzvērtīgs cilvēka recenzenta spējai "saost žurku" pie atšķirības starp vērtējumu un pārskatu. teksta saturs.

Salīdzinājums ar iepriekšējām pieejām

Tā kā, kā norāda autori, MMD ir pirmā sistēma, kas mēģina identificēt PMU, pamatojoties uz to šizofrēnisko publicēšanas stilu, nav tiešu iepriekšējo darbu, ar kuru to salīdzināt. Tāpēc pētnieki salīdzināja savu sistēmu ar vairākiem komponentu algoritmiem, no kuriem bieži ir atkarīgi tradicionālie automatizētie filtri, tostarp K-means++ klasterizāciju; cienījamais Statistisko izņēmumu noteikšana (SOD); Hysad; Pusbēdīgi; CNN-skumji; Un Apmelojošu lietotāju noteikšanas ieteikuma sistēma (SDRS).

Pētnieki novēro:

“[Ieslēdzot] visās četrās datu kopās, mūsu piedāvātais modelis MMD (MLC+MUP) pārspēj visas bāzes līnijas F-rezultāta ziņā. Ņemiet vērā, ka MMD ir MLC un MUP kombinācija, kas nodrošina tā pārākumu pār uzraudzītiem un neuzraudzītiem modeļiem kopumā.

Rakstā arī norādīts, ka MMD varētu kalpot par noderīgu priekšapstrādes metodi tradicionālajām automatizētajām filtru sistēmām un sniedz eksperimentālus rezultātus vairākās datu kopās, tostarp Uz lietotāju balstīta sadarbības filtrēšana (UBCF), Uz vienumiem balstīta sadarbības filtrēšana (IBCF), Matricas faktorizēšana (MF-eALS), Beijesa personalizētais rangs (MF-BPR), un Neironu sadarbības filtrēšana (NCF).

Runājot par Situāciju attiecība (HR) un Normalizēta diskontētā kumulatīvā peļņa (NDCG) šo pārbaudīto palielinājumu rezultātos autori norāda:

"Starp visām četrām datu kopām MMD ievērojami uzlabo ieteikumu modeļus HR un NDCG ziņā. Konkrēti, MMD var uzlabot HR veiktspēju vidēji par 28.7% un HDCG vidēji par 17.3%.

Dzēšot profesionālus ļaunprātīgos lietotājus, MMD var uzlabot datu kopu kvalitāti. Bez šiem profesionālajiem ļaunprātīgo lietotāju viltojumiem [atsauksmes], datu kopa kļūst lielāka [intuitīvs].'

Jūsu darbs IR Klientu apkalpošana papīrs tiek nosaukts Atklājiet profesionālu ļaunprātīgu lietotāju, izmantojot metrisko apmācību ieteikumu sistēmās, un nāk no Jilin Universitātes Datorzinātņu un tehnoloģiju katedras pētniekiem; Ķīnas Zinātņu akadēmijas galvenā inteliģentās informācijas apstrādes laboratorija Pekinā; un Biznesa skola Rutgersā Ņūdžersijā.

Dati un pieeja

PMU noteikšana ir multimodāls izaicinājums, jo ir jāņem vērā divi neekvivalenti parametri (skaitliskās vērtības zvaigznīte/decimālzīme un teksta pārskats). Jaunā dokumenta autori apgalvo, ka neviens iepriekšējais darbs nav risināja šo izaicinājumu.

MMD nodarbina a Hierarhisks divkāršas uzmanības atkārtots neironu tīkls (HDAN), lai pielīdzinātu atsauksmju saturu noskaņojuma rezultātam.

HDAN izmanto uzmanības mehānismus, lai katram vārdam un katram teikumam piešķirtu svaru. Augšējā attēlā autori norāda vārdu nabadzīgāka pārskatā nepārprotami jāpiešķir lielāka nozīme nekā konkurējošiem vārdiem.

Projektā HDAN uzskatīja par pamatu produktu vērtējumu četrās datu kopās. Datu kopas bija  Amazon.com; Yelp par RecSys (2013); un divas “reālās pasaules” (nevis eksperimentālas) datu kopas no Taobao un Jindong.

MMD izmanto Metric Learning, kas mēģina novērtēt precīzu attālumu starp entītijām, lai raksturotu kopējo datu attiecību grupu.

MMD sākas ar a viena karstā kodēšana lai atlasītu lietotāju un vienumu, izmantojot latentā faktora modeli (LFM), kas iegūst bāzes vērtējuma punktu. Tikmēr HDAN projicē pārskata saturu noskaņojuma rādītājā kā papildu datus.

Pēc tam rezultāti tiek apstrādāti ļaunprātīgu lietotāju profilēšanas (MUP) modelī, kas izvada sentimenta plaisas vektors – atšķirība starp recenzijas teksta satura vērtējumu un aplēsto noskaņojuma punktu skaitu. Tādā veidā pirmo reizi PMU var klasificēt un marķēt.

Metric Learning for Clustering (MLC) izmanto šīs izvades iezīmes, lai izveidotu metriku, pēc kuras tiek aprēķināta varbūtība, ka lietotāja atsauksme ir ļaunprātīga.

Cilvēku testi

Papildus iepriekš aprakstītajiem kvantitatīvajiem rezultātiem pētnieki veica lietotāju pētījumu, kurā 20 studentiem tika uzdots identificēt ļaunprātīgas atsauksmes, pamatojoties tikai uz saturu un zvaigžņu vērtējumu. Dalībniekiem tika lūgts atsauksmes novērtēt kā 0 ("parastiem" recenzentiem) vai 1 (profesionālam ļaunprātīgam lietotājam).

No 50/50 sadalījuma starp parastajām un ļaunprātīgajām atsauksmēm studenti vidēji atzīmēja 24 patiesi pozitīvus un 24 patiesi negatīvus lietotājus. Salīdzinājumam, MMD spēja iezīmēt vidēji 23 patiesi pozitīvus un 24 patiesi negatīvus lietotājus, kas darbojās gandrīz cilvēka līmenī un pārsniedza uzdevuma bāzes līnijas.

Autori secina:

“Būtībā MMD ir vispārīgs risinājums, kas var ne tikai atklāt šajā rakstā aplūkotos profesionālus ļaunprātīgos lietotājus, bet arī kalpot par vispārīgu pamatu ļaunprātīgu lietotāju noteikšanai. Izmantojot vairāk datu, piemēram, attēlu, video vai skaņu, MMD ideja var būt pamācoša, lai atklātu noskaņojuma plaisu starp to nosaukumu un saturu, kam ir gaiša nākotne, lai cīnītos pret dažādām maskēšanas stratēģijām dažādās lietojumprogrammās.

 

Pirmo reizi publicēts 20. gada 2022. maijā.