Identifisering av Instagram Crowdturfere med Maskinlæring

Forskere i Italia og Iran hevder å ha utviklet det første maskinlæringsystemet som kan gjenkjenne “crowdturfing”-aktivitet fra menneskelige (i motsetning til automatiserte) influenser-kontoer på Instagram-plattformen. Crowdturfere er ekte mennesker som utfører “profilbyggings”-tjenester for plattformer som selger slike aktiviteter på en grosistbasis.

Den nye metoden hevder en nøyaktighetspoeng på rundt 95%, og bruker semi-overvåket læring i naturligspråklig prosessering (NLP)-systemer.

Forfatterne hevder at, så langt de vet, deres system representerer det første crowdturfing (CT)-detektor-systemet som kan pålitelig finne ikke-robot-kontoer som er engasjert i falsk, betalt profilengasjement og boosting.

For å oppnå dette, kjøpte forfatterne 1293 crowdturfing-profiler fra 11 CT-plattform-tilbydere for å få data til å trene deres CT-detektor. Ettersom Instagram har en rekke effektive anti-robot-mål, merker forskerne til, at de som søker å utnytte plattformens enorme brukerbase for kommersielle formål har vendt seg til å betale ekte influensere på Instagram til å “engasjere strategisk” med “kunde”-kontoer, hovedsakelig ved å dele kommentarer eller gjennom aktivitet relatert til kommentarer på innlegg.

Etter å ha trent modellen, slapp forfatterne den løs for å analysere engasjementsprofilene til 20 “mega-influensere”, hver med over 1 million følgere, og konkluderte med at ‘mer enn 20% av deres engasjement var kunstig’.

Den artikkelen heter Er vi alle i en Truman Show? Oppdaging av Instagram Crowdturfing gjennom Selv-Trening, og kommer fra fem forskere på Universitetet i Padova i Italia og Imam Reza Universitet i Iran.

Bruk av Instagrams TOS

I motsetning til Twitter, som er favoritt blant sosiale medieforskere på grunn av sin tilnærming til å hjelpe forskning, tilbyr Instagram ikke bare ingen API eller oppdaterte data-dumper for å hjelpe forskere, men forbryter også maskin-drevet browsing i sine vilkår for tjenesten. Derfor var forskernes første oppgave å få en unntak fra deres veiledende Institutional Review Board, begrunnet av tidligere arbeid som brukte en lignende tilnærming til å undersøke “undergrunnsaktiviteter”.

Crowdturfing-tjenestene ble kjøpt for ferske Instagram-kontoer som ble opprettet av forskerne for deres formål, alle av disse ble slettet etter eksperimentet, og eliminerte dermed involvering av “legitime” brukere. Ingen av influenser-kontoene som ble studert eller CT-plattform-tjenestene er navngitt.

En annen etisk hindring var at forskerne ikke kunne be om samtykke fra influenserne som ble studert, på grunn av Hawthorne-effekten (dvs. det kunne ha endret influenserens atferd), og denne unntakningen ble også gitt av IRB.

Til slutt, ettersom Instagram tillater “manuell innhenting” av data, kompromisset forskerne med deres overtredelse av TOS ved å sette deres automatiserte skraping-verktøy til “menneskelig hastighet”, noe som nødvendiggjorde en data-innsamlingsfasen på fem måneder.

Mennesker til salgs

Forskerne kjøpte 100 “falske følger”-profiler fra hver av 11 (unavnnete) tilbydere.

Artikkelen sier*:

‘Alle tilbyderne vi valgte sikrer å levere følgere som interagerer med målprofilene ved å like og kommentere på deres innlegg for å øke deres engasjementsrate.

‘Disse CT-profilene blir identifisert som høykvalitetsfølgere og koster vanligvis mer enn “basis”-falske profiler. Påliteligheten til disse tilbyderne støttes av berømte [anmeldelses]plattformer som TrustPilot.’

Fra artikkelen, statistikk på de (anonymiserte) CT-plattform-tilbyderne, hver en markedsplass for ‘korrumperte’ virkelige influenser-kontoer. Denne tabellen omfatter informasjon rapportert av tilbyderne og hentet av forskerne gjennom analysen av de 100 profilene kjøpt fra hver kilde. Kilde: https://arxiv.org/pdf/2206.12904.pdf

Gjennomsnittsprisen for å kjøpe en Instagram-influenser, merker artikkelen, er ikke så høy, på rundt 3 dollar for 100 “høykvalitets”-følgere. Forfatterne merker:

‘De fleste tilbyderne leverer følgerne innen få timer. De tilbyr en drop-beskyttelse, som betyr at antallet følgere kunden kjøper vil enten forbli stabilt over tid eller nye følgere vil bli levert for å fylle opp de tapte.’

Forskerne rapporterer at noen av deres ferske Instagram-kontoer led en tap på 15-20% av CT-følgere etter en måned, men at i visse tilfeller de fikk mer enn forventet. For den dyreste CT-tilbyderen (CT-10, i tabellen over), ble bare tre følgere tapt etter en måned.

Artikkelen merker at forholdet mellom følgere og følging blir mer “autentisk” jo mer du betaler til CT-tilbyderen, med den nest dyreste tilbyderen som tilbyr et forhold som er svært nært en standardbrukers baseline.

En karakteristika ved en CT-Instagram-konto er at profilen sjelden blir satt til “privat” (en faktum som muliggjorde datainnsamling fra de kjøpte falske følgerne, siden de fleste analyser sentrerte seg rundt profiler og relaterte kommentarer), selv om dette ikke bør sees som en pålitelig “signal” i denne sammenhengen.

‘Personer som går med på disse plattformene er interessert i å generere et minimum antall innlegg som gjør dem pålitelige, bortsett fra noen få tilfeller (CT-4, CT-10). De lavkvalitets-profilene viser en svært høy ubalanse i følgere og følging, og gjennomsnittsantallet av innlegg er nær 0, langt under CT-profilene.’

Data

Forskerne samlet inn data gjennom en implementering av browser-automatiserings-rammeverket Selenium. Den resulterende datasett inkluderer profilinformasjon fra 1293 CT- og 1307 ikke-CT-brukere.

Denne åpenbart lave prøvekvantiteten gjorde det mulig å sette Selenium til en troverdig menneskelig hastighet over en rasjonell periode. I tillegg merker forfatterne at den representative/fortolkningsfulle kraften til semi-overvåkede læringsteknikker aksepterer små datasett svært godt. Etter å ha eksperimentert, for grundighetens skyld, med en fullt overvåket modell, konkluderer forskerne:

‘[Resultatene] i semi-overvåket modus skiller seg ikke vesentlig fra dem i en overvåket måte. Dette antyder at CT-profiler deler svært like [karakteristika], og at algoritmen kan konvergere [gjennom en liten mengde] merket data.’

Forfatterne samlet inn all tilgjengelig data fra kildekoden til de “kompromitterte” brukernes profil-sider, inkludert detaljer som vanligvis skjules når de rendres, som #videos-elementet.

De behandlet deretter data-egenskapene ved å fjerne de med null eller lav varians, og konverterte til slutt alle kategoriske eller ikke-numeriske data til strengt numeriske eller booleske egenskaper.

Egenskaper til den endelige datasett.

Metode og Undersøkelser

Foruten Selenium, teknologier som ble brukt over eksperimentene inkluderer: en versjon av SpaCy implementert med en transformer-basert pipeline; en scikit learn self-training klassifikator; og Instaloader-rammeverket.

Det finnes ingen vanlig ‘resultater’-del i den nye artikkelen, siden den handler om et objekt (dvs. automatisert inferens av korrupte Instagram-kontoer) som avviker fra det sentrale fokusområdet til nå (dvs. automatisert inferens av automatiserte bot-aktiviteter på Instagram), noe som betyr at det ikke finnes noen like-for-like tidligere arbeid å sammenligne det med.

Forskerne tok i bruk en rekke metoder på de tilgjengelige kjøpte brukerne, (som de føler seg komfortable med å beskrive som “falske” i stedet for bare “ikke-CT”, siden disse ekte kontoene utfører ikke-organisk, betalt engasjementsaktivitet), over en rekke NLP-relaterte teknologier.

Blant de aspektene som ble studert, var språkanalyse (som i CT-verdenen nesten alltid standardiserer til engelsk, selv om CT-plattformer også tilbyr geolokaliserte ikke-engelske følgere); kommentar-tellinger (hvor falske brukere holder seg svært nær frekvensen til ekte brukere, av frykt for å bli oppdaget); og vanlige ord-analyse:

Ord-skyer fra falske og ekte brukere.

Artikkelen merker at forekomsten av ordet “dokter” (se bilde over) i falske kontoer synes å ha sammenheng med en spesifikk intern kampanje:

‘“Dokter” [opptrådte] i 1069 distinkte kommentarer. Ved å undersøke videre kontoene som spammet [dette] ordet, fant vi en liten del av hva som synes å være en botnet hvis mål er å spamme “Instagram-leger”-kontoer. Alle disse legenes profiler har en WhatsApp-forretningslenke som, når den klikkes, starter en chat med en melding om å fullføre.’

Så langt forskerne kan slutte, kan dette merkelige artefaktet være et levn av en stor botnet som de støtte på mens de søkte etter aktiviteter fra ekte Instagram-brukere.

I alt samlet forskerne inn 603 007 kommentarer fra innlegg over 248 388 unike Instagram-brukere, hvorav, estimerer forfatterne, 55 719 var crowdturfing-kontoer.

Artikkelen merker med interesse dominansen av kvinnelige temaer i den samlede datamengden. Etter å ha brukt GPU-PDMM (en teknikk utviklet for obligatorisk korte innlegg på Twitter) for å trekke ut 12 830 passende kommentarer fra en tilgjengelig korpus på 121 822 kommentarer, fant algoritmen at i å vurdere innhold fra 12 menn og 8 kvinner, var de fleste kommentarene relatert til kvinnelige temaer.

De 10 øverste emnene trukket ut fra falske kommentarer i ett av forskernes eksperimenter.

Forskerne konkluderer:

‘[ Mens] Instagram og forskningssamfunnet har fokusert mye på å oppdage bots og automatiserte kontoer, mener vi at det bør gjennomføres flere studier om CT-aktiviteter, som negativt påvirker influenser-markedsføring, Instagram-plattformen og de fleste av dens brukere.’

* Forskerne siterte TrustPilot-URL er utelatt.

Først publisert 28. juni 2022.