Andersonin kulma
Uusi tutkimus ehdottaa todella “henkilökohtaista” mainontaa

Keskeiset kohdatUni-AdGen luo mainoksia käyttäjän omasta klikkaushistoriasta arvattujen kohorttiryhmien…
Näytä lisää
- Uni-AdGen luo mainoksia käyttäjän omasta klikkaushistoriasta arvattujen kohorttiryhmien sijaan.
- Järjestelmä luopuu diffuusiomalleista ja siirtyy autoregressiiviseen generointiin, joka rakentaa tekstiä ja kuvia tokeni tokenilta.
- Sen ulottuvuus pysyy rajattuna jälleenmyyjän suljettuun ympäristöön, jossa käyttäjät ovat jo suostuneet seurantaan.
Uudelleenmäärittelyssä “itsemainostamisesta”, uusi menetelmä kaivaa käyttäjän omat napsautukset luodakseen räätälöidyt verkkomainokset hänen omien erityisten historioidensa perusteella.
Vaikka mainosagentuurit ovat halukkaita kumottamaan idean, että mainoskanavat voivat palvella mainoksia perustuen siihen, mitä juuri puhuit kotona, mainosten “henkilökohtaisuuden” laajuus, jota näkyy verkkosivuilla ja sosiaalisen median sovelluksissa, on silti kerännyt otsikkoja viime vuosina.
Mainostajan ihannetilanteena on aina ollut, että palveltu mainos on “täydellinen vastine” katselijalle. Julkisen vastustuksen rajoituksissa verkkoseurannasta ja mitä ehkäiseviä toimia käyttäjä on asentanut sellaisen seurannan estämiseksi, generatiivinen tekoäly (jättäen syrjään pelot LLM-mainonnasta hakuja seuraavassa maailmassa) on erittäin kykenevä tuottamaan mainoskuvia ja -tekstejä riittävän nopeasti reaaliaikaiseen käyttöön.
Kuitenkin, tutkimuksen pääasiallinen tavoite ja suurin osa toteutuksista tähän mennessä on perustunut yhdistettyihin käyttäjätilastoihin, joten mikä tahansa katselijalle generoitu mainos perustuisi katselijan arveltuun kohorttiryhmään eikä hänen omiin yksilöllisiin historiaan.
Nyt, uusi tutkimusyhteistyö Kiinan ja Yhdysvaltojen välillä esittää järjestelmän mainoskuvien ja -tekstien generoimiseksi yksittäisille käyttäjille heidän omien aiempien napsautusten perusteella, kun he ovat kirjautuneet sivustolle, ja siirtymällä kohorttipohjaisista oletuksista, jotka ovat hallinneet suurinta osaa henkilökohtaista mainontatutkimusta tähän asti:

Esimerkki yksilöllisistä mainoksista. Ilman käyttäjän historiaa kontekstina, täydellinen vaikutus voidaan ainoastaan kuvitella. Lähde
Epätavallisesti, uusi lähestymistapa hylkää diffuusiopohjaiset mallit ja hyväksyy autoregressiivisen arkkitehtuurin – pääasiallinen ero on, että diffuusiomallit parantavat kuvaa vähitellen visuaalisesta melusta, kun taas autoregressiiviset mallit generoivat sisältöä kappale kerrallaan, ennustamalla jokaisen uuden elementin kaikista aiemmista:
Uuden generatiivisen mallin tueksi kirjoittajat kehittivät oman väitteensä mukaan ensimmäisen laajamittaisen kuva- ja tekstiaineiston personoitua mainontaa varten sekä uuden mittarin tämän erityisen tehtävän arviointiin. Testeissä heidän lähestymistapansa päihitti sekä yleiset vertailumallit että tätä haastetta käsittelevät nykyiset menetelmät ja kehykset.
Suljettu ekosysteemi
On syytä huomata ehdotetun työn laajuus, joka ei tarjoa mainostajille tapaa kiertää uusia toimenpiteitä kolmannen osapuolen seurannasta, vaan antaa riittävän suurelle myyjälle valtuuden näyttää kirjautuneelle asiakkaalle mainoksia, jotka liittyvät suoraan kyseiseen henkilöön.
Tämä ei välttämättä rajoitu asiakkaisiin, jotka ovat parhaillaan selaamassa myyjän omaa sivustoa: riippuen siitä, kuinka paljon käyttäjä on myyjälle antanut valtuuden seurata häntä muiden sivustojen yli, he voivat nähdä kohdennetut mainokset useilla muilla sivustoilla, jotka osallistuvat mainoshuutokauppoihin, joissa myyjä itse osallistuu.
Tällainen mainonnan ulottuvuus on yleensä rajoitettu suuren volyymin ja mittakaavan myyjiin, kuten Amazoniin länsimaissa (ja huomautamme, että Kiinan vastaavan kokoinen myyjä on osallistunut uuteen työhön – ks. alla), vaikka mikä tahansa vastaavan kokoinen toimija (kuten suosittu sosiaalisen median alusta) voisi teoriassa luoda vastaavan generatiivisen kehyksen.
Uusi artikkeli on otsikoitu Suunnittele mainoksesi: Henkilökohtainen mainonnan kuva- ja tekstigenerointi yhdistetyillä autoregressiivisillä malleilla, ja se tulee 18 kirjoittajalta Sun Yat-Sen yliopistosta Guangzhoussa, Northeastern yliopistosta ja Kiinan suurimmalta myyjältä JD.com (JD ):ilta (jolla on arvokas pääsy ostajien historiaan ja tottumuksiin). Koodi on julkaistu GitHubissa, ja asiaankuuluvat tarkistuspisteet on tehty saataville myös.
Data ja menetelmä
Tutkimushankkeessa rakennettu tietokanta on nimeltään Henkilökohtainen mainonnan kuva- ja teksti (PAd1M), ja se perustuu JD.com:n tarjoamaan tietoon. Kirjoittajat toteavat:
‘Jokainen tuote tarjoaa yleensä yli kymmenen kandidaattikuvaa ja -tekstiä, varmistaen, että moninaiset mieltymykset voidaan havaita täydellisesti. Voidakseen luotettavasti mallintaa mieltymyksiä, keräämme käyttäjien täydelliset napsautushistoriat sekä kuvista että teksteistä, suodattaen pois käyttäjät, joilla ei ole riittävästi toimintaa vähentämään melua.’
‘Tämä tuottaa tietokannan, jossa on 1 145 371 käyttäjää, 18 923 555 napsautettua tuotekuvaa ja -tekstiä, keskimäärin yli 16 multimodaalista historiallista käyttäytymistä käyttäjää kohden.’
Kunkin käyttäjän kohdalla yksi aiemmin napsautettu kuva- ja tekstipari valittiin kohde-esimerkiksi, minkä jälkeen tuote itsessään eristettiin kuvasta Grounded SAM:n avulla.
Myyjän toimittamat kuvaukset ja myyntivaltit liitettiin sitten tietueeseen, luoden tietokannan, jossa jokainen kohde-mainos on yhdistetty läpinäkyvään tuotekuvaan; rakenteelliseen tuotetietoon; ja aiempien kuva- ja tekstivuorovaikutusten historiaan, joka on tarkoitettu käyttäjän aiempien mieltymysten ja preferenssien havaitsemiseksi:

Käyttäjän profiili PAd1M-tietokannasta, jossa on kohde-mainos tuotetiedon ja aiempien kuva- ja tekstivuorovaikutusten historian kanssa, joka on tarkoitettu mallintamaan käyttäjän preferenssejä.
Tuloksena oleva tietokanta tarjoaa yli miljoonan käyttäjän ja lähes 19 miljoonan napsautetun kuvan ja tekstin, ja kirjoittajat toteavat, että kokoelma on huomattavasti suurempi kuin aiemmat henkilökohtaiset tietokannat.
Lisäksi tieto, poiketen aiheen tutkimuksen tyylistä, yhdistää sekä kuvia että tekstejä, sallien käyttäjien mieltymyksien mallinnuksen useissa eri modaliteeteissa, eikä ainoastaan yhdessä tietotyypissä.
PAd1M sisältää myös yksilöllisen preferenssin seurannan; toisin kuin aiemmat mainostietokannat, jotka on rakennettu suurten ryhmien klikkausosuuksien ympärille, PAd1M yhdistää vuorovaikutukset tiettyihin käyttäjiin JD.com:n tietojen perusteella.
Mittareina, standardimittareiden BLEU ja ROUGE lisäksi, tutkijat kehittivät oman mitta-työkalun nimeltään Tuotteen taustan samankaltaisuus (PBS). Perustuen aiempaan MoCo-v3-aloitteeseen, PBS on koulutettu 681 123 kuvaparilla, jotka esittävät samaa tuotetta eri taustoja vasten, sallien mittarin keskittyä kontekstin vaihteluun itse tuotteen sijaan.

Tuotteen taustan samankaltaisuus (PBS) antaa selvästi erilaiset samankaltaisuuspisteet mainoksille, jotka sisältävät saman tuotteen, mutta asettavat sen eri visuaalisiin konteksteihin. Toisin kuin kilpailevat mittarit, jotka tuottavat paljon pienempiä eroja.
Koulutuksen aikana jokainen kuva pariksi itsensä kanssa positiivisena esimerkkinä, kun taas kuva samasta tuotteesta asetettuna erilaiseen asetelmaan toimi negatiivisena esimerkkinä, koulutusstrategiana, jolla pyrittiin lisäämään herkkyyttä taustakontekstiin. Arviointitulokset, artikkelin mukaan, osoittavat suurempia samankaltaisuuseroja vastaavien ja epävastaavien taustojen välillä kuin mitä CLIP, DINO v3 tai mainittu MoCov3 tuottavat.
Kuten alla olevan kuvan vasemmassa yläosassa näkyy*, tutkijoiden Yhdistetty mainosgeneraattori (Uni-AdGen) -malli käyttää autoregressiivista visuaalista kieliarkkitehtuuria mainoskuvien ja -tekstien generoimiseen. Prosessi on johdettu rakenteellisesta ohjeesta, joka sisältää tehtävän määrittelyn ja tuotekuvauksen sekä myyntivaltteja:

Menetelmän yleiskatsaus.
Erityiset rajaavat merkit määrittävät mainostekstille varatun osan sekvenssistä. Kun teksti on generoitu, omistautunut kuva-merkki laukaisee kuvan generoinnin, kun taas sulkeva kuva-merkki merkitsee sen valmistumisen, ja generoidut merkit lähetetään erillisiin teksti- ja kuva-dekoodereihin.
Kuvien osalta LlamaGenin VQ-GAN-dekooderi muuttaa diskreetit kuvamerkit takaisin pikseleiksi.
Näin yhdistetty arkkitehtuuri generoi tekstiä ja kuvia yhden seuraavan merkin ennustus-kehyksessä, sen sijaan, että se riippuisi erillisistä putkistoista – menetelmä, jota on käytetty aiemmissa mainosjärjestelmissä samankaltaisella alueella.
Koulutuksen aikana malli oppii molemmat modaliteetit yhdessä, tekstimerkit ennustetaan syötejonoa ja aiemmin generoituja tekstejä vastaan. Kuva-merkit ennustetaan syötejonosta, generoiduista teksteistä ja aiemmin generoiduista kuva-merkeistä.
Pidäkseen generoituja mainoksia yhteydessä edistettävään tuotteeseen, Uni-AdGen käyttää etualan havainnointimoduulia perustuen DINO v2:iin, jotta voidaan injektoida tietoa läpinäkyvistä tuotekuvista autoregressiiviseen malliin.
Ohjeistuksen mukainen säätö (kouluttaminen malli seuraamaan tuotespesifejä generointiohjeita, jotka on johdettu kuvauksista ja myyntivalteista) käytettiin myös parantamaan sitoutumista myyjän toimittamiin kuvauksiin ja myyntivaltteihin, GPT-4o:n avulla suodatettaessa sopimattomia koulutus-esimerkkejä:
Henkilökohtaisuus perustui karkeasta hienoon preferenssimallintamiseen. Historialliset vuorovaikutukset suodatettiin ensin Tuotteen samankaltaisuuteen perustuvan näytteenoton (PSS) prosessilla suosimaan tuotteita, jotka muistuttavat kohdetuotetta. Jäljelle jäävät tietueet käsiteltiin Monimodaalisen mieltymysten poimintavaiheella, joka on suunniteltu tunnistamaan visuaaliset ja tekstuaaliset elementit, jotka todennäköisesti heijastavat käyttäjän mieltymyksiä – nämä preferenssit sisällytetään kehotteeseen ohjaamaan generointia.
Testit
Kirjoittajat toteavat, että heidän testauslähestymistapa on johdettu DeepSeekin Janus-Pro 7B:sta.
Malli koulutettiin eräkoko neljä, AdamW-optimoinnilla oppimisnopeudella 5e-5. Perusmalli hienosäädetään LoRA:n avulla, kun taas etualan havainnoinnin ja multimodaalisen mieltymysten poiminnan moduulit täysin hienosäädettiin (eli toisin kuin LoRA, perusmallin painot muutettiin pysyvästi).
Kaikki testit suoritettiin NVIDIA B200 GPU:lla, jossa on 192 GB VRAM:ia. Kuvien generoimiseksi PickScore, ImageReward ja ASE käytettiin visuaalisen laadun arviointiin, kun taas m-BLEU ja m-ROUGE† käytettiin mainostekstin arviointiin. Ihmisarvioijat arvioivat myös kuvien realismin ja sommittelun laadun, sekä tekstin tarkkuuden ja sujuvuuden, kaikki mitat laskettiin 500 tuotteen yli.
Kuvien generoimiseksi vertailukohteina käytettiin Qwen2.5-VL ja GPT-4o taustaa kuvaavien kehotteiden luomiseksi tuotekuvista, seurattuina ReliableAd, PosterMaker ja Flux-Fill lopullisten mainosten generoimiseksi. Tekstigeneroinnin vertailu suoritettiin Qwen2.5, Qwen3 ja DeepSeek-R1 vastaan.
Alkuvaiheiset vertailutulokset mainosgeneroinnista ovat alla:

Suorituskyky yleisessä mainosgeneroinnin vertailussa. Uni-AdGen vastasi tai ylitti vahvimpia kuvageneroinnin vertailukohteita esteettisessä laadussa ja PickScoressa, kun taas yhdistetty kuva- ja tekstimalli saavutti korkeimman m-ROUGE-pisteen kaikissa tekstigeneroinnin lähestymistavoissa. Ihmisarvioijien tulokset säilyivät kilpailukykyisinä molemmissa modaliteeteissa.
Näistä tuloksista kirjoittajat toteavat:
‘[Meidän] menetelmä saavuttaa parhaimman suorituskyvyn ImageRewardissa ja sijoittuu toiseksi sekä PickScoressa että ihmisarvioijien arvioissa, osoittaen sen ylivoimaisen suorituskyvyn esteettisessä laadussa ja käyttökelpoisten tulosten suuressa osuudessa. Vaikka ReliableAd johtaa ihmisarvioijien arvioissa, se jää merkittävästi jälkeen esteettisissä mittareissa. Toisaalta, PosterMaker ja Flux-Fill generoivat visuaalisesti miellyttäviä kuvia, mutta kärsivät merkittävistä käytettävyyden rajoituksista.
‘Kiitoksena tehokkaista lähestymistavoista, menetelmämme saavuttaa onnistuneesti visuaalisen sisällön ja käytännön hyödyllisyyden tasapainon.’
Henkilökohtainen mainosgenerointi arvioitiin 500 käyttäjällä, joilla oli tallennettu vuorovaikutushistoria, käyttäen mainittua PBS:ää kuvien samankaltaisuuden arviointiin ja BLEU:ta sekä ROUGE:a generoidun tekstin vertaamiseksi tuotteisiin, joita käyttäjät olivat todella napsauttaneet.
Koska yleiset mainosvertailukohteet eivät voineet sisällyttää käyttäjien historioita, vertailut siirrettiin järjestelmiin, jotka on suunniteltu henkilökohtaisuutta varten. Kuvageneroimisessa Flux-Kontext ja Pigeon valittiin vertailukohteiksi. Flux-Kontext toimitettiin ruudukolla aiemmista käyttäjän kuvista yhdessä kohdetuotekuvan kanssa, sallien aiempien preferenssien vaikuttavan generointiin.
Koska Pigeon ei tuke natiivisti ohjattua tuotteen asettamista, Uni-AdGeniin kehitetty etualan havainnointimoduuli integroitiin säilyttämään tuotteen johdonmukaisuutta. Tekstigeneroimisessa Qwen3 ja DeepSeek-R1 käytettiin, historiallisten tuotekuvauksien sisällyttäessä suoraan niiden ohjeistustemplaatteihin antaen käyttäjäkohtaisen kontekstin:

Henkilökohtaisen mainosgeneroinnin tulokset. Uni-AdGen ylitti Flux-Kontextin, Pigeonin, Qwen3:n ja DeepSeek-R1:n kaikissa ilmoitettuissa henkilökohtaisuuden mittareissa, kun taas ablaatiotutkimus osoitti, että historiallinen käyttäjädata, Tuotteen samankaltaisuuteen perustuva näytteenotto (PSS) ja monimodaalinen mieltymysten poiminta kaikki tuottivat mitattavissa olevia voittoja.
Tässä kirjoittajat kommentoivat:
‘Visualisoidut tulokset [alla olevassa kuvassa] osoittavat, että Flux-Kontext ei ymmärrä käyttäjien preferenssejä ja on altis yksittäisten esimerkkien kohinalle, mikä aiheuttaa merkittäviä poikkeamia vertailuaineistosta, kuten mainoksessa olevat asiattomat tuotteet moottoripyöräkuvassa.’

Esimerkkejä personoitujen mainosten tuottamisesta. Verrattuna Flux-Kontextiin, Pigeoniin, Qwen3:een ja DeepSeek-R1:een Uni-AdGen tuotti kuvia, jotka vastasivat paremmin käyttäjien todella napsauttamien mainosten visuaalista tyyliä ja kontekstia. Samalla se tuotti tekstiä, joka kattoi suuremman osuuden vertailuesimerkkien tuoteominaisuuksista ja myyntivalteista. Vastaavat ilmaukset on korostettu vihreällä.
Laadulliset esimerkit, kirjoittajien mukaan, osoittavat, että Flux-Kontext ja Pigeon usein tuottivat tuloksia, jotka poikkesivat visuaalisista ominaispiirteistä mainoksissa, joita käyttäjät olivat aiemmin napsauttaneet; kun taas Qwen3 ja DeepSeek-R1 generoimat tekstit jättivät puuttumaan joitain myyntivaltteja, jotka olivat läsnä todellisissa esimerkeissä.
Johtopäätös
Tämän hankkeen hyödyllisyys riippuu täysin käyttäjien suostumuksesta, ja laajentaa tämän “ennustavan” järjestelmän ulottuvuutta käyttäjähistoriaa hallitsevan verkkotunnuksen ulkopuolelle – tässä tapauksessa JD.com – edellyttää vielä rennompia käyttäjien nimenomaisia lupia useimmissa alueissa.
Kuitenkin, järjestelmä perustuu sellaisen hyperskaalaisen verkostovaikutuksen kaltaiseen, joka on voimassa tässä skenaariossa, ja (ehkä hieman toiveikkaasti) ajatukselle, että käyttäjät löytävät tämänkaltaisen todella henkilökohtaisen ja jopa ennakkoivat mainosjärjestelmän hyödylliseksi eikä häiritseväksi, ainakin suurimittakaavaisen myyjän “aidatun puutarhan” kontekstissa.
* Tämä kuva edustaa uutta, huolestuttavaa trendiä ‘yhdistelmäkuvista’ tutkimuspaperissa, jossa aiemmin erilliset kuvat (3-4 eri kuvaa) yhdistetään yhdeksi (julkaisuohjeiden mukaisesti enimmäisartikkelin pituuden rajoituksissa) ja käytetään ainoastaan viittauksena, usein ilman riittävää selitystä liittyvässä kuvatekstissä.
† ‘m’-etuliite osoittaa vertailua useiden ehdokastekstien kanssa.
Julkaistu ensimmäisen kerran tiistaina, 2. kesäkuuta 2026. Muutettu 18:21 EET oikaistaaksesi viimeisen ‘seinän’ ‘aidatun’ viimeisessä kappaleessa.












