Tekoälynatiivin mainossisällön äänenvoimakkuuden säädin

Suositun tekoälyn ”kuherruskuukausi” ei ole aivan vielä ohi. Jos vertaisimme tilannetta Netflixin kulta-ajan jälkeiseen suoratoistopalvelujen nykyiseen pirstaloitumiseen ja kaupallistumiseen, olisimme vuodessa 2019 tai suunnilleen siellä. Alan vakiintunutta toimijaa OpenAIta haastaa nyt vahvasti joukko hyvin rahoitettuja kilpailijoita, joista yksikään ei ole saavuttanut niin selvää etumatkaa, että se uskaltaisi tuoda mainoksia oikukkaalle käyttäjäkunnalleen.

Samoin ChatGPT rajaa chatissa näytettävät mainokset tällä hetkellä Free- ja Go-käyttäjille. Geminin mainokset näkyvät vain AI Overviews -koosteissa ja AI Mode -tilassa. Perplexity hylkäsi mainossuunnitelmansa viime talvena. xAI:n mainosten on määrä tulla käyttöön jossain vaiheessa. Microsoft Copilotilla mainoksia on jo, kun taas Claude torjuu ajatuksen täysin.

Tiedämme kuitenkin, ettei tämä voi jatkua näin. Kun päättelyn todelliset kustannukset alkavat hahmottua ja häämöttävät tekoälyalan listautumisannit nostavat osakkeenomistajien vaatimukset keskiöön, voimme historian perusteella odottaa, että LLM-mallien tuottamaa sisältöä aletaan lopulta tarkastella sen erottamiseksi mainosrahoitteisesta ja ei-kaupallisesta sisällöstä.

Väännetään volyymi yhteentoista

Sen lisäksi, kuinka henkilökohtaisiksi mainokset muodostuvat ja miten kohderyhmiä rajataan, palveluntarjoajien on pohdittava myös kaupallisen sisällön integroinnin laajuutta ja tyyppiä.

Tasapainon löytäminen ei ole helppoa: jos mainonta on liian huomaamatonta, käyttäjiä pysyy enemmän mutta arvokkaampia mainostajia menetetään. Mainossisällön tiiviimpi integrointi voi tuoda parempia mainossopimuksia, mutta se voi myös kiertää mainonnan ilmoittamista koskevia säännöksiä, synnyttää kiistaa ja aiheuttaa muita kielteisiä seurauksia.

Lisäksi tasoihin perustuvat mainosalustat saattavat edellyttää mainonnalta eriasteista ”äänenvoimakkuutta” ja integrointia, vaikka LLM-mallien muuttujia on varsin vaikea kvantifioida. Esimerkiksi eräs aiempi yritys luoda LLM-mallien tuottamaan sisältöön mainosten ”äänenvoimakkuuden säädin” päätyi sisällyttämään vastaukseen jopa äänenvoimakkuutta ilmaisevat sanat chatissa:

Uudesta tutkimusartikkelista: esimerkki siitä, miten aiemman ”äänenvoimakkuutta säätelevän” menetelmän tunnisteet päätyivät itse tuotettuun tekstiin. Lähde

Yllä oleva esimerkki on peräisin uudesta tutkimusartikkelista*, jossa käsitellään kahta LLM-pohjaisen mainonnan keskeistä ongelmaa: sitä, kuinka näkyvästi mainokset esiintyvät chatbotin vastauksissa, sekä sitä, mitkä vastausten osat ovat maksettua mainontaa:

Kaavio uudesta AdKnob-menetelmästä. Vasemmalla Subway on joko yksi useista suosituksista tai vastauksen pääaihe sen mukaan, mikä mainonnan taso on valittu. Oikealla vihreällä korostetut kohdat osoittavat tuotetussa vastauksessa olevan mainossisällön.

Lähestymistapa nimeltä AdKnob käyttää nelitasoista asteikkoa määrittääkseen, kuinka voimakkaasti chatbot mainostaa tuotetta, ja tunnistaa samalla mainontaa sisältävät lauseet. Tavoitteena on helpottaa mainossisällön tunnistamista ilman apumallien suorittamista tai prosessin hidastamista millään tavoin – prosessin, joka on perinteisesti yksi nopeatahtisimmista toimialoista.

Uuden tutkimuksen liiteaineistosta: esimerkkejä mainoksilla täydennetystä tekstistä, joka on korostettu punaisella.

AdKnob-menetelmää testattiin kuudella tekoälymallilla, jotka olivat Alibaban, Microsoftin ja Metan kehittämiä. Jokaisessa mallissa mainonnan määrää voitiin säätää neljällä tasolla: ohimenevästä tuotemaininnasta vastaukseen, joka keskittyy lähes kokonaan brändin mainostamiseen.

AdKnobin aggressiivisimmalla ”äänenvoimakkuudella” (tässä se on ”4”, ei tarunhohtoinen ”11”) brändiviestit hallitsevat yleensä tuotettua tekstiä.

Avoimilla painoilla toimivia malleja tarvittiin, koska niiden sisäisiä parametreja oli muutettava koulutuksen aikana ja niiden huomiokuvioita tutkittava mainosten tunnistamiseksi tuotetuista vastauksista. Tämän vuoksi testit rajautuivat pois huipputason malleista, joita voi käyttää vain API:n kautta.

Tuloksia testattiin 913 ihmisellä Amazon Mechanical Turkin kautta. Kun AdKnobin vastauksia verrattiin neljän kilpailevan menetelmän vastauksiin, AdKnobin vastaukset valittiin 75–lähes 90 prosentissa tapauksista.

Uskokaa tai älkää, hyödyllisyys ja selkeät mainosmerkinnät olivat tärkeimpiä mainittuja syitä. Jopa korkeimmalla mainostasolla vastaukset saivat keskimäärin arvosanan 3,1/4, kun taas matalimmalla tasolla keskiarvo oli 3,6.

Kirjoittajien mukaan AdKnob tunnisti myös aiempaa paremmin, mitkä lauseet sisälsivät mainontaa. Yhdellä testatuista malleista tarkistus kesti vain kolme millisekuntia vastausta kohden – hyväksyttävän vähän lisäviivettä, eikä siihen tarvittu erillistä tokenien generointia toisin kuin useissa aiemmissa menetelmissä.

Uutta järjestelmää varten kehitettiin MI-KnobSet-aineisto aiemman Webis Generated Native Ads 2024 –aineiston pohjalta. Aiempi kokoelma laajennettiin kattamaan chatbot-vastausten eritasoinen mainonta, ja aineistoon sisältyi 3 946 koulutusesimerkkiä sekä 913 testitapausta.

Kirjoittajat toteavat:

‘[AdKnob] mahdollistaa sen, että yksi LLM tuottaa vastauksia hyvin erilaisilla mainonnan voimakkuustasoilla. Mainontaan kohdistuva attribuutiotappio vahvistaa lisäksi mainontaan liittyvien syötetokenien ja tuotetun mainossisällön välistä attribuutiota, mikä mahdollistaa mainonnan tarkan merkitsemisen päättelyvaiheessa.

‘Kuudella perusmallilla tehdyt kokeet ja käyttäjätutkimukset osoittavat, että AdKnob suoriutuu johdonmukaisesti nykyisiä vertailumenetelmiä paremmin sekä mainosten laadussa että mainonnan merkitsemisessä. Työmme tarjoaa käytännön perustan läpinäkyvälle ja hallittavalle LLM-pohjaiselle mainonnalle todellisissa palveluissa.’

Menetelmä

Toisin kuin edellä mainitussa aiemmassa menetelmässä, jossa lisäystason ilmaisemiseen käytetyt sanat päätyivät vuotamaan tulosteeseen, uudessa menetelmässä käytetään neljää tätä tarkoitusta varten suunniteltua ohjaustokenia, joista kukin vastaa eri mainonnan voimakkuustasoa:

q̂ = q ⊕ [AD_LV_n]

Yllä oleva n-token voi tietenkin tarkoittaa mitä tahansa lukua, mutta tässä tapauksessa AdKnob rajoittaa vaihteluvälin arvoihin 1–4. Tämä on luultavasti näille muuttujille riittävän tarkka jako: muuttujat kuvaavat sitä, kuinka ”ilmeistä” ja ”näkyvää” mainossisältö on.

Koska näillä abstrakteilla tokeneilla ei ole ennalta määrättyä merkitystä, malli voi oppia niiden käyttötarkoituksen sekoittamatta niitä tavalliseen kieleen.

Kirjoittajien mukaan mallia koulutetaan tämän jälkeen suoralla preferenssioptimoinnilla (DPO), jotta ohjaustokenit saadaan vastaamaan haluttua voimakkuustasoa:

‘[We] perustuvat preferenssien määrittelyssä kahteen mittariin: mainonnan [score], joka mittaa, kuinka näkyvästi ja myönteisesti brändi ja mainosteksti tuodaan esiin vastauksessa, sekä vastauksen laadun [score], joka mittaa, kuinka hyvin vastaus vastaa käyttäjän [query].’

Pariaineiston kokoamista varten ehdokasvastauksille annettiin pisteet mainonnan voimakkuuden, relevanssin, sujuvuuden sekä mainoksettomasta vastauksesta säilytetyn tiedon perusteella. Pisteitä käytettiin sitten kunkin mainonnan voimakkuustason koulutusesimerkkien valintaan.

Kullekin mainontaskenaariolle tuotettiin 25 mahdollista vastausta GPT-4o:lla. Kehotteilla pyrittiin saamaan aikaan eriasteista tuotteiden mainostamista. Kunkin tavoitetason parhaiten pisteytetty vastaus valittiin yhdessä kolmen tarkoituksella heikomman vaihtoehdon kanssa. Ne edustivat heikkoa laatua, väärää mainonnan voimakkuustasoa tai molempia:

Viidellä eri kehotteella tuotettujen 25 ehdokasvastauksen mainontapisteet. Käyrien huomattava päällekkäisyys osoittaa, miksi pelkillä kehotteilla ei voitu tuottaa luotettavasti toisistaan erottuvia mainonnan voimakkuustasoja.

Näitä vertailuja käytettiin mallin kouluttamiseen edellä mainitulla DPO-menetelmällä. Malli oppi tuottamaan pyydettyä mainonnan voimakkuustasoa vastaavia vastauksia, jotka olivat silti hyödyllisiä ja luontevia.

Testit

AdKnobia arvioitiin neljällä mainonnan voimakkuustasolla kuudella mallilla: Qwen3-4B-Instruct; Phi-4-Mini-Instruct (3.8B); LLaMA-3.2-3B-Instruct; Qwen2.5-14B-Instruct; Phi-4 (14B); ja LLaMA-3.1-8B-Instruct.

Mainonnan voimakkuus ja vastausten laatu pisteytettiin erikseen, kun taas mainonnan merkitsemisen tarkkuutta mitattiin mittareilla ROC-AUC, tarkkuus ja saanti sekä F1.

Mallit hienosäädettiin matalan asteen adaptaatiolla (LoRA), vastausten pituus rajattiin 500 tokeniin ja mainonnan merkitsemisen kynnysarvoksi asetettiin 0.005. Kaikki kokeet tehtiin yhdellä NVIDIA H200 -näytönohjaimella, jossa oli huimat 141 Gt HBM3e-videomuistia.

Vertailukohtina käytettiin neljää menetelmää. Kaksivaiheisessa menetelmässä mainonta lisättiin valmiiksi tuotettuun vastaukseen; kehotepohjaisessa menetelmässä mainonta sisällytettiin järjestelmäkehotteisiin.

Kahdessa muussa menetelmässä JU-NLP hyödynsi hienosäätöä vähemmän huomiota herättävän mainonnan suosimiseen, ja NL-prompt käytti luonnollisen kielen ohjeita neljän mainonnan voimakkuustason pyytämiseen. NL-promptissa käytettiin tavallisia järjestelmäkehotteita, joissa määriteltiin mainonnan voimakkuus, mutta mallia ei koulutettu erikseen: hillitty (L1), kohtalainen (L2), voimakas (L3) ja maksimaalinen (L4).

Kolmea mainosten merkintämenetelmää verrattiin: Marker, joka ohjasi mallia merkitsemään mainokset kirjoittamisen aikana; BERTScore, joka tunnisti toimitettua mainostekstiä muistuttavat lauseet; ja AttnLRP, jota käytettiin mainonnan vaikutuksen jäljittämiseen mallin sisäisissä toiminnoissa:

Testitulokset, joissa verrataan mainonnan voimakkuutta ja vastausten laatua neljässä tekoälymallissa. AdKnob (sininen) tarjosi kilpailevia menetelmiä laajemman ja tasaisemmin jakautuvan mainonnan voimakkuuden vaihteluvälin (L1–L4) ja säilytti yleensä vastausten laadun parempana, kun mainonnan voimakkuus oli samaa tasoa.

AdKnob tuotti kilpailevia menetelmiä laajemman ja tasaisemman mainonnan voimakkuuden vaihteluvälin ja antoi yleensä laadukkaampia vastauksia vastaavilla voimakkuustasoilla. Tämä johtui uusista ohjaustokeneista sekä siitä, että heikkolaatuiset vastaukset hylättiin koulutuksen aikana.

Kirjoittajat toteavat tässä:

‘JU-NLP hienosäätää mallia mainosten huomaamattomuuden parantamiseksi ilman mainonnan voimakkuuden nimenomaista säätöä, minkä vuoksi vastauksissa mainonnan voimakkuus pysyy vakiona. NL-prompt kattaa useita voimakkuustasoja, mutta sen vaihteluväli on kapea ja mainospisteet epäjohdonmukaisia. Tämä vahvistaa, etteivät luonnollisen kielen kehotteet riitä mainonnan voimakkuuden säätämiseen.

‘AdKnob kattaa sen sijaan mainonnan voimakkuudessa laajan ja tasaisen vaihteluvälin.

‘Tämä johtuu mainonnan ohjaustokeneistamme, joilla ei ole esikoulutuksessa opittua semantiikkaa ja jotka toimivat nimenomaan mainonnan voimakkuuden ohjaussignaaleina. Näin DPO voi luoda selkeän yhteyden kunkin tokenin ja sitä vastaavan voimakkuustason välille.’

Artikkelin mukaan kirjoittajien menetelmä tuotti myös kilpailevia menetelmiä laadukkaampia vastauksia, kun mainonnan voimakkuus oli samankaltainen. Parannuksen katsottiin johtuvan koulutusesimerkeistä, joissa heikommat vastaukset hylättiin nimenomaisesti.

Seuraavaksi arvioitiin järjestelmän mainosten merkintä-ominaisuuksia:

Mainosten tunnistustulokset neljässä tekoälymallissa. Suurempi pistemäärä tarkoittaa parempaa tarkkuutta; parhaat tulokset on lihavoitu.

AdKnob saavutti parhaan kokonaistarkkuuden kaikissa neljässä mallissa ja tunnisti mainonnan vain 2,5–7,3 millisekunnissa vastausta kohden. BERTScorella kului tähän verrattain noin 1 800 millisekuntia, joten AdKnob oli pienimmällä testatulla mallilla yli 500 kertaa nopeampi.

Kirjoittajat lisäävät:

‘AdKnob kouluttaa mallia muodostamaan vahvan yhteyden mainontaan liittyvien syötetokenien ja mainososioiden välille eksplisiittisen ablaatioon perustuvan ohjauksen avulla, minkä ansiosta se saavuttaa kaikissa malleissa parhaat AUC- ja F1-arvot.’

‘Lisäksi AdKnob mahdollistaa merkintöjen tekemisen reaaliajassa ilman ylimääräisiä päättelykustannuksia, ∼3 ms vastausta kohden mallissa [Qwen3-4B.]

Laadullisessa testissä Nintendo Switch -mainos oli yksi useista tason 1 suosituksista. Tasolla 4 tuotemerkki hallitsi vastausta, ja AdKnob tunnisti mainostekstit molemmilla voimakkuustasoilla:

Esimerkkivastaukset Walmartin mustaa perjantaita koskevaan kyselyyn kahdella mainonnan voimakkuustasolla. Korostetut kohdat, jotka on merkitty tunnisteella [AD], ovat mainossisältöä.

Lopuksi** kirjoittajat toteuttivat käyttäjätutkimuksen, johon osallistui 913 henkilöä. He arvioivat mainonnan voimakkuutta ja vastausten laatua, vertasivat AdKnobia kilpaileviin menetelmiin ja arvioivat, kuinka tarkasti mainossisältö tunnistettiin:

AdKnobin ihmisten tekemän arvioinnin tulokset. Taulukossa esitetään mainonnan voimakkuuden ja vastausten laadun arviot, kilpailijoihin verratut suosio-osuudet sekä mainosten tunnistustarkkuus. Vihreät solut ilmaisevat yli 50 prosentin suosio-osuuden.

Kirjoittajat päättelevät:

‘AdKnob saavuttaa parhaan AUC- ja F1-arvon. Erityisesti AdKnobin herkkyys on suuri ja väärien negatiivisten tulosten määrä pieni. Tämä on sääntelyn kannalta tärkeää, sillä mainososion ilmoittamatta jättäminen aiheuttaa huomattavia oikeudellisia riskejä ja heikentää luottamusta.’

Yhteenveto

Yksi kiinnostava, mutta tietääkseni huomiotta jäänyt kysymys LLM:issä tapahtuvasta mainonnasta on se, mitä tapahtuu, kun mainokseton tuloste ja mainokseen perustuva tuloste ovat samanlaisia?

Esimerkiksi jos pyydetään suositusta paikallisesta ruokapaikasta ja vaihtoehtoina ovat vain McDonald’s ja todella huonosti arvosteltu kahvila, mutta McDonald’s on maksanut näkyvyydestä, McDonald’s luultavasti esitellään mainoksen yhteydessä, koska se sopii isäntäkehyksen tarkoituksiin – vaikka se olisikin joka tapauksessa luonteva valinta?

Tällaisten asioiden lukeminen – kirjoitan niistä tällä sivustolla melko säännöllisesti – saa minut tuntemaan itseni kalkkunaksi, joka selailee uuniluetteloa. Kannattaa muistaa, että vaikka joillakin alueilla vaaditaan vain vähäistä merkitsemistä, tuotostemme ”vilpillistä” sisältöä ei nosteta esiin. Tässä ja vastaavissa julkaisuissa esitellään vain hyvin rajallinen valikoima esimerkkejä, mutta niissä kaupallinen sisältö tunkeutuu räikeästi alkuperäisen sisällön päälle.

Ja tietenkin nämä ovat valikoituja esimerkkejä: niitä, jotka toimivat eivätkä hallusinoineet, tehneet pöyristyttäviä tai loukkaavia assosiaatioita tai muuten aiheuttaneet kiistaa. Laajassa mittakaavassa tämä saattaa olla lisäsyy siihen, miksi useimmat eturintaman palvelut suhtautuvat mainontaan varovaisesti, kun kyse on arkkitehtuureista, jotka ovat näin alttiita julkiseen häpeään johtaville tapauksille.

* Otsikoltaan ”AdKnob: mainonnan voimakkuuden säätö ja merkitseminen LLM-natiivissa mainonnassa”; kirjoittajina kuusi tutkijaa KAISTin tietojenkäsittelytieteen korkeakoulusta.

** Kuten tavallista, jätämme ablaatiotutkimukset pois (paitsi tapauksissa, joissa ne ovat olennainen osa työn ydinarvoa eivätkä vain pistokoe).

Julkaistu ensimmäisen kerran torstaina 5. marraskuuta 2026