Des images publicitaires générées par IA qui ciblent votre démographie – Et, éventuellement, vous ?

Les annonceurs visent à personnaliser les publicités pour chaque spectateur afin de générer des clics, et même si des créatifs personnalisés pour chaque personne sont actuellement impraticables, de nouvelles recherches suggèrent que les images générées par IA pourraient bientôt être ciblées de manière efficace pour des démographiques spécifiques.

La publicité personnalisée présentée dans le film de science-fiction de Steven Spielberg, Minority Report, a laissé une impression durable, même inquiétante, sur la culture, avec sa représentation vivante de panneaux publicitaires proactifs qui reconnaissent les gens dans les foules et leur crient des messages promotionnels directement.

De nombreux groupes de consommateurs peuvent considérer ce niveau de reconnaissance du spectateur comme un cauchemar, et même si les progrès vers cet objectif ont été ralentis par les conséquences du scandale Cambridge Analytica, l’idéal d’engagement direct et hautement ciblé reste un objectif précieux dans la publicité.

En fait, les systèmes qui peuvent se concentrer sur les caractéristiques d’un spectateur spécifique sont en constante développement – même si, dans de tels cas, la recherche corporative doit prendre des mesures pour respecter les lois relatives aux informations personnelles identifiables (PII); des lois qui ont été renforcées en Europe au cours de la dernière décennie, avec ces protections améliorées répandues ailleurs via l’effet de Bruxelles.

Hé, toi!

Maintenant que les publicités et le contenu marketing générés par IA sont à la hausse, les annonceurs doivent néanmoins faire face au coût potentiel des publicités ciblées par IA pour des individus spécifiques, où les images et le texte sont générés de manière opportuniste et en temps réel.

Par exemple, même si une image personnalisée pouvait être générée très rapidement, les coûts à grande échelle seraient importants. De plus, les processus automatiques de vente en ligne d’espaces publicitaires opèrent à des délais critiques, à l’échelle des millisecondes, ce qui rend le contenu d’image personnalisé pour l’utilisateur difficile, pour le moment; et le contenu vidéo est une perspective encore plus lointaine.

Cependant, les obstacles techniques impliqués dans l’adressage de groupes démographiques de niveau supérieur dans un public en ligne (via des ordinateurs portables, des téléphones, des téléviseurs intelligents, etc.) ne sont pas si graves – et une nouvelle collaboration internationale entre l’industrie et l’université propose une méthode pour créer des images publicitaires distinctes pour différentes démographiques, y compris des facteurs tels que l’âge et l’emplacement:

À partir du nouveau travail: des exemples de génération de publicités personnalisées, où un seul produit est représenté dans différents styles pour différents groupes de spectateurs. La rangée du haut montre les images de produits d’origine. Les trois rangées suivantes montrent des versions adaptées à trois types de public distincts par produit, en fonction de différences dans des caractéristiques telles que l’âge, le style de vie ou les préférences esthétiques. Source

Le nouveau cadre – intitulé One Size, Many Fits (OSMF) – vise à combler le fossé entre la publicité ciblée à grande échelle et la personnalisation granulaire impraticable, en générant différentes images publicitaires pour des groupes d’audience découverts automatiquement, en utilisant le regroupement de produits pour aligner le contenu visuel sur les préférences de clic des démographiques distinctes.

Les auteurs déclarent:

‘[Nous] présentons [un] cadre unifié qui aligne les préférences de clic de groupe diverses dans la génération d’images publicitaires à grande échelle.

‘OSMF commence par un regroupement adaptatif de produits, qui organise dynamiquement les utilisateurs en fonction de leurs attributs et des caractéristiques de produits, en représentant chaque groupe avec des fonctionnalités de préférence collective riches.’

Testé contre des cadres comparables, les auteurs affirment des résultats de pointe.

Even though the work identifies diverse cohort groups, the paper is not specific as to which demographic characteristics are represented by each G grouping, though these seem likely to map to traditional market segmentation groups.

Par conséquent, il n’est pas facile de dire, sur la base des différents exemples donnés dans le document principal et dans l’annexe, pourquoi certains arrières-plans ou éclairages pourraient plaire à un groupe plus qu’à un autre, puisque nous ne connaissons pas les traits de aucun groupe:

Il n’y a pas de styles constants ‘bleu pour les garçons, rose pour les filles’, etc., entre les styles d’images spécifiques au groupe, qui pourraient révéler quel type de personne appartient à quel groupe – les définitions, comme le montre la littérature existante, sont beaucoup plus complexes et subtiles.

Ce qui est peut-être plus inquiétant, pour ceux qui sont méfiants à l’égard des pratiques de ciblage publicitaire, est la possibilité d’exploiter les informations par utilisateur dans la génération d’images spécifiques dans les publicités**.

Le nouveau document est intitulé One Size, Many Fits: Aligner les préférences de clic de groupe diverses dans la génération d’images publicitaires à grande échelle, et provient de 17 chercheurs issus du Laboratoire national de reconnaissance de modèles de Pékin; de l’École d’IA de l’UCAS; de l’entreprise de commerce électronique chinoise JINGDONG; de l’Université des sciences et de la technologie de Hong Kong à Guangzhou; et du Laboratoire de reconnaissance de modèles de l’Université des sciences et de la technologie de Nanjing.

Méthode

Le système utilise le regroupement adaptatif (une méthode qui trouve des regroupements naturels en reliant les traits des utilisateurs à leur réponse à différents produits) pour regrouper les utilisateurs, en fonction de la manière dont leurs traits façonnent les préférences visuelles dans un contexte de produit donné. La mise en œuvre de cette approche par les auteurs est appelée Regroupement adaptatif de produits (PAAG).

Ces regroupements ne sont pas fixés à l’avance, mais sont découverts à partir de modèles dans les données.

Un générateur d’images conditionnel, intitulé Génération d’images conditionnée par les préférences (PCIG), utilise ensuite le profil de chaque groupe pour créer des images publicitaires qui correspondent aux goûts présumés de chaque groupe:

Le cadre OSMF regroupe les utilisateurs en fonction de la manière dont leurs traits façonnent les préférences de produits, puis utilise ces profils de groupe pour générer des images publicitaires qui correspondent aux goûts de chaque groupe. PAAG gère le regroupement, et PCIG crée les images à l’aide de prompts et de rétroactions adaptés à chaque groupe.

Le générateur d’images utilise une version non spécifiée de Stable Diffusion, ainsi qu’un ensemble ControlNet approprié (ce dernier, pour aider à maintenir la cohérence parmi les différentes générations de cohortes).

Dans le flux de travail, PAAG encode d’abord la relation entre les fonctionnalités des utilisateurs et les aspects textuels et d’image des produits, en utilisant un ensemble de codeurs dédiés et un mécanisme d’attention croisée pour les fusionner en une intégration de préférence unifiée qui reflète la probabilité qu’un utilisateur clique sur une publicité particulière.

PAAG modélise ensuite la manière dont différentes combinaisons d’attributs d’utilisateurs interagissent avec les titres et les images de produits. Les fonctionnalités textuelles et d’image sont extraites en utilisant des codeurs basés sur CLIP et ResNet, et les traits des utilisateurs tels que le sexe, l’emplacement, l’âge ou l’appareil sont transmis via un MLP, qui permet une attention croisée sur les fonctionnalités textuelles et d’image des produits.

Le résultat de l’intégration représente la probabilité de clic de chaque utilisateur pour un produit particulier dans un contexte visuel spécifique. Une fois que ces intégrations de préférence utilisateur-produit sont obtenues, PAAG utilise le regroupement K-means pour regrouper les utilisateurs qui répondent de manière similaire à un produit donné.

PAAG sélectionne le meilleur nombre de groupes d’utilisateurs pour chaque produit en vérifiant à quel point les grappes se séparent. Au lieu d’utiliser un seul point moyen par groupe, il échantillonne plusieurs à différentes distances pour capturer une gamme plus large de préférences.

Ces profils de groupe sont ensuite transmis sous forme de jetons au modèle de langage multimodal grand groupe (G-MLLM), qui les utilise pour générer des images publicitaires adaptées à chaque groupe.

Génération d’images basée sur les préférences des utilisateurs

Du côté de l’utilisateur, G-MLLM apprend à prédire quels membres du groupe sont susceptibles de cliquer ensuite et comment décrire les traits communs en langage naturel. Du côté du produit, il apprend à résumer le produit représenté dans une image et à générer des légendes de style publicitaire qui correspondent à la fois au produit et au groupe.

Pour refléter le comportement réel des utilisateurs, le modèle est étendu à un modèle de récompense sensible au groupe (GRM). GRM est formé sur le propre ensemble de données GAIP (voir ci-dessous) des chercheurs pour comparer des paires d’images pour le même produit et identifier laquelle fonctionne mieux avec un groupe donné, en utilisant des données réelles de taux de clic.

Ce signal de récompense est ensuite utilisé pour affiner G-MLLM avec Group-DPO, une méthode qui l’enseigne à favoriser les prompts qui conduisent à un meilleur engagement au niveau du groupe.

Données et tests

Développement de GAIP

Notant un manque historique de jeux de données liés aux préférences publicitaires basées sur les groupes, et que les collections antérieures telles que Personalized Soups et CG4CTR sont soit trop petites, soit mal spécifiées, les chercheurs ont développé leur propre collection, la susmentionnée GAIP, dérivée des « journaux publicitaires industriels » d’une plate-forme de commerce électronique non spécifiée.

Les journaux ont été collectés sur une période de trois semaines, avec chaque entrée enregistrant l’image de produit et le titre, le profil du spectateur (y compris l’âge, le niveau de dépense et la sensibilité aux promotions), et si la publicité a été cliquée.

L’ensemble de données comprend plus de 40 millions d’utilisateurs, 2 millions de produits et près de 10 millions d’images publicitaires, avec une grande variété visuelle entre les éléments.

Les utilisateurs ont été regroupés par PAAG en grappes distinctes pour chaque produit, et le taux de clic (CTR) a été calculé par image au sein de chaque groupe:

À partir du matériel supplémentaire du nouveau document, un petit aperçu de certains des critères de définition de GAIT.

GAIP est ensuite formé comme un ensemble de tuples (image publicitaire, titre de produit, intégration de groupe, CTR spécifique au groupe) appariant chaque image et titre avec son CTR et l’intégration du groupe qui l’a vu.

Pour assurer la fiabilité, seuls les produits avec une exposition suffisante sont conservés, ce qui donne lieu à un ensemble de données de 610 172 échantillons de niveau de groupe.

GAIP est nettement plus grand que les ensembles de données précédents: alors que la plupart des benchmarks précédents impliquent moins de dix groupes d’utilisateurs, GAIP comprend près de 600 000 enregistrements de préférences de groupe réels, offrant des informations plus approfondies sur les préférences de niveau de groupe.

Tests

Pour former le pipeline PCIG, les chercheurs ont extrait les fonctionnalités d’image et de texte en utilisant ResNet et le codeur de texte CLIP, puis les ont mappés à des intégrations de 128 dimensions via des couches linéaires apprenables. Pour maintenir l’efficacité, PAAG a été limité à cinq groupes d’utilisateurs par produit.

Les intégrations de groupe ont été construites à l’aide d’une stratégie d’échantillonnage basée sur les percentiles, en tirant plusieurs points des 15e, 55e et 95e percentiles, pour capturer à la fois les préférences centrales et périphériques.

LLaVA a été utilisé comme colonne vertébrale pour G-MLLM, et la formation préalable a été effectuée sur dix époques avec un calendrier d’apprentissage cosinus à un taux d’apprentissage de 2e-6, nécessitant une formation de cinq jours sur un cluster de huit GPU NVIDIA H100, chacun avec 80 Go de VRAM.

GRM a été formé en reconstruisant GAIP avec des paires d’images de produits appariées, puis initialisé avec les mêmes poids que G-MLLM. Au cours de la phase finale Group-DPO, GRM a été gelé, et G-MLLM a été affiné en utilisant LoRA pendant trois époques – à nouveau, à un taux d’apprentissage de 2e-5, sur le même cluster NVIDIA.

Les métriques utilisées pour la première évaluation étaient NDCG@5 et AUROC. NDCG@5 mesurait à quel point chaque groupe classait différemment le même ensemble d’images publicitaires, les valeurs plus faibles indiquant une séparation plus claire des préférences; et AUROC a été utilisé pour évaluer à quel point chaque modèle distinguait le contenu cliqué du contenu non cliqué.

Toutes les métriques ont été calculées sur les résultats de regroupement de 1 000 produits, totalisant environ 100 000 échantillons, et ont été utilisées pour comparer PAAG à trois systèmes précédents: CACS; WIYD; et JAC:

Résultats de modélisation des préférences comparés aux méthodes précédentes. Des valeurs NDCG@5 plus faibles et des valeurs AUROC plus élevées indiquent de meilleures performances. Les meilleurs scores sont en gras, les deuxièmes meilleurs sont soulignés.

Sur ces résultats, les auteurs commentent:

‘[Notre] méthode obtient des performances supérieures sur les deux métriques. Plus précisément, PAAG atteint la valeur NDCG@5 la plus basse (0,3066), surpassant le meilleur système de référence (CACS), indiquant des modèles de préférence intergroupe plus distincts pour une génération publicitaire de groupe efficace.

‘De plus, PAAG atteint la valeur AUROC la plus élevée (0,6372), améliorant le système de référence le plus fort (WIYD) de 0,0159.’

Un deuxième tour de tests a vérifié si le système pouvait mieux apparer les publicités au bon groupe d’utilisateurs;

Comparaison en ligne du taux de clic, montrant que la génération personnalisée de groupe (‘Notre’) surpasse toutes les références, y compris CAIG et G-MLLM préformé.

Ici, PCIG a montré des taux de clic plus élevés que les anciens modèles comme CAIG et G-MLLM, avec une amélioration de 5,5 %. GRM a également été testé hors ligne en vérifiant s’il pouvait correctement choisir la meilleure publicité dans une paire, en fonction des préférences de groupe. Il a battu toutes les références, y compris les modèles polyvalents, avec un gain de 4,7 % par rapport à CAIG.

Un dernier test qualitatif a été mené pour évaluer si PCIG pouvait refléter les préférences de niveau de groupe dans le style de ses images générées. Comme le montre la figure ci-dessous, le même produit a été représenté différemment pour chaque groupe, avec des changements dans la palette, le ton et la composition visuelle:

Résultats complets des tests qualitatifs, aperçus plus tôt dans l’article.

Ces variations, selon les auteurs, correspondent aux préférences de clic inférées pour chaque groupe, montrant que PCIG peut produire des sorties stylistiquement distinctes tout en préservant la pertinence et l’attrait. Les auteurs déclarent:

‘[PCIG] garantit des images stylistiquement diverses pour répondre aux préférences de clic de groupes d’utilisateurs distincts, démontrant ainsi sa forte capacité à adapter la génération à des demandes d’utilisateurs hétérogènes et à capturer des différences de préférence fines et subtiles entre des groupes d’utilisateurs variés, mettant en évidence son potentiel pour la génération d’images publicitaires sensibles au groupe à grande échelle.’

Conclusion

Peut-être l’aspect le plus intrigant de ce projet est la corrélation inconnue entre les styles de sortie à travers les images ciblées par groupe pour le même produit (dont il y a plusieurs pages de plus d’exemples dans les matériaux supplémentaires du document que nous ne pouvons reproduire ici).

Pouvons-nous supposer que les arrières-plans urbains sont liés à l’âge, c’est-à-dire aux diplômés qui commencent, et que les environnements ruraux sont destinés à des types de Gen X plus prospères qui identifient la route ouverte comme une sorte de « liberté finale »? On peut interpréter ces sorties de test tout le jour.

Le potentiel de tels systèmes repose sur deux facteurs: l’insight et la latence. L’insight dépend de savoir si les systèmes de suivi émergents peuvent toujours extraire suffisamment d’informations significatives des utilisateurs pour soutenir une publicité ciblée basée sur les cohortes, tout en posant les bases pour des publicités ciblées plus précises et individuelles à l’avenir.

La latence pose un défi plus grand, car ces images publicitaires personnalisées doivent être générées et livrées presque instantanément; même si certains modèles de texte à image récents peuvent produire des résultats en quelques secondes, ce délai peut être trop long pour les enchères publicitaires en temps réel.

Une solution possible consiste à produire les images localement, sur le GPU du navigateur, en évitant les aller-retours sur le réseau; ou à créer un ensemble d’images de manière proactive, mises en cache sur le client.

** Cet aspect est éludé dans le nouveau document, tout comme le potentiel d’abus de faux contenus des nouveaux cadres d’IA est souvent adouci par l’utilisation de figures d’animaux câlins (plutôt que de la pornographie IA) dans les nouvelles études. Néanmoins, le type d’imagerie présenté dans le travail représente les annonceurs à leur meilleur comportement, plutôt que de dépeindre à quel point les publicités visuelles personnalisées pourraient éventuellement devenir, à mesure que les méthodes de ciblage des consommateurs s’associent à l’IA générative à réponse rapide.

** Je ne peux pas identifier cette institution nommée, puisque ‘UCAS’ se résout généralement à un système de candidature d’université bien connu au Royaume-Uni. Je souhaite une clarification.

^† Que les chercheurs promettent de publier sur le référentiel GitHub associé.

Publié pour la première fois jeudi 5 février 2026