Nghiên cứu mới đề xuất Quảng cáo Cá nhân hóa Thực sự

Trong một định nghĩa lại của ‘tự quảng cáo’, một phương pháp mới khai thác các lần nhấp của người dùng để tạo ra quảng cáo web tùy chỉnh dựa trên lịch sử riêng của họ.

Mặc dù các cơ quan quảng cáo đang khẳng định rằng ý tưởng về các kênh quảng cáo có thể phục vụ quảng cáo dựa trên những gì người dùng vừa nói trong sự thoải mái của ngôi nhà của họ là không chính xác, nhưng mức độ ‘cá nhân hóa’ của quảng cáo trên các trang web và ứng dụng truyền thông xã hội đã thu hút sự chú ý trong những năm gần đây.

Kịch bản lý tưởng cho nhà quảng cáo luôn là quảng cáo được phục vụ phải là ‘phù hợp chính xác’ với người xem. Trong giới hạn của phản ứng của công chúng về việc theo dõi trực tuyến, và bất kỳ biện pháp phòng ngừa mà người dùng có thể đã cài đặt để chống lại việc theo dõi này, generative AI (bỏ qua nỗi sợ hãi xung quanh LLM quảng cáo trong một thế giới sau tìm kiếm) hoàn toàn có khả năng tạo ra hình ảnh và bản sao quảng cáo nhanh chóng cho việc triển khai thời gian thực.

Tuy nhiên, trọng tâm chính của nghiên cứu và hầu hết các triển khai trong lĩnh vực này cho đến nay đã dựa trên thống kê sử dụng tổng hợp, vì vậy bất kỳ quảng cáo nào được tạo ra cho người xem sẽ dựa trên nhóm đối tượng được đoán của người xem, chứ không phải lịch sử duy nhất của họ.

Giờ đây, một sự hợp tác nghiên cứu mới giữa Trung Quốc và Mỹ trình bày một hệ thống để tạo ra hình ảnh và văn bản quảng cáo cho người dùng cá nhân bằng cách học hỏi từ các lần nhấp trước của họ khi đăng nhập vào một trang web, vượt ra ngoài các giả định dựa trên nhóm đối tượng đã chi phối hầu hết các nghiên cứu quảng cáo cá nhân hóa cho đến nay:

Ví dụ về các quảng cáo tùy chỉnh riêng lẻ. Tất nhiên, không có lịch sử của người dùng làm bối cảnh, tác động đầy đủ chỉ có thể được tưởng tượng. Nguồn

Không giống như các phương pháp trước, phương pháp mới này từ chối mô hình khuếch tán để ủng hộ một kiến trúc tự hồi quy – sự khác biệt chính là mô hình khuếch tán dần dần tinh chỉnh một hình ảnh từ nhiễu thị giác, trong khi mô hình tự hồi quy tạo ra nội dung một mảnh tại một thời điểm, dự đoán mỗi phần tử mới từ mọi thứ đã đến trước.

Để hỗ trợ mô hình tạo ra mới, các tác giả đã phát triển những gì họ tuyên bố là bộ dữ liệu hình ảnh/văn bản lớn đầu tiên cho quảng cáo cá nhân hóa, cũng như một thước đo mới được thiết kế để đánh giá nhiệm vụ rất cụ thể này. Trong các thử nghiệm, họ phát hiện ra rằng phương pháp của họ vượt trội so với các baseline chung và các phương pháp và khuôn khổ hiện có đang giải quyết thách thức này.

Walled Garden

Điều đáng chú ý là phạm vi đề xuất của công việc, không cung cấp cho các nhà quảng cáo một cách để vượt qua các biện pháp mới chống lại việc theo dõi của bên thứ ba, mà thay vào đó cung cấp cho một nhà bán lẻ đủ lớn quyền lực để tạo ra một khách hàng đã đăng nhập với quảng cáo liên quan trực tiếp đến người đó.

Điều này không nhất thiết bị giới hạn ở khách hàng đang duyệt trang web của nhà bán lẻ: tùy thuộc vào mức độ mà người dùng đã cấp cho nhà bán lẻ quyền theo dõi họ trên các trang web khác, họ có thể được hiển thị quảng cáo được nhắm mục tiêu trên bất kỳ số lượng trang web nào tham gia vào các cuộc đấu giá quảng cáo mà nhà bán lẻ sử dụng.

Loại phạm vi quảng cáo này thường bị giới hạn ở các nhà bán lẻ quy mô lớn như Amazon, ở phương Tây (và chúng tôi lưu ý rằng một nhà bán lẻ Trung Quốc tương tự quy mô đã tham gia vào công việc mới – xem bên dưới), mặc dù bất kỳ mối quan tâm nào có quy mô tương tự (chẳng hạn như một nền tảng truyền thông xã hội phổ biến) có thể về lý thuyết tạo ra một khuôn khổ tạo ra tương tự.

Bài báo mới có tiêu đề Thiết kế Quảng cáo của Bạn: Tạo ra Hình ảnh và Văn bản Quảng cáo Cá nhân hóa với Mô hình Tự hồi quy Thống nhất, và đến từ 18 tác giả trên Đại học Sun Yat-Sen ở Quảng Châu, Đại học Northeastern, và nhà bán lẻ lớn nhất của Trung Quốc, JD.com (đây là bên cung cấp quyền truy cập vào lịch sử và thói quen của người mua). Mã đã được cung cấp qua GitHub, và các điểm kiểm tra cũng đã được cung cấp.

Dữ liệu và Phương pháp

Bộ dữ liệu được xây dựng cho dự án có tiêu đề Hình ảnh-văn bản Quảng cáo Cá nhân hóa (PAd1M), và được cung cấp bởi dữ liệu do JD.com cung cấp. Các tác giả tuyên bố:

‘Mỗi sản phẩm thường cung cấp hơn mười hình ảnh và văn bản ứng cử, đảm bảo rằng các sở thích đa dạng có thể được phát hiện đầy đủ. Để cho phép mô hình hóa sở thích đáng tin cậy, chúng tôi thu thập lịch sử nhấp chuột của người dùng hoàn chỉnh trên cả hình ảnh và văn bản, lọc ra người dùng có hoạt động không đủ để giảm nhiễu.

‘Điều này tạo ra một bộ dữ liệu gồm 1.145.371 người dùng, với 18.923.555 hình ảnh và văn bản sản phẩm được nhấp, trung bình hơn mười sáu hành vi đa phương tiện lịch sử trên mỗi người dùng.’

Đối với mỗi người dùng, một cặp hình ảnh-văn bản đã được nhấp trước đó được chọn làm ví dụ mục tiêu, sau đó sản phẩm chính được phân lập từ hình ảnh bằng Grounded SAM.

Mô tả và điểm bán hàng do người bán cung cấp sau đó được gắn vào hồ sơ, tạo ra một bộ dữ liệu trong đó mỗi quảng cáo mục tiêu được đi kèm với một hình ảnh sản phẩm minh bạch; thông tin sản phẩm có cấu trúc; và lịch sử các tương tác hình ảnh và văn bản trước đó, nhằm mục đích bắt giữ sở thích và ưu tiên trước đó của người dùng:

Một hồ sơ người dùng từ bộ dữ liệu PAd1M, hiển thị một quảng cáo mục tiêu cùng với thông tin sản phẩm được sử dụng để tạo ra nó, và các tương tác hình ảnh và văn bản lịch sử được sử dụng để mô hình hóa sở thích của người dùng.

Kết quả bộ dữ liệu này cung cấp một quy mô hơn một triệu người dùng, và gần 19 triệu hồ sơ hình ảnh và văn bản được nhấp, với các tác giả tuyên bố rằng bộ sưu tập này lớn hơn đáng kể so với các bộ dữ liệu cá nhân hóa trước đó.

Bên cạnh đó, dữ liệu, không giống như các nghiên cứu trong dòng này, kết hợp cả hình ảnh và văn bản, cho phép sở thích của người dùng được mô hình hóa trên nhiều phương thức, chứ không chỉ trong một lĩnh vực.

PAd1M cũng có theo dõi sở thích cấp độ cá nhân; không giống như các bộ dữ liệu quảng cáo trước đó, được xây dựng xung quanh tỷ lệ nhấp chuột được tổng hợp trên các nhóm lớn, PAd1M liên kết các tương tác với người dùng cụ thể từ dữ liệu JD.com.

Về các chỉ số, ngoài các lựa chọn tiêu chuẩn như BLEU và ROUGE, các nhà nghiên cứu đã phát triển một thước đo tùy chỉnh có tên Tương tự Bối cảnh Sản phẩm (PBS). Dựa trên MoCo-v3 trước đó, PBS được đào tạo trên 681.123 cặp hình ảnh hiển thị cùng sản phẩm trên các bối cảnh khác nhau, cho phép chỉ số tập trung vào sự thay đổi bối cảnh chứ không phải sản phẩm chính:

Tương tự Bối cảnh Sản phẩm (PBS) gán các điểm tương似 khác nhau cho các quảng cáo chứa cùng sản phẩm nhưng đặt nó trong các bối cảnh hình ảnh khác nhau, trái ngược với các chỉ số cạnh tranh, tạo ra sự tách biệt nhỏ hơn.

Trong quá trình đào tạo, mỗi hình ảnh được ghép với chính nó làm ví dụ tích cực, trong khi một hình ảnh của cùng sản phẩm được đặt trong một bối cảnh khác được sử dụng làm ví dụ tiêu cực, một chiến lược đào tạo nhằm tăng độ nhạy với bối cảnh.

Kết quả đánh giá, bài báo cho rằng, chỉ ra sự khác biệt lớn hơn trong điểm tương似 giữa các bối cảnh trùng khớp và không trùng khớp so với những gì được tạo ra bởi CLIP, DINO v3, hoặc MoCov3 trước đó.

Khi được hiển thị trong phần trên cùng của hình ảnh dưới đây*, mô hình Unified Advertisement Generative (Uni-AdGen) của các nhà nghiên cứu sử dụng một kiến trúc thị giác-ngôn ngữ tự hồi quy để tạo ra cả văn bản và hình ảnh quảng cáo. Quá trình này được hướng dẫn bởi một hướng dẫn có cấu trúc bao gồm định nghĩa nhiệm vụ và mô tả sản phẩm, cùng với các điểm bán hàng:

Tổng quan phương pháp.

Các token phân隔 đặc biệt xác định phần của chuỗi dành cho bản sao quảng cáo. Sau khi văn bản được tạo ra, một token hình ảnh chuyên dụng kích hoạt tạo hình ảnh, trong khi một token hình ảnh đóng dấu kết thúc, với các token tạo ra sau đó được gửi đến các bộ giải mã văn bản và hình ảnh riêng biệt.

Với hình ảnh, bộ giải mã VQ-GAN của LlamaGen được sử dụng để chuyển đổi các token hình ảnh rời rạc trở lại thành pixel.

Bằng cách này, kiến trúc thống nhất tạo ra văn bản và hình ảnh trong một dự đoán token tiếp theo duy nhất, thay vì dựa vào các đường ống riêng biệt – phương pháp được áp dụng cho các hệ thống quảng cáo trước đó có phạm vi tương tự.

Trong quá trình đào tạo, mô hình học cả hai phương thức cùng nhau, với các token văn bản được dự đoán dựa trên chuỗi đầu vào và văn bản được tạo ra trước đó. Các token hình ảnh sau đó được dự đoán bằng cách sử dụng chuỗi đầu vào, văn bản được tạo ra và các token hình ảnh được tạo ra trước đó.

Để giữ cho các quảng cáo được tạo ra gắn với sản phẩm được quảng cáo, Uni-AdGen sử dụng một mô-đun nhận thức tiền cảnh dựa trên DINO v2, để tiêm thông tin từ hình ảnh sản phẩm minh bạch vào mô hình tự hồi quy.

Tuning hướng dẫn (đào tạo mô hình để tuân theo hướng dẫn tạo ra sản phẩm cụ thể được dẫn xuất từ mô tả và điểm bán hàng) cũng được sử dụng để cải thiện sự tuân thủ các mô tả và điểm bán hàng do người bán cung cấp, với GPT-4o được sử dụng để lọc ra các ví dụ đào tạo không phù hợp.

Cá nhân hóa dựa trên một mô-đun hiểu sở thích thô đến tinh. Các tương tác lịch sử trước đó được lọc qua một đường ống lấy mẫu tương tự sản phẩm (PSS) để ưa thích sản phẩm giống với mục tiêu. Các hồ sơ còn lại sau đó được xử lý bởi một giai đoạn trích xuất sở thích đa phương tiện được thiết kế để xác định các yếu tố hình ảnh và văn bản có khả năng phản ánh sở thích của người dùng nhất – với những sở thích đó được chèn vào lời nhắc, để hướng dẫn tạo ra:

Thử nghiệm

Các tác giả tuyên bố rằng phương pháp thử nghiệm của họ được dẫn xuất từ DeepSeek’s Janus-Pro 7B.

Mô hình được đào tạo với kích thước batch là bốn, dưới AdamW với tốc độ học là 5e-5. Mô hình cơ bản được tinh chỉnh qua LoRA, với nhận thức tiền cảnh và trích xuất sở thích đa phương tiện được tinh chỉnh hoàn toàn (tức là, không giống như LoRA, trọng số của mô hình cơ bản đã được thay đổi vĩnh viễn).

Tất cả các thử nghiệm đều được chạy trên một card đồ họa NVIDIA B200 với 192GB VRAM. Đối với tạo hình ảnh, PickScore, ImageReward, và ASE được sử dụng để đo chất lượng hình ảnh, trong khi m-BLEU và m-ROUGE^† được sử dụng để đánh giá văn bản quảng cáo. Các đánh giá viên người cũng đánh giá tính thực tế của hình ảnh và chất lượng bố cục, cùng với độ chính xác và tính lưu loát của văn bản, với tất cả các chỉ số được tính trên 500 sản phẩm.

Đối với tạo hình ảnh, các baseline bao gồm Qwen2.5-VL và GPT-4o để tạo ra các lời nhắc nền từ hình ảnh sản phẩm, tiếp theo là ReliableAd, PosterMaker, và Flux-Fill để tạo ra các quảng cáo cuối cùng. So sánh tạo văn bản được thực hiện chống lại Qwen2.5, Qwen3, và DeepSeek-R1.

Kết quả ban đầu về tạo quảng cáo được hiển thị dưới đây:

Hiệu suất trên benchmark tạo quảng cáo chung. Uni-AdGen đã khớp hoặc vượt trội so với các baseline tạo hình ảnh mạnh nhất về chất lượng thẩm mỹ và PickScore, trong khi mô hình hình ảnh-văn bản thống nhất đạt được điểm m-ROUGE cao nhất trong số tất cả các phương pháp tạo văn bản. Kết quả đánh giá của con người vẫn cạnh tranh trên cả hai phương thức.

Trong số những kết quả này, các tác giả tuyên bố:

‘Phương pháp của chúng tôi đạt được hiệu suất tốt nhất trong ImageReward và đứng thứ hai trong cả PickScore và đánh giá của con người, chứng tỏ hiệu suất vượt trội của nó về chất lượng thẩm mỹ và tỷ lệ có sẵn cao. Trong khi ReliableAd dẫn đầu trong đánh giá của con người, nó tụt lại phía sau đáng kể trong các chỉ số thẩm mỹ. Ngược lại, PosterMaker và Flux-Fill tạo ra hình ảnh hấp dẫn về mặt hình ảnh nhưng gặp phải những hạn chế về khả năng sử dụng rõ ràng.

‘Nhờ vào các phương pháp kiểm soát hiệu quả, phương pháp của chúng tôi thành công trong việc đạt được sự cân bằng tối ưu giữa nội dung hình ảnh và tiện ích thực tế.’

Quảng cáo cá nhân hóa được đánh giá trên 500 người dùng có lịch sử tương tác được ghi lại, sử dụng Tương tự Bối cảnh Sản phẩm (PBS) để đo sự tương似 của hình ảnh, và BLEU và ROUGE để so sánh văn bản được tạo ra với các sản phẩm mà người dùng đã nhấp vào thực sự.

Vì các baseline quảng cáo chung được sử dụng trong thí nghiệm trước không thể kết hợp lịch sử người dùng, các so sánh đã được chuyển sang các hệ thống được thiết kế cho cá nhân hóa. Đối với tạo hình ảnh, Flux-Kontext và Pigeon đã được chọn làm baseline. Flux-Kontext được cung cấp một lưới hình ảnh lịch sử của người dùng cùng với hình ảnh sản phẩm mục tiêu, cho phép sở thích trước đó ảnh hưởng đến tạo ra:

Vì Pigeon không hỗ trợ đặt sản phẩm một cách bản địa, mô-đun nhận thức tiền cảnh được phát triển cho Uni-AdGen đã được tích hợp để duy trì sự nhất quán của sản phẩm. Đối với tạo văn bản, Qwen3 và DeepSeek-R1 đã được sử dụng, với các mô tả sản phẩm lịch sử được chèn trực tiếp vào các mẫu hướng dẫn của chúng để cung cấp bối cảnh cụ thể cho người dùng:

Kết quả tạo quảng cáo cá nhân hóa. Uni-AdGen đã vượt trội so với Flux-Kontext, Pigeon, Qwen3 và DeepSeek-R1 trên tất cả các chỉ số cá nhân hóa được báo cáo, trong khi nghiên cứu loại bỏ chỉ ra rằng dữ liệu người dùng lịch sử, lấy mẫu tương tự sản phẩm (PSS) và trích xuất sở thích đa phương tiện mỗi yếu tố đều đóng góp vào lợi ích có thể đo lường.

Tại đây, các tác giả nhận xét:

‘Kết quả được trực quan hóa [được bao gồm trong hình ảnh dưới] cho thấy Flux-Kontext không hiểu được sở thích của người dùng và vẫn dễ bị nhiễu ở cấp độ mẫu, dẫn đến sự偏差 đáng kể so với sự thật, chẳng hạn như các mục không liên quan trong hình ảnh xe máy.’

Ví dụ về tạo quảng cáo cá nhân hóa. So với Flux-Kontext, Pigeon, Qwen3 và DeepSeek-R1, Uni-AdGen đã tạo ra hình ảnh phù hợp hơn với phong cách hình ảnh và bối cảnh của các quảng cáo mà người dùng thực sự đã nhấp, trong khi tạo ra văn bản bắt giữ một tỷ lệ lớn hơn của các thuộc tính sản phẩm và điểm bán hàng hiện diện trong các ví dụ thực tế. Các thuật ngữ khớp được突出 trong màu xanh lá cây.

Các ví dụ chất lượng, các tác giả cho rằng, cho thấy Flux-Kontext và Pigeon thường tạo ra đầu ra khác biệt so với các đặc điểm hình ảnh của các quảng cáo mà người dùng đã nhấp trước đó; trong khi văn bản được tạo ra bởi Qwen3 và DeepSeek-R1 bỏ qua một số điểm bán hàng hiện diện trong các ví dụ thực tế.

Kết luận

Tiện ích của dự án này phụ thuộc hoàn toàn vào việc người dùng đồng ý, và việc mở rộng phạm vi của hệ thống ‘dự đoán’ này vượt ra ngoài phạm vi của miền kiểm soát lịch sử người dùng – trong trường hợp này, JD.com – đòi hỏi một tập hợp các quyền của người dùng thậm chí còn được thư giãn hơn, trong hầu hết các vùng lãnh thổ.

Tuy nhiên, hệ thống này được dựa trên loại hiệu ứng mạng quy mô lớn đang hoạt động trong kịch bản như vậy, và trên ý tưởng (có thể hơi lạc quan) rằng người dùng sẽ tìm thấy loại hệ thống khuyến nghị thực sự được cá nhân hóa và thậm chí dự đoán này hữu ích hơn là xâm phạm, ít nhất là trong bối cảnh của một gã khổng lồ bán lẻ.

* Đây là hình ảnh xây dựng trên xu hướng mới đáng lo ngại của ‘hình ảnh tổng hợp’ trong các bài báo nghiên cứu, trong đó các hình ảnh mà trước đây sẽ là 3-4 hình ảnh riêng biệt được tổng hợp thành một (vì mục đích tuân thủ các hướng dẫn về độ dài tối đa của bài báo chính) và được sử dụng chỉ để tham khảo, thường không có giải thích đầy đủ trong chú thích đi kèm.

^† ‘m’-prefix chỉ ra so sánh với nhiều văn bản ứng cử.

Được xuất bản lần đầu vào Thứ Ba, ngày 2 tháng 6 năm 2026. Đã sửa đổi 18:21 EET để sửa ‘tường’ thành ‘tường vây’ trong đoạn cuối.