대규모 언어 모델에서 광고 준비

새로운 연구에 따르면 ChatGPT 스타일 답변에 광고가 곧 직접 삽입될 수 있는 것으로 나타났습니다. 배너나 팝업이 아닌, 답변 자체에 자연스럽게 삽입되는 방식입니다. 새로운 벤치마크 테스트는 광고가 삽입된 답변이 얼마나 유용하고, 신뢰도 높으며, 수익성이 높은지 테스트하며, 수용 가능한 사용자 경험과 클릭률 간의 균형을 맞춰야 할 수도 있습니다.

대규모 언어 모델의 인기가 널리 퍼지고 증가함에 따라 기존 광고 방식을 훼손합니다 인터넷이 탄생한 이래로 인터넷에 활력을 불어넣어 온 AI 챗봇은 벤처 캐피탈리스트의 시장 장악 전략에 대해 잘 알고 있기 때문에 AI 챗봇이 응답에 광고 콘텐츠를 포함하지 않도록 얼마나 더 참을 ​​수 있을지 궁금할 것입니다.

Netflix와 확장되는 스트리밍 서비스 목록 보여유료 구독과 내장 광고를 결합하는 전통적인 케이블 시대 전략(종종 소비자 비용을 낮추는 방법으로 정당화됨)이 다시 힘을 얻고 있으며 LLM 출력에 광고를 직접 통합하는 방향으로의 전환이 시작되고 있습니다. 덜 추측적으로 보인다. 그리고 그 모델을 자연스럽게 받아들이는 것 같아요.

LLM이 수익을 창출할 때 대부분의 사람들이 기대하는 전환의 대표적인 예는 'LLM을 통한 온라인 광고: 기회와 과제'라는 논문에서 발췌한 것입니다. 출처: https://www.sigecom.org/exchanges/volume_22/2/FEIZI.pdf

이미 주목할 만한 새로운 매체에 광고를 포함할 가능성 문제 신뢰성이 있으면서도 성급해 보일 수도 있지만 생성 AI에 대한 투자 규모 지난 12개월 동안 시장은 현재 신중하거나 주의 깊은 태도로 정의되지 않았으며 OpenAI와 같은 대형 플레이어는 과도하게 레버리지를 사용하고 있으며 대규모 투자에 대한 조기 수익, 역사에 따르면 광고 없는 출력의 신혼 기간이 곧 끝나갈 것으로 보입니다.

GEM-벤치

이러한 기후와 사업적 필수성을 염두에 두고 싱가포르에서 나온 흥미로운 새로운 논문은 AI 챗봇 인터페이스를 목표로 한 최초의 벤치마크를 제시하고, 100년 만에 가장 폭발적인 광고 분야 중 하나가 될 가능성이 있는 분야에 대한 새로운 정량적 지표를 제시합니다.

아마도 낙관적으로, 저자는 '진정한' 콘텐츠와 광고 콘텐츠 사이에 깔끔한 구분이 있다고 가정합니다. 표준 응답에서 마케팅 카피로의 '전환'은 매우 쉽게 발견할 수 있습니다.

새로운 논문에서 연구한 두 가지 모델에 따라 발생할 수 있는 광고 통합 유형의 예입니다. 출처: https://arxiv.org/pdf/2509.14221

광고주들 스스로가 논문에서 제시한 사례보다 광고 내용을 좀 더 교묘하게 출력물에 녹여내려는 경향을 보일지는 아직 알 수 없습니다.

그러나 이는 나중의 문제입니다. 현재 이 분야는 너무 초기 단계라 기본 용어조차 없거나 정해지지 않았습니다.

따라서 본 논문에서는 다음을 소개합니다. 생성 엔진 마케팅 (GEM)은 생성된 응답에 관련 광고를 직접 삽입하여 LLM 기반 챗봇을 수익화하기 위한 새로운 프레임워크입니다.

연구자들은 식별합니다 광고 주입 반응 (AIR) 세대를 GEM의 핵심 과제로 제시하며, 기존 벤치마크가 이를 연구하기에 적합하지 않다고 주장합니다. 이러한 간극을 메우기 위해, 그들은 이 목적을 위해 특별히 설계된 최초의 벤치마크를 제시합니다.

GEM-Bench는 챗봇 및 검색 엔진 시나리오를 아우르는 세 가지 큐레이션된 데이터 세트로 구성됩니다. 또한 사용자 만족도 및 참여도의 다양한 측면을 평가하도록 설계된 메트릭 온톨로지와 모듈형 다중 에이전트 프레임워크 내에 구현된 일련의 기준 분석 방법론을 포함합니다.

저자들은 간단한 프롬프트 기반 방식이 클릭률(CTR) 향상과 같은 상당한 참여 지표를 달성할 수 있지만, 사용자 만족도를 저하시키는 경향이 있다고 주장합니다. 반면, 미리 생성된 광고 없는 응답에 광고를 삽입하는 방식은 신뢰도와 응답 품질을 향상시키지만, 더 큰 컴퓨팅 오버헤드를 감수해야 합니다.

이 논문은 이러한 상충관계로 인해 광고를 생성적 결과물에 통합하기 위한 보다 효과적이고 효율적인 기술이 필요하다는 점을 강조합니다.

The 새 일 제목이 GEM-Bench: 생성 엔진 마케팅 내 광고 주입 응답 생성을 위한 벤치마크이는 싱가포르 국립대학의 연구자 4명의 의견에서 나온 것입니다.

방법

생성 엔진 마케팅(GEM)의 개요는 검색 엔진 마케팅(SEM)의 기본 원칙을 차용합니다. 기존 SEM은 광고주가 키워드에 입찰하는 다단계 파이프라인을 통해 검색어와 광고를 매칭하는 방식으로 작동합니다. 시스템은 어떤 검색어가 광고를 트리거하는지 파악하고, 각 광고의 클릭 가능성을 예측한 후, 입찰가와 예상 참여도를 비교하는 경매를 통해 광고 게재 위치를 할당합니다.

이와 대조적으로 GEM 접근 방식은 LLM에 동일한 단계를 적용하지만 각 단계마다 새로운 과제에 직면합니다. 고정된 광고 슬롯이 없으므로 시스템은 쿼리가 광고를 가져올 수 있는지 여부와 자유 형식 텍스트의 어디에 광고를 삽입할지 결정해야 합니다. 구조화된 레이아웃 없이는 클릭률을 추정하는 것이 더 어렵습니다. 또한 광고가 단독 복사본으로 제공되는 것이 아니라 모델 자체의 출력에 직접 짜넣어지기 때문에 관련성과 사용자 만족도의 균형을 맞춰야 합니다.

이 연구에서 연구된 기준선 중 하나는 광고 채팅는 모델이 응답을 생성하기 전에 시스템 프롬프트에 광고 콘텐츠를 삽입하는 간단한 방법을 나타냅니다. 즉, 모델은 미리 로드된 아젠다에 따라 광고가 이미 포함된 답변을 생성합니다.

다른 접근 방식은, 광고-LLM는 새로운 벤치마크 솔루션의 일환으로 저자들이 개발했습니다. Ad-LLM은 모듈식 경로를 사용합니다. 먼저 깔끔하고 광고 없는 답변을 생성하고, 관련 광고를 선택하고, 의미 흐름을 기반으로 최적의 삽입 지점을 식별하고, 마지막으로 광고를 원활하게 통합하도록 출력을 다시 작성합니다.

Ad-Chat과 저자의 'Ad-LLM' 방식 비교. Ad-Chat은 광고 생성 전에 시스템 프롬프트를 통해 광고를 삽입하며, 광고 배치 제어는 제한적입니다. Ad-LLM은 응답 생성과 광고 삽입을 분리하여 의미 흐름에 따라 삽입 지점을 선택하고 결과를 개선합니다. 두 방식 모두 만족도와 참여도에 대한 GEM-Bench 지표를 사용하여 점수를 매깁니다.

Ad-Chat은 비용이 저렴하고 때로는 더 설득력이 있지만, 신뢰도와 정확성이 떨어지는 경향이 있습니다. Ad-LLM은 사용자 만족도 지표에서 더 나은 성과를 보이지만, 비용이 더 많이 듭니다.

Data

AIR 생성을 위해 처음에 두 가지 유형의 데이터 세트가 생성되었습니다. 사용자 쿼리 세트(사용자) 및 광고 데이터베이스(애드디비).

사용자 쿼리는 LLM의 응답에서 광고 기회를 정의하므로, 이러한 응답에는 '광고 인벤토리'가 존재한다고 할 수 있습니다. 하지만 이는 사용자 쿼리의 적용 가능성뿐만 아니라 시스템이 광고주의 필수 조건과 무결성 간의 균형을 맞추는 자체 규칙을 어느 정도 준수하는지에 따라서도 정의됩니다.

어떤 경우든 광고는 응답으로만 나타납니다. (위의 스키마 참조) 광고 게재 프로세스를 수용하기 위해 사용자 요청이 비밀리에 증가할 수도 있습니다.

챗봇 시나리오의 경우 저자는 두 개의 쿼리 데이터 세트를 구성했습니다. MT-휴먼 및 LM-마켓.

MT-Human은 인문학 부분에서 추출되었습니다. MT-벤치LLM에 대한 다중 턴 벤치마크이며 광고 콘텐츠를 수용할 가능성이 있는 질문이 포함되어 있습니다.

LM-Market은 50만 개가 넘는 실제 ChatGPT 쿼리를 수집하여 구축되었습니다. LMSYS-Chat-1M영어 마케팅 관련 프롬프트를 필터링하고 주제별로 클러스터링했습니다. 의미론적 임베딩.

두 경우 모두 최종 쿼리는 자동화된 여러 단계 파이프라인을 통해 선택되었습니다. 클러스터링LLM 채점 및 인간 검증을 통해 광고 삽입이 자연스럽고 타당한 프롬프트를 식별하는 것이 목표입니다.

광고 삽입 반응의 품질을 평가하기 위해 GEM은 사용자 만족도와 참여도를 모두 포괄하는 측정 온톨로지를 정의합니다. 여기에는 다음을 포함한 정량적 지표가 포함됩니다. 응답 흐름, 통일및 클릭률, 그리고 다음과 같은 질적 표준도 포함됩니다. 신뢰, 및 자연 스러움 – 광고가 응답에 얼마나 잘 맞는지, 그리고 사용자가 광고를 인지하고 광고와 상호 작용할 가능성이 얼마나 되는지 반영하기 위한 지표입니다.

'자연스러움'에 관해 해당 논문은 다음과 같이 기술하고 있습니다.

'[자연스러움]은 광고 삽입이 대화의 흐름과 자연스러움을 방해하는 정도를 측정하며, 방해성과 진정성을 기준으로 합니다. 방해성은 광고가 읽는 동안 "갑작스럽게 튀어나오는" 또는 "갑작스러운" 느낌을 주어 사용자가 주제에 집중하는 것을 방해하는지 여부를 조사합니다.

'진정성은 광고가 대화의 '인간적인 면모'나 '자연스러운 흐름'을 훼손하는지, 응답이 경직되고, 공식적이며, 덜 진정성 있는 것처럼 보이게 하는지를 평가합니다.'

테스트 단계에 대한 기존 검색 엔진 시나리오를 생성하기 위해 저자는 다음과 같은 제목의 데이터 세트를 생성했습니다. CA-제품 인사말 광고CVLR 300,000개의 쿼리-광고 쌍을 포함하는 상업 코퍼스는 각각 키워드, 메타데이터 및 관련성을 표시하는 수동 레이블로 구성됩니다.

원래 출처 논문에서 AdsCVLR 데이터 세트의 예를 발췌하여 저자의 테스트를 위한 자료를 제공하는 데 도움이 되었습니다. 출처: http://www.jdl.link/doc/2011/20221224_AdsCVLR.pdf

필드가 누락된 레코드는 제거되었고, 긍정적 광고와 부정적 광고가 모두 포함된 쿼리만 유지되었습니다(위 이미지 참조).

데이터를 정제하기 위해 광고는 6개의 주제 그룹으로 클러스터링되었습니다.잔디밭과 정원 장비, 슬립온 슈즈, 가정 용품, 영양 보충제, 안드로이드 기기및 여성복) 의미적 임베딩과 K-평균 클러스터링을 사용합니다.

그런 다음 긍정적인 광고에 따라 주제에 쿼리를 할당하고, 지나치게 희소하거나 밀집된 세트를 제외한 후, 벤치마크를 위해 최종적으로 120개의 쿼리와 2,215개의 고유 제품을 샘플링했습니다.

테스트

다양한 광고 주입 전략의 성과를 평가하기 위해 벤치마크는 세 가지 핵심 질문을 다루었습니다. 정의된 만족도 및 참여 지표에서 각 방법이 얼마나 효과적인가, Ad-LLM 내의 내부 설계 선택이 결과에 어떤 영향을 미칠 수 있는가, 그리고 시스템 간에 계산 비용을 어떻게 비교할 것인가입니다.

저자는 Ad-Chat과 저자의 Ad-LLM 파이프라인의 세 가지 변형을 평가했습니다. 각 변형은 광고를 검색하는 방식(프롬프트에서 검색하는지 생성된 응답에서 검색하는지)과 유창성을 위해 최종 출력을 다시 작성했는지 여부가 달랐습니다.

모든 방법은 다음을 사용하여 실행되었습니다. doubao-1-5-lite-32k 기본 모델로 판단하여 gpt-4.1-미니.

MT-Human, LM-Market, CA-Prod 데이터셋에서 Ad-Chat 및 Ad-LLM 변형의 효과를 분석했습니다. 정량적 지표에는 응답 흐름(RF), 응답 일관성(RC), 광고 흐름(AF), 광고 일관성(AC), 주입률(IR), 클릭률(CTR), 그리고 전체 점수가 포함됩니다. 정성적 지표에는 정확성, 자연스러움, 개성, 신뢰도, 알림, 클릭률, 그리고 전체 성과가 포함됩니다.

세 가지 데이터세트 모두에서 Ad-LLM은 만족도와 참여도 측정 모두에서 Ad-Chat보다 더 우수한 결과를 보였습니다. 위 결과표에서 볼 수 있듯이, 가장 우수한 Ad-LLM 변형은 Ad-Chat보다 전반적인 정량적 점수에서 8.4%, 1.5%, 3.8% 향상되었고, MT-Human, LM-Market, CA-Prod의 정성적 점수에서는 각각 10.7%, 10.4%, 8.6% 향상되었습니다.

이러한 결과에 대해 저자는 다음과 같이 말합니다.

'이러한 결과는 원시 응답을 생성한 후 광고를 삽입하는 것이 시스템 프롬프트 주입에만 의존하는 간단한 접근 방식보다 응답 품질이 더 좋다는 것을 보여줍니다.

'특정 사용자 만족도 및 참여 측면에서 Ad-Chat은 세 가지 데이터 세트 모두에서 Ad-LLM 솔루션과 비교하여 상당한 성능 격차를 지속적으로 보였습니다. 특히 정확성, 개성, 신뢰와 같은 측면에서 그렇습니다.'

또한 Ad-LLM은 정확도, 개성, 신뢰도 측면에서 가장 큰 향상을 보였으며, Ad-Chat보다 각각 최대 17.6%, 23.3%, 17.2% 높은 성능을 보였습니다. 논문에 따르면, 이러한 차이는 Ad-Chat이 시스템 프롬프트를 사용하여 모델을 더욱 개인화되고 홍보적인 언어로 유도하는 방식에서 비롯될 수 있습니다. 저자들은 이러한 방식이 정확도와 신뢰도를 저하시키는 '영업사원 같은' 어조로 이어질 수 있다고 주장합니다.

Ad-Chat은 광고 적합성을 위해 선택된 쿼리를 기준으로 평가했을 때에도 주입률이 낮았으며, 저자는 이를 프롬프트 기반 신호에 의존하기 때문이라고 설명합니다(저자들은 이를 제어하기 어렵다고 특징지었습니다).

그러나 검색 엔진 설정에서 Ad-Chat은 8.6% 더 높은 클릭률을 달성했는데, 이는 의미적 임베딩에만 의존하는 것보다 LLM을 사용하여 제품 후보를 검색하는 이점을 반영할 수 있다고 논문에서 제안합니다.

MT-Human, LM-Market, CA-Prod 데이터셋에서 Ad-Chat과 Ad-LLM 변형 모델(GI-R, GIR-R, GIR-P)의 네 가지 심사 모델(GPT-4.1-mini, Qwen-max, claude-3-5-haiku, kimi-k2)에 대한 전체 성능 점수를 비교했습니다. 심사 모델마다 점수는 다르지만, Ad-LLM은 모든 조건에서 Ad-Chat보다 일관되게 우수한 성능을 보였습니다.

위에 표시된 두 번째 결과 표는 세 ​​가지 데이터 세트 모두에서 Ad-LLM 솔루션이 네 가지 심사 모델(GPT-4.1-mini, Qwen-max, Claude-3-5-haiku, Kimi-k2)에서 지속적으로 Ad-Chat보다 우수한 성능을 보인다는 것을 보여줍니다.

이 판단 기준들은 기본 모델인 doubao-1-5-lite-32k와 다르게 선정되어 모델군 정렬로 인한 편향을 줄이는 데 도움이 되었습니다. GIR-R은 모든 사례에서 XNUMX위 또는 XNUMX위를 차지했는데, 이는 Ad-LLM의 우월성에 대한 판단 기준들 간의 광범위한 합의를 시사합니다. 개별 질적 차원에 따른 분석은 바로 앞선 결과(위에서 자세히 설명)에서 나타난 패턴과 매우 유사합니다.

결론적으로, 본 논문은 Ad-Chat과 Ad-LLM 모두 혁신적이고 효과적인 모델보다 더 많은 리소스를 필요로 하며, 이러한 유형의 트랜잭션에서 LLM 에이전트를 사용해야 하는 것은 상당한 오버헤드를 초래할 수 있다고 지적합니다. 하지만 이러한 유형의 LLM 사용으로 인해 지연 시간 문제(일반적으로 광고 게재 시나리오에서 중요함)가 발생할 수 있다고 생각할 수 있습니다(본 논문에서는 구체적으로 다루지 않음).

어떤 경우든, 저자가 Ad-Chat 전략을 구현한 방식(이 기사의 시작 부분에서 보여준 이전 스키마의 위쪽 행)은 가장 높은 LLM 비용이 수반되었음에도 불구하고 가장 높은 클릭률을 제공하는 것으로 나타났습니다.

결론

LLM이 광고를 수행할 수 있는 방법에 대해 문헌에서 추측하는 것은 놀라운 일이 아니지만 실제로 이 주제에 대한 공개적으로 이용 가능한 연구는 거의 없습니다. 이것이 현재 논문과 우리가 합리적으로 해석할 수 있는 것입니다. 전임자, 흥미로운 요리.

광고 영업 부서나 재고 판매 부서에서 일해 본 사람이라면 누구나 광고주가 항상 더 많은 것을 원한다는 사실을 알 것입니다. 이상적으로는 광고를 사실적인 콘텐츠로 제시하고 호스트 콘텐츠 스트림과 전혀 구별되지 않기를 원합니다. 그리고 광고주는 이를 위해 상당한 프리미엄을 지불할 것입니다(호스트와 함께 지불해야 하며, 이로 인해 독자와 다른 이해 관계자의 신뢰와 평판이 위험에 처하게 됩니다).

따라서 두 논문에 걸쳐 구상된 광고가 가득한 보충 조항이 LLM 응답에서 더 위쪽으로, '페이로드'에 더 가까이 다가가도록 유도될 수 있는 정도를 보는 것은 흥미로울 것입니다.

18년 2025월 XNUMX일 목요일에 처음 게시됨