모두에게 다르게 말하는 브랜드를 샘플링·테스트할 수는 없습니다

며칠 전, 나는 친구 Faniprize와 꽤 격렬한 토론을 벌였습니다. 그녀는 내가 이야기 속에 더 큰 질문이 느껴지지만 아직 이름을 붙일 수 없을 때, 새로운 업무 이야기를 전하는 사람입니다.

이번에는 AI 에이전트였습니다. 기업이 그것을 필요로 하는가에 대한 논의는 이미 충분히 이루어졌습니다. 저는 기업이 에이전트를 도입하고 실제 업무를 수행하기 시작한 뒤에 무슨 일이 일어나는지에 더 관심이 있었습니다. 바로 그때부터 눈에 띄지 않는 문제가 시작되기 때문입니다.

최근에 진행한 채용 에이전시와의 프로젝트에 대해 그녀에게 이야기했습니다. AI 에이전트가 잠재 고객과의 커뮤니케이션 일부를 담당하고 있었습니다. 마케팅 관점에서는 괜찮아 보였습니다. 제품과 대상 고객을 알고 있었고, 톤도 적절했으며, 대화가 템플릿화된 것이 아니라 개인적인 느낌이었습니다.

개별 대화는 괜찮아 보였습니다. 그런데 여러 대화를 나란히 비교해 보니.

매우 유사한 상황에서 에이전트는 약간씩 다른 약속을 했습니다. 한 사람에게는 회신 시점을 제시하고, 다른 사람에게는 다른 시점을 제시했습니다. 몇몇 대화에서는 기본적으로 “여기서는 유연하게 대응할 수 있습니다”라고 말했지만, 회사는 그런 조건에 동의할 자유를 에이전트에게 부여한 적이 없었습니다.

극적인 오류는 없었지만, 그 때문에 문제를 눈치채기 어려웠습니다.

에이전트는 전혀 이상하게 들리지 않았습니다.

마케팅 팀은 당연히 톤과 포지셔닝에 많은 시간을 투자합니다. 채용 회사가 암호화폐 스타트업처럼 들리면 안 되고, 은행이 패션 브랜드처럼 소통해서도 안 됩니다. 그러나 브랜드가 말하는 방식 아래에는 또 다른 층이 있습니다: 에이전트가 회사의 입장에서 실제로 약속할 수 있는 범위는 무엇인가요?

아름답게 작성된 메시지는 고객이 나중에 논의된 조건이 존재하지 않음을 알게 되면 큰 도움이 되지 않습니다. 그 순간은 단순한 커뮤니케이션 문제가 아니라 평판 문제로 변합니다.

우리는 에이전트가 회사처럼 말하도록 교육했습니다. 이제는 그들이 회사처럼 판단하는지 확인해야 합니다.

왜 일반적인 검토가 이를 놓치는가

보통 검토는 몇 개의 대화를 읽는 것입니다. 제품 정보가 정확한가? 에이전트가 지침을 따랐는가? 이상한 말을 했는가?

하지만 무작위로 선택한 다섯 개의 대화가 모두 괜찮아 보이면서도 심각한 불일치를 숨길 수 있습니다. 개인화 때문에 설계상 모든 대화가 다르게 나타납니다: 한 고객은 직접 묻고, 다른 고객은 길게 설명하고, 누군가는 협상하고, 또 누군가는 계속 압박합니다. 이러한 사례들은 서로 비교할 수 없습니다.

채용 사례에서는 “이 답변이 좋았는가?”라는 질문을 멈추고 “에이전트가 여기서 어떤 결정을 내렸는가?”라는 질문을 시작할 때까지는 문제가 없어 보였습니다.

내가 대신 시작한 방법

실제 대화가 명확한 비교를 제공하지 못한다면, 우리는 직접 만들어냅니다.

한 비즈니스 상황을 선택해 에이전트를 8~10번 실행합니다. 중요한 사실은 동일하게 유지되지만 반대편 사람이 바뀝니다: 더 부드럽게, 더 직접적으로, 오늘 바로 계약할 준비가 된, 경쟁사를 언급하는 등.

그 다음 비즈니스 결정을 살펴봅니다. 에이전트가 더 강하게 압박한 사람에게만 할인을 제안했는가? 타이밍 약속이 상황 차이 때문인지, 단순히 대화 흐름이 달라졌기 때문인지 바뀌었는가? 특별 조건을 논의할 권한이 있었는가?

문구가 그대로 유지된다면 걱정됩니다. 유지되어야 할 것은 회사의 입장이고, 만약 변한다면 그에 합당한 비즈니스 이유가 있어야 합니다.

최종 판단은 사람에게서 나와야 합니다. 모델이 스스로의 과제를 평가해서는 안 됩니다. 그 결정을 내리는 사람—창업자, 영업 책임자, 혹은 상업 이사—이 그것이 허용 가능한지 여부를 말해야 합니다.

내가 실제로 보는 것

나는 네 가지 질문으로 계속 돌아갑니다.

첫째, 중요한 조건이 동일하게 유지된다면 결정도 일관성을 유지하는가? 바로 여기서 채용 사례가 무너졌습니다.

둘째, 에이전트가 여전히 회사의 실제 규칙 안에서 운영되고 있는가? 나는 한 번 인간 버전을 본 적이 있다. 영업 관리자가 스스로 고객에게 20% 할인을 제공하기 시작했다. 회사에는 표준 20% 할인이 없었으며, 그런 할인은 관리자의 승인이 필요했다. 그는 회사를 해치려는 것이 아니라 판매를 원했으며, 그 과정에서 자신이 결정할 수 있다고 생각한 범위의 경계를 넘었다. 에이전트도 동일하게 행동한다.

셋째, 변경된 결정에 진정한 이유가 있는가? 상황은 중요하지만, 그것을 이해하는 것과 뭔가에 설득당하는 것은 다릅니다. 유일한 변화가 한 고객이 더 끈질겼다는 것이라면, 에이전트가 조용히 더 관대해지길 원하지 않습니다.

넷째, 에이전트가 그 권한이 어디까지인지를 알고 있는가? 때때로 올바른 조치는 단순히 “이 부분은 사람에게 확인해야 합니다”라는 답변이 될 수 있습니다. 그것도 충분히 좋은 답변입니다.

테스트가 때때로 회사를 드러내기도 한다

당신은 제시한다 의심스러운 결정을 팀에 다시 가져와서, 에이전트가 무엇을 해야 했는지 묻고, 사람들은 서로 다른 답변을 제시한다.

영업 부서는 하나의 관점을 가지고 있습니다. 마케팅은 다른 관점을 가지고 있습니다. 설립자는 “보통은 그렇게 하지 않지만, 가끔은 합니다”라고 말합니다. 한 관리자는 지난해의 세 가지 예외를 기억합니다.

이 모든 것은 에이전트에게 제공하는 자료에 반영됩니다. 회사가 논리에 대해 합의하지 않았다면, 모델은 혼란스러운 현실에서 학습합니다. 때때로 그것은 모순을 만들지 않았습니다.

그것은 단지 가시화했을 뿐입니다.

그래서 AI 테스트는 거의 우연히 비즈니스 감사로 변합니다. 누가 할인을 승인할 수 있나요? 영업 사원이 물어보지 않고 약속할 수 있는 것은 무엇인가요? 어떤 규칙이 실제 규칙이고, 어떤 것이 단지 습관일까요? 그리고 사람들이 매주 예외를 만든다면 그 예외는 여전히 예외일까요?

에이전트도 사람과 같은 방식으로 교육이 필요할지도 모릅니다

우리는 여전히 AI 에이전트를 소프트웨어처럼 다룹니다: 설정하고, 프롬프트를 지정한 뒤 작동하도록 합니다. 그들에게 더 많은 책임을 부여할수록, 나에게는 그럴수록 의미가 줄어듭니다.

우리는 새로운 영업 관리자를 월요일에 브랜드 북을 건네주고 모든 고객을 상대할 준비가 되었다고 가정하지 않습니다. 누군가가 그들의 통화를 듣고, 어려운 사례를 논의하며, 지나치게 나아갈 때 교정합니다. 이것이 그들이 회사의 논리를 배우는 방법입니다.

왜 AI 에이전트가 하나의 프롬프트만으로 이를 배우길 기대해야 할까요? 실제 대화를 처리하게 되면, 우리는 사례와 피드백을 통해 교육해야 할 것이며, 이는 사람을 코칭하는 방식과 거의 같습니다.

이는 나에게 브랜드 일관성이 의미하는 바를 바꿉니다. 열 명에게 정확히 같은 방식으로 말하는 에이전트는 형편없는 에이전트가 될 것입니다. 에이전트는 사람, 문화, 상황에 맞게 조정되어야 합니다.

무작위로 바뀌어서는 안 되는 것은 그 아래의 논리입니다: 회사가 약속할 것, 약속하지 않을 것, 그리고 누군가가 멈추고 물어봐야 하는 지점.

만약 내일 에이전트가 같은 어려운 대화의 약간씩 다른 10가지 버전을 가지고 있다면, 여전히 같은 회사처럼 행동할까요?