기업용 음성 AI는 더 많은 개성이 필요하지 않다. 설계 단계에서 공감이 필요하다

저는 2017년부터 음성 분야에서 일해 왔으며, 한 번의 과대광고 주기를 겪고 두 번째 파도가 실제로 가속되는 모습을 지켜볼 충분한 시간을 가졌습니다. 두 번째 물결은 기술적으로 더 인상적이지만, 이에 대한 논의는 숫자로 축소되었습니다. 사람들의 실제 말투에 관한 내용은 거의 없으며, 저는 우리가 초기 음성 단계에서 강조되던 언어학 및 심리학과의 열정적인 연결을 잃었다고 말하고 싶습니다.

발표 자료를 살펴보면 지연 시간 수치, 해결률, 그리고 에이전트가 할 수 있다는 야심찬 주장들을 볼 수 있습니다. 이 모든 것이 중요하지만, 작업을 완수하지 못한다면 아름답게 말하는 에이전트는 무용지물입니다. 특히 기업용 음성 제품들은 점점 동일한 기반 모델 풀을 활용하고 있어, 속도는 기본적인 전제조건에 불과합니다.

차이는 전혀 다른 영역에 있습니다. 에이전트는 무엇을 알고 있나요? 무엇을 할 수 있나요? 상호작용이 진행되는 동안 느낌은 어떠한가요? 가장 중요한 것은, 에이전트가 기계이기 때문에 고객이 추가 작업을 해야 하는가 입니다.

여기서부터 공감 기반 음성 디자인이 시작됩니다. 따뜻한 목소리나 동정적인 문구를 추가한다는 의미가 아니라, 발신자의 의도, 인지 부하 및 예상 감정 상태를 중심으로 설계한다는 뜻입니다. 에이전트는 비즈니스가 이미 알고 있는 정보를 파악하고, 수행 중인 작업을 설명하며, 오류가 발생했을 때 깔끔하게 복구하고, 작업이 완료되면 대화를 종료해야 합니다.

A warm synthetic voice that asks for the same account number three times has not made the call any easier and the warmth is not doing any work.

공감은 음성 설정이 아니다

시스템이 문제를 이해하거나 유용한 작업을 수행하지 못해도 목소리는 사려 깊게 들릴 수 있습니다. 고객은 정전, 청구서 분쟁, 혹은 여러 팀에 걸친 구현 장애와 관련해 전화를 걸 수 있습니다. 에이전트가 FAQ만 알고 있다면 따뜻하거나 세련된 어조는 경험을 공감적으로 만들지 못합니다. 에이전트는 누가 전화를 걸었는지, 어떤 제품을 구매했는지, 계정에서 마지막 상호작용이 무엇이었는지, 그리고 고객을 돕기 위해 어떤 행동이 허용되는지를 알아야 합니다.

기업용 음성 에이전트는 올바른 고객 및 제품 컨텍스트와 적절한 권한을 갖추어야 하며, 이를 통해 사용자가 통화 중일 때 답변하고 조치를 취할 수 있습니다. 발신자는 검색 결과를 음성으로 들을 필요가 없습니다. 환불 처리, 기록 수정, 혹은 적절한 전문가 연결이 필요할 수 있습니다.

저는 공감을 디자인 분야이자 시스템 요구사항으로 봅니다. 대화 설계는 에이전트의 행동 방식을 결정하고, 기본 아키텍처는 에이전트가 충분히 유용한지 여부를 결정합니다. 저는 이 결합된 결과를 음성의 제품 질감이라고 생각합니다: 시스템이 무엇을 알고 있는지, 그 지식을 어떻게 활용하는지, 불확실성을 어떻게 처리하는지, 그리고 대화가 끝났을 때 사용자가 어떤 느낌을 받는지.

음성은 사회적 계약을 만든다

음성은 중립적인 인터페이스가 아닙니다. 최근 고객과 통화 중에 데모 에이전트가 여성 목소리를 사용하고 있었습니다. 1분도 안 되어 방 안 사람들은 그 목소리를 “그녀”라고 부르기 시작했습니다. 누가 그렇게 정한 것도 아니었고, 대화의 자연스러운 연장이었을 뿐입니다.

이 효과는 생성 AI보다 앞선 것입니다. 1994년 연구에서 컴퓨터를 사회적 행위자로 본 Clifford Nass, Jonathan Steuer, Ellen Tauber는 사람들이 기계와 상호작용한다는 사실을 알면서도 사회적 반응을 보인다고 밝혔습니다. 음성은 타이밍, 자신감, 어조를 통해 그 반응을 더욱 강화합니다.

이는 실패가 느껴지는 방식을 바꿉니다. 예를 들어, 텍스트 박스가 잘못된 링크를 반환하면 짜증이 나지만, 당신을 가로채고 같은 내용을 두 번 오해하며 문제를 해결했다고 주장하는 음성은 무례하게 느껴집니다. 기술 자체는 감정을 갖지 않지만, 발신자는 갖게 됩니다.

신뢰는 이미 얇습니다. 멜버른 대학과 KPMG가 공동으로 진행한 2025년 전 세계 연구는 47개국 48,000명 이상을 조사했습니다. 그 결과 66%가 AI를 정기적으로 사용하지만, 신뢰할 의향이 있는 사람은 46%에 불과했습니다. 모든 음성 상호작용은 약간의 신뢰를 얻거나 잃게 됩니다.

또한 윤리적 긴장감도 존재합니다. 업계는 종종 가장 인간처럼 들리는 에이전트를 최우수로 여깁니다. 하지만 사람들은 속임을 원하지 않습니다. 제가 에이전트를 설계할 때는 에이전트가 스스로를 밝히고, 접근 가능한 범위를 설명하며, 중요한 행동을 하기 전에 무엇을 할 것인지 명시하도록 합니다. 투명성은 대화의 일부가 되어야 합니다.

눈이 아닌 귀를 위한 설계

스크린은 관대합니다. 사람들은 스캔하고, 다시 읽고, 스크롤을 뒤로 돌릴 수 있습니다. 음성은 들리는 순간 사라지기 때문에 인지 부하는 실용적인 설계 제약이 되며, 학문적 각주가 아닙니다.

Nelson Cowan의 리뷰에 따르면 작업 기억은 젊은 성인에서 대략 3~5개의 의미 있는 항목으로 제한된 중앙 저장소를 가지고 있습니다. 그러나 음성 시스템은 여전히 긴 메뉴를 읽어주고 여러 질문을 한 번에 제시합니다. 대부분의 사람들은 특히 주의가 산만하거나 운전 중이거나 이미 짜증난 상황에서는 이를 모두 기억하기 어렵습니다.

텍스트 챗봇에 텍스트‑투‑스피치를 적용한다고 해서 음성 제품이 되는 것은 아닙니다. 네이티브 음성 설계는 짧은 턴을 사용하고, 중요한 정보를 먼저 제시하며, 발신자가 중단할 여지를 제공합니다. 또한 대화의 모든 공백을 메울 필요는 없다는 점을 인식해, 속도가 중요하더라도 대화가 끝났을 때는 “읽는다”는 식으로 설계합니다.

저는 사회문화 언어학을 전공했으며, 이는 사람들 간 및 사회적 상황에서 언어가 어떻게 작동하는지를 연구합니다. 이는 음성 설계에 유용한데, 속도, 운율, 턴 교대, 복구와 같은 요소에 대한 정확한 용어를 제공하기 때문입니다. “자연스럽게 들리게 해라”는 설계 지시가 아니라, 대화가 어떻게 진행되어야 하는지를 설명할 수 있는 것이 팀이 실제로 구현할 수 있는 기반이 됩니다.

공감 기반 설계는 어떻게 보이는가

공감 기반 설계는 에이전트를 더 따뜻하거나 인간적으로 들리게 만드는 것이 아닙니다. 이는 대화를 사용자의 상황에 맞게 구성하고, 작업 수행에 필요한 노력을 줄이며, 실패를 처리할 때 사용자의 좌절감을 가중시키지 않는 것을 의미합니다. 실제로는 몇 가지 기본 설계 선택에서 시작됩니다.

왜 전화를 걸었는지부터 시작하기

사람들은 기업의 분류 체계를 탐색하기 위해 전화를 거는 것이 아닙니다. 무언가 고장났거나, 지연됐거나, 혼란스러워서 전화를 겁니다. “이 배송을 중단하고 싶어요”라고 말하는 발신자는 일반적인 주문 상태 스크립트로 끌어들여서는 안 됩니다. 에이전트는 어떤 배송인지, 아직 개입할 수 있는지를 파악해야 합니다.

맥락을 활용해 반복을 없애기

공감은 종종 시스템이 묻지 않는 부분에서 가장 드러납니다. 비즈니스가 이미 고객이 누구인지, 어떤 제품을 사용하는지, 이전에 무슨 일이 있었는지를 알고 있다면, 에이전트는 발신자가 이를 다시 설명하도록 요구하기보다 해당 승인된 컨텍스트를 활용해야 합니다.

비즈니스 내부에서도 마찬가지입니다. 회의 사이에 있는 영업 담당자는 계정에서 어떤 변화가 있었는지 물어보고, 후속 조치를 지시하며, 해당 업데이트를 올바른 시스템에 기록할 수 있어야 합니다. 핵심은 컨텍스트를 잃지 않고 흐름을 유지하면서 추가적인 관리 작업을 만들지 않는 것입니다.

행복한 경로보다 복구 설계하기

모든 음성 시스템은 사람의 말을 오해할 수 있습니다. 억양, 배경 소음, 익숙하지 않은 이름, 중단 등은 이를 피할 수 없습니다. 제품은 그 다음에 무엇을 하는가에 따라 정의됩니다. 최악의 복구 패턴은 동일한 질문을 같은 말로 반복하는 것입니다. 더 나은 응답은 에이전트가 이해한 내용을 설명하고 불확실성을 좁힙니다. 문제가 판단이나 접근 권한을 필요로 하고 에이전트가 이를 갖추지 못했다면, 발신자가 요구하기 전에 사람을 개입시켜야 합니다.

전환과 종료를 존중하기

발신자를 사람에게 연결하는 것이 실패는 아닙니다. 대화의 컨텍스트 없이 넘겨주는 것이 실패입니다. 에이전트가 고객이 말한 내용, 파악한 사항, 이미 시도한 조치를 전달하지 않고 전화를 전환하면, 고객은 다시 시작해야 합니다. 바로 이것이 AI가 없애야 할 작업입니다.

문제가 해결된 경우에도 마찬가지입니다. 때로는 최고의 음성 경험이 하나의 질문, 정확한 답변, 그리고 클릭 하나일 수 있습니다. 발신자는 전화를 끊기 전에 에이전트에게 감사를 표하거나 문의가 해결됐다고 확인하지 않을 수도 있습니다. 필요한 것을 얻었다면 상호작용은 성공한 것입니다.

노력을 측정하고, 퍼포먼스 쇼는 측정하지 않기

완벽하게 해결된 단일 통화라도 고객이 만족을 확인하지 않고 전화를 끊으면 이탈로 보일 수 있습니다. 성공을 긴 스크립트를 완수하는 것으로 정의한다면, 팀은 더 긴 대화를 최적화하고 이를 참여도로 부를 것입니다.

저는 재통화 횟수, 수정, 피할 수 있었던 전환, 요청된 작업이 완료됐는지를 측정하고 싶습니다. NPS와 같은 전반적인 만족도 점수도 여전히 중요하지만, 대화 자체가 고객이 불필요하게 더 많은 노력을 들여야 했는지를 보여줍니다.

2026년 2월, Gartner 보고에 따르면 고객 서비스 및 지원 리더의 91%가 AI 도입 압박을 받고 있습니다. 이러한 압박은 자동화가 실제로 업무를 줄이고 있는지를 측정하는 것이 더욱 중요함을 의미합니다. 재통화, 불필요한 전환, 긴 상호작용을 유발하는 음성 에이전트는 겉으로는 효율적으로 보일 수 있지만 비용을 다른 곳으로 옮기는 것에 불과합니다. 시스템이 올바른 작업을 해결하고 불필요한 턴을 피하며 고객이 더 비싼 채널로 돌아오는 것을 방지할 때 경제성이 향상됩니다.

역량과 공감은 함께한다

기업용 음성 시장은 자연스러운 말하기를 넘어선 단계로 나아가고 있습니다. 이제 중요한 것은 에이전트가 발신자의 요구를 이해하고, 올바른 비즈니스 컨텍스트에 접근하며, 정확하고 안전하게 행동하고, 대화가 스크립트를 벗어났을 때 적절히 대응할 수 있는지 여부입니다.

공감 기반 설계는 에이전트를 더 말이 많게 만들지 않아야 합니다. 올바르게 수행될 경우, 반복을 없애고 설명을 짧게 하며 발신자가 기계를 관리해야 하는 부담을 방지합니다. 때때로 즐거움은 어려운 것이 쉬워졌다는 느낌일 뿐입니다.

제가 어떤 AI 제품을 만들 때 가장 중요하게 묻는 질문은 매우 단순합니다: 왜 사람들이 신경 써야 할까? 음성은 사람들에게 더 많은 작업을 부여하기보다 눈에 띄게 더 쉽게 만들 때 그 가치를 얻습니다.

음성 에이전트를 출시하기 전에, 다듬어진 데모만이 아니라 실패한 대화를 들어보세요. 에이전트가 왜 전화를 걸었는지 이해했나요? 문제를 해결할 만큼 충분히 알고 있었나요? 실패했을 때 다음 단계를 더 쉽게 만들었나요, 아니면 더 어렵게 만들었나요?

답이 명확하지 않다면, 더 많은 개성, 낮은 지연 시간, 그리고 더 인간적인 목소리만으로는 문제를 해결할 수 없습니다.