Modulate는 앙상블 청취 모델을 도입하여 AI가 인간의 목소리를 이해하는 방식을 재정의합니다.

인공지능은 빠르게 발전해 왔지만, 한 가지 영역은 여전히 ​​어려운 과제로 남아 있습니다. 바로 인간의 목소리를 진정으로 이해하는 것입니다. 단순히 단어뿐 아니라 그 안에 담긴 감정, 어조와 타이밍에 의해 형성되는 의도, 그리고 친근한 농담과 좌절, 속임수, 악의를 구분하는 미묘한 신호까지 파악하는 것이 중요합니다. 오늘날, 변조 중대한 돌파구를 마련했다고 발표했습니다. 앙상블 청취 모델(ELM)실제 음성 이해를 위해 특별히 설계된 새로운 AI 아키텍처입니다.

Modulate는 연구 발표와 함께 새로운 내용을 공개했습니다. 벨마 2.0이는 앙상블 청취 모델의 첫 번째 상용 배포 사례입니다. 회사 측은 Velma 2.0이 대화 정확도 면에서 주요 기반 모델을 능가하면서도 비용은 훨씬 저렴하다고 밝혔는데, 이는 기업들이 대규모 AI 도입의 지속 가능성을 재평가하는 시점에서 주목할 만한 주장입니다.

인공지능이 음성 인식에 어려움을 겪는 이유는 무엇일까요?

음성을 분석하는 대부분의 AI 시스템은 익숙한 접근 방식을 따릅니다. 오디오를 텍스트로 변환한 다음, 해당 텍스트를 대규모 언어 모델로 처리합니다. 이러한 과정은 텍스트 변환 및 요약에는 효과적이지만, 음성의 의미를 구성하는 많은 부분을 제거합니다.

어조, 감정적 억양, 머뭇거림, 비꼬는 말투, 겹쳐 말하는 소리, 배경 소음 등은 모두 중요한 맥락을 담고 있습니다. 말을 텍스트로 변환하면 이러한 요소들이 사라져 종종 다음과 같은 결과를 초래합니다. 의도의 오해 또는 감정. 이는 고객 지원, 사기 탐지, 온라인 게임 및 AI 기반 커뮤니케이션과 같이 미묘한 차이가 결과에 직접적인 영향을 미치는 환경에서 특히 문제가 됩니다.

Modulate에 따르면 이러한 한계는 데이터 기반이라기보다는 아키텍처적인 문제입니다. 대규모 언어 모델은 텍스트 예측에 최적화되어 있으며, 여러 음향 및 행동 신호를 실시간으로 통합하는 데는 적합하지 않습니다. 앙상블 청취 모델은 이러한 격차를 해소하기 위해 개발되었습니다.

앙상블 청취 모델이란 무엇인가요?

앙상블 청취 모델은 모든 작업을 한 번에 처리하도록 훈련된 단일 신경망이 아닙니다. 오히려 음성 상호작용의 각기 다른 측면을 분석하는 역할을 담당하는 여러 전문 모델로 구성된 조정된 시스템입니다.

ELM(정규화 수명 모델) 내에서는 감정, 스트레스, 기만 징후, 화자 신원, 타이밍, 운율, 배경 소음, 합성 또는 사칭 음성 등의 신호들을 각각 별도의 모델들이 분석합니다. 이러한 신호들은 시간 정렬된 오케스트레이션 레이어를 통해 동기화되어 대화 내용을 통합적이고 설명 가능한 방식으로 해석해냅니다.

이러한 명확한 역할 분담은 ELM 접근 방식의 핵심입니다. 의미를 암묵적으로 추론하기 위해 단일의 거대한 모델에 의존하는 대신, 앙상블 청취 모델(ELM)은 여러 목표 지향적 관점을 결합하여 정확성과 투명성을 모두 향상시킵니다.

벨마 2.0 내부

Velma 2.0은 Modulate의 기존 앙상블 기반 시스템을 크게 발전시킨 버전입니다. 5개의 분석 계층으로 구성된 100개 이상의 구성 요소 모델이 실시간으로 함께 작동합니다.

첫 번째 단계는 기본적인 오디오 처리에 중점을 두어 화자 수, 발화 타이밍 및 일시 정지를 파악합니다. 다음으로 음향 신호 추출 단계에서는 감정 상태, 스트레스 수준, 속임수 신호, 합성 음성 표시 및 주변 소음을 식별합니다.

세 번째 단계에서는 인지된 의도를 평가하여 진심 어린 칭찬과 비꼬거나 적대적인 발언을 구분합니다. 행동 모델링은 시간 경과에 따른 대화 역학을 추적하여 좌절감, 혼란, 미리 짜여진 듯한 말투 또는 사회 공학적 시도를 식별합니다. 마지막 단계인 대화 분석은 이러한 통찰력을 바탕으로 불만족스러운 고객, 정책 위반, 잠재적 사기 또는 오작동하는 AI 에이전트와 같은 기업 관련 이벤트를 도출합니다.

Modulate의 보고에 따르면 Velma 2.0은 기존의 LLM 기반 접근 방식보다 대화의 의미와 의도를 약 30% 더 정확하게 이해하는 동시에, 규모 확장 시 비용 효율성은 10배에서 100배 더 높습니다.

게임 검열부터 기업 인텔리전스까지

앙상블 청취 모델의 기원은 Modulate의 초기 온라인 게임 개발 경험에 있습니다. 콜 오브 듀티나 그랜드 테프트 오토 온라인과 같은 인기 게임들은 상상할 수 있는 가장 까다로운 음성 환경을 만들어냅니다. 대화는 빠르고, 시끄럽고, 감정적으로 격앙되어 있으며, 속어와 문맥적 참조로 가득 차 있습니다.

장난스러운 비방과 진정한 괴롭힘을 실시간으로 구분하려면 단순히 녹취록을 작성하는 것 이상의 노력이 필요합니다. Modulate는 음성 검열 시스템을 운영하면서 다음과 같은 점을 고려했습니다. 톡스모드연구팀은 이러한 미묘한 차이를 포착하기 위해 점차 복잡한 모델 앙상블을 구축해 나갔습니다. 필요한 정확도를 달성하기 위해서는 수십 개의 전문 모델을 통합하는 것이 필수적이었고, 결국 이러한 접근 방식을 새로운 아키텍처 프레임워크로 공식화하게 되었습니다.

Velma 2.0은 게임 분야를 넘어 다양한 분야에 걸쳐 해당 아키텍처를 일반화합니다. 현재 Velma 2.0은 Modulate의 엔터프라이즈 플랫폼을 구동하며, 여러 산업 분야에서 수억 건의 대화를 분석하여 사기, 악용 행위, 고객 불만 및 비정상적인 AI 활동을 식별합니다.

기초 모델에 대한 도전

이번 발표는 기업들이 인공지능 전략을 재평가하는 시점에 나왔습니다. 막대한 투자에도 불구하고, 인공지능 관련 프로젝트 중 상당수가 실제 상용화 단계에 이르지 못한다. 또는 지속적인 가치를 제공합니다. 일반적인 장애물은 다음과 같습니다. 환각추론 비용 증가, 불투명한 의사 결정, AI 인사이트를 운영 워크플로에 통합하는 데 어려움 등이 그 예입니다.

앙상블 청취 모델(ELM)은 이러한 문제들을 직접적으로 해결합니다. 단일의 거대한 시스템 대신 목적에 맞게 설계된 여러 개의 소규모 모델에 의존함으로써, ELM은 운영 비용이 저렴하고, 감사가 용이하며, 해석이 더 명확합니다. 각 출력은 특정 신호로 추적할 수 있으므로, 조직은 결론에 도달한 이유를 이해할 수 있습니다.

이러한 수준의 투명성은 특히 블랙박스 방식의 의사 결정이 용납될 수 없는 규제 환경이나 고위험 환경에서 매우 중요합니다. Modulate는 ELM을 대규모 언어 모델을 대체하는 것이 아니라 기업 수준의 음성 인텔리전스에 더욱 적합한 아키텍처로 제시합니다.

음성-텍스트 변환을 넘어

벨마 2.0의 가장 앞선 기능 중 하나는 단순히 말하는 내용뿐만 아니라 말하는 방식까지 분석할 수 있다는 점입니다. 이는 합성 음성이나 사칭 음성을 감지하는 기능을 포함하며, 음성 생성 기술이 더욱 보편화됨에 따라 이러한 감지 기능은 점점 더 중요한 문제로 대두되고 있습니다.

음성 복제 기술이 발전함에 따라 기업은 사기, 신원 도용 및 소셜 엔지니어링과 관련된 위험에 점점 더 많이 직면하고 있습니다. Velma 2.0은 합성 음성 감지 기능을 앙상블에 직접 통합함으로써 진위 여부를 선택적 추가 기능이 아닌 핵심 신호로 취급합니다.

이 시스템의 행동 모델링은 사전 예방적 통찰력을 제공합니다. 화자가 대본을 읽고 있는지, 좌절감이 고조되고 있는지, 또는 상호 작용이 갈등으로 치닫고 있는지 등을 파악할 수 있습니다. 이러한 기능을 통해 조직은 더 빠르고 효과적으로 개입할 수 있습니다.

기업 AI의 새로운 방향

변조 이 글에서는 앙상블 청취 모델을 기존의 신호 처리 파이프라인이나 대규모 기반 모델과는 구별되는 새로운 유형의 AI 아키텍처로 설명합니다. 이 모델의 핵심 아이디어는 복잡한 인간 상호작용을 무작정 확장하는 방식보다는 협력적인 전문화를 통해 더 잘 이해할 수 있다는 것입니다.

기업들이 책임감 있고 효율적이며 실제 운영 요구사항에 부합하는 AI 시스템을 요구함에 따라, 앙상블 청취 모델은 여러 집중된 구성 요소들이 모여 지능을 구축하는 미래를 제시합니다. Velma 2.0이 이제 실제 운영 환경에 도입됨에 따라, Modulate는 이러한 아키텍처적 변화가 음성 중재 및 고객 지원을 넘어 훨씬 더 광범위한 분야에 영향을 미칠 것이라고 확신합니다.

점점 더 커지는 블랙박스에 대한 대안을 모색하는 업계에서 앙상블 청취 모델은 인공지능의 다음 주요 발전이 단순히 더 공격적으로 연산하는 것이 아니라 더 주의 깊게 듣는 데서 비롯될 수 있음을 시사합니다.