AI 모델 및 플랫폼
SALMONN: 대규모 언어 모델의 일반적인 청각 능력에 대한 소개
핵심 포인트SALMONN은 음악, 이벤트 및 음성을 직접 처리하기 위해 음성 및 오디오 인코더를 LLM과 통합합니다.
더 보기
- SALMONN은 음악, 이벤트 및 음성을 직접 처리하기 위해 음성 및 오디오 인코더를 LLM과 통합합니다.
- 이 모델은 훈련 중 손실된 교차 모달 추론 능력을 회복하기 위해 새로운 활성화 튜닝 단계를 사용합니다.
- 그 구조는 가변 길이 오디오와 텍스트 토큰을 정렬하기 위해 이중 인코더와 Q-Former를 활용합니다.
실제 환경에서 AI 에이전트에게 청각은 일반적인 소리 정보를 인식하고 이해하는 중요한 능력입니다. 정보는 음악, 오디오 사건, 음성으로 나뉩니다. 텍스트 기반 대규모 언어 모델은 여러 자연어 처리 작업에서 인간 수준의 성능을 보였고, 사용자 요청과 참조 응답의 쌍으로 학습하는 지시 튜닝은 개방형 지시를 더 잘 따르게 합니다. 최근 연구는 여기에 멀티모달 콘텐츠를 인식하는 능력을 추가하고 있습니다.
SALMONN(Speech Audio Language Music Open Neural Network)은 음성·오디오 인코더와 사전 훈련된 텍스트 기반 대규모 언어 모델을 결합한 단일 오디오-텍스트 멀티모달 모델입니다. 일반 오디오 입력을 직접 처리하며 청각 정보 기반 질의응답, 음성 인식·번역, 화자 검증, 감정 인식, 오디오·음악 캡션 등에서 경쟁력 있는 성능을 보입니다. 이 글에서는 구조, 학습과 결과를 살펴봅니다.
SALMONN: 단일 오디오-텍스트 멀티모달 LLM 소개
SALMONN은 음성, 오디오 사건, 음악을 인식하고 이해합니다. 음성과 비음성 작업을 모두 처리하기 위해 BEATs 오디오 인코더와 Whisper 음성 인코더를 결합합니다. 윈도우 단위 Q-Former(쿼리 트랜스포머)는 가변 길이 인코더 출력을 가변 개수의 확장 오디오 토큰으로 바꿔 오디오-텍스트 정렬의 시간 해상도를 높입니다.
LoRA(저랭크 적응)는 Vicuna의 출력 공간을 확장된 입력 공간에 맞추는 교차 모달 어댑터입니다. 지시 학습 중에는 학습하지 않은 교차 모달 작업을 수행하는 창발적 능력이 약해질 수 있습니다. SALMONN은 소수 예시를 이용한 추가 활성화 단계로 이런 일반화 능력을 회복합니다.
청각 인지 능력은 세 수준으로 평가합니다. 1수준은 번역, 오디오 캡션, 음성 인식 등 지시 학습에 사용한 여덟 작업입니다. 2수준은 슬롯 채우기와 미학습 언어 번역 등 학습하지 않은 음성 기반 NLP 작업 다섯 개입니다. 3수준은 음성과 비음성 정보를 함께 이해해야 하는 음성-오디오 공동 추론 및 오디오 기반 이야기 생성입니다.
원문은 SALMONN을 일반적인 오디오 사건·음성·음악을 이해하는 최초의 멀티모달 LLM으로 소개합니다. 또한 LoRA 스케일 계수와 비용이 적은 추가 활성화 학습을 통해 교차 모달 창발 능력을 분석하려는 시도라고 설명합니다.
아키텍처와 방법론
모델 구조
두 청각 인코더의 출력을 동기화해 결합하고 Q-Former 연결 모듈로 처리합니다. 이 출력 시퀀스를 텍스트 지시 프롬프트와 합쳐 LoRA로 적응한 LLM에 입력하면 필요한 응답이 생성됩니다.
청각 인코더
BEATs는 자기지도 반복 학습으로 비음성의 고수준 의미를 추출합니다. Whisper 인코더는 대규모 약지도 데이터로 음성 인식과 번역을 학습했으며 배경 소음과 음성 정보를 포함하는 특징을 제공합니다. 학습 과정에서는 입력 오디오를 토큰화하고 마스킹한 뒤 예측합니다. 두 인코더의 특징은 서로 보완해 음성과 비음성 정보를 모두 다룹니다.
윈도우 단위 Q-Former
Q-Former는 이미지 인코더 출력을 LLM 입력 토큰으로 변환하는 데 흔히 쓰이지만, 길이가 다양한 오디오에는 수정이 필요합니다. 연결된 인코더 출력 시퀀스를 고정 개수의 학습 가능한 쿼리와 여러 Q-Former 블록으로 토큰화합니다. 블록은 트랜스포머 디코더와 유사하지만 self-attention에서 인과 마스크를 제거하고 초기 블록에 고정 개수의 학습 가능한 정적 쿼리를 사용합니다.
LoRA와 LLM
Vicuna는 지시를 잘 따르도록 미세 조정된 LLaMA 기반 모델입니다. 매개변수 효율적 미세 조정 방법인 LoRA는 self-attention의 쿼리와 값 가중치 행렬을 적응시키는 데 사용됩니다.

학습 방법
대부분의 시각적 LLM 프레임워크에 있는 사전 훈련과 지시 튜닝에, 오디오 캡션·음성 인식에 대한 과적합을 완화하는 활성화 튜닝을 추가한 세 단계 교차 모달 학습입니다.
사전 훈련
인코더·LLM의 사전 훈련 매개변수와 무작위 초기화된 어댑터·연결 모듈 사이의 격차를 줄이기 위해 많은 오디오 캡션 및 음성 인식 데이터로 LoRA와 Q-Former를 학습합니다. 두 작업은 음성·비음성 사건의 주요 정보를 담고 있어 복잡한 추론 없이 텍스트와 청각 정보의 정렬을 배울 수 있습니다.
지시 미세 조정
오디오 사건, 음악, 음성 작업으로 오디오-텍스트 지시를 학습합니다. 음소 인식, 겹치는 음성 인식, 음악 캡션 등 평가에서의 중요성에 따라 작업의 우선순위를 정합니다. 오디오와 짝지어진 텍스트가 지시 프롬프트 생성의 기반입니다.
작업 과적합
처음 두 단계만으로도 지시 튜닝 작업에서는 좋은 결과가 나오지만, 특히 공동 추론이 필요한 미학습 교차 모달 작업에는 부족합니다. 지시를 어기거나 무관하고 잘못된 답을 내기도 합니다. 이 현상을 작업 과적합이라고 하며 활성화 튜닝으로 해결합니다.
활성화 튜닝
이야기 생성이나 청각 정보 기반 질의응답처럼 길고 다양한 응답으로 내재된 조건부 언어 모델을 정규화합니다. 텍스트와 오디오, 음성 또는 음악 캡션을 연결해 이런 작업의 학습 쌍을 만듭니다.
작업 구성
제로샷 교차 모달 창발 능력을 평가하기 위해 음성·오디오·음악 작업 15개를 세 수준으로 나눴습니다.
1수준
지시 튜닝에 사용한 작업으로 가장 쉽습니다.
2수준
학습하지 않은 NLP 작업입니다. 음성 키워드 추출은 특정 단어 추출의 정확도, SQQA(음성 질문 기반 질의응답)는 음성 질문에서 활용하는 상식, 음성 기반 슬롯 채우기는 슬롯 값의 정확도를 평가합니다. 영어→독일어와 영어→일본어 음성 번역(AST) 두 작업도 포함됩니다.
3수준
가장 어렵습니다. 음성-오디오 공동 추론(SAC)은 오디오 속 질문을 이해하고 배경 소리나 음악에서 근거를 찾아 타당한 이유를 들어 답해야 합니다. 오디오 기반 이야기 생성은 일반 오디오에서 얻은 정보를 토대로 의미 있는 이야기를 만들어야 합니다.

결과
1수준 작업
활성화 튜닝의 유무와 관계없이 경쟁력 있는 성능을 보입니다.

2수준과 3수준 작업
활성화 튜닝이 없으면 과적합 때문에 성능이 크게 떨어집니다. 특히 멀티모달 상호작용을 요구하는 SQQA, SAC, 이야기 생성에서 지시를 따르기 어렵습니다. 활성화 튜닝 후에는 결과가 상당히 개선됩니다.

LoRA 스케일 계수 낮추기
테스트 시 LoRA 스케일 계수를 줄여 과적합을 완화하는 효과를 평가합니다. 계수를 2.0으로 낮추면 ASR·음소 인식(PR), SQQA, 이야기 생성, SAC에서 교차 모달 추론 능력이 개선됩니다.

작업 과적합 평가
세 학습 단계의 퍼플렉서티 변화를 살펴봅니다. 오디오 캡션(AAC)과 음성 인식(ASR)은 첫 단계 후 값이 작아져 교차 모달 정렬이 학습되었음을 보여줍니다.

PR도 출력 토큰을 배우는 LoRA 덕분에 지시 튜닝 후 퍼플렉서티가 낮아집니다. 이야기 생성과 SAC도 개선되지만, 추가 활성화 단계나 LoRA 제거가 없으면 성공적으로 수행하기에는 격차가 큽니다.
활성화 튜닝 비교
긴 답변의 텍스트 질의응답, 오디오 기반 긴 이야기, ASR용 긴 음성 전사로 Q-Former와 LoRA를 미세 조정하는 방법을 비교합니다. 오디오와 Q-Former 입력을 제외하고 텍스트 기반 LLM처럼 LoRA와 Vicuna를 적응시키는 실험도 합니다. 원문의 결과에 따르면 긴 ASR 정답만으로 학습하거나 텍스트 프롬프트만 사용한 이야기·텍스트 학습으로는 모델의 필요한 능력을 활성화하지 못합니다.

마무리
SALMONN은 음성, 오디오 사건, 음악을 직접 이해하는 단일 오디오-텍스트 모델입니다. 오디오 캡션, 음성 번역·인식 같은 학습 작업에서 경쟁력을 보이고, 키워드 추출과 미학습 언어 번역 같은 새로운 이해 작업에도 일반화합니다. 대규모 언어 모델의 일반 청각 능력을 확장하는 접근으로 볼 수 있습니다.












