알리바바, Qwen3-VL 기술 보고서 공개 – 2시간 비디오 분석 가능

알리바바의 Qwen 팀은 11월 26일 Qwen3-VL 기술 보고서를 발표하여, 9월에 처음 출시된 오픈소스 비전-언어 모델에 대한 자세한 문서를 제공했습니다. 64명의 저자가 참여한 이 보고서는 시스템이 256,000토큰의 컨텍스트 창에서 2시간 비디오를 처리할 수 있으며, 특정 프레임을 찾는 정확도가 거의 완벽하다는 것을 보여줍니다.

주력 Qwen3-VL-235B-A22B 모델은 30분 비디오에서 “바늘을 찾기” 테스트에서 100%의 정확도를 달성했으며, 약 1백만 토큰을 포함하는 2시간 비디오를 스캔할 때도 99.5%의 정확도를 유지했습니다. 테스트 방법론은 긴 비디오 내의 임의의 위치에 의미적으로 중요한 “바늘” 프레임을 삽입한 다음 모델이 해당 프레임을 찾고 분석하도록挑戦합니다.

이 기능은 Qwen3-VL을 장기 비디오 이해의 중요한 발전으로 пози션합니다. 이는 대부분의 비전-언어 모델이 장시간 동안 일관된 분석을 유지하는 데 어려움을 겪는 영역입니다.

주요 모델과의 성능 비교

기술 보고서는 Qwen3-VL의 여러 평가 지표에 대한 성능을 문서화했으며, 특히 시각적 수학 작업에서 강점을 보여줍니다. 모델은 MathVista에서 85.8%의 점수를 얻었으며, GPT-5의 81.3%를 초과했으며, MathVision에서 74.6%의 정확도를 달성하여 Gemini 2.5 Pro (73.3%)와 GPT-5 (65.8%)를 앞섰습니다.

문서 처리 능력도 유사하게 강했습니다. 모델은 DocVQA에서 문서 이해에서 96.5%의 점수를 얻었으며, 39개 언어에서 텍스트 인식을 지원하는 OCRBench에서 875점을 얻었습니다. 이는 이전 모델 Qwen2.5-VL의 언어 범위의 거의 4배입니다. 지원되는 32개 언어 중 70% 이상의 정확도를 유지했습니다.

모델 패밀리는 Hugging Face와 Alibaba Cloud를 통해 제공되며, 밀도 변형(2B, 4B, 8B, 32B 파라미터)와 전문가 混合 구성(30B-A3B 및 235B-A22B)이 포함됩니다. 8B 변형만으로도 9월 출시 이후 200만 회 이상 다운로드되었습니다.

그러나 결과는 균일하게 우세하지 않았습니다. MMMU-Pro, 복잡한 다학제적 테스트에서 Qwen3-VL은 69.3%의 점수를 얻었으며, GPT-5는 78.4%를 얻었습니다. 상업적 경쟁자들은 일반 비디오 질문-답변 벤치마크에서 우위를 유지했으며, 모델이 시각적 수학 및 문서 분석의 전문가로 작동한다는 것을 시사합니다.

3가지 아키텍처 혁신

기술 보고서는 이러한 기능을 구동하는 3가지 주요 아키텍처 업그레이드를 설명합니다. 첫째, “교차 MRoPE”는 이전 위치 임베딩 방법을 대체하여 수학적 표현을 시간, 너비 및 높이 차원에 걸쳐 균일하게 분포시킵니다. 이 변경은 특히 긴 비디오에서 성능을 개선하는 것을 목표로 합니다.

둘째, DeepStack 통합은 다단계 비전 트랜스포머 기능을 융합하여 세부적인 시각적 세부 사항을 캡처하고 이미지-텍스트 정렬을 강화합니다. 세 번째 혁신은 시간 회전 위치 임베딩을 넘어서서 명시적 텍스트 기반 타임스탬프 정렬을 가능하게 하여 모델이 비디오 콘텐츠의 특정 순간을 참조할 때 더 정밀한 시간 정렬을 가능하게 합니다.

시스템은 순수한 지각을 넘어서 에이전트 기능을 демонстри합니다. ScreenSpot Pro, 그래픽 사용자 인터페이스 내에서 탐색을 평가하는 테스트에서 모델은 61.8%의 정확도를 달성했습니다. AndroidWorld 테스트, 시스템이 독립적으로 Android 애플리케이션을 운영해야 하는 경우, 32B 변형은 63.7%의 정확도를 달성했습니다.

오픈소스 경쟁 환경

9월 이후 출시된 모든 Qwen3-VL 모델은 Apache 2.0 라이선스下的 오픈소스 가중치로 제공됩니다. 라인업은 에지 배포에 적합한 комп팩트한 2B 파라미터 변형부터 주요 컴퓨팅 자원을 요구하는 235B-A22B 모델까지 다양하며, 후자는 471GB의 크기입니다.

이 기술 문서의 시기는 주목할 만합니다. Google의 Gemini 1.5 Pro는 2024년初에 긴 비디오에서 유사한 프레임 추출 기능을 보여주었습니다. 그러나 Qwen3-VL은 이러한 기능을 오픈소스 생태계에 가져옵니다. 최근 몇 개월 동안 중국의 생성적 AI 사용자 수가 515만 명으로 두 배로 증가했으며, Qwen 모델 패밀리는 전 세계적으로 3억 회 이상 다운로드되면서, 알리바바는 명백히 자신의 오픈 모델을 글로벌 다모달 AI 개발의 기초로 пози션하고 있습니다.

이전의 Qwen2.5-VL은 이미 10개월 만에 2,800번 이상 인용되었습니다. 이는 강한 연구採用을 나타냅니다. Qwen3-VL의 자세한 기술 보고서는 이 트레이ектор리를 가속화할 것으로 예상되며, 연구자들에게 이러한 기능을 구축하거나 경쟁하기 위한 아키텍처 및 훈련 세부 정보를 제공할 것입니다.

개발자에게 의미

비디오 분석, 문서 지능 또는 시각적 추론 애플리케이션을 개발하는 팀에게 Qwen3-VL은 API 종속성 없이 프로덕션 준비된 기능을 제공합니다. 모델의 시각적 수학에 대한 특별한 강점은 교육 기술, 과학 연구 도구 및 이미지 내의 차트, 다이어그램 또는 수학적 표기법을 해석하는 모든 애플리케이션에 즉시 관련됩니다.

오픈 모델과 클로즈드 모델 간의 격차는 특정 도메인에서 좁혀지면서도 다른 도메인에서는 여전히 상당합니다. Qwen3-VL은 오픈 가중치 모델이 시각적 수학과 같은 전문 작업에서 专有 시스템을 따라잡거나 초과할 수 있음을 보여주지만, 보다广泛한 추론 벤치마크에서는 뒤처짐을 나타냅니다.

오픈소스 AI 커뮤니티에게 자세한 기술 보고서는 문서 이상의 의미를 갖습니다. 그것은 다른 팀이 연구, 비판, 및 구축할 수 있는 로드맵입니다. 이것이 경쟁 구현 또는 보완 연구로 이어지는지 여부는 아직 미정입니다. 그러나 오픈 다모달 지능의 기준은 상당히 높아졌습니다.