Tim Qwen Alibaba Merilis Laporan Teknis Qwen3-VL yang Menjabarkan Analisis Video Dua Jam

Tim Qwen Alibaba menerbitkan laporan teknis Qwen3-VL pada 26 November, memberikan dokumentasi rinci tentang model visi-bahasa open-source yang pertama kali diluncurkan pada September. Makalah 64 penulis ini mengungkapkan bahwa sistem dapat memproses video dua jam dalam jendela konteks 256.000 token sambil mempertahankan akurasi hampir sempurna dalam menemukan bingkai tertentu.

Model andalan Qwen3-VL-235B-A22B mencapai akurasi 100% dalam tes “jarum dalam tumpukan jerami” ketika mencari video 30 menit, dan mempertahankan akurasi 99,5% bahkan ketika memindai video dua jam yang berisi sekitar satu juta token. Metodologi tes ini memasukkan bingkai “jarum” yang semantik signifikan pada posisi acak dalam video panjang, kemudian menantang model untuk menemukan dan menganalisis bingkai tersebut.

Kapasitas ini menempatkan Qwen3-VL sebagai kemajuan signifikan dalam pemahaman video panjang – domain di mana sebagian besar model visi-bahasa telah bergelut untuk mempertahankan analisis kohatif selama waktu yang lama.

Performa Benchmark Melawan Model Pemimpin

Laporan teknis mendokumentasikan kinerja Qwen3-VL di berbagai metrik evaluasi, dengan kekuatan khusus dalam tugas matematika visual. Model ini mencapai skor 85,8% pada MathVista, melebihi GPT-5 dengan 81,3%, dan memimpin MathVision dengan akurasi 74,6% dibandingkan dengan Gemini 2,5 Pro (73,3%) dan GPT-5 (65,8%).

Kemampuan pemrosesan dokumen terbukti sama kuat. Model ini mencapai 96,5% pada DocVQA untuk pemahaman dokumen dan 875 poin pada OCRBench, mendukung pengenalan teks di 39 bahasa – hampir empat kali lipat cakupan bahasa dari pendahulunya Qwen2,5-VL. Lebih dari 70% akurasi dipertahankan pada tugas OCR dalam 32 bahasa yang didukung.

Keluarga model, yang tersedia melalui Hugging Face dan Alibaba Cloud, mencakup varian densitas (2B, 4B, 8B, 32B parameter) dan konfigurasi campuran-ahli (30B-A3B dan 235B-A22B). Varian 8B saja telah melebihi 2 juta unduhan sejak rilis September.

Namun, hasilnya tidak seragam dominan. Pada MMMU-Pro, tes multidisiplin yang kompleks, Qwen3-VL mencapai skor 69,3% dibandingkan dengan GPT-5 dengan 78,4%. Peserta komersial juga mempertahankan keunggulan dalam benchmark pertanyaan video umum, menunjukkan bahwa model ini unggul sebagai spesialis dalam matematika visual dan analisis dokumen daripada pemimpin universal.

Tiga Inovasi Arsitektur

Laporan teknis menguraikan tiga peningkatan arsitektur kunci yang mendorong kemampuan ini. Pertama, “interleaved MRoPE” menggantikan metode embedding posisi sebelumnya dengan mendistribusikan representasi matematika secara merata di seluruh dimensi waktu, lebar, dan tinggi daripada mengelompokkannya berdasarkan dimensi. Perubahan ini secara khusus menargetkan kinerja yang ditingkatkan pada video panjang.

Kedua, integrasi DeepStack menggabungkan fitur Transformer Visi multi-level untuk menangkap detail visual halus dan mempererat keselarasan gambar-teks. Inovasi ketiga melampaui embedding posisi rotary temporal untuk memperkenalkan keselarasan timestamp berbasis teks yang eksplisit, memungkinkan pemahaman temporal yang lebih presisi ketika model perlu merujuk pada momen tertentu dalam konten video.

Sistem ini juga menunjukkan kemampuan agen di luar persepsi murni. Pada ScreenSpot Pro, yang mengevaluasi navigasi dalam antarmuka pengguna grafis, model ini mencapai akurasi 61,8%. Pengujian AndroidWorld, di mana sistem harus beroperasi aplikasi Android secara mandiri, melihat varian 32B mencapai akurasi 63,7%.

Lanskap Kompetitif Open-Source

Semua model Qwen3-VL yang dirilis sejak September tersedia di bawah lisensi Apache 2.0 dengan bobot terbuka. Jajaran ini mencakup varian kompak 2B-parameter yang cocok untuk penerapan edge hingga model andalan 235B-A22B yang memerlukan sumber daya komputasi yang signifikan – yang terakhir memiliki ukuran 471 GB.

Waktu peluncuran dokumentasi teknis ini sangat penting. Gemini 1,5 Pro dari Google (GOOGL ) menunjukkan kemampuan ekstraksi bingkai yang serupa dari video panjang pada awal 2024, tetapi Qwen3-VL membawa fungsionalitas yang setara ke ekosistem open-source. Dengan pengguna AI generatif China yang meningkat menjadi 515 juta dalam beberapa bulan terakhir dan keluarga model Qwen yang telah menarik lebih dari 300 juta unduhan di seluruh dunia, Alibaba jelas memposisikan model open-nya sebagai landasan untuk pengembangan AI multimodal global.

Model Qwen2,5-VL sebelumnya telah mengumpulkan lebih dari 2.800 kutipan dalam waktu kurang dari 10 bulan, menunjukkan adopsi penelitian yang kuat. Laporan teknis rinci untuk Qwen3-VL seharusnya mempercepat trajektori ini, memberikan peneliti dengan detail arsitektur dan pelatihan yang diperlukan untuk membangun atau bersaing dengan kemampuan ini.

Apa yang Ini Berarti untuk Pengembang

Bagi tim yang bekerja pada analisis video, kecerdasan dokumen, atau aplikasi penalaran visual, Qwen3-VL menawarkan kemampuan siap produksi tanpa ketergantungan API. Kekuatan khusus model dalam matematika visual membuatnya relevan langsung untuk teknologi pendidikan, alat penelitian ilmiah, dan aplikasi apa pun yang memerlukan interpretasi grafik, diagram, atau notasi matematika dalam gambar.

Jarak antara model terbuka dan tertutup terus mengecil dalam domain tertentu sambil tetap substansial di domain lain. Qwen3-VL menunjukkan bahwa model berbobot terbuka dapat menyaingi atau melampaui sistem proprietari pada tugas khusus seperti matematika visual, bahkan ketika mereka tertinggal dalam benchmark penalaran yang lebih luas.

Bagi komunitas AI open-source, laporan teknis rinci ini mewakili lebih dari sekadar dokumentasi – ini adalah peta jalan yang dapat dipelajari, dikritik, dan dibangun oleh tim lain. Apakah ini akan mengarah pada implementasi yang bersaing atau penelitian komplementer masih belum terlihat, tetapi baseline untuk kecerdasan multimodal terbuka telah bergeser secara signifikan lebih tinggi.