Yapay zeka modelleri ve platformları

SALMONN: Büyük Dil Modelleri için Generic Hearing Abilities’e Doğru

Kunal Kejriwal
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarSALMONN, konuşma ve ses kodlayıcılarını bir LLM ile entegre ederek müziği, olayları ve…
Daha fazla göster
  • SALMONN, konuşma ve ses kodlayıcılarını bir LLM ile entegre ederek müziği, olayları ve konuşmayı doğrudan işler.
  • Model, eğitim sırasında kaybedilen çapraz modal akıl yürütme yeteneklerini geri kazanmak için yeni bir aktivasyon ayarlama aşaması kullanır.
  • Mimarisi, değişken uzunluktaki sesi metin token'larıyla hizalamak için çift kodlayıcı ve bir Q-Former kullanır.

İşitme, genel ses bilgisini algılama ve anlamayı kapsar ve gerçek ortamlardaki yapay zekâ ajanları için önemlidir. Üç temel bilgi türü müzik, ses olayları ve konuşmadır. Metin tabanlı büyük dil modelleri birçok doğal dil işleme görevinde insan düzeyinde sonuçlar gösterdi. Kullanıcı istemi ile referans yanıt çiftlerinden öğrenen talimat ayarlaması da açık uçlu yönergelerin daha iyi izlenmesini sağlar. Güncel araştırmalar bu modellere çok kipli içerik algılama yeteneği kazandırıyor.

SALMONN (Speech Audio Language Music Open Neural Network), konuşma ve ses kodlayıcılarını önceden eğitilmiş metin tabanlı bir büyük dil modeliyle tek bir ses-metin modelinde birleştirir. Genel ses girdisini doğrudan işler; işitsel bilgiye dayalı soru yanıtlama, konuşma tanıma ve çevirisi, konuşmacı doğrulama, duygu tanıma, ses ve müzik açıklamaları gibi görevlerde rekabetçi sonuçlar sunar. Bu yazıda mimari, yöntem ve sonuçları inceliyoruz.

SALMONN: tek ses-metin çok kipli LLM’ye giriş

Model konuşmayı, ses olaylarını ve müziği algılar. BEATs ses kodlayıcısı ile Whisper konuşma kodlayıcısından oluşan çift yapı, konuşma ve konuşma dışı görevleri birlikte destekler. Pencere düzeyindeki Q-Former (sorgu Transformer), değişken uzunluktaki kodlayıcı çıktısını değişken sayıda genişletilmiş ses tokenine dönüştürür ve ses-metin hizalamasında yüksek zamansal çözünürlük sağlar.

LoRA, yani düşük ranklı uyarlama, Vicuna’nın çıktı uzayını genişletilmiş girdi uzayına hizalayan kipler arası uyarlayıcıdır. Talimat eğitimi sırasında, eğitimde görülmemiş kipler arası görevleri yapma yeteneği zayıflayabilir. SALMONN az örnekli ek etkinleştirme aşamasıyla bu genel ve kendiliğinden ortaya çıkan yetenekleri geri kazandırır.

İşitsel yetenek üç düzeyde değerlendirilir. Birinci düzey talimat eğitiminde kullanılan çeviri, ses açıklaması ve konuşma tanıma gibi sekiz görevi içerir. İkinci düzey, alan doldurma ve eğitimde görülmemiş dillere çeviri gibi beş eğitilmemiş konuşma temelli NLP görevidir. Üçüncü düzey konuşma-ses ortak akıl yürütmesi ve sese dayalı hikâye oluşturma yoluyla konuşma ile diğer sesleri birlikte anlamayı gerektirir.

Kaynak makale SALMONN’i genel ses olaylarını, konuşmayı ve müziği anlayan ilk çok kipli LLM olarak sunar. Ayrıca LoRA ölçek katsayısı ile düşük maliyetli ek etkinleştirme eğitimi üzerinden kipler arası ortaya çıkan yeteneklerin incelendiğini belirtir.

Mimari ve yöntem

Model mimarisi

İki işitsel kodlayıcının çıktıları eşzamanlanıp birleştirilir ve Q-Former bağlantı modülüyle işlenir. Çıktı dizisi metin talimatlarıyla birleştirilerek LoRA ile uyarlanmış LLM’ye verilir ve yanıt üretilir.

İşitsel kodlayıcılar

BEATs, özdenetimli yinelemeli öğrenmeyle konuşma dışı üst düzey ses anlamlarını çıkarır. Whisper kodlayıcısı büyük miktarda zayıf denetimli veriyle konuşma tanıma ve çevirisi öğrenmiştir; özellikleri arka plan gürültüsü ve konuşma bilgisini içerebilir. Eğitimde ses tokenleştirilir, maskelenir ve tahmin edilir. İki kodlayıcının özellikleri birbirini tamamlar.

Pencere düzeyinde Q-Former

Q-Former görüntü kodlayıcısı çıktısını LLM girdi tokenlerine dönüştürmekte yaygındır; değişken uzunluklu ses için uyarlanır. Birleştirilmiş kodlayıcı dizisi, sabit sayıda öğrenilebilir sorgu ve üst üste Q-Former bloklarıyla tokenlere çevrilir. Bloklar Transformer çözücüsüne benzer, ancak öz-dikkatte nedensel maskeler kaldırılır ve ilk bloklarda sabit sayıda öğrenilebilir statik sorgu kullanılır.

LoRA ve LLM

Vicuna, talimatları daha doğru izlemek için ince ayarlanmış LLaMA tabanlı bir modeldir. Parametre açısından verimli ince ayar sağlayan LoRA, öz-dikkat katmanlarının sorgu ve değer ağırlık matrislerini uyarlar.

Eğitim yöntemi

Çoğu görsel LLM çerçevesindeki ön eğitim ve talimat ayarlamasına, ses açıklaması ve konuşma tanımaya aşırı uyumu gidermek için etkinleştirme ayarlaması eklenir. Böylece üç aşamalı kipler arası eğitim oluşur.

Ön eğitim

Önceden eğitilmiş kodlayıcılar ve LLM ile rastgele başlatılmış uyarlayıcı ve bağlantı modülleri arasındaki farkı azaltmak için çok sayıda ses açıklaması ve konuşma tanıma örneğiyle LoRA ile Q-Former eğitilir. Bu görevler temel konuşma ve konuşma dışı bilgiyi içerdiğinden metin-ses hizalaması için karmaşık akıl yürütme gerekmez.

Talimat ince ayarı

Ses olayları, müzik ve konuşma görevleriyle ses-metin talimatları öğrenilir. Fonem tanıma, üst üste binen konuşmayı tanıma ve müzik açıklamaları gibi görevler testlerdeki önemlerine göre önceliklendirilir. Sesle eşleşen metin, istemlerin temelini oluşturur.

Göreve aşırı uyum

İlk iki aşama, eğitim görevlerinde rekabetçi sonuçlar verse de özellikle ortak akıl yürütme isteyen kipler arası görevlerde yetersiz kalır. Model talimatları ihlal ederek ilgisiz veya yanlış yanıtlar üretebilir. Göreve aşırı uyum denen bu sorun etkinleştirme ayarlamasıyla ele alınır.

Etkinleştirme ayarlaması

İçsel koşullu dil modeli, hikâye anlatma veya işitsel bilgiye dayalı soru yanıtlama gibi daha uzun ve çeşitli yanıtlarla düzenlileştirilir. Metin; ses, konuşma veya müzik açıklamalarıyla eşleştirilerek eğitim çiftleri oluşturulur.

Görevlerin tanımı

Sıfır örnekli kipler arası yetenekler için 15 konuşma, ses ve müzik görevi üç düzeye ayrılır.

Düzey 1

Talimat ayarlamasında kullanılan görevlerdir ve en kolay gruptur.

Düzey 2

Eğitimde görülmemiş NLP görevleridir. Konuşmadan anahtar kelime çıkarma belirli kelimelerin doğruluğunu; SQQA, sesli sorulardan yararlanılan genel bilgiyi; konuşmaya dayalı alan doldurma ise alan değerlerinin doğruluğunu ölçer. İngilizceden Almancaya ve Japoncaya iki konuşma çevirisi (AST) görevi de bulunur.

Düzey 3

En zor düzeydir. Konuşma-ses ortak akıl yürütmesi (SAC), kayıttaki soruyu anlayıp arka plan sesleri veya müzikten kanıt bularak gerekçeli yanıt vermeyi gerektirir. Sese dayalı hikâye oluşturma, genel işitsel bilgiden anlamlı bir hikâye üretmeyi ister.

Sonuçlar

Düzey 1 görevleri

Etkinleştirme ayarlaması olsun veya olmasın rekabetçi sonuçlar elde edilir.

Düzey 2 ve 3 görevleri

Etkinleştirme olmadan aşırı uyum ciddi performans kaybına yol açar. Özellikle çok kipli etkileşim gerektiren SQQA, SAC ve hikâye görevlerinde talimat izleme zorlaşır. Etkinleştirme ayarlaması sonuçları belirgin biçimde iyileştirir.

LoRA ölçek katsayısını azaltmak

Test sırasında katsayıyı düşürmenin aşırı uyumu azaltma etkisi değerlendirilir. Katsayı 2,0’a indirildiğinde ASR ve fonem tanıma (PR), SQQA, hikâye oluşturma ve SAC görevlerindeki kipler arası akıl yürütme iyileşir.

Göreve aşırı uyumu değerlendirmek

Üç eğitim aşamasındaki perplexity (şaşkınlık) değerleri incelenir. Ses açıklaması (AAC) ve konuşma tanıma (ASR) için ilk aşama sonrasındaki düşük değerler kipler arası hizalamanın öğrenildiğini gösterir.

PR değeri de LoRA’nın çıktı tokenlerini öğrenmesi sayesinde talimat ayarlamasından sonra düşer. Hikâye ve SAC değerleri iyileşse de ek etkinleştirme veya LoRA’nın kaldırılması olmadan başarılı görev yürütme için fark büyük kalır.

Etkinleştirme yöntemleri

Uzun yanıtlı metin soru-cevap çiftleri, sese dayalı uzun hikâyeler ve ASR için uzun konuşma dökümleriyle Q-Former ve LoRA ince ayarı karşılaştırılır. Ses ve Q-Former girdileri çıkarılarak yalnız metin temelli bir LLM gibi LoRA ve Vicuna’nın uyarlanması da denenir. Kaynak sonuçlarına göre yalnız uzun ASR etiketleriyle eğitim veya yalnız metin istemleriyle hikâye/metin eğitimi gerekli yeteneği etkinleştirmez.

Son düşünceler

SALMONN konuşma, ses olayları ve müziği doğrudan anlayan tek bir ses-metin modelidir. Ses açıklaması, konuşma çevirisi ve tanıma gibi öğrenilmiş görevlerde rekabetçi sonuçlar verir; anahtar kelime çıkarma ve görülmemiş dillere çeviri gibi yeni anlama görevlerine de genellenir. Büyük dil modellerinin genel işitme yeteneğini geliştirmeye yönelik bir adımdır.

Kunal Kejriwal, Python, PostgreSQL, Redis ve GCP ile AWS üzerindeki bulut altyapısında uzmanlaşmış bir backend mühendisi. Üç yıllık canlı ortamda çalışan sistemler inşa etme ve ölçeklendirme deneyimine sahip olan Kunal, AI altyapısı, dağıtık sistemler ve makine öğrenimi iş yüklerini devreye alma mimarisi hakkında yazıyor.