Büyük Çoğul Modelliğin 2024’te Dil Modelleri Manzarasını Şekillendirmesi

Dünyayı deneyimlediğimizde, duyularımız (görme, sesler, kokular) bize çeşitli bir bilgi yelpazesi sunar ve farklı iletişim yöntemleri kullanarak kendimizi ifade ederiz, Örneğin yüz ifadeleri ve jestler. Bu duyular ve iletişim yöntemleri birlikte modaliteler olarak adlandırılır ve bizim algılayışımız ve iletişim kurma şeklimizi temsil eder. İnsanların bu yeteneğinden esinlenen büyük çoklu modal model (LMM), bir dizi üretken ve çoklu modal yapay zeka modelinin birleşimidir ve metin, resim ve ses gibi farklı türlerde içerik anlamak ve oluşturmak için geliştirilmektedir. Bu makalede, bu yeni ortaya çıkan alana dalıyoruz, LMM’lerin (Büyük Çoğul Modelleri) ne olduklarını, nasıl inşa edildiklerini, mevcut örneklerini, karşılaştıkları zorlukları ve potansiyel uygulamalarını keşfediyoruz.

2024’te Üretken AI’nin Evrimi: Büyük Dil Modellerinden Büyük Çoğul Modellere

Son raporunda, McKinsey, 2023’ü üretken AI için bir突破 yılı olarak adlandırdı, bu da bu alanda birçok ilerlemeye yol açtı. Büyük dil modellerinin (LLM’ler) insan benzeri dil anlamak ve üretmek için uygun olduğu dikkat çekici bir şekilde arttı. Ayrıca, resim oluşturma modelleri önemli ölçüde gelişti ve metinsel girdilerden görseller oluşturma yeteneklerini gösterdi. Ancak, metin, resim veya ses gibi bireysel modalitelerdeki önemli ilerlemeye rağmen, üretken AI, bu modaliteleri üretme sürecinde sorunsuz bir şekilde birleştirmede zorluklarla karşılaştı. Dünya doğası gereği çok modaliteye sahip olduğundan, AI’nın çok modalite bilgisini işleyebilmesi önemlidir. Bu, insanlarla anlamlı bir şekilde etkileşim kurmak ve gerçek dünya senaryolarında başarılı operasyonlar gerçekleştirmek için gereklidir.

Sonuç olarak, birçok AI araştırmacısı, 2024’te AI araştırma ve geliştirmesinin próxima sınırı olarak LMM’lerin yükselişini bekliyor. Bu gelişen sınır, üretken AI’nin metin, resim, ses, video ve diğer modalitelerdeki çeşitli çıktıları işleyebilme ve oluşturabilme kapasitesini artırmaya odaklanıyor. Vurgulamak önemlidir ki, tüm çok modalite sistemleri LMM olarak nitelendirilemez. Midjourney ve Stable Diffusion gibi modeller, çok modaliteye sahip olsalar da, LMM kategorisine girmiyor, çünkü LLM’ler, LMM’lerin temel bir bileşenini oluşturan LLM’leri içermiyorlar. Diğer bir deyişle, LMM’leri, çeşitli modalitelerle başa çıkma yeteneği kazandıran LLM’lerin bir uzantısı olarak tanımlayabiliriz.

LMM’ler Nasıl Çalışır?

Araştırmacılar, LMM’leri inşa etmenin çeşitli yaklaşımlarını keşfettiler, ancak bunlar genellikle üç temel bileşen ve işlemi içerir. İlk olarak, her veri modalitesi için kodlayıcılar, o modaliteye özgü veri temsilleri (gömme olarak adlandırılır) oluşturmak için kullanılır. İkincisi, farklı mekanizmalar, farklı modalitelerden gömmeleri birleşik bir çok modalite gömme alanına hizalamak için kullanılır. Üçüncüsü, üretken modeller için, metin yanıtları oluşturmak için bir LLM kullanılır. Girdiler metin, resim, video ve ses olabilir, bu nedenle araştırmacılar, dil modellerinin farklı modaliteleri dikkate almasını sağlamak için yeni yollar üzerinde çalışıyorlar.

2023’te LMM’lerin Geliştirilmesi

Aşağıda, 2023’te geliştirilen bazı önemli LMM’leri kısaca özetledim.

• LLaVA, Wisconsin-Madison Üniversitesi, Microsoft Araştırma ve Columbia Üniversitesi tarafından ortaklaşa geliştirilen açık kaynaklı bir LMM’dir. Model, GPT4‘ün açık kaynaklı bir versiyonunu sunmayı amaçlıyor. Meta’nın Llama LLM‘sini kullanarak, görsel anlama için CLIP görsel kodlayıcısını entegre eder. LLaVA’nın sağlık odaklı varyantı, LLaVA-Med, biyomedikal resimlerle ilgili soruları yanıtlamak için kullanılabilir.
• ImageBind, Meta tarafından oluşturulan açık kaynaklı bir modeldir ve insan algısının çoklu modalite verilerini ilişkilendirme yeteneğini taklit eder. Model, altı modaliteyi – metin, resim/videler, ses, 3B ölçümler, sıcaklık verileri ve hareket verileri – öğrenerek bu çeşitli veri türleri arasında birleşik bir temsil oluşturur. ImageBind, fotoğraflardaki nesneleri ses, 3B şekiller, sıcaklık ve hareket gibi özelliklerle bağlayabilir. Model, Örneğin metinden veya seslerden bir sahne oluşturmak için kullanılabilir.
• SeamlessM4T, Meta tarafından çok dilli topluluklar arasında iletişim kurmak için tasarlanmış bir çok modalite modelidir. SeamlessM4T, konuşma-konuşma, konuşma-metin, metin-konuşma ve metin-metin çevirilerinde exceller. Model, bu çevirileri gerçekleştirmek için otomatik olmayan bir metin-birime decoder kullanır. Geliştirilmiş versiyon, SeamlessM4T v2, SeamlessExpressive ve SeamlessStreaming gibi modellerin temelini oluşturur ve diller arasında ifadeyi korur ve minimum gecikmeyle çeviriler sunar.
• GPT4, OpenAI tarafından sunulan bir önceki sürümün GPT3.5‘in bir ilerlemesidir. Detaylı mimari ayrıntıları tam olarak açıklanmasa da, GPT4, metin, resim ve ses gibi yalnızca metin, yalnızca resim veya yalnızca ses modellerini sorunsuz bir şekilde entegre etme yeteneği ile tanınır. Model, hem yazılı hem de grafik girdilerden metin oluşturabilir. Ayrıca, resimlerdeki mizah açıklamaları, ekran görüntülerinden metin özetleri ve diyagramları içeren sınav sorularına uygun yanıtlar verme gibi çeşitli görevlerde exceller.
• Gemini, Google DeepMind tarafından oluşturulan bir modeldir ve çok modaliteye sahip olmasıyla dikkat çeker, böylece çeşitli görevler arasında sorunsuz bir şekilde etkileşime girer ve tek modalite bileşenlerini birleştirmeye gerek kalmaz. Bu model, hem metin hem de çeşitli ses-görsel girdileri kolayca yönetebilir ve hem metin hem de resim formatlarında çıktılar oluşturabilir.

Büyük Çoğul Modellerinin Zorlukları

• Daha Fazla Veri Modalitesini Dahil Etme: Mevcut LMM’lerin çoğu metin ve resimlerle çalışır. Ancak, LMM’ler video, müzik ve 3B gibi modalitelerin ötesine geçmeli ve gelişmelidir.
• Çeşitli Veri Setlerinin Mevcudiyeti: Çok modalite üretken AI modellerini geliştirmenin ve eğitmek için bir zorluk, birden fazla modalite içeren büyük ve çeşitli veri setlerine ihtiyaç duymaktır. Örneğin, metin ve resimleri birlikte oluşturan bir modeli eğitmek için, hem metin hem de resim girdileri içeren bir veri setine ihtiyaç vardır.
• Çok Modalite Çıktılarını Oluşturma: LMM’ler çok modalite girdilerini işleyebilir, ancak metin ile grafik veya animasyonları birleştiren çeşitli çıktılar oluşturmak hala bir zorluk teşkil etmektedir.
• Talimatları Takip Etmek: LMM’ler, yalnızca tamamlamaya değil, diyalog ve talimatları takip etme görevlerini de üstlenmelidir.
• Çok Modalite Mantığı: Mevcut LMM’ler bir modaliteyi başka bir modaliteye dönüştürmede exceller, ancak çok modalite verilerini kompleks mantık görevleri için sorunsuz bir şekilde entegre etmek, Örneğin sesli talimatlara dayalı yazılı word problemlerini çözme, hala bir zorluk teşkil etmektedir.
• LMM’leri Sıkıştırma: LMM’lerin kaynak yoğun doğası, onları sınırlı hesaplamalı kaynaklara sahip kenar cihazları için uygunsuz kılar. LMM’leri verimliliği artırmak ve kaynak kısıtlamalı cihazlarda dağıtıma uygun hale getirmek için sıkıştırma, önemli bir araştırma alanıdır.

Potansiyel Kullanım Alanları

• Eğitim: LMM’ler, metin, resim ve ses gibi çeşitli öğrenme materyalleri oluşturarak eğitimi dönüştürebilir. LMM’ler, ödevlere kapsamlı geri bildirim sağlar, işbirlikçi öğrenme platformlarını destekler ve interaktif simülasyonlar ve gerçek dünya örnekleri yoluyla beceri gelişimini artırır.
• Sağlık Hizmetleri: Geleneksel AI teşhis sistemlerinin aksine, LMM’ler, birden fazla modaliteyi entegre ederek tıbbi teşhisi geliştirir. Ayrıca, sağlık hizmeti sağlayıcıları ve hastalar arasında dil engelleri üzerinden iletişim kurarak, hastanelerde çeşitli AI uygulamaları için merkezi bir depo olarak hizmet eder.
• Sanat ve Müzik Oluşturma: LMM’ler, farklı modaliteleri birleştiren benzersiz ve ifade edici çıktılar oluşturmak için sanat ve müzik oluşturmada exceller. Örneğin, bir sanat LMM, görsel ve işitsel unsurları birleştirebilir, böylece bir daldırma deneyimi sunar. Benzer şekilde, bir müzik LMM, enstrümantal ve vokal unsurları entegre edebilir, dinamik ve ifade edici besteler oluşturur.
• Kişiselleştirilmiş Öneriler: LMM’ler, çeşitli modalitelerdeki kullanıcı tercihlerini analiz ederek, filmler, müzik, makaleler veya ürünler gibi içerik tüketimi için kişiselleştirilmiş öneriler sunabilir.

• Hava Tahmini ve Çevresel İzleme: LMM’ler, uydu görüntüleri, atmosferik koşullar ve tarihi kalıplar gibi çeşitli veri modalitelerini analiz ederek hava tahmini ve çevresel izleme doğruluğunu artırabilir.

Sonuç

Büyük Çoğul Modelleri (LMM) manzarası, üretken AI’de önemli bir ilerlemeyi temsil eder ve sağlık hizmetleri, eğitim, sanat ve kişiselleştirilmiş öneriler gibi çeşitli alanlarda ilerlemeler vaat eder. Ancak, daha fazla veri modalitesini dahil etme, çeşitli veri setlerinin mevcudiyeti ve kaynak yoğun modelleri sıkıştırma gibi zorluklar, LMM’lerin tam potansiyelini gerçekleştirmek için devam eden araştırma çabalarına işaret eder.