GPT-4 Gerçek Bir AI Devrimine bizi yaklaştırır mı?

Mayıs 2020’de GPT-3 tanıtıldığından beri neredeyse üç yıl geçti. O zamandan beri, AI metin oluşturma modeli, insan tarafından yazılmış gibi görünen ve seslenen metin oluşturma yeteneği için büyük ilgi gördü. Şimdi, yazılımın bir sonraki sürümü olan GPT-4’ün erken 2023’te çıkacağı görülüyor.

GPT-4 hakkında kesin ayrıntılar oldukça belirsiz. OpenAI, GPT-4’ün arkasındaki şirket, yeni modelin özelliklerini veya yeteneklerini kamuoyuna açıklamadı. Buna rağmen, özellikle Doğal Dil İşleme (NLP) alanında yapılan son gelişmeler, GPT-4’ten neler bekleyebileceğimiz hakkında bazı ipuçları verebilir.

GPT nedir?

Öncelikle GPT’nin ne olduğu konusunda bir temel oluşturmak yardımcı olacaktır. GPT, Generative Pre-trained Transformer’in kısaltmasıdır ve internetten alınan verilere dayalı büyük miktarda makine tarafından oluşturulan metin oluşturmak için eğitilen derin öğrenme sinir ağı modelini ifade eder. GPT-3, bu teknolojinin üçüncü neslidir ve şu anda mevcut olan en gelişmiş AI metin oluşturma modellerinden biridir.

GPT-3’ü, Siri veya Alexa gibi ses asistanlarına benzer şekilde düşünebilirsiniz, ancak çok daha büyük bir ölçekte. Alexa’ya favori şarkınızı çaldırmanız veya Siri’nin metninizi yazması yerine, GPT-3’ten birkaç dakika içinde bir e-kitap yazmasını veya bir dakikadan kısa sürede 100 sosyal medya post fikirleri oluşturmasını isteyebilirsiniz. Kullanıcının yapması gereken tek şey, “Bana yaratıcılığın önemini tentang 500 kelimelik bir makale yazın” gibi bir.prompt vermesidir. Prompt açık ve nettir, GPT-3 istediğiniz her şeyi yazabilir.

GPT-3, kamuoyuna sunulduğundan bu yana birçok iş uygulaması buldu. Şirketler, metin özetleme, dil çevirisi, kod oluşturma ve几乎 her türlü yazma görevinin büyük ölçekli otomasyonu için kullanıyor.

Bununla birlikte, GPT-3’ün insan gibi metin oluşturma yeteneği gerçekten etkileyici olsa da, mükemmel değil. Problemler, özellikle karmaşık konulara ilişkin uzun metinler oluştururken ortaya çıkıyor. Örneğin, bir web sitesinin bilgisayar kodunu oluşturma isteği, doğru ancak optimal olmayan kod dönebilir, bu nedenle bir insan kodlayıcı masih girmesi ve iyileştirmeleri yapması gerekir. Büyük metin belgeleri için de benzer bir sorun vardır: metin hacmi ne kadar büyükse, hataların -bazen komik- ortaya çıkma olasılığı o kadar yüksektir ve bunlar insan yazar tarafından düzeltilmelidir.

Kısacası, GPT-3 insan yazarları veya kodlayıcıları tamamen değiştirecek bir araç değildir ve böyle düşünülmemelidir. Bunun yerine, GPT-3 bir yazma asistanı olarak görülmelidir, insanların blog post fikirleri veya reklam metinleri için taslaklar oluştururken zaman kazanmalarına yardımcı olabilecek bir araç.

Daha fazla parametre = daha iyi?

AI modelleri hakkında önemli bir nokta, parametrelerin nasıl kullanıldığıdır. Bir AI modelinin parametreleri, öğrenme sürecini tanımlar ve çıktı için yapı sağlar. Genellikle, bir AI modelinin parametre sayısı, performansının bir ölçüsü olarak kullanılır. Parametre sayısı ne kadar fazla ise, model o kadar güçlü, pürüzsüz ve öngörülebilir olur, en azından ölçekleme hipotezine göre.

Örneğin, GPT-1 2018’de 117 milyon parametre ile piyasaya sürüldü. Bir yıl sonra çıkan GPT-2, 1.2 milyar parametre ile geldi, GPT-3 ise parametre sayısını 175 milyar ile daha da yükseltti. Ağustos 2021’de Wired ile yapılan bir röportajda, OpenAI ile ortak olan Cerebras’ın kurucusu ve CEO’su Andrew Feldman, GPT-4’ün yaklaşık 100 trilyon parametre ile geleceğini söyledi. Bu, GPT-4’ü GPT-3’ten 100 kat daha güçlü kılacaktır, parametre büyüklüğünde bir sıçrama ki bu birçok kişiyi heyecanlandırmıştır.

Bununla birlikte, Feldman’ın iddialı claimine rağmen, GPT-4’ün gerçekten 100 trilyon parametre ile geleceğine dair iyi nedenler vardır. Parametre sayısı ne kadar fazla ise, modeli eğitmek ve ayarlamak o kadar pahalı olur, çünkü büyük miktarda hesaplama gücü gereklidir.

Ek olarak, modelin etkinliğini belirlemede parametre sayısı dışında daha birçok faktör vardır. Örneğin, Nvidia ve Microsoft tarafından geliştirilen Megatron-Turing NLG gibi modeller, 500 milyardan fazla parametre ile GPT-3’ü performans açısından geçemez.

Olabilir ki GPT-4, GPT-3’ten daha fazla parametre ile gelecektir, ancak bu sayı kaç kat daha fazla olacağı belirsizdir. OpenAI, muhtemelen parametre büyüklüğünden ziyade algoritmik tasarım ve hizalama方面ındaki nitel iyileşmelere odaklanmaktadır. Bu tür geliştirmelerin tam etkisi öngörülemez, ancak bilinen bir şey, bir sparse modelin, koşullu hesaplamalar sayesinde -yani AI modelindeki tüm parametrelerin sürekli ateşlenmemesi- hesaplama maliyetlerini azaltabileceğidir, bu da insan beynindeki nöronların çalışmasına benzer.

GPT-4 neler yapabilecek?

OpenAI, GPT-4 hakkında yeni bir açıklama yapana veya GPT-4’ü çıkarmaya kadar, sadece spekülasyon yapabiliriz.

AI derin öğrenme gelişiminin geleceği çok modalli, ancak GPT-4 muhtemelen metin-only kalacaktır. İnsanlar olarak, çoklu duyusal bir dünyada yaşıyoruz ve farklı ses, görsel ve metin girişleri ile çevriliyiz. Dolayısıyla, AI gelişiminin sonunda, çeşitli girişleri birleştirebilen çok modalli bir model üreteceği kaçınılmazdır.

İyi bir çok modalli model, metin-only modelden çok daha zor tasarlanır. Teknoloji henüz orada değil ve parametre büyüklüğü limitlerine dayanarak, OpenAI’nin metin-only modeli genişletmeye ve geliştirmeye odaklandığı muhtemeldir.

Muhtemelen GPT-4, kesin prompting’e daha az bağımlı olacaktır. GPT-3’ün bir eksikliği, metin prompt’larının dikkatli bir şekilde yazılması gerektiğidir. Prompt’lar iyi yazılmazsa, yanlış, toksik veya aşırı görüşleri yansıtan çıktılar elde edilebilir. Bu, “hizalama problemi” olarak bilinir ve AI modelinin kullanıcıların niyetlerini tam olarak anlamakta zorlandığını ifade eder. AI modelleri, internetten alınan metin verilerine dayandığından, insan önyargıları, yanlışlıklar ve ön yargılar kolayca metin çıktılarına geçebilir.

Bununla birlikte, hizalama problemi üzerinde ilerleme kaydedildiği konusunda nedenler vardır. Bu iyimserlik, GPT-3’ün daha gelişmiş bir versiyonu olan InstructGPT’nin geliştirilmesindeki bazı atılımlardan kaynaklanmaktadır. InstructGPT, insan geri bildirimi ile eğitilir ve talimatları daha yakından takip eder. İnsan hakemler, InstructGPT’nin GPT-3’e göre daha az kesin prompting’e bağımlı olduğunu buldu.

Bununla birlikte, bu testler sadece OpenAI çalışanları ile yapıldı, bu da oldukça homojen bir grup olabilir ve cinsiyet, din veya siyasi görüşler açısından çok farklılık göstermeyebilir. Muhtemelen GPT-4, daha çeşitli bir eğitim görecek ve farklı gruplar için hizalamayı iyileştirecektir, ancak ne kadar olduğu belirsizdir.

GPT-4 insanları değiştirecek mi?

GPT-4’ün vaatlerine rağmen, insan yazarları ve kodlayıcıları完全 olarak değiştirmesi muhtemel değildir. Parametre optimizasyonu, çok modallık ve hizalama konularında masih çok iş vardır. Gerçek bir insan deneyimi ve karmaşıklığını anlamaya yakın bir metin oluşturucu görmeye başlamadan yıllar geçebilir.

Bununla birlikte, GPT-4’ün gelişinden heyecan duymak için iyi nedenler vardır. Parametre optimizasyonu -basitçe parametre büyümesi değil- daha fazla hesaplama gücüne sahip bir AI modeli ile sonuçlanacaktır. İyileştirilmiş hizalama, GPT-4’ü daha kullanıcı dostu kılacaktır.

Ek olarak, AI araçlarının geliştirilmesi ve benimsenmesinin başlangıcındayız. Teknoloji için daha fazla kullanım alanı bulunmaya devam ediliyor ve insanlar AI’yi işyerinde kullanmaya daha fazla güvendiğinde, AI araçlarının几乎 her iş sektöründe yaygın olarak benimseneceği yakın yıllarda görmek muhtemeldir.