Yapay zeka modelleri ve platformları

Üretken AI: CHATGPT, DALL-E, Midjourney ve Daha Fazlasının Arkasındaki Fikir

Aayush Mittal
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarGPT-4 gibi üretken yapay zeka modelleri, yalnızca çıktıları tahmin etmek yerine veri…
Daha fazla göster
  • GPT-4 gibi üretken yapay zeka modelleri, yalnızca çıktıları tahmin etmek yerine veri desenlerinden yeni içerik oluşturur.
  • Transformer mimarisinin dikkat mekanizması, yapay zekanın üstün dil üretimi için metnin ilgili kısımlarına odaklanmasını sağlar.
  • DALL-E 2 gibi difüzyon modelleri, metin istemleri kullanarak gürültüyü yinelemeli olarak görüntülere dönüştürür.

Sanat, iletişim ve gerçekliği algılama biçimimiz hızla değişiyor. İnsanlığın yenilik tarihine baktığımızda tekerleğin icadını veya elektriğin keşfini büyük sıçramalar olarak görebiliriz. Bugün insan yaratıcılığı ile makine hesaplaması arasındaki ayrımı aşan yeni bir devrim yaşanıyor: üretken yapay zekâ.

Üretken modeller, insanlarla makineler arasındaki sınırı belirsizleştirdi. Transformer modüllerini kullanan GPT-4 gibi modellerle doğal ve bağlam açısından zengin dil üretimine yaklaştık. Bu gelişmeler belge oluşturma, sohbet robotları ve sentetik müzik besteleme gibi uygulamaları destekledi.

Büyük teknoloji şirketlerinin son kararları da bu önemi gösteriyor. Microsoft (MSFT ), Bing Chat gibi yeni üretken yapay zekâ yeniliklerine öncelik vermek için bu ay Cortana uygulamasını sonlandırıyor. CEO Tim Cook’un açıklamasına göre Apple (AAPL ) da 22,6 milyar dolarlık Ar-Ge bütçesinin önemli bir bölümünü üretken yapay zekâya ayırdı.

Modellerde yeni bir dönem: Üretken ve ayırt edici modeller

Üretken yapay zekânın hikâyesi yalnızca uygulamalarından değil, çalışma mekanizmasından da oluşur. Yapay zekâ ekosisteminde ayırt edici ve üretken olmak üzere iki model türü vardır.

Ayırt edici modeller, günlük yaşamda sık karşılaştığımız türdür. Metin veya görüntü gibi girdileri, sözcük çevirisi ya da tıbbi tanı gibi hedef çıktılarla eşleştirirler. Amaçları eşleme ve tahmindir.

Üretken modeller ise yeni içerik oluşturur. Yalnızca yorumlamak veya tahmin etmekle kalmaz, çoğu zaman gerçek dünya değerleriyle doğrudan ilişkili bile olmayan sayı vektörlerinden yeni ve karmaşık çıktılar üretirler.

Generative AI Types: Text to Text, Text to Image (GPT, DALL-E, Midjourney)

Üretken modellerin arkasındaki teknolojiler

Üretken modeller, insan beyninin işleyişini taklit etmek üzere tasarlanan derin sinir ağlarına dayanır. Verilerdeki çok yönlü değişimleri yakalayıp işleyen bu ağlar, birçok üretken modelin temelidir.

Bu modeller genellikle verilerin farklı yönlerini yakalamak için optimize edilmiş derin sinir ağlarıyla oluşturulur. Önemli bir örnek, üretken çekişmeli ağdır (GAN). Burada üretici ve ayırt edici adlı iki sinir ağı rekabet eder ve kendine özgü bir öğretmen-öğrenci ilişkisi içinde birbirinden öğrenir. Resimlerden stil aktarımına, müzik bestelemeden oyun oynamaya kadar bu modeller daha önce hayal edilemeyen biçimlerde gelişiyor.

Alan GAN’larla sınırlı değildir. Varyasyonel otokodlayıcılar (VAE) da önemli bir model türüdür. Görünüşte rastgele sayılardan fotogerçekçi görüntüler üretebilirler. Bu sayıların gizil bir vektör üzerinden işlenmesi, insan estetiğinin karmaşıklığını yansıtan görseller ortaya çıkarır.

Üretken yapay zekâ türleri: Metinden metne, metinden görüntüye

Transformer’lar ve büyük dil modelleri

Google (GOOGL ) Brain’in “Attention Is All You Need” makalesi, metin modelleme anlayışını değiştirdi. Tekrarlayan sinir ağları (RNN) veya evrişimli sinir ağları (CNN) gibi karmaşık, sıralı mimariler yerine Transformer, bağlama göre girdinin farklı bölümlerine odaklanan dikkat mekanizmasını sundu. Bunun önemli avantajı paralelleştirmenin kolay olmasıydı. Metni sırayla işlediği için ölçeklenmesi zorlaşan RNN’lerin aksine Transformer’lar farklı bölümleri aynı anda işleyebilir; böylece büyük veri kümelerinde eğitim daha hızlı ve verimli olur.

Uzun bir metindeki her sözcük veya cümle aynı önemi taşımaz. Bağlama göre bazı bölümler daha fazla dikkat gerektirir. Dikkat mekanizması, odağımızı ilgililik düzeyine göre değiştirme yeteneğini taklit eder.

“Unite AI Publish AI and Robotics news” cümlesini düşünün. Sonraki sözcüğü tahmin etmek, önceki bağlamda neyin önemli olduğunu anlamayı gerektirir. “Robotics” sonraki bölümün robotikteki bir gelişme veya olayla ilgili olabileceğini, “Publish” ise yeni bir yayın veya makaleden söz edilebileceğini düşündürebilir.

Self-Attention Mechanism explanation on a demmo sentence
Öz dikkat mekanizmasının gösterimi

Transformer’lardaki dikkat mekanizmaları bu seçici odağı sağlar. Girdinin farklı bölümlerinin önemini değerlendirir ve yanıt üretirken nereye bakılacağını belirler. Bu, tüm metni tek bir duruma veya belleğe sıkıştırmaya çalışan eski RNN mimarilerinden farklıdır.

Dikkatin işleyişi anahtar-değer erişim sistemine benzetilebilir. Sonraki sözcük tahmin edilirken önceki her sözcük, olası ilgisini belirten bir anahtar sunar. Anahtarın mevcut bağlamla, yani sorguyla uyumuna göre tahmine bir değer veya ağırlık eklenir.

Bu derin öğrenme modelleri, BERT ile Google aramasının geliştirilmesinden basit kod parçalarını işlevsel kaynak koda dönüştürmek için büyük dil modellerini kullanan GitHub Copilot’a kadar birçok uygulamaya girmiştir.

GPT-4, Bard ve LLaMA gibi büyük dil modelleri (LLM), insan dilini, kodu ve başka içerikleri anlamak ve üretmek için tasarlanmıştır. Milyarlardan trilyonlara uzanan parametre ölçekleri belirleyici özelliklerindendir. Büyük miktarda metinle beslenerek dilin inceliklerini öğrenirler. Dikkat çekici özelliklerinden biri “az örnekli” öğrenmedir. Çok miktarda göreve özgü eğitim verisi isteyen geleneksel modellerin aksine LLM’ler çok az örnekten genelleme yapabilir.

2023 ortası sonrasında büyük dil modellerinin durumu

Model adı Geliştirici Parametreler Kullanılabilirlik ve erişim Öne çıkan özellikler ve notlar
GPT-4 OpenAI 1,5 trilyon Açık kaynak değil; yalnızca API üzerinden erişim Çeşitli görevlerde güçlü performans; görüntü ve metin işleyebilme; en fazla 32.768 giriş tokeni
GPT-3 OpenAI 175 milyar Açık kaynak değil; yalnızca API üzerinden erişim Az örnekli ve sıfır örnekli öğrenme yetenekleri gösterdi. Doğal dilde metin tamamlama yapar.
BLOOM BigScience 176 milyar Model indirilebilir; barındırılan API mevcut Küresel iş birliğiyle geliştirilen çok dilli LLM. 13 programlama dilini destekler.
LaMDA Google 173 milyar Açık kaynak değil; API veya indirme seçeneği yok Diyaloglarla eğitildi; hemen her konuda konuşmayı öğrenebilir.
MT-NLG Nvidia /Microsoft 530 milyar Başvuruyla API erişimi Çeşitli doğal dil işleme görevleri için Transformer tabanlı Megatron mimarisini kullanır.
LLaMA Meta AI 7 milyar–65 milyar Başvuruyla indirilebilir Araştırma, kamu ve akademide çalışanlara erişim sunarak yapay zekâyı daha erişilebilir hâle getirmeyi amaçlar.

LLM’ler nasıl kullanılır?

LLM’ler çeşitli biçimlerde kullanılabilir:

  1. Doğrudan kullanım: Önceden eğitilmiş bir LLM’yi metin üretmek veya işlemek için kullanmak. Örneğin GPT-4 ile ek ince ayar yapmadan blog yazısı yazmak.
  2. İnce ayar: Önceden eğitilmiş modeli belirli bir göreve uyarlamak; bu yöntem transfer öğrenmesi olarak bilinir. Örneğin T5’i belirli bir sektördeki belgeleri özetlemek için özelleştirmek.
  3. Bilgi erişimi: BERT veya GPT gibi LLM’leri, bilgileri bulup sınıflandıran daha büyük sistem mimarilerinin parçası olarak kullanmak.
Generative AI ChatGPT Fine Tuning
ChatGPT ince ayar mimarisi

Çok başlı dikkat: Birden fazlası mümkünken neden tek başlık?

Tek bir dikkat mekanizmasına dayanmak sınırlayıcı olabilir. Metindeki farklı sözcük ve diziler farklı ilişkiler taşır. Çok başlı dikkat, tek bir ağırlık kümesi yerine birden fazla küme kullanarak girdide daha zengin ilişkiler yakalar. Her dikkat başlığı girdinin farklı bölümlerine veya yönlerine odaklanabilir; bunların birleşik bilgisi son tahminde kullanılır.

ChatGPT: En popüler üretken yapay zekâ aracı

2018’de ortaya çıkan GPT, esas olarak BookCorpus veri kümesiyle eğitilmiş, 12 katmanlı, 12 dikkat başlıklı ve 120 milyon parametreli bir modeldi. Bu başlangıç, dil modellerinin geleceğine dair bir fikir veriyordu.

2019’da tanıtılan GPT-2’de katman ve dikkat başlığı sayısı dört katına çıktı, parametre sayısı ise 1,5 milyara ulaştı. Eğitimde, çeşitli Reddit bağlantılarından 40 GB metin içeren WebText kullanıldı.

Mayıs 2020’de çıkan GPT-3, 96 katman, 96 dikkat başlığı ve 175 milyar parametreye sahipti. CommonCrawl, WebText, İngilizce Wikipedia, kitap derlemleri ve başka kaynaklardan toplam 570 GB eğitim verisiyle ayrışıyordu.

ChatGPT’nin çalışma ayrıntıları gizli tutulsa da insan geri bildiriminden pekiştirmeli öğrenmenin (RLHF) önemli olduğu biliniyor. Önceki bir ChatGPT projesinden gelen bu teknik, GPT-3.5’in yazılı talimatlarla daha uyumlu hâle getirilmesinde etkili oldu.

ChatGPT’nin eğitimi üç aşamadan oluşur:

  1. Gözetimli ince ayar: Temel GPT-3.5 modelini geliştirmek için insanların yazdığı konuşma girdileri ve çıktıları seçilip düzenlenir.
  2. Ödül modelleme: İnsanlar model çıktılarının kalitesini sıralar. Bu sıralamalar, her çıktıyı konuşma bağlamına göre puanlayan bir ödül modelini eğitir.
  3. Pekiştirmeli öğrenme: Temel model, konuşma bağlamına göre yanıt önerir. Ödül modeli yanıtı değerlendirir ve süreç yakın politika optimizasyonu (PPO) adlı algoritmayla iyileştirilir.

ChatGPT’ye yeni başlayanlar kapsamlı başlangıç rehberimizi burada bulabilir. İstem mühendisliğini daha derin öğrenmek isteyenler için en yeni ve gelişmiş teknikleri ele alan “ChatGPT ve ileri istem mühendisliği: Yapay zekâ evrimine yön vermek” rehberimiz de mevcut.

Difüzyon ve çok modlu modeller

VAE ve GAN gibi modeller çıktıyı tek geçişte ürettiği için o sonuçla sınırlı kalırken, difüzyon modelleri “yinelemeli iyileştirme” kavramını getirmiştir. Önceki adımlardaki hataları düzeltmek için tekrar tekrar işleyerek giderek daha iyi sonuç üretirler.

Difüzyon modellerinin merkezinde “bozma” ve iyileştirme vardır. Eğitim sırasında normal bir görüntüye giderek artan gürültü eklenir. Model bu bozulmuş görüntünün gürültüsünü gidermeye çalışır. Tekrarlanan eğitimle hem küçük hem büyük bozulmaları anlayıp görüntüyü geri oluşturmayı öğrenir.

Generative AI - Midjourney Prompt
Midjourney ile oluşturulan görüntü

Eğitim sonrasında yeni görüntü üretimi tamamen rastgele bir girdiden başlar ve modelin tahminleriyle sürekli iyileştirilir. Amaç mümkün olduğunca az adımda temiz görüntüye ulaşmaktır. Gürültü miktarı, farklı aşamalarda ne kadar gürültü uygulanacağını belirleyen bir gürültü çizelgesiyle kontrol edilir. “diffusers” gibi kütüphanelerdeki zamanlayıcılar, tanımlanmış algoritmalara göre gürültülü sürümlerin özelliklerini belirler.

Birçok difüzyon modelinin önemli mimari temeli U-Net‘tir. Bu evrişimli sinir ağı, çıktının uzamsal boyutlarının girdiyi yansıtması gereken görevler için tasarlanmıştır. Aşağı ve yukarı örnekleme katmanları, görüntü çıktıları için önemli olan yüksek çözünürlüklü bilgiyi koruyacak biçimde bağlantılıdır.

OpenAI’ın DALL-E 2 modeli, metin ve görsel yapay zekâ yeteneklerinin birleşimine örnektir. Üç aşamalı bir mimari kullanır:

  1. Metin kodlayıcı: İstemi gizil uzayda kavramsal bir temsile dönüştürür. Sıfırdan başlamaz; OpenAI’ın Karşıtsal Dil-Görüntü Ön Eğitimi (CLIP) veri kümesine dayanır. CLIP, doğal dil yardımıyla görsel kavramları öğrenerek metin ve görüntü arasında köprü kurar. Karşıtsal öğrenme yoluyla görüntüleri ilgili metin açıklamalarıyla eşleştirir.
  2. Önsel model: Metin kodlayıcısının temsili, görüntü temsiline dönüştürülür. DALL-E 2 bu görev için otoregresif ve difüzyon yöntemlerini denemiş, difüzyon daha iyi sonuç vermiştir. Transformer ve PixelCNN gibi otoregresif modeller çıktıları sıralı üretir. DALL-E 2’deki difüzyon modeli ise metin temsilinin yardımıyla rastgele gürültüyü tahmini görüntü temsiline dönüştürür.
  3. Kod çözücü: Metin istemi ve önceki aşamadaki görüntü temsilinden son görseli üretir. DALL-E 2’nin kod çözücüsü, metin ipuçlarından gerçekçi görüntüler üretebilen GLIDE modelinin mimarisine dayanır.
Architecture of DALL-E model (diffusion multi model)
DALL-E modelinin basitleştirilmiş mimarisi

LangChain ile ilgilenen Python kullanıcıları, temellerden ileri tekniklere kadar uzanan ayrıntılı eğitimimizi inceleyebilir.

Üretken yapay zekâ uygulamaları

Metin alanı

Metin alanında, ChatGPT gibi sohbet robotları üretken yapay zekâda önemli değişiklikler yaratmıştır. Doğal dil işleme (NLP) ve büyük dil modellerine (LLM) dayanan bu sistemler kod üretimi, çeviri, özetleme ve duygu analizi gibi görevleri yapar. ChatGPT milyonlarca kişi tarafından yaygın olarak kullanılır. GPT-4, PaLM ve BLOOM gibi LLM’lere dayanan konuşma platformları da metin üretir, programlamaya yardım eder ve matematiksel akıl yürütme sunar.

Ticari açıdan bu modeller risk yönetimi, envanter optimizasyonu ve talep tahmini gibi birçok işlemde değer kazanıyor. Bing AI, Google BARD ve ChatGPT API önemli örneklerdir.

Sanat

Üretken yapay zekâ, özellikle 2022’de DALL-E 2’nin tanıtılmasından sonra görüntü dünyasını değiştirdi. Metin istemlerinden görüntü üretebilmesi hem sanat hem profesyonel kullanım için önemlidir. Örneğin Midjourney, etkileyici derecede gerçekçi görseller üretir. Yakın tarihli Midjourney rehberimiz platformu ve istem mühendisliğini ayrıntılı açıklar. Alpaca AI ve Photoroom AI gibi platformlar ise arka plan kaldırma, nesne silme ve yüz onarma gibi gelişmiş görüntü düzenleme işlevlerinde üretken yapay zekâ kullanır.

Video üretimi

Üretken yapay zekâyla video üretimi henüz erken aşamadadır ama umut verici ilerlemeler vardır. Imagen Video, Meta Make A Video ve Runway Gen-2 sınırları zorlasa da tam anlamıyla gerçekçi sonuçlar henüz ufuktadır. Synthesia ve SuperCreator gibi uygulamalarla dijital insan videoları üretmek için yararlıdırlar. Tavus AI ise videoları izleyiciye özel kişiselleştirerek işletmelere değer sunar.

Kod üretimi

Dijital dünyanın vazgeçilmezi olan kodlama da üretken yapay zekâdan etkilenmiştir. ChatGPT’nin yanı sıra GitHub Copilot, Alphacode ve CodeComplete gibi uygulamalar kodlama asistanıdır ve metin istemlerinden kod üretebilir. Bu araçların uyarlanabilirliği dikkat çeker. GitHub Copilot’un temelindeki Codex, kişinin kodlama tarzına göre uyarlanabilir; bu da üretken yapay zekânın kişiselleştirme potansiyelini gösterir.

Sonuç

İnsan yaratıcılığını makine hesaplamasıyla birleştiren üretken yapay zekâ, ChatGPT ve DALL-E 2 gibi platformlarla mümkün olanın sınırlarını genişleten değerli bir araca dönüştü. Metinlerden görsel eserlere uzanan uygulamaları geniş ve çeşitlidir.

Her teknolojide olduğu gibi etik etkiler önemlidir. Üretken yapay zekâ sınırsız yaratıcılık vaat etse de olası önyargıları ve veri manipülasyonunun gücünü gözeterek sorumlu kullanılmalıdır.

ChatGPT gibi araçlar erişilebilir hâle geldikçe denemek için iyi bir zamandayız. Sanatçı, yazılımcı veya teknoloji meraklısı olun, üretken yapay zekâ keşfedilmeyi bekleyen olanaklar sunuyor. Devrim ufukta değil; burada ve şimdi. Denemeye başlayın!

Son beş yıldır Makine Öğrenimi ve Derin Öğrenme dünyasına kendimi adamış bulunuyorum. Tutkum ve uzmanlığım, özellikle AI/ML'ye odaklanarak 50'den fazla çeşitli yazılım mühendisliği projesine katkıda bulunmama yol açtı. Süregelen merakım da beni Doğal Dil İşleme alanına yöneltti, bu alana daha da derinlemesine girmeye hevesliyim.