Yapay zeka modelleri ve platformları

EUREKA: Büyük Dil Modelleri ile İnsan Düzeyinde Ödül Tasarımı

Kunal Kejriwal
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarEUREKA, robot manipülasyon görevleri için insan tasarımı işlevlerden daha iyi…
Daha fazla göster
  • EUREKA, robot manipülasyon görevleri için insan tasarımı işlevlerden daha iyi performans gösteren ödül kodları üretmek için Büyük Dil Modellerini kullanır.
  • Bu çerçeve, manuel mühendislik gerektirmeden ödül işlevlerini yinelemeli olarak iyileştirmek için evrimsel arama ve ortamı-bağlam olarak kullanma yöntemlerini kullanır.
  • EUREKA, insan geri bildirimlerinden insan uyumlu ödül üretimini sağlayan, gradyansız bir bağlam-içi öğrenme yöntemi sunarak RLHF'yi geliştirir.

Büyük dil modellerinin son yıllardaki ilerlemesi, sıralı ve üst düzey karar verme görevlerinde anlamsal planlayıcı olarak başarılı olmalarını açıklıyor. Ancak geliştiriciler, karmaşık alt düzey manipülasyon becerilerini öğretirken bu modellerin tüm potansiyelinden yararlanmakta hâlâ zorlanıyor. Basit becerilerin öğretilmesi veya metin istemlerinin hazırlanması bile ciddi alan uzmanlığı gerektiriyor. Bu nedenle performansları ile insan el becerisi arasında büyük bir fark bulunuyor.

Nvidia (NVDA ), Caltech, Pennsylvania Üniversitesi ve diğer kuruluşlardan geliştiriciler bu farkı azaltmak için EUREKA’yı tanıttı. Bu, büyük dil modellerine dayalı, insan düzeyinde ödül tasarımı amaçlayan bir algoritma. Kod yazma, bağlam içinde iyileştirme ve örneksiz üretim yeteneklerini birleştirerek ödül kodunu optimize ediyor. Pekiştirmeli öğrenmeyle birleştirilen bu kod, karmaşık becerilerin ve manipülasyon görevlerinin öğrenilmesini sağlıyor.

Bu yazıda EUREKA’nın yapısını, işleyişini ve geliştiricilerin insan tasarımlarını aştığını belirttiği ödül fonksiyonlarını inceliyoruz. Ayrıca gradyan gerektirmeyen bağlam içi öğrenmenin, insan geri bildiriminden pekiştirmeli öğrenmeye (RLHF) nasıl yeni bir yaklaşım getirdiğine bakıyoruz.

EUREKA: Giriş

GPT-3 ve GPT-4 gibi gelişmiş büyük dil modelleri, üst düzey kararların anlamsal planlanmasında güçlü sonuçlar veriyor. Buna karşılık kalemi parmaklar arasında döndürmek gibi alt düzey becerilerde iyileştirme gerekiyor. Pekiştirmeli öğrenme, insanlar ödül fonksiyonlarını dikkatle tasarladığında bu tür becerilerde ve başka alanlarda başarılı olabiliyor. Fonksiyonlar, istenen davranış için öğrenme sinyalleri sağlıyor. Gerçek görevlerde seyrek ödüller öğrenmeyi zorlaştırırken ödül şekillendirme aşamalı sinyaller sunuyor. Ne var ki bu fonksiyonları tasarlamak çok zor; yetersiz tasarımlar istenmeyen davranışlara yol açabiliyor.

EUREKA, Evolution-driven Universal REward Kit for Agent, bu sorunlara üç katkıyla yanıt vermeyi amaçlıyor:

  1. Ödül fonksiyonu tasarımında insan düzeyinde performans.
  2. Elle ödül mühendisliği yapmadan manipülasyon görevlerinin etkili çözümü.
  3. Geleneksel RLHF yerine gradyansız bağlam içi öğrenmeyle daha başarılı ve insan hedeflerine daha uyumlu ödüller.

Genellenebilirliği üç temel tercih destekliyor: evrimsel arama, ortamın bağlam olarak kullanılması ve ödül üzerine değerlendirme. Önce ortamın kaynak kodu bağlam olarak verilerek örneksiz biçimde çalıştırılabilir ödül fonksiyonları üretiliyor. Ardından evrimsel arama her yinelemede bir aday grubu önerip en umut vericileri geliştiriyor. Son olarak politika eğitimi istatistiklerinden elde edilen metinsel kalite özeti, hedefli ve otomatik ödül düzenlemesine yön veriyor. Aşağıdaki şekil genel işleyişi gösteriyor; sonraki bölümde ayrıntılara geçiyoruz.

EUREKA: Mimari ve problem tanımı

Ödül şekillendirmenin amacı, seyrek ödüller gibi doğrudan optimize edilmesi zor bir asıl hedef fonksiyonu için uyarlanmış bir ödül fonksiyonu oluşturmaktır. Tasarımcı asıl fonksiyona yalnızca sorgularla erişebilir. Bu yüzden EUREKA, Ödül Tasarımı Problemi’ne (Reward Design Problem, RDP) dayanan program sentezi biçiminde ödül üretimini kullanır.

RDP; durum uzayı içeren bir dünya modeli, ödül fonksiyonları uzayı, geçiş fonksiyonu ve eylem uzayından oluşur. Öğrenme algoritması bir Markov sürecinde politika üretir; politikanın niteliği, politika sorgularıyla erişilen skaler uygunluk değeriyle değerlendirilir. Amaç, öğrenilen politikanın bu değeri en üst düzeye çıkarmasını sağlayacak ödül fonksiyonudur. EUREKA’da bütün bileşenler kodla tanımlanır. Görev ayrıntılarını veren bir metin için hedef, uygunluğu artıran ödül fonksiyonunun kodunu üretmektir.

Temel bileşenler adayları yinelemeli biçimde önerip geliştiren evrimsel arama, örneksiz çalıştırılabilir ödüller için ortamın bağlam olarak kullanılması ve ayrıntılı iyileştirmeler için ödül değerlendirmesidir. Algoritmanın sözde kodu aşağıdadır.

Ortamın bağlam olarak kullanılması

Dil modelleri genellikle ödül tasarlamak için ortamın bir açıklamasına ihtiyaç duyar. EUREKA ise ödül kodunu çıkartarak ham ortam kodunu doğrudan bağlam olarak sunar. Bunun iki yararı vardır. Kod modelleri C, C++, Python ve Java gibi dillerde eğitildiğinden, bildikleri sözdizimi ve üslupla daha iyi kod üretir. Ayrıca kaynak kod ortamın anlamını ve göreve uygun ödül fonksiyonunda kullanılabilecek değişkenleri açığa çıkarır. Böylece yalnızca genel biçimlendirme ve ödül tasarımı önerileriyle doğrudan çalıştırılabilir Python kodu istenebilir.

Evrimsel arama

Evrimsel arama, yetersiz tasarımlar ve çalıştırma hataları için doğal bir çözüm sunar. Her yinelemede dil modelinden birden fazla bağımsız çıktı alınır. Örnekler bağımsız ve aynı dağılımdansa, örnek sayısı arttıkça bütün adayların hatalı olma olasılığı üstel olarak azalır.

Sonraki adımda önceki yinelemenin çalıştırılabilir fonksiyonları bağlam içinde değiştirilir ve metinsel geri bildirimle daha iyi bir fonksiyon önerilir. Dil modellerinin bağlam içi iyileştirme ve talimat izleme yetenekleri, mutasyon operatörünün metin istemiyle tanımlanmasını sağlar. Politika eğitimine ilişkin metinsel özet, mevcut ödül kodunun değiştirilmesine yol gösterir.

Ödül üzerine değerlendirme

Hedefli değişiklikler için ödülün niteliğini değerlendirmek ve sözcüklerle açıklamak gerekir. Sayısal uygunluk puanı genel başarıyı gösterse de hangi bileşenin neden işe yaradığını açıklamaz. EUREKA bu nedenle politika eğitiminin dinamiklerini otomatik metinsel geri bildirimle özetler. Fonksiyonlardan ödül bileşenlerini ayrı ayrı sunmaları da istenir. Böylece eğitim boyunca kontrol noktalarında her bileşenin skaler değeri izlenebilir.

Bu yöntem kolay kurulsa da önemlidir; çünkü ödül optimizasyonu algoritmaya bağlıdır. Ödül fonksiyonunun başarısı kullanılan pekiştirmeli öğrenme algoritmasından doğrudan etkilenir. Aynı optimize edicide bile hiperparametre değişiklikleri sonuçları değiştirebilir. EUREKA bu sayede ödülleri daha seçici düzenler ve öğrenme algoritmasıyla daha iyi çalışan fonksiyonlar sentezler.

Eğitim ve karşılaştırma yöntemleri

İki temel bileşen politika öğrenimi ve ödül değerlendirme ölçütleridir.

Politika öğrenimi

Her görevin son ödül fonksiyonu, insan tasarımı ödüllere uygun ayarlanmış aynı hiperparametrelerle ve aynı pekiştirmeli öğrenme algoritmasıyla optimize edilir.

Ödül değerlendirme ölçütleri

Görev ölçütlerinin ölçeği ve anlamı farklı olduğundan EUREKA, insan sonuçlarına göre normalize edilmiş puanı raporlar. Bu, gerçek hedef ölçütlerine göre uzmanların hazırladığı ödüllerle kapsamlı karşılaştırma yapılmasını sağlar.

Üç ana karşılaştırma yöntemi L2R, Human ve Sparse’tır.

L2R

L2R, şablonlu ödüller üreten iki aşamalı bir büyük dil modeli istem yöntemidir. İlk model, doğal dille belirtilen ortam ve görev için bir şablonu doldurur. İkinci model bu hareket açıklamasını, elle yazılmış ödül API’sinin temel işlemlerini çağırarak ödül fonksiyonu oluşturan koda çevirir.

Human

Human, pekiştirmeli öğrenme araştırmacılarının yazdığı özgün ödül fonksiyonlarıdır ve ileri düzey insan ödül mühendisliğini temsil eder.

Sparse

Sparse, üretilen ödüllerin kalitesini değerlendirmede kullanılan uygunluk fonksiyonlarına benzeyen seyrek ödüllerdir.

Sonuçlar

Değerlendirme; insan ödülleriyle karşılaştırma, yinelemeler boyunca iyileşme, yeni ödül üretimi, hedefli geliştirme ve insan geri bildirimiyle çalışma boyutlarını kapsar.

EUREKA insan tasarımı ödülleri aşıyor

Şekil, farklı testlerin toplu sonuçlarını gösterir. EUREKA hem Dexterity hem Isaac görevlerinde insan ödüllerini aşar veya onlarla aynı düzeye ulaşır. L2R düşük boyutlu görevlerde benzer sonuçlar verse de yüksek boyutlu görevlerde fark büyüktür.

Zaman içinde sürekli iyileşme

EUREKA’nın önemli özelliklerinden biri, her yinelemede performansını geliştirmesidir. Sonuçlar aşağıdaki şekilde gösterilir.

Bağlam içi evrimsel ödül araması, her yinelemede daha iyi ödüller üretir ve sonunda insan tasarımı ödülleri aşar.

Yeni ödüller oluşturma

Yenilik, bütün Isaac görevlerinde insan ve EUREKA ödülleri arasındaki korelasyon hesaplanarak incelenir. Korelasyonlar, insan sonuçlarına göre normalize edilmiş puanlarla birlikte bir dağılım grafiğinde gösterilir. Her nokta bir görev için üretilmiş EUREKA ödülünü temsil eder. Sistem çoğunlukla insan ödülleriyle düşük korelasyonlu ama onlardan daha başarılı fonksiyonlar üretir.

Hedefli iyileştirme

Ödül değerlendirmesinin önemini ölçmek için geliştiriciler bu bileşeni kaldıran bir bileşen çıkarma (ablasyon) deneyi yaptı; geri bildirim yalnızca anlık sayısal değerlerden oluştu. Isaac görevlerinde ortalama normalize puan yaklaşık %29 düştü.

İnsan geri bildirimiyle çalışma

Otomatik tasarımın yanında EUREKA, RLHF için gradyansız bağlam içi öğrenme yaklaşımı sunar. Farklı girdiler daha başarılı ve insan hedefleriyle uyumlu ödüller üretmede kullanılabilir. İki önemli gözlem vardır:

  1. EUREKA insan ödül fonksiyonlarından yararlanabilir ve onları geliştirebilir.
  2. Ödül değerlendirmesinde insan geri bildirimi kullanmak, insan hedeflerine uyumlu davranışları destekler.

Şekil, başlangıç olarak insan ödülü kullanmanın, başlangıç ödülünün kalitesinden bağımsız biçimde performans ve verimliliği artırdığını gösterir. Başlangıç kalitesi, sistemin bağlam içi iyileştirme yeteneğini belirgin biçimde etkilemez.

Son şekil, insan geri bildirimiyle hem ödüllerin değiştirilebildiğini hem de insan beklentilerine daha uygun politikalar üretilebildiğini gösterir.

Son değerlendirme

EUREKA; kod yazma, bağlam içi iyileştirme ve örneksiz üretim yetenekleriyle ödül kodunu optimize eder. Pekiştirmeli öğrenmeyle birleştiğinde karmaşık becerilerin ve manipülasyon görevlerinin öğrenilmesini sağlar. İnsan müdahalesi veya göreve özel istem mühendisliği olmadan birçok görevde insan düzeyinde ödül üretir. Önemli gücü, karmaşık görevleri aşamalı bir öğrenme programıyla öğrenmesidir.

Performansı ve çok yönlülüğü, evrimsel algoritmaların büyük dil modelleriyle birleşmesinin ödül tasarımı için ölçeklenebilir, genel bir yaklaşım sağlayabileceğini gösterir. Bu yaklaşım başka açık uçlu arama problemlerine de uygulanabilir.

Kunal Kejriwal, Python, PostgreSQL, Redis ve GCP ile AWS üzerindeki bulut altyapısında uzmanlaşmış bir backend mühendisi. Üç yıllık canlı ortamda çalışan sistemler inşa etme ve ölçeklendirme deneyimine sahip olan Kunal, AI altyapısı, dağıtık sistemler ve makine öğrenimi iş yüklerini devreye alma mimarisi hakkında yazıyor.