Steve Nemzer, Sr. Müdür, AI Büyüme ve İnovasyon, TELUS Dijital – Röportaj Serisi

Steve Nemzer, Sr. Müdür, AI Büyüme ve İnovasyon, TELUS Dijital, nächsten nesil yapay zeka sistemleri için AI eğitim verisi ve altyapısını geliştirmeye odaklanan projeleri yönetiyor. Çalışmaları, derin araştırma modelleri, pekiştirme öğrenimi ortamları, dünya modeli verileri, egemen AI girişimleri ve AI risk azaltma çerçeveleri için veri kümeleri geliştirilmesini içerir ve sorumlu AI uygulamalarına güçlü bir vurgu yapar, Örneğin, veri kümesi önyargısını ele alma ve AI eğitmenleri için adil çalışma koşullarını destekleme. Kariyerinin早期 döneminde, Nemzer, VeriTest Labs’i kurdu ve Microsoft (MSFT ), Intel (INTC ), Oracle (ORCL ) ve Sun Microsystems gibi erken teknoloji liderlerine üçüncü taraf yazılım ekosistemleri oluşturmalarına yardımcı oldu, daha sonra şirket Lionbridge tarafından satın alındı.

TELUS Dijital bir küresel teknoloji hizmetleri şirketidir ve organizasyonlara dijital platformlar ve AI güçlendirilmiş çözümler tasarlamak, oluşturmak ve işletmek konusunda yardımcı olur. Çok sayıda ülkede faaliyet gösteren şirket, AI eğitim verisi ve anotasyon, dijital ürün mühendisliği ve müşteri deneyimi yönetimi gibi hizmetler sunar. Platformları ve hizmetleri, teknoloji, finans, sağlık, telekomünikasyon ve oyun gibi endüstrilerdeki şirketlere operasyonlarını modernleştirmeleri ve gelişmiş AI yeteneklerini dağıtmaları konusunda destek sağlar.

Kariyerinizin AI testi, veri doğrulama ve sorumlu dağıtımı odaklı olmasına rağmen, dil odaklı üreten AI’den dünya modellerine, özellikle de TELUS Dijital’deki mevcut rolünüzde, gerçek dünya durumları ve sonuçları hakkında akıl yürütme yapan dünya modellerine geçişi nasıl görüyorsunuz?

Büyük dil modelleri (LLM’ler) temel olarak desen tahmin sistemleridir. Büyük, statik corpora’dan öğrenilen desenlere dayanarak bir sonraki tokenı tahmin ederek cevaplar oluştururlar. Bu, akıl yürütme gibi görünebilir, ancak model aslında dünyanın durumunu değiştiren eylemleri modellememektedir.

Dünya modelleri farklı bir yaklaşım benimser. Bir sonraki kelime veya tokenı tahmin etmek yerine, bir sistemdeki bir sonraki durumu modelleyerek devlet geçişlerini tahmin etmeye çalışırlar. Bu, sistemlerin çevrelerinin nasıl evrimleştiğini simüle etmelerine ve kararlar almadan önce farklı olası sonuçları değerlendirmelerine olanak tanır. Etkileşimli sistemler için bu, daha güvenilir karar alma ve planlama desteği sağlayabilir.

Bu geçiş, sorumlu dağıtım hakkında düşüncelerimizi de değiştirir. Geleneksel üreten AI sistemlerinde, odak noktası büyük ölçüde önyargı ve hallucinasyonlar gibi konularda olmuştur. Modeller, ortamlar ve eylemler hakkında akıl yürütme yapmaya başladığında, diğer riskler daha belirgin hale gelir.

Örneğin, organizasyonlar “sim-to-real” boşluğunu dikkate almak zorundadır, burada simülasyonlu ortamlarda öğrenilen davranışlar, gerçek dünya koşullarına temiz bir şekilde çevrilmeyebilir. Dağılım değişimi de önemli bir endişe kaynağı haline gelir, çünkü modellerin karşılaştığı ortamlar, eğitim verisi ile aynı olmayabilir.

Bu, test ve doğrulamanın kritik hale geldiği yerdir, ki bu da TELUS Dijital’deki rolümün önemli bir parçasıdır. AI sistemleri, dil oluşturmaktan, ortamlarla etkileşime giren ve kararlar alan sistemlere geçtiğinde, organizasyonların gerçek dünya koşullarında modellerin güvenilir bir şekilde davranmasını sağlamak için katı değerlendirme çerçevelerine ihtiyacı vardır.

Çok fazla insan büyük dil modellerini tanır, ancak dünya modellerini çok az kişi anlar. Dünya modelleri, LLM’lerin temel olarak mücadele ettiği bir problemi çözmeye çalışıyor. Bu problemi basit terimlerle açıklar mısınız?

Bir dünya modeli, bir sistemdeki “sonraki ne olacağını” tahmin edebilen bir sistemdir. Formül şudur: Durum + Eylem → Sonraki Durum

Eğer elimde bir elma tutuyorsam ve bırakırsam, bir dünya modeli elmanın düştüğünü tahmin eder. Sadece elmaların “görünümü” veya insanların elmaları bırakması hakkında neler dediği hakkında bilgi sahibi değildir, fiziksel bir anlayış temelinde sonuçları tahmin eder. Gelişmiş bir dünya modeli, aynı eylemi Uluslararası Uzay İstasyonu’nda veya Dünya yüzeyinde yaptığımızda neler olacağını tahmin edebilir.

Bu, bir LLM’den farklıdır. Bir LLM, “Verilen bu token dizisi için, bir sonraki token nedir?”i tahmin eder. Metin üzerinde eğitilir – insanların dünyaya yazdıkları şeyler, dünya kendisi değil. Düştüğünü bildiği için size elmaların düştüğünü söyleyebilir, ancak elmaların düşmesini simüle eden iç bir fizik motoru yoktur.

Diğer bir deyişle, LLM’ler bir soruya verilen cevapta bir sonraki kelimeyi istatistiksel olarak tahmin etmekte iyidir, ancak gerçek dünya hakkında anlayış, dil betimlemesi ve tutarlılığın ötesine geçer. Dünya modelleri, durumların adım adım nasıl evrimleştiğini, mevcut durum ve meydana gelen eylem temelinde bir sonraki durumun ne olacağını ve hangi kısıtlamalar olduğunu anlamaya çalışır.

Dünya modelleri, eylemler almadan önce sonuçları simüle etmelerini sağlayan AI sistemlerine olanak tanır. Bu, uygulamada nasıl görünür ve araştırma dışı ortamlarda güvenilir bir şekilde çalışmasını görmek için ne kadar uzağız?

Bu soruyu yanıtlamakta bir zorluk, “dünya modeli” teriminin oldukça gevşek bir şekilde kullanılması ve anlamın bağlama göre değişmesidir. Basit bir dünya modeli tanımı, bir aracın mevcut durumunu ve çevre ortamını simüle ederek ve gelecek durumları tahmin ederek akıl yürütmesine olanak tanımasıdır. Araştırmacılar, dünya modellerini biraz daha ayrıntılı bir şekilde, temsil ve işleme yöntemlerine göre sınıflandırma eğilimindedir. Gizli dünya modelleri vardır, bunlar bir ortamın “özünü” kompakt bir alana distile eder. Üretken dünya modelleri vardır, bunlar fiziksel olayları çerçevesi çerçevesinde görsel olarak temsil eder ve Joint-Embedding Predictive Architecture (JEPA) modelleri vardır, bunlar geçmiş eylemlerden sonuçları tahmin eder.

Gizli dünya modelleri zaten araştırma laboratuvarlarının dışına çıkmış ve otonom sürüş, ambar operasyonları, endüstriyel operasyonlar ve tarım gibi uygulamalarda yardımcı olmaktadır. Üretken dünya modelleri, sentetik veri oluşturma, oyun motoru geliştirme, otonom sürüş, gömülü AI ve video simülasyonları için kullanılmaktadır.

JEPA yaklaşımı, endüstri liderleri gibi Yan LeCun tarafından tercih edilmektedir ve soyut bir temsil alanında sonuçları tahmin eder. Robotlar büyük ölçüde kontrol edilen ortamlara mahkum kaldı, ancak JEPA bunu değiştiriyor ve robotların açık uçlu, gerçek dünya ortamlarına geçişine olanak tanıyor. Otonom araçlar iyi bir örnektir – bazıları, eğitim ve nadir olayları daha iyi ele almak için daha gerçekçi, etkileşimli simülasyonlar oluşturmak için Genie 3 kullanıyor.

Açıkçası, bu modelleri araştırma dışı ortamlara taşımak için daha fazla güvenlik ve güvenilirlik testi gerekmektedir.

İşletmeler açısından, dünya modellerinin ilk olarak nerede anlamlı değer sağlayacağını bekliyorsunuz, Örneğin, robotik, otonom karar sistemleri, dijital ikizler veya daha soyut iş ortamları?

İçgüdüsümden, dijital ikizlerin pratik değer sağlayacağına inanıyorum. Gerçek bir dünya sisteminin durumunu taklit ederek senaryoları test edebiliriz. Örneğin, bir tedarik zinciri sisteminde, bir üretici, bileşen ortak ağı için bir ikiz oluşturabilir. Simülasyon, sensör verisi, günlükler, telemetri verisi ile beslenebilir ve “Hormuz Boğazı kapatılsaydı ne olurdu?” gibi soruları cevaplayabilir. Böylece, canlı bir sistemi izlemekten, simüle edilmiş bir sistemi test etmeye geçebiliriz.

Dünya modellerinin robotik için anlamlı değeri de paralel olarak ilerlemektedir. Robotların temel fiziksel özellikleri anlamasını sağlamak, gömülü AI’nin dağıtımını hızlandıracaktır.

Kariyerinizin büyük bir kısmı veri toplama, anotasyon ve doğrulamaya odaklandı. Dünya modellerini öğretmek için veri toplama nasıl değişir, özellikle de dünya modelleri zaman içinde nasıl davranacağını öğretirken?

Dünya modeli oluşturmak için veri toplama durumu, önceki LLM eğitim yöntemlerinden büyük bir dönüşü gerektirir. İlk olarak, büyük ön eğitim verisi corpora’mız yoktur, Common Crawl’dan petabaytlar ve milyarlarca web sayfası yoktur. Bazı robotik araştırmacılar, fiziksel zeka ve dünya modellerini eğitmek için gereken verilerin sadece 1/1000’ine sahip olduğumuzu ve GPT2 gibi bir performans noktasına ulaşmak için gereken miktara ulaşmak için zamana ihtiyaç olduğunu öne sürdü.

Bu nedenle, bu veri kümelerini oluşturmak biraz zaman alacaktır. Gömülü AI için milyonlarca saatlik anotasyonlu egosantrik çok sensörlü veri kümelerine ihtiyacımız olacak. Bazıları teleoperasyonlu, bazıları sentetik ortamlardan gelecektir, örneğin Isaac Sim. TELUS Dijital’de, metinlerden çok modelli veri kümelerine ve simülasyon veri kümelerine doğru bir dönüşümden geçtik. Tabii ki, bilgisayar vizyonunda güçlü veri toplama ve anotasyon geçmişimiz bize yardımcı oluyor.

Ön eğitim verisinin kıtlığı ve anotasyonlu fine-tuning verisi dışında, dünya modeli eğitim yöntemlerinde ölçeklendirme konusunda birçok başka eğitim zorluğu olacaktır. Yeni, dönüştürücü paradigmalara ihtiyaç duyulabilir, örneğin GPT ve RL kavramları, dünya modeli eğitiminde verimlilik atılımlarını hızlandırmak için gerekebilir.

Dünya modelleri, çıktılar üretmek yerine kararlar almayı etkiler. Bu, geleneksel AI sistemlerine kıyasla yeni güvenlik veya yönetim riskleri getirir mi?

Çok fazla güvenlik ve yönetim riski vardır, çünkü dünya modelleri temel olarak ajans operasyonlarını desteklemeyi amaçlar. Böylece, günümüzün AI ajanları ile ilgili tüm endişeler, dünya modeli senaryosunda da geçerlidir. Önemli karar almada insan denetimi gereklidir, Örneğin, ulaşım güvenliği, mesleki güvenlik, sağlık, finans ve günlük faaliyetler.

Dünya modelleri için özel bir örnek, simülasyon eğitim verisi ile gerçek dünya ortamları arasındaki boşluktur. Bir mikroskobik yüzey varyasyonu, simülasyonda iyi eğitilmiş robotlar için gerçek dünya koşullarını karmaşık hale getirebilir.

Diğer bir risk, insan davranışı ile ilgilidir. Sistemler daha ve daha otonom hale geldikçe, insanlar onlara daha fazla güvendiği için, denetim gevşeyebilir ve sonunda sistem, gerekli yeniden ayarlamaları almayabilir.

Önyargı ve güven, AI benimsemesinin önünde büyük engellerdir. AI sistemleri karmaşık gerçek dünya veya sosyal ortamlarda modelleme ve eylem yapmaya başladığında bu endişeler nasıl evrimleşir?

Genel halktan üst düzey yöneticilere kadar, AI modellerine güven ve güven already düşük ve kısa vadede çok fazla değişmesini beklemiyorum.

AI’nin gücünün çok az sayıda kişide yoğunlaşması, AI’nin işleri elinden alması, AI önyargısının underrepresented grupları dezavantajlı konuma getirmesi, modellerin sağlık, kariyer ve finans gibi konularda kararlar alması, modellerin rızası olmadan IP kullanması ve AI deepfake’leri ile ilgili endişeler already çok yüksektir. Yöneticiler, işgücü geçişlerini, veri gizliliği ve düzenleyici uyumluluğu ve AI “silah yarışında” rakiplerine karşı geri kalma konusunda endişe duyarlar.

AI temel model oluşturucularının, örneğin otonom silahlar veya toplu gözetim gibi konularda kullanım koşullarını gevşetmeye yönelik hükümet baskısı ile ilgili son gelişmeler, bu endişeleri daha da artırıyor. Daha akıllı ve otonom dünya modeli tabanlı robotların daha geniş dağıtımı da aynı şeyi yapacak.

Öte yandan, AI’nin benimsenmesi ve güveninin arttığı alanlar görüyoruz. Bir örnek, kodlama ajanlarının son aylarda nasıl patladığıdır. Yazılım geliştirme yöneticileri, kodlama ajanlarına yüksek güven duyar ve yazılım geliştirme dünyası, hızlı bir şekilde evrimleşmektedir ve bu, büyük ölçüde yüksek performanslı kodlama ajanlarına güvenmaktan kaynaklanmaktadır. Diğer kullanım örneklerinde de güven arttıkça, benimsenmenin benzer şekilde artmasını bekliyorum.

Güveni oluşturmak için çözümler, eğitim aşamalarında çeşitli veri kümeleri ve ortamları ve dağıtımdan önce kapsamlı kırmızı takım testi ve stres testi gibi güvenlik önlemlerini içerir. Proaktif düzenleyici denetim de bir gerekliliktir. Bazıları, temel model oluşturucuların yeni modelleri yayınlamadan önce “Sosyal Etki Raporları” sağlamalarını önerdi, tıpkı Çevresel Etki Raporları (EIR’ler) gibi.

TELUS Dijital’de, çok fazla çalışma, AI’yi gerçek işletmeler ve gerçek kullanıcılar için ölçeklendirerek dağıtmaya odaklanıyor. Dünya modelleri gibi fikirlerin, şeffaflık, işgücü etkisi ve müşteri güvenini koruma gibi pratik endişelerle nasıl kesiştiğini düşünüyorsunuz?

Açıklayacak olursam, TELUS Dijital, temel model oluşturucularla doğrudan çalışır ve ayrıca AI modellerini dağıtan işletmelerle daha aşağı akışta çalışır. Çalışma alanımız uçtan uca:

Pratik endişelerle ilgili soru, önceki güven sorusuna bağlı. İşgücü güvenine bakalım. Dünya modeli tabanlı AI’ler daha yaygın hale geldikçe, yöneticilerin çalışanlarına, sözleşmenlere ve müşterilerine açık iletişim kurması gerekir. Modellerin neye iyi olduğunu, nasıl eğitildiğini, hangi verilerin kullanıldığını, hangi güvenlik önlemlerinin alındığını ve insan denetiminin nerede olduğunu açıklamak gerekir. Şirket liderleri, mevcut işgücü için yeni modellerin değerini göstermeli ve Örneğin, bir işin tüm rutin işlerini yapan bir modelin, çalışanların yeni ortaya çıkan işlere geçiş yollarını göstermesi gerekir. Beyaz yakalı çalışanlar, bu durumu gerçek zamanlı olarak yaşıyor ve birçok manuel iş, dünya modeli tabanlı otomasyonun genişlemesiyle önümüzdeki yıllarda etkilenmektedir.

Araştırmacılar ve genel halk arasında büyüyen bir boşluk var. Dünya modelleri gibi gelişmeleri, yeteneklerini abartmadan güven oluşturarak nasıl iletişim kurabilirler?

Yine, bu, modellerin sınırları ve neye iyi olduğu hakkında şeffaflıkla ilgilidir. Modellerin nasıl eğitildiğini, olası önyargıları azaltmak için hangi önlemlerin alındığını ve hangi insan denetimlerinin olduğunu açıklamak gerekir. Gerçek dünya örnekleri ve longitudinal çalışmalar, genel halkın ve işgücünün güvenini artırmaya yardımcı olabilir.

Son olarak, AI dünya modelleri hakkında, aşırı iyimser veya aşırı temkinli olan, düzeltilmesi gereken bir yanlış anlama var mı?

Genel halkın dünya modelleri hakkında bilgisi sınırlı olduğu ölçüde, bir yanlış anlama, dünya modellerinin tüm fizik ve bilim hakkında bilgi sahibi olması gerektiğidir. Dünya modelleri, bireysel kullanım örneklerini daraltılabileceği için daha sớm çıkacaktır. Bir otonom araç, sadece trafik dinamikleri ve yol ile ilgili fizik hakkında bilgi sahibi olmalıdır ve mevcut durum koşullarının (örneğin, bir ilkokul yakınında veya yüksek silüetli SUV’lerle çevrili bir bölgede olmak) görüşünü ve karar alma sürecini nasıl etkileyeceğini anlamalıdır. Bir otonom aracın, çalışması için süflenin nasıl pişirildiğini anlamak için fiziksel prensiplere ihtiyacı yoktur.

Harika röportaj için teşekkür ederiz, daha fazla bilgi öğrenmek isteyen okuyucular TELUS Dijital‘i ziyaret edebilir.