Röportajlar
RelationalAI'da Makine Öğrenimi Araştırma Başkan Yardımcısı Nikolaos Vasiloglou ile Röportaj Serisi
Nikolaos Vasiloglou RelationalAI'da Araştırma ve Makine Öğrenimi Başkan Yardımcısıdır. Kariyerini Perakende, Çevrimiçi Reklamcılık ve Güvenlik alanlarında makine öğrenimi yazılımları geliştirmeye ve veri bilimi projelerine liderlik etmeye adamıştır. ICLR/ICML/NeurIPS/UAI/MLconf üyesidir.
İlişkiselYapay Zeka Kurumsal bir yapay zeka şirketi olan Rel, kuruluşların veri analizinin ötesine geçerek otomatik, yüksek kaliteli karar verme süreçlerine ulaşmalarına yardımcı olmak üzere tasarlanmış bir karar zekası platformu geliştiriyor. Teknolojisi, Snowflake gibi veri ortamlarıyla doğrudan entegre olarak, ilişkisel veritabanlarını, bilgi grafiklerini ve gelişmiş akıl yürütme sistemlerini birleştirerek bir işletmenin "anlamsal modelini" oluşturuyor; esasen bir şirketin nasıl çalıştığını, ilişkilerini ve mantığını kodluyor. Bu, yapay zeka sistemlerinin ("Rel" gibi karar ajanları da dahil olmak üzere) karmaşık, birbirine bağlı veriler üzerinde akıl yürütmesine ve tahmine dayalı ve reçeteye dayalı içgörüler üretmesine olanak tanıyarak, işletmelerin verilerini güvenli bulut ortamlarının dışına taşımadan daha hızlı ve daha bilinçli kararlar almalarını sağlıyor.
Akademik makine öğreniminden, büyük ölçekli endüstriyel uygulamalara ve Symantec, Aisera ve şimdi de RelationalAI gibi şirketlerdeki liderlik rollerine uzanan nadir bir kariyer yoluna sahipsiniz. Bu deneyimler, makine öğrenimi araştırmalarının günümüzde gerçek dünya sistemleriyle buluştuğu noktaya dair bakış açınızı nasıl şekillendirdi?
Perakende ve güvenlikten çevrimiçi reklama kadar farklı iş alanlarıyla etkileşim kurma şansına sahip oldum. Bu, makine öğrenimi ve yapay zekanın ortak bir payda olarak nasıl yer aldığını anlamama yardımcı oldu. 2000'lerin başlarından itibaren yazılımın dünyayı, verinin ise karar verme zekasını ele geçirdiğini biliyorduk, ancak Google da dahil olmak üzere çok az şirket, gelişmiş makine öğrenimi algoritmalarının sonunda her şeyi ele geçireceğine inanıyordu. 2008'de NeurIPS katılımcıları, gerçek dünyayı anlamayan, sadece oyuncaklarla uğraşmayı seven, hayalperest ve bilgisayar meraklısı kişiler olarak görülüyordu. Bir noktaya kadar doğruydu, ancak bunun değişeceğine inanıyordum. Diğerlerinden farklı olarak, akademik araştırmanın endüstriye dönüşümüne aktif olarak katılmaktan vazgeçmedim.
Analiziniz NeurIPS 2025 Konferansın tamamını işlemek için Claude Code, OpenAI Codex ve NotebookLM gibi kodlama yardımcıları kullanıldı. Yapay zeka sistemlerini yapay zeka araştırmasının kendisini analiz etmek için kullanmakla ilgili sizi en çok şaşırtan şey ne oldu?
Verileri kazımak, makineyle okumak, bölümlere ayırmak ve hatta özellikle sezgisel bir şekilde özetleyip açıklamak için yazılım oluşturmak şaşırtıcı derecede kolaydı. GenAI sistemleri bir hikaye anlatmakta harika, ancak hikayeyi anlatmakta değil. NotebookLM, herhangi bir alanı analiz etmede ve inanılmaz sonuçlar vermede kraliçedir. Ancak, hikaye, grafikler veya vurgu üzerinde hiçbir kontrolünüz yok. Araçların PowerPoint slaytları oluşturmada çok iyi olmadığını öğrendim, bu yüzden HTML oluşturup ardından PDF'ye dönüştürmek zorunda kaldım. En büyük zorluk şekiller oluşturmaktı – difüzyon üretimi çok yavaş, güvenilmez ve pahalıydı, üstelik hiçbir kontrol yoktu. Şaşırtıcı bir şekilde, modeller matplotlib, plotly ve diğer Python kütüphaneleriyle programatik olarak SVG oluşturmada oldukça iyi. Bu teknik ölçeklenebilirdi, ancak görselleştirme hatalarını düzeltmek için birkaç geçiş gerektirdi. Modeller gelecek yıl daha da iyi olacak.
Analizinizdeki en güçlü temalardan biri, eğitim zamanı ölçeklendirmesinden çıkarım zamanı hesaplamasına geçiş. Test zamanı hesaplaması, model performansını iyileştirmek için neden bu kadar güçlü bir kaldıraç olarak ortaya çıkıyor?
Ölçeklendirme yasaları pusulamızdır. Model boyutunu ve ön eğitim verilerini artırmak kapasitesine ulaştı. Ölçeklendirme yasalarının ilk nesli bizi GPT-4'e kadar getirdi. Bunlar, OpenAI'nin GenAI devrimini başlatmasına yardımcı olanlardı. Kısa süre sonra, modelin bir cevaba ulaşmadan önce birçok belirteç üretmesine izin veren başka bir boyut olduğunu fark ettik. Bu, LLM'lerin verimliliğini artırmanın başka bir yoludur. Model boyutu ve akıl yürütme uzunluğu genellikle Sistem 1 ve Sistem 2 düşünme modları olarak ifade edilir (Daniel Kahneman). Akıl yürütme izleri, model kapasitesini artırmanın başka bir yoludur. Düşünürseniz, insanların atılımları içgüdülerden (yüksek IQ) başladı, ancak başarı her zaman uzun ve zahmetli akıl yürütmeden kaynaklandı. Bu örüntüyü görüyoruz: Uzun düşünme pencerelerine sahip daha küçük modeller, 100 kat daha büyük modellerden daha iyi performans gösteriyor. Yani LLM'lerde düşünme, IQ'dan daha önemlidir.
Tek parça modellerden, planlama, eylem ve çıktılarını doğrulama yeteneğine sahip ajansal sistemlere geçişi vurguluyorsunuz. Ajansal yapay zekanın bir araştırma prototipi olmaktan ziyade güvenilir bir üretim paradigması haline gelmesine ne kadar yakınız?
Bu yönde büyük adımlar atıyoruz. En büyük sorunlar güvenilirlik ve güvenlik, yani otonom olduklarına güvenebilmemiz. NeurIPS içeriğine yakından bakarsanız, araştırma yapan, matematik problemlerini çözen ve kodlama problemlerini çözen otonom sistemler göreceksiniz, ancak örneğin, ajan tabanlı sürücüsüz bir araba görmeyeceksiniz. En son deneyimlerle... Moltbook (Yapay zeka ajanları için bir sosyal ağ) otonom ajanlı yapay zekanın sorunlarını vurguladı. Bununla birlikte, ajanlı yapay zeka ile yeni ilaçlar ve malzemeler keşfetmek çok büyük bir gelişme, bu yüzden şimdilik bunu kutlayalım ve buna odaklanalım.
Verimlilik, inovasyonun en önemli itici güçlerinden biri gibi görünüyor; daha küçük modeller, mimari iyileştirmeler ve daha akıllı çıkarım stratejileri yoluyla rekabetçi performans elde ediyor. Ham model boyutundan ziyade verimlilikteki atılımların daha önemli olduğu bir döneme mi giriyoruz?
Yapay zekâ üretime geçtikçe mühendislik daha da önem kazanıyor. Sınır ötesi modellere güvenmek sürdürülebilir değil. Demolar için harika olsa da, şirketler büyük modellerin yüksek maliyetini gördüklerinde acı gerçekle yüzleşiyorlar. İlk defa daha küçük modeller çok daha uygulanabilir bir çözüm haline geldi. Sektörün statükosunu değiştiren sessiz bir güç var. Şimdiye kadar NVIDIA, GPU tekelini elinde tuttu ve fiyatları yüksek tuttu. AMD, yüksek kaliteli çiplerle pazarda yerini alıyor ve bu da fiyatların düşmesine neden olacak. Enerji bir sorun olmaya devam ediyor, ancak pazarda bazı hareketlenmeler görüyoruz. Sınır ötesi laboratuvarlar daha pahalı hale geldikçe, kiralık GPU'lar üzerinde daha küçük modeller çözümü daha uygulanabilir hale geldi.
Sunumunuz, alanın tek eksenli ölçeklendirmeden (parametreler) parametreler, veri, mimari ve çıkarımı içeren çok boyutlu ölçeklendirmeye doğru ilerlediğini gösteriyor. Araştırmacılar ve uygulayıcılar bu yeni ölçeklendirme paradigması hakkında nasıl düşünmelidir?
Çoğu profesyonel için mimari ve parametreler kontrollerinin dışındadır. Gerekli sermayeye sahip olan model üreticileri inovasyonu yönlendirecektir. Token çıkarım uzunluğu, kuruluşlarının sermaye harcamalarıyla belirlenecektir. Kontrolleri altında kalan şey ise veridir. Veri oluşturma, düzenleme ve hata ayıklama (çoğu zaman mantıksal izler) konularına daha fazla odaklanıldığını göreceğiz. Bu, günlük operasyonların odak noktası olacaktır. Elbette, yeni mimarilerin trendlerinden haberdar olmak için NeurIPS ve diğer büyük konferansları takip etmeleri gerekecektir.
NeurIPS özetinizde, biyolojiden iklim modellemesine kadar uzanan alanlarda yapay zekâ destekli bilimsel keşiflere odaklanan araştırmaların giderek arttığına dikkat çekiyorsunuz. Yapay zekânın bilim alanındaki kullanımını makine öğrenimi araştırmaları için bir sonraki büyük sınır olarak görüyor musunuz?
Bence bu, akademik araştırmanın ötesine geçiyor. Yeni bir altın hücumuna bakıyoruz. 1849'da Kaliforniya'daki altın hücumu zirveye ulaşmıştı. İnsanların yapması gereken tek şey, altın bulmak için nehir suyunu sürekli olarak süzmekti. Şimdi biliyoruz ki birçok kişi altın bulamadı, ancak bugün gördüklerimiz çok gerçek. Dil modellerini kullanarak yeni malzemeler, ilaçlar ve ürün bileşenleri bulan iki veya üç kişilik girişimlerin büyük bir dalgasını görüyorum. Token yakmanın en akıllıca yolu büyük getiriler sağlayabilir. Claude Code, OpenAI Codex ve Google Antigravity gibi kodlama asistanları, SaaS şirketleri için rekabet avantajını ortadan kaldırarak, çok yetenekli bir nesil bilgisayar bilimcisini bilimsel araştırmaya yönlendirebilir. First Principles veya Bio[hub] gibi kar amacı gütmeyen bir kuruluşta çalışıyorsanız, yeni fizik yasaları ve teorileri veya biyolojiye diğer katkılar bulma fırsatları vardır. Gelir elde etmek istiyorsanız, ilaçlar, malzemeler, piller vb. gibi bilime dayalı yeni ürünler icat etmek üzerinde çalışacaksınız.
Çalışmanız ayrıca, modellerin yüksek kıyaslama puanları elde etmesine rağmen basit gerçek dünya varyasyonlarında başarısız olduğu, giderek büyüyen bir doğrulama açığını da vurguluyor. Bu açık, büyük dil modellerinin mevcut sınırlamaları hakkında neyi ortaya koyuyor?
İnanılmaz bir hafızaları var ve genelleme konusunda da oldukça başarılılar. Araştırmanın başlangıcında kıyaslama testleri iyidir. Bir eşiği aştığınızda, sorunu değil, kıyaslama testini öğrenirsiniz. Yıllar içinde kıyaslama testlerini sıfırlamak ve sınırları zorlamayı daha da zorlaştırmak konusunda çok başarılı olduk. Kıyaslama testleriyle ilgili sorun, bir noktada aşırı endekslemeye ve sonunda hile yapmaya başlamamızdır. Buradaki tüm eğilim, rakipleri daha dürüst hale getirmektir. Şahsen, birkaç sıçrama olduktan sonra kıyaslama testlerine çok fazla dikkat etmiyorum. Liderlik tablosunun ilk onunda bile olmayan iyi bir ürününüz olabilir. Ayrıca kıyaslama testlerinde iyi olan birçok vasat ürün de gördüm.
Sunumda, çıkarım ölçeklendirmesi ve ajansal mimarilerle birleştirilmiş küçük dil modellerinin, hiper ölçekli veri merkezlerinin dışında çalışan güçlü yapay zeka sistemlerini mümkün kılabileceği öne sürülüyor. Bu merkezsizleşme, yapay zekanın sektörler genelinde nasıl kullanıldığını yeniden şekillendirebilir mi?
Uç nokta dağıtımına büyük önem verildiğini gördük. Etrafımızda kesinlikle daha akıllı cihazlar göreceğiz. Microsoft, yaklaşık 30 kat sıkıştırma sağlayan ve gelecekte tek bir çipte en yeni modelleri bile çalıştırmaya olanak tanıyan 1 bit LLM üzerinde yıllardır çalışıyor. Bu çalışmayı yıllardır takip ediyoruz ve ilerleme inanılmaz. Özellikle giyilebilir cihazlar alanında.
Geçen yılki NeurIPS'te ele alınan konulardan biri, zayıf uç modellerini sınır modelleriyle birleştirme fikriydi. Bu, sürekli bir spektrumda bant genişliğinize bağlı olarak çıkarım gücünüzü ayarlamanıza olanak tanır. NeurIPS'teki ilk Telekomünikasyon Çalıştayı, GPU'ları baz istasyonlarına yerleştirme eğilimini ortaya koydu; bu ilginç çünkü baz istasyonu ne bir veri merkezi ne de bir uç cihazdır. Bu, hesaplama hiyerarşisine yeni bir katman ekliyor.
LLM'lerden kaçan bir diğer şey ise dağıtılmış model eğitimi (ve Google'ın Gemini'yi uzak veri merkezlerinde eğitmesinden bahsetmiyorum). Bağımsız kuruluşların kendi modellerini eğitmesi ve kullanıcıların bunları Lego parçaları gibi birleştirerek daha büyük ve daha güçlü modeller oluşturması yönünde çok ilginç bir trend giderek yaygınlaşıyor. Bu çok umut vadeden modüler bir mimari. Büyük modeller bu şekilde eğitiliyor. Farklı ekipler uzmanlaşmış modeller oluşturuyor ve sonunda bunları Lego blokları gibi bir araya getiriyorlar.
Binlerce NeurIPS makalesini analiz ettikten sonra, yapay zeka araştırma topluluğunun ilerlemeyi hangi alanlarda doğru tahmin ettiğini ve hangi alanlarda en önemli değişimleri kaçırıyor olabileceğini düşünüyorsunuz?
Araştırma topluluğu tahminlerde bulunmaz. Araştırmacıların kendi motivasyonları, merakları, fon kaynakları, tesadüfleri ve elbette içgüdüleri vardır. Her zaman ilginç yönleri kaçırabilirler, ancak neredeyse kesinlikle birileri bunu bulacak ve gelecekte bir noktada ele alacaktır. Bu beklenen ve sağlıklı bir durumdur. Yöneticilerin, yatırımcıların ve mühendislerin, doğru kararlar alabilmeleri ve en bilinçli bahisleri yapabilmeleri için ortaya çıkan trendleri belirlemeleri gerekir. 5 yıllık analiz dönemimde, erken fark edilen trendler oldu ve diğer sinyaller kaçırıldı. Bazıları için hala alfa dalgasını yakalamak için zaman var.
Veri pazarlarını yıllardır takip ediyorum ve bu yıl büyük bir atılım yaptılar. Eksik olan bileşen ise ilişkilendirmeydi. Artık bir LLM yarışmasına katkıda bulunan eğitim verilerini anında belirleyebiliyoruz. Bu da temettü ödeyebileceğiniz anlamına geliyor. Bu, öncü modellerle toplu davalarla karşı karşıya olan yayıncılar için kaçırılmış bir fırsattı. Bazıları düz lisans anlaşmalarına boyun eğmek zorunda kaldı, oysa bence ilişkilendirme modeliyle daha sürdürülebilir gelirler elde etme fırsatları var.
Robotikte bir devrim geliyor. NVIDIA ve diğerlerinin duyurduğu dünya modelleri, çok doğru ve ölçeklenebilir fizik simülasyonları yapıyor. Bu nedenle, yapay zekanın gelecekte daha çok fiziksel odaklı olmasını bekleyebiliriz.
Transformer mimarisi sonunda RNN'ler, Mamba vb. gibi durum uzayı modelleriyle birleşti ve inanılmaz derecede küçük LLM'ler üretti. Artık performansta büyük rol oynayan transformer'ın kesin sınırlamalarını biliyoruz, ancak bir sonraki adımı hala atlamıyoruz. Bu, transformer'ın sağlam ve oldukça dayanıklı olduğu kanıtlandığında gerçekleşecek. Bilmediğimiz şey, yeni bir LLM mimarisini tasarlayacak olanın bir insan mı yoksa bir transformer mı olacağı! Transformer, NLP'deki tüm parçalanmış mimarileri birleştirdi (evet, GenAI'nin varlık sınıflandırması gibi temel NLP görevlerinden başladığını unutmayın). Matematikte işe yaradı, bu yıl tablolarda işe yaradı, ancak fizikte işe yaramadı. 15'ten fazla farklı mimari saydım. Bu nedenle, fiziği birleştiren yeni mimari, AGI yolculuğunda transformer'ın yerini alacak olan da olabilir.
Harika röportaj için teşekkürler, daha fazla bilgi edinmek isteyen okuyucular ziyaret etmelidir. İlişkiselYapay Zeka.
