Zuzanna Stamirowska, Pathway’in Kurucu Ortağı ve CEO’su – Röportaj Serisi

Zuzanna Stamirowska, Pathway’in Kurucu Ortağı ve CEO’su, bir araştırmacıdan inşaata geçmiş ve önce ortaya çıkan fenomenler ve büyük ölçekli ağ evrimi üzerinde çalışmıştır. Projeleri, ABD Ulusal Bilim Akademisi tarafından tanınmıştır ve Karmaşık Sistemler alanında doktorasını tamamlamıştır. Zuzanna, CTO Jan Chorowski ve CSO Adrian Kosowski ile birlikte, zaten açık AI araçları geliştirmiş ve GitHub’da 62.000’den fazla yıldıza sahip bir ekibe liderlik etmektedir.

Pathway, AI modellerinin nasıl düşündüğünü yeniden düşünmeyi amaçlamaktadır; sürekli ve adaptif olarak çalışabilen sistemler oluşturmayı hedeflemektedir. Arkasında, araçları ve mimarisi, modellerin gerçek zamanlı olarak işlemesini, öğrenmesini ve evrimleşmesini sağlar. Şirket, Transformer’in mucidi Lukasz Kaiser ve önde gelen risk sermayesi şirketleri gibi önemli isimlerin desteğini almıştır.

Sizi Pathway’i başlatmaya iten şey nedir ve karmaşık sistemler, oyun teorisi ve ortaya çıkan fenomenler alanındaki geçmişiniz şirketin vizyonu ve teknik yönünü nasıl şekillendirdi?

İnsanların düşündüğü ve adapte olduğu gibi düşünen ve adapte olan AI yapmak istedik. AI sistemlerinin (Derin Öğrenme modelleri veya daha büyük bir sốdan oluşan Makine Öğrenimi boru hatları), sürekli olarak çevrelerinden aldıkları verilerle öğrenmeye capable olması gerektiğini anladık. Bu, önceki görüşlerini “düzeltmelerine” olanak tanır. Aslında, “makine unlearning” konusundaki görüşlerimiz hakkında oldukça fazla dikkat çektik. Modellerin yanı sıra, bu sistemlerin tüm bir mühendislik katmanına ihtiyacı vardı; verilerin kaynağından yakalanması ve hemen dinamik sistemlere beslenmesi gerekiyordu.

Karmaşık ağlardaki ortaya çıkan fenomenler üzerinde çalışırken, doğrudan veya neredeyse doğrudan BDH’de uyguladığımız beberapa hipotezler geliştirdim. Eğlenceli bir şekilde, CSO (Adrian) ve CTO (Jan) ile birkaç bahse girdim ve birkaç şişe çok iyi konyak kazandım. İlk olarak, doğal zekanın beynindeki nöronlar ve sinapsların ortaya çıkan yapısı ve eyleminden kaynaklandığını düşünüyoruz (bu açık, burada bahse gerek yok). İkincisi, önceki araştırmamdan, genel olarak fonksiyonun ağı şekillendirdiğini biliyordum (bu bahsi kazandım). Geçmişte, bu durumu ticaret için keşfettim ve nörologlar, farelerde ve diğer hayvanlarda sinirleri ve duyuları çalıştı. Üçüncüsü, bu ağ yapısının şekillenmesinin her bir ağ konumunun (bu durumda bir nöron) “komşuluğu” ile bağlantılı yerel kurallara uyması gerektiğiydi (bu bahsi de kazandım). Diğer parçalar, parçacık etkileşimi sistemlerinden geldi – Örneğin manyetizma – burada parçacıklar dış bir alana göre spinlerini ayarlar ve bir tür “spontane düzen” oluşturur. Bu, oyun teorisi üzerine grafiklerde çalışırken kullandığım matematikti. Tüm bunları bir araya getirerek, şirketin ilk gününden itibaren, AI’nin ilerlemesinde seyreklik (graf benzeri yapılar) önemli bir adım taşı olacağına dair güçlü bir inançımız vardı.

Zaman kavramını hesaba katlamak kritikti ve aynı zamanda geçmişimden dolayı oldukça karakteristiktir, çünkü ortaya çıkan fenomenler genellikle zaman içinde gerçekleşir.

Şirketinizi 2020’de kurduğunuzda, gelecekteki AI sistemlerinin neler yapması gerektiğini düşünüyordunuz ve bu görüşleriniz nasıl değişti?

AI’nin canlı, adaptif ve büyük ölçekli süreçlerde entegre olması gerektiğine dair güçlü bir inançımız vardı. Ham veriden, mümkün olan en ham veriden öğrenmesi gerekiyordu.

İlk olarak, daha klasik Makine Öğrenimi yaklaşımları için yaptık ve bu sistemleri gerçek dünyada kolayca dağıtabilecek mühendislik katmanlarını inşa ettik. Şimdi, bu yaklaşımı Derin Öğrenme’ye getirdik.

Zaman ve yapı (ağlar) öğelerinin AGI’ye doğru ilerlemekte önemli olacağına dair güçlü bir inançımız vardı. 2020’den kalan bazı kurucu belgelerimizde bunu yazdık.

“Transformer sonrası” mimariniz hakkında bize bilgi verebilir misiniz ve bu, mevcut Transformer tabanlı sistemlerden nasıl farklı?

Yeni mimarimiz, Baby Dragon Hatchling (BDH), Transformer’in bilgi işleme şeklini beynin nasıl akıl yürütme ortaya çıkardığı ile resmi olarak bağlar.

BDH, bir fiziksel sistem gibi davranır: bir beyin benzeri hesaplama modeli, nöronlar bir sonraki en ilgili gerçeği keşfetmek için işbirliği yapar. Bağlamsal akıl yürütme, Transformer’in sabit bağlam uzunluğu gibi mühendislik sınırlamalarıyla sınırlı değildir, ancak modelin nöron sayısıyla ölçeklenir.

Tüm bunları daha teknik terimlerle ifade edersek, BDH’de Transformer’dan farklı olarak lineer dikkat, seyrek anahtar-sorgu vektörleri ve bağlam penceresi boyutu sınırlamaları yoktur.

Bu yaklaşım, sistemlerin öğrenirken performans göstermesini, uzun akıl yürütme zincirlerini sürdürmesini ve bağlam içinde sürekli olarak adapte olmasını sağlayan sistemlere kapı açar.

Sistemlerin bir özelliğidir: önemli veriler, işlenen sitelerin hemen yanındadır. Bu, iletişimi en aza indirir ve akıl yürütme modelleri için en ağrılı olan veri-işlem hattı bant genişliği engelinin ortadan kaldırır.

İnsan akıl yürütmesinin, özellikle de adaptasyon ve sürekli öğrenme yeteneğinin ilhamını nasıl aldınız?

BDH, doğal zekayı ve doğal zekayı birbirine yaklaştırır.

Bu mimari, beynin nöronları ve sinapslarının nasıl çalıştığından esinlenmiştir. Biyolojik dikkat mekanizmalarını, makine öğrenimindeki dikkat kavramına bağlar ve Transformer ile beyin arasında ölçeklenebilir bir köprü oluşturur.

BDH, dikkati model parametrelerine yaklaştırır ve bunları aynı beyin benzeri sistem dinamiğinin iki yansıması olarak sunar; dikkat, akıl yürütme sırasında yeni gerçekler ortaya çıktıkça hızlı bir şekilde değişir ve model parametreleri, sistem uzun vadeli alışkanlıklarını değiştirdikçe daha yavaş değişir. Bu, beynin nasıl akıl yürütme ortaya çıkardığına daha yakındır.

BDH’yi, görev sırasında akıl yürütme yapabilen, deneyimle gelişen ve yeniden eğitilmeden adapte olabilen AI sistemleri tasarlamak için bir kilometre taşı olarak görüyoruz – bunlar, insan akıl yürütmesiyle ilişkilendirdiğimiz özelliklerdir.

Gerçek zamanlı olarak öğrenen AI sistemlerinde, geçmiş bilginin kaybolmamasını sağlamak için nasıl bir denge kurulur?

BDH, ölçeklenebilir yapısı ve yerel nöron durumları ile uzun süreli akıl yürütme sürdürür ve stabiliteti yeni bilgi ve gözlemlerin entegrasyonu ile dengeler. Bu doğal sağlık dengesi, modelin ömrü boyunca kolayca çıkarılabilir ve takip edilebilir.

BDH ile, akıl yürütmeyi zekanın köşe taşı olarak yerleştiriyoruz. Mevcut çalışmayla, Büyük Dil Modellerindeki bilginin rolü hakkındaki bir hipotez üzerinde ilerleme kaydediyoruz: bu, neyin “doğru” olduğu değil, belirli bir bağlamda belirli bir akıl yürütme zincirinde “yararlı” olmasından daha önemlidir. Örneğin, bir model, folklorik bir masalın periler ve sihirin varlığını kabul ettiğini biliyor olabilir, ancak aynı zamanda dünyanın doğa yasalarına uyduğunu da bilir. Aynı şekilde, bir model, tek bir düşünce zincirinde, daha ve menos iyimser varsayımlarla birden fazla tahmin hipotezini düşünebilir.

BDH tabanlı modeller, yaşam süreleri boyunca bağlamsal bir şekilde yeni gerçekler edinir. Kendi kendine düzeltme yapabilirler. Nöron aktivitesinin istatistiklerini ve model parametrelerine kontekstten bilgi aktarımını kontrol etmeyi kolaylaştıran bir mimari sayesinde, “eski” kontekstlerin uygunsuz bir anda ortaya çıkma riskini azaltmaya yardımcı olur.

Gerçek zamanlı olarak öğrenen ve büyük ölçekli olarak çalışan bir sistem inşa etmenin mühendislik trade-off’ları nelerdir?

Pathway’in kurumsal teklifleri, piyasadaki en hızlı veri işleme motoruna dayanır. Bu motor, gerçek zamanlı girişleri işleme ve yeni bilgilere düşük gecikmeyle tepki verme yeteneğimizi sağlar. BDH ile, bu gerçek zamanlı adaptasyonu, kullanılan temel AI modellerine kadar uzatıyoruz. Büyük ölçekli dağıtımlar için ana hedefimiz, statik optimizasyondan, uzun vadeli akıl yürütme yapabilen altyapıyı inşa etmeye doğru ilerlemektir.

Hangi kullanım durumları, bu AI’nin bir sonraki aşamasını gerçekten gerektirir ve mevcut Transformer tabanlı sistemler nerede yetersiz kalır?

Çok sayıda yenilik, hızlı adapte olabilen ve ‘görev süresi’ne derinlemesine bağlı olan üretken AI’nin işlevselliğini genişletti, ancak henüz çok yetenekli bir kişiyi işe almaya alternatif oluşturamadı.

Çok hızlı ve doğrudan cevap, herhangi bir görevi 2 saat 17 dakika tutarlı bir uzman çalışması ile gerçekleştirmek zorunda kalan görevlerdir – bu, GPT5’in METER’e göre sınırıdır.

Kurumsal ortaklarımızla, derin kişiselleştirme, iş başında öğrenen modeller ve güvenlik gerektiren dağıtımlar hakkında harika tartışmalar yaptık.

BDH, bir kurumsal şirketin aşağıdaki gibi karmaşık süreçlerle başa çıkmasını nispeten kolaylaştırır:

• Halka açık bir şirketin çeyreğini kapatmak
• Yüksek riskli ortamlarda dinamik olarak nächsten en iyi eylem planlarının oluşturulması, satış ve savunma için son derece ilgili bir konudur.
• Yatırım yönetimi

NATO, Pathway’in teknolojisini canlı askeri ve sosyal verilerin işlenmesinde kullanıyor ve durumların gelişimine adapte olan planlama sistemleri oluşturuyor. La Poste, operasyonlarını gerçek zamanlı olarak dinamik olarak yönetmek için Pathway’in Canlı AI’sini kullanıyor. Finans ve sağlık gibi veriler az veya hassas olan endüstriler, daha derin içgörüler ve daha güvenilir yargılara ulaşan ancak daha az veri gerektiren modellerden yararlanabilir.

NATO, La Poste veya Formula 1 gibi organizasyonların teknolojinizi nasıl kullandığını ve elde ettikleri etkiyi paylaşabilir misiniz?

NATO, La Poste ve Formula 1 takımları, Pathway teknolojisini erken benimseyenlerdir.

Pathway, NATO’ya, kritik kullanım için ölçeklenebilir yeni yetenekler sunan güçlü ve yenilikçi veri işleme teknolojisini sunar. İşlevsel demonstratörümüz, Takviye Etkinleştirme Simülasyon Aracı (REST) ile, NATO için AI destekli çözümlerin daha da geliştirilmesi için bir köşe taşı oluşturduk. Açık kaynaklı verileri Pathway ile bağlayarak, durum farkındalığını hızlandırdık ve NATO’nun 2020’lerde başarılı bir şekilde çalışması için gereken seviyeye getirdik.

La Poste, operasyonlarını iyileştirmek için Pathway’i kullanıyor. Pathway Çerçevesi ile, operasyonlarını otomatik olarak gerçek zamanlı olarak öngörüyor ve taşıma operasyonları hakkında canlı niteliksel analizler oluşturuyor. Pathway ile, lojistiklerini dinamik olarak optimize edebiliyor, ETAları, işleme sürelerini / lead sürelerini azaltabiliyor ve güvenilirliği artırabiliyor. Ayrıca, operasyonel maliyetlerde önemli azaltmaya ulaştı (bazı durumlarda %50 TCO azaltması).

Formula 1 yarış takımı, Pathway’i yüksek basınç altında, gerçek zamanlı koşullarda stratejiyi adapte etmek için kullanıyor. Şirket, kullanıcıların bağımsız olarak Kullanıcı Tanımlı Fonksiyonlar (UDF) oluşturmasını ve çeşitli iş ihtiyaçlarını karşılamasını sağlayan bir platform istiyordu; e-spor / sim-racing’den, arabalara ve formula yarışlarına kadar. Pathway’in Canlı Veri Çerçevesi, F1 yarış takımında en düşük gecikmeyle (öncekinden 90 kat daha hızlı işleme hızları) gelişmiş veri dönüşümlerini sağlıyor.

Sağlık veya savunma gibi endüstrilerde adapte sistemleri dağıtmak için en büyük engeller nelerdir ve bunları nasıl ele alırsınız?

Mevcut LLM’ler, “yeni” içerik oluşturur, ancak gerçek bir yargıya sahip değildir – buna “gen” AI diyebiliriz. Çok düzenlenmiş endüstriler, AI tarafından yönlendirilen iş süreçlerini, tekrarlanabilirlik, güven ve gözlemlenebilirlik olmadan dağıtmak istemezler. İronik olarak, AI’yi dağıtmak için, bu şirketler genellikle işlevselliği “dumbed down” eder ve düzenleyici uyumluluğu sağlamak için ek karmaşıklık ekler.

BDH, bir şirketin modelin içinde neler olduğunu gözlemesini ve adapte olmasını sağlar. Uzun süreli “akıl yürütme” gözlemi, şirketlere daha uzun ve daha karmaşık iş süreçlerini ele alma güvenini verir. BDH, tasarımı itibariyle hem gözlemlenebilir hem de zaman eksenine bağlı iş süreci farkındadır. Mükemmel, devasa veri kümelerine öğrenme için gerek yoktur, çok uzun bağlam pencerelerine gerek yoktur, gözlemlenebilirlik için yapışkan mantık gerekmez.

AI sistemleri gerçek zamanlı olarak öğrenip adapte etmeye başladığında, hangi etik考虑ler veya güvenceler esastır?

Deneyimler yoluyla öğrenen sistemlerin, mevcut Transformer tabanlı sistemlerden daha güvenli olma şansı vardır. Bunun bir nedeni, sürekli öğrenmelerinin yanlış varsayımlarını düzeltme ve güncelleme fırsatına sahip olmalarıdır.

Bu tür sistemlerin güvenliğini sağlamak için, zaman içinde geri bildirim almaları gerekir. Bu, onlara kendi işlevlerinin etkilerini anlamaları için geri bildirim döngüleri oluşturmaya ihtiyaç duyar. Bu, Takviye Öğrenimi’ne yakındır.

İkincisi, BDH tabanlı bir model, insanlara daha iyi kontrol sağlamayı sağlayan yorumlanabilirlik sunar.

AI topluluğu genelinde “post-Transformer” paradigmasının ana akım haline gelmesi için ne gerekecektir?

Pazarda, çok faydalı ve çıkarım maliyetleri önemli ölçüde daha düşük olan ve daha hızlı bir model. Biz, özellikle kurumsal alanda bir pazar kazanma fırsatı olduğuna inanıyoruz.

Harika röportaj için teşekkür ederiz, daha fazla bilgi öğrenmek isteyen okuyucular Pathway‘i ziyaret edebilir.