Rob May, NeuroMetric’in CEO’su ve Kurucu Ortağı – Röportaj Serisi

Rob May, NeuroMetric’in CEO’su ve kurucu ortağı, bulut bilişim, AI startups ve risk sermayesi alanında uzun bir geçmişe sahip deneyimli bir girişimci ve yatırımcıdır. Şu anda Neurometric AI’yi yönetmenin yanı sıra HalfCourt Ventures‘da Managing Director olarak görev yapmakta ve burada 100’den fazla teknoloji şirketini desteklemektedir. İşletme ve yatırım rollerinin yanı sıra, AI Innovators Community’yi kurmuştur ve daha önce Backupify gibi şirketleri kurup satmıştır. Ayrıca, AI trendlerini, yatırım stratejilerini ve pazar değişikliklerini analiz ettiği Investing in AI adlı uzun süredir devam eden bültenini yazmaktadır.

NeuroMetric AI, günümüzde yapay zeka alanında karşılaşılan en kritik sorunlardan biri olan büyük ölçekli çıkarımın maliyetini ve verimliliğini çözmeye odaklanmaktadır. Platform, AI iş yüklerini dinamik olarak değerlendirir ve performansı artırırken maliyetleri dramatically azaltmak için optimizasyon stratejileri uygular. Bu sayede, şirketler AI dağıtımlarından daha iyi bir getiri elde edebilirler. İş yüklerini düzenleyerek ve model kullanımını belirli görevlere göre uyarlayarak, Neurometric, AI sistemlerini önemli ölçüde daha hızlı ve daha uygun fiyatlı hale getirmeyi hedeflemektedir.

Aİ şirketleri kurup yönetmenin, HalfCourt Ventures aracılığıyla 100’den fazla startup’a yatırım yapmanın ve daha önce Backupify’yi kurup satmanın size AI’de dayanıklı değer nerede yaratıldığını anlamak için nasıl bir perspektif kazandırdığını düşünüyorsunuz?

Sanırım çoğu yatırımcı ve girişimci kısa vadeli tekelci konumlar peşinde koşuyor – görünüşte açık pazar boşlukları, ancak mevcut şirketler tarafından hızla kapatılabilecek boşluklar. AI, işleri yönetmek için olasılıksal kararlar dizisine dönüşecek. Yatırım yapılacak veya kurulacak şirketler, bu olasılıkların en iyi tahminlerine sahip olanlardır. Bazen bu, dikey entegrasyon yoluyla, bazen de yatay ölçek yoluyla olabilir – pazarın durumuna bağlıdır.

Investing in AI bülteninizde, modellerin giderek daha değiştirilebilir hale geldiğini ve gerçek savunma gücünün sistemler katmanına kaydığını savunuyorsunuz. Uygulamada bir “sistem savunma gücü” nasıl görünür?

Gerçek bir sistem savunma gücü üç özelliktedir: Kullanımla birlikte artar, müşteriye özgüdür ve bir model değiştirilerek taklit edilemez.

Savunma, ben “Bağlam Sistemi” olarak adlandırdığım entegre bir mimariye dayanır – temel modelleri bir şirketin benzersiz yönleriyle bağlayan bir mimari: verisi, iş akışları, alan bilgisi, karar geçmişi. Sistem, her etkileşimden sinyal yakalar – hangi modeller hangi görevlerde başarılı, hangi görevlerde gecikme önemli, hangi şirketle ilgili kalıplar ortaya çıkar – ve bunları geliştirmek için geri besler.

Ana fikir, bumultiplicative bir uç oluşturmasıdır, değil de additif bir uç. Geçmiş kararların aranabilir bir günlüğünü biriktirmiyorsunuz. Özel modeller üreten eğitim sinyali oluşturuyorsunuz, bu da rotalama, veri yakalama ve model geliştirme için daha iyi hale getirir. Savunma gücü, her çıkarım ile birlikte genişler.

Uygulamada, bir sistem savunma gücü, API’ler hakkında değil, iş mantığı yeniden yazma maliyetleri hakkında olan derin iş akışı entegrasyonu gibi görünür. Bu, bir rakip tarafından taklit edilemeyecek, bir şirketin benzersiz olması nedeniyle üretilebilen özel bir bağlam gibi görünür. Ayrıca, bir sistem, sürekli uzmanlaşma döngüsüyle, bir generic model sağlayıcısı asla yapamayacağı şekilde, o müşteriye anlamlı olarak daha iyi hale gelir.

Model dönemi bize ham yetenekleri verdi. Sistemler dönemi, bu yeteneğin gerçek dünya değerine dönüştüğü yerdir.

Şirketlerin tek bir ön cephe modeline güvenmek yerine, multi-model bir strateji oluştururken – routing mantığı, yükseltme yolları ve sürekli değerlendirme – nasıl düşüneceklerini düşünüyorsunuz?

Şirketlerin ilk olarak internalize etmesi gereken şey, “sadece en iyi modeli kullanmak” bir kaybeden stratejidir. Bu, her sorguyu en kıdemli mühendise yönlendirmek gibidir. Pahalıdır, yavaştır ve – paradoksal olarak – genellikle en iyi sonuçları üretmez.

Bu, “Çıkarım Cephesi”ne gìniyor – model performansı görev özgüdür ve öngörülemez. Ön cephe modelleri, belirli görevlerde küçük, uzmanlaşmış modellere karşı kaybeder. Bileşik multi-model sistemlerin, ön cephe modellerinin 58% puanına kıyasla CRM görevlerinde %72,7’lik bir doğruluk oranı elde ettiğini gördük. Performans yüzeyi, parametre sayısına düzgün bir şekilde ilişkili değildir. Asıl soru, “hangi model en iyisi?” değil, “bu özel alt görev için hangi model en iyisi?”

Bu yeniden çerçeveleme, gerçek bir multi-model stratejisinin temelidir. Şirketlere bunu üç katmanda düşünmelerini öneririm.

Routing mantığı, çıkarım manzarasını haritalamakla başlar. Sistemdeki her noktayı belirlayın, burada bir LLM çağrısı yapılır ve her biri için görev türünü, girdi/çıkış karmaşıklığını, gecikme gereksinimlerini, doğruluk eşiğini ve çağrı hacmini belgeleyin. Bu, bir ısı haritası verir. Çoğu çağrının yüksek frekanslı, dar kapsamlı iş – sınıflandırma, varlık çıkarma, niyet yönlendirme, şablon oluşturma – olduğunu ve bu görevlerde küçük, uzmanlaşmış bir modelin, frontier modeline kıyasla aynı veya daha iyi performans gösterdiğini ve bunun yalnızca bir kısmının maliyetle geldiğini göreceksiniz. Pahalı ön cephe çağrılarını, gerçekten karmaşık akıl yürütme gerektiren görevlere ayırın. 50 çağrı yapan bir ajan, tüm 50 çağrı için GPT-4’e ihtiyaç duymaz.

Yükseltme yolları, akıllı geri çağrılar oluşturmaktır, sadece hata geri çağrıları değil. Sistem, küçük bir modelin düşük güven düzeyinde sonuçlar döndürdüğünü tanımlamalı ve daha yetkin bir modele veya tamamen farklı bir model-strateji kombinasyonuna yükseltmelidir. Burada, test zamanı hesaplama stratejileri devreye girer. Bazen doğru cevap, daha büyük bir model değil, aynı modelin zincir düşünme, ışın arama veya en iyi-N örnekleme ile birlikte kullanılmasıdır. Optimal yapılandırma, modelden değil, birlikte kullanılan düşünce algoritmasına bağlı olarak değişir.

Sürekli değerlendirme, şirketlerin genellikle tamamen kaçırdığı parçadır ve burada gerçek savunma gücü ortaya çıkar. Model seçimi, bir kerelik bir karar değildir – sürekli bir optimizasyon sorunudur. Yeni modeller sürekli olarak yayınlanır, kullanım durumunuz evrilir ve performans, sessiz bir şekilde bozulur. Müşteri hizmetleri botunuzun, sorgu türü için yanlış modeli kullandığınız için %40 daha kötü bir cevap verdiğini görmeyeceksiniz – sadece üç ay sonra müşteri kaybını göreceksiniz. Gerçek performans verilerine dayanarak model-task kombinasyonlarının neyin işe yaradığını ölçen ve-routing tabanlı altyapınız olmalıdır.

Şirketlerin bu değişimi yapmamasının nedeni, kimse ön cephe modelini seçmekten dolayı işini kaybetmez – bu, AI’nin “hiç kimse IBM’den satın almaktan dolayı işini kaybetmez”idir. Satıcı ekosistemi, ön cephe modelini destekler, çünkü bu, marjların olduğu yerdir. Ve çok modelli bir mimari çalıştırmak için gerekli olan altyapı – routing mantığı, geri çağrı mekanizmaları, model yönetimi, gözlemlenebilirlik – çoğu şirketin elinde yoktur. Yerel optimumda takılı kalırlar, burada ön cephe çıkarımının sürekli fazla harcama hissi, çok modelin değişim maliyetlerinden ve belirsizliğinden daha yüksek görünür.

Aİ pilotlarından üretim düzeyindeki sistemlere geçerken şirketlerin yaptığı en büyük hatalar nelerdir?

Seçimlerinin statik ve uzun süreli olabileceğini varsayarlar. Aslında, AI teknoloji yığınının her katmanı hızla değişmektedir. Şirketlerin, esneklik ve seçenek sunan kararlar alması gerekir.

Hangi iş akışlarında küçük, görev özgü modellerin büyük ön cephe modellerini geride bıraktığını gördünüz ve neden bu stratejik olarak önemlidir?

Bununla birlikte, günlük iş görevlerinde – temel muhasebe, metin özetleme, çeşitli belgelerden varlık çıkarma gibi şeylerde – bunu gördük. Yüzlerce iş görevi için SLM’leri keşfettik ve bunlar genellikle yapıldığında kazanıyor.

Aİ’yi yeni kullanım durumlarına dağıtmadaki marjinal maliyetin azalmasıyla ilgili olarak, şirketler için AI benimsemesinin uzun vadeli ekonomisini nasıl değiştirir?

Balon anlatısı, AI gelirinin orantılı AR-GE yatırımını gerektirdiğini varsayar. Böyle değil. Modeller inşa edildi. Altyapı zaten var. Her ek kullanım durumu, bir.prompt, bir veri bağlantısı, belki hafif bir fine-tuning – başka bir 100 milyon dolarlık eğitim çalışması değil. Marjinal maliyet eğrisi, platform olgunlaştıkça aşağı doğru bükülür.

Bu, demiryolları veya telekomünikasyon gibi şeylerin tersidir, burada her yeni mil, pahalıdır. AI’de motoru inşa etmek pahalıydı. Şeye bağlamak – motor – ucuz ve daha da ucuz hale geliyor – çıkarım maliyetleri iki yılda yaklaşık 1.000 kat düşmüştür. Şirketlerin sorusu, AI’nin geri ödeme yapayıp yapmadığı değil, aynı altyapıya kaç kullanım durumunu yığabilecekleridir.

Modelleri değiştirmek, fine-tune etmek veya küçük görev odaklı modeller oluşturmak için hangi sinyallere teknik ekiplerin dikkat etmesi gerekir?

İşaretler teknik değil, performans veya ekonomik olarak yönlendirilir. Örneğin, modeli değiştirmek, fine-tune etmek veya özel bir SLM oluşturmak hepsi işe yarayabilir. Karar, gecikme için mi optimize edildiğine, görevin ne sıklıkla yürütüldüğüne ve her çözümün oluşturulup dağıtılma süresine bağlıdır.

Güvenliği, izlemeyi ve yönetişimi, kullanımın artmasıyla birlikte büyüyen bir engel yerine ölçeklenebilir bir şekilde nasıl tasarlayabilirsiniz?

Şirketlerin yaptığı hata, yönetişimi bir kontrol noktası olarak tedavi etmektir – AI iş akışlarının üzerine manuel bir inceleme katmanı eklenmiştir. Bu, ölçeklenebilir değildir. Kullanım arttıkça, bu, tıkanıklık haline gelir.

Yönetişim, altyapının kendisine gömülmelidir. Çıkarım altyapınız her çağrıyı değerlendiriyorsa – hangi model, hangi görev, hangi güven düzeyi – güvenlik kontrolleri eklemek marjinal bir maliyet, yeni bir sistem değil. Modeli seçen ve sorguyu işleyen aynı katman, politika uygulayabilir: çağrıdan önce PII filtreleme, çağrıdan sonra çıktı doğrulaması, otomatik olarak yakalanan denetim izleri, departman tarafından maliyet tahsisatı.

Ana fikir, şirketlerin AI sistemleri içinde değil, arasında – el devirlerinde, yükseltmelerde ve istisnalarımızda – başarısız olduğudır. Ölçeklenebilir bir yönetişim, her AI eyleminin güvenli, denetlenebilir ve tekrarlanabilir olmasını, bir engel yerine bir sonucu olarak sağlayan bir kontrol düzlemi gibi görünür.

AI manzarasının bugün ana bilgisayarlardan PC’lere geçişe benzetildiğini söylediniz. Bu, sistemler katmanında inşa eden startups için ne anlama geliyor?

Şu anda AI’nin ana bilgisayar aşamasındayız. Büyük, merkezi ön cephe modelleri gerekliydi ve bu aşama işe yaradı. Yetenekler iyi anlaşıldı. Ancak tıpkı bilgisayarların merkezileşmeye devam etmediği gibi, AI de merkezileşmeyecek. PC era – küçük, uzmanlaşmış modellerin çalıştığı, işin yakınındaki bir dağıtık ekosistem – gireceğiz.

Harcamalar already bu değişimi yansıtıyor. Şirketlerin AI yatırımları, altyapı ve uygulamalar arasında neredeyse eşit olarak bölünmüş durumda ve uygulama payı daha hızlı büyüyor. Genişleme, dikey değil, yatay – HR, hukuk, pazarlama, operasyonlar, finans – büyümeye doğru.

Sistemler katmanında inşa eden startups için bu, bir neslin fırsatıdır. Merkezileşmiş bir dünyada, model sağlayıcıları çoğu değeri yakalar. Dağıtılmış bir dünyada, değer, AI sistemlerini büyük ölçekte dağıtmaya ilişkin operasyonel zorlukları çözen şirketlere – orchestrasyon, routing, değerlendirme ve uzmanlaşmaya – geçer.

Tahminim, yaklaşık %25’lik AI çıkarımının ön cephe modellerini gerektireceği yönündedir. Bu şirketler iyi olacak – bu, birkaç trilyon dolarlık bir pazardır. Ancak %75’i açık kaynak ve küçük görev odaklı modeller üzerinde çalışacaktır. 4 milyar parametreli bir modeli eğiterek, ön cephe modellerini belirli bir CRM görevinde geride bırakan bir modeli gördük ve bu modeli çalıştırmak neredeyse bedava. Bu, geleceğin şekli – ve bunu yönetmek için tamamen yeni bir sistem katmanına ihtiyaç duyuluyor.

Benzerlik tüm yol boyunca devam ediyor: ana bilgisayarların satıcıları iyi yaptı, ancak gerçek zenginlik yaratılması PC ekosisteminde gerçekleşti. AI’de de aynı şey olacak.

Beş yıl sonrasına bakıldığında, ön cephe model sağlayıcılarının çoğu değeri yakalayacağına inanılıyor musunuz, yoksa ekonomik etkilerin çoğunun ön cephe modellerinin etrafında inşa edilen orchestrasyon, optimizasyon ve uygulamalardan gelip gelmeyeceğine?

Sanırım AI çıkarım pazarı, tarihin en büyük pazarlarından biri olacak. Bu, ön cephe model laboratuvarlarının muhteşem bir şekilde yapacağı anlamına gelir ve yine de ön cephe modellerinin etrafında inşa edilen şirketler için muazzam fırsatlar olacaktır. Trilyon dolarlık pazarlarda, küçük kenar vakalarını çözmek, milyarlık şirketlere dönüşebilir.

Harika röportaj için teşekkür ederiz. Daha fazla bilgi edinmek isteyen okuyucular, NeuroMetric AI‘yi ziyaret etmeli veya Investing in AI bültenine abone olmalıdır.