Alex Smola, Boson AI’ın Kurucu Ortağı – Röportaj Dizisi

Alex Smola, sohbet amaçlı sesli yapay zekâ ve çok modlu sistemler üzerinde çalıştığı Boson AI’ın kurucu ortağıdır. Kariyeri, Carnegie Mellon University’deki akademik araştırmalardan AWS’deki büyük ölçekli yapay zekâ girişimlerine uzanıyor. Araştırma ve ürün geliştirme deneyimini bir araya getirerek sohbet sırasındaki ipuçlarını anlayabilen, söz kesintilerini yönetebilen ve yararlı işler yapabilen asistanlar geliştiriyor.

Boson AI, ses, işitsel içerik ve çok modlu etkileşim için temel modeller ve araçlar geliştiriyor. Higgs Realtime modeli, gerçek zamanlı konuşmadan konuşmaya görüşmeleri desteklerken daha kapsamlı platformunda etkileyici konuşma üretimi, avatarlar ve kurumsal sesli asistanlar da yer alıyor. Smola bu röportajda sohbet zekâsını, çok dilli performansı, çıkarım ekonomisini ve sesli asistanların gerçek iş akışlarına taşınması için gereken güvenlik önlemlerini ele alıyor.

Kariyeriniz sizi Carnegie Mellon University’deki akademik araştırmalardan AWS’deki büyük ölçekli yapay zekâ girişimlerine liderlik etmeye, oradan da Boson AI’ın kurucu ortaklarından biri olmaya taşıdı. Sizi sohbet amaçlı sesli yapay zekâya yönelten neydi ve insanlarla yapay zekâ arasındaki etkileşimin hangi temel sınırlamalarını aşmayı umuyorsunuz?

İnsanlar sözcüklerden çok daha fazlasıyla iletişim kurar. Birinin sesindeki tereddüdü duyabilir veya bir açıklamayı anlamadığını görebilirsiniz. Küçük bir karşılık, konuşmaya devam etmeniz gerektiğini anlatabilir. Bu ipuçlarını düşünmeden fark ederiz; ancak bilgisayarlara bunları tanımayı öğretmek hâlâ üzerinde çalışılan bir konu.

Bu alanı benim için bu kadar ilgi çekici kılan da bu. Artık oldukça zeki sistemlerimiz var, ancak onlarla iletişim kurmak hâlâ tuhaf hissettirebiliyor. İnsanların, yazılımla nasıl konuşacaklarını çözmeye çalışmak zorunda kalmadan, ihtiyaçlarını kendi sözleriyle anlatabilmelerini istiyorum.

AWS’de, müşterilerin ne yapmaya çalıştığına ve ürünün bunu yapmalarına yardımcı olup olmadığına yakından dikkat etmeyi öğrendim. Araştırmalar ilerledikçe hızla hareket etme özgürlüğümüzü de koruyarak bu yaklaşımı Boson’a taşıdık.

Ses ve video, elimizdeki ipuçlarını artırıyor. Biri şaşkın görünüyorsa veya duraksıyorsa asistan, konuşma rayından çıkmadan önce karşılık verme fırsatı buluyor. Gündelik etkileşimleri doğru yönetmek, hedeflerimizin önemli bir parçası.

Boson AI kısa süre önce, doğal ve gerçek zamanlı konuşmadan konuşmaya etkileşimler sağlamak üzere tasarlanan Higgs Realtime’ı tanıttı. Bu yaklaşımı; konuşma tanıma, dil modelleri ve metinden konuşmaya sistemlerini bir araya getiren geleneksel yöntemlerden temelden ayıran nedir ve bu ayrım yapay zekâ asistanlarının geleceği açısından neden önemlidir?

Geleneksel bir işlem hattında konuşma tanıma, söylediklerinizi metne dönüştürür; bir dil modeli yanıt üretir ve bir konuşma modeli bu yanıtı sesli okur. Her adım bir öncekinin çıktısına bağlıdır; bu da konuşmanın yavaş ve kopuk hissedilmesine yol açabilir.

Higgs Realtime, canlı etkileşim için geliştirilmiş, doğrudan ses üzerinden çalışan bir konuşmadan konuşmaya modelidir. Modelin eğitimi, söz sırasını alma ve değişen isteklere yanıt verme gibi sohbet davranışlarını ele alır. Bu, metin tabanlı bir sohbet robotuna ses eklemekten çok farklıdır.

Birine zor bir soru sorduğunuzu düşünün. Üzerinde çalışırken “Bir bakayım,” diyebilir. Sizi duyduğunu ve sorunuzla ilgilendiğini bilirsiniz. Bir yapay zekâ asistanı da bilgi ararken veya bir araç kullanırken aynı şekilde davranmalı; böylece sizi anlayıp anlamadığını ya da çalışmayı bırakıp bırakmadığını merak etmek zorunda kalmazsınız.

Bu, uzun süren görevlerde daha da önem kazanır. Asistan çalışırken sizi bilgilendirmeli; soru sorarsanız veya fikrinizi değiştirirseniz buna karşılık vermelidir.

Sohbet amaçlı yapay zekânın en büyük zorluklarından biri ne zaman konuşacağını, ne zaman dinleyeceğini ve söz kesintilerini ya da yön değişikliklerini nasıl yöneteceğini bilmektir. Boson AI bu zorlukların üstesinden nasıl geliyor ve yapay zekâ sohbetlerinin gerçekten doğal hissettirmesi için hâlâ hangi teknik atılımlar gerekiyor?

Bir onay ifadesiyle söz kesme birbirine çok benzeyebilir, ancak bunlara farklı karşılıklar vermek gerekir. Siz konuşurken biri “evet” derse devam etmenizi istiyor olabilir. Telefon numarasındaki bir rakamı düzeltirse durup doğru numarayı kullanmanız gerekir. Bir yapay zekâ asistanı bu ikisi arasındaki farkı anlayabilmelidir.

Higgs Realtime, kişinin konuşmayı bitirip bitirmediğine ya da yalnızca duraksayıp duraksamadığına karar vermeye yardımcı olmak için söylediklerinin anlamından yararlanır. Hızlı yanıt vermek önemlidir; ancak nasıl yanıt verileceğini bilmek de bir o kadar önem taşır.

Bunu her seferinde doğru yapmak hâlâ oldukça zor. İnsanlar düzenli söz sıralarıyla konuşmaz ve aynı sözcükler konuşmanın bağlamına göre farklı anlamlara gelebilir. Asistanın neyin değiştiğini anlaması ve ne yaptığını hatırlaması gerekir.

Boson AI, sesli asistanların söz kesintilerinden nasıl toparlandığını ölçmek için IHBench gibi kıyaslama testleri geliştirdi. Bu değerlendirmeler günümüzün önde gelen ses modellerindeki zayıflıklar hakkında neler ortaya koydu ve sektör sohbet zekâsını ölçme yöntemini nasıl yeniden düşünmeli?

IHBench’i, birisi sesli ajanın sözünü kestikten sonra neler olduğunu test etmek için geliştirdik. Bir rezervasyonun ortasında bir şeyi düzeltirseniz ajan bu düzeltmeyi dikkate almalı ve doğru noktadan devam etmelidir. Baştan başlamak ya da ajanın zaten verdiği bilgileri tekrar dinlemek zorunda kalmamalısınız. Sonuçlar, modele ve söz kesintisinin türüne bağlı olarak büyük farklılık gösterdi. Yayımlamaktan pek hoşlanmadığımız bir bulgu da şuydu: Kapalı ağırlıklı sistemler genellikle söz kesintilerini daha iyi yönetiyor ve kesinti konuşmanın ilerleyen aşamalarında gerçekleştiğinde de daha iyi performans gösteriyordu.

Bu, açık ekosistemde gerçek bir eksiklik ve yokmuş gibi davranmak yerine bunu kamuya açık biçimde ölçmeyi tercih ederiz. Karşılaştırma ölçütünün var olmasının başlıca nedeni de bu. Nasıl ölçüleceği konusunda uzlaşılmamış bir eksikliği gideremezsiniz. Bu karşılaştırma ölçütünü, kendi modelimizi içermeden yayımladık. Kendi modelimizi eklediğimizde Higgs Realtime, toparlanma kalitesinde 71.2 puan aldı; GPT Realtime 1.5’in 65.5, GPT Realtime 2’nin 62.4 ve Gemini 3.1 Flash Live’ın 61.1 puanını geride bıraktı. Yani bu eksiklik giderilebilir ve açık ağırlıklı bir model de bunu başardı.

Bunu, zor olacak şekilde tasarladığımız ve bu konuda gösterecek bir şeyimiz olmadan önce yayımladığımız bir testte göstermeyi tercih ederim. Daha genel olarak, alanın yanlış şeyleri ölçtüğünü düşünüyorum. Bir ses tamamen doğal gelebilir ama yine de görevini yerine getiremeyebilir; çünkü önemli olan, ajanın görevi tamamlayıp tamamlamadığıdır. Ne yaptığınızı ona sürekli hatırlatmanız gerekiyorsa sesinin ne kadar iyi olduğu çok kısa sürede önemini yitirir.

Etkileyici bir sesli yapay zekâ gösterimi ile gerçek müşteri etkileşimlerini yönetebilen otonom bir ajan arasında önemli bir fark var. Bu ikisini birbirinden ayıran nedir ve işletmeler, iş açısından kritik iş akışlarında sesli ajanları güvenle kullanıma almadan önce hangi yeteneklerin geliştirilmesi gerekir?

Kablolu yayın şirketinizi aramaktan en son ne zaman keyif aldınız? Çoğu kişi için yanıt hiçbir zaman. Bir kişiden diğerine aktarılırsınız ve her seferinde adınızı, doğum tarihinizi ve yaşadığınız sorunu yeniden anlatırsınız; böylece sıradaki kişi de bunların hepsini tekrar sorabilir. Şimdi aynı sorunla ilgili dördüncü aramanızı düşünün. Ajanın ilk üç aramada neler olduğunu bilmesini istersiniz. Modemi yeniden başlatmak işe yaramadıysa belki de bir teknisyen göndermenin zamanı gelmiştir; bunu kendiniz açıklamak zorunda kalmamalısınız. Ajanın bunu yapabilmesi için hesap geçmişinize ve ziyareti planlayan sisteme erişmesi gerekir.

Ayrıca rezervasyon başarısız olduğunda durumu yönetebilmeli ve sorunu gerçekten çözebilecek bir kişiye ne zaman yönlendirme yapacağını bilmelidir. Bir işletme, müşterilerden gelen aramaları bir ajana devretmeden önce bu durumları test etmelidir. Bir de sistemi çalıştırmanın maliyeti var. Bir gösterimde kusursuz çalışan bir sistemi günde binlerce arama için çalıştırmak çok pahalı olabilir; dolayısıyla verimlilik, işletmeler için hazır olmanın ayrı bir konusu değil, ayrılmaz bir parçasıdır.

Birkaç aydır küresel bir sigorta şirketiyle tam olarak bu senaryoyu uyguluyoruz. Bu, gerçek sistemin yanında yürütülen bir deneme değil. Şirketin çağrı merkezinde, insan satış temsilcilerinin yanında, gelen ve giden canlı müşteri görüşmelerini yönetiyor. Aynı anda binlerce arama yapıyor ve maliyeti bir insan temsilcinin maliyetinin yaklaşık üçte biri.

Maliyetten daha ilginç bulduğum nokta, sistemin kullanıldığı yerde gelişmesiydi. Başlangıçta şirketin kendi değerlendirmesinde görüşme kalitemize 30 puan verildi. Beş ay sonra bu puan 80’e çıktı; bu, şirketin nitelikli bir insan telepazarlamacı için kullandığı puan. Aynı değerlendirmede GPT-4o Realtime 55 puan aldı. Bu sonuca laboratuvarda ince ayar yaparak ulaşmadık. Sistem, gerçekten yönettiği arama trafiği üzerinde gelişti; bir çağrı merkezinin önem verdiği tek gelişme türü de budur.

Sesli ajanlar soru yanıtlamanın ötesine geçerek görevleri yerine getirmeye, müşteri bilgilerine erişmeye ve kurumsal sistemlerle etkileşim kurmaya başladıkça geliştiriciler özerklik ile insan denetimini nasıl dengelemeli? Bu sistemlere uzun vadeli güven duyulmasını sağlamak için hangi güvenlik önlemleri şarttır?

Önce ajana ne yapması için güvendiğinizi sorarak başlardım. Hesap bakiyesine bakmasına izin vermek, para transfer etmesine ya da bir hizmeti iptal etmesine izin vermekten çok farklıdır. İzinler de bu farkı yansıtmalı; ajanın bağlandığı sistemler bu izinleri uygulamalıdır. Bütün bunları bir istemdeki talimata bırakamazsınız.

İnsanlar neyi kabul ettiklerini de bilmelidir. Ajan, geri alınması zor bir değişiklik yapmadan önce sonuçlarını açıklamalı ve onay istemelidir. Böylece ajan çıkmaza girdiğinde bir kişiyi sürece dahil etmek kolay olur.

Yine de işler ters gidebilir. Böyle durumlarda, birinin sorunu düzeltebilmesi için ajanın ne yaptığını ve nerede durduğunu görebilmeniz gerekir. Kendinden emin konuşan bir ses, sistemin ne yaptığını bildiğini varsaymamıza yol açabilir; ancak bu güveni, sistemin ne kadar tutarlı davrandığıyla hak etmemiz gerekir.

Higgs Realtime, konuşma sırasında dil değiştirme olanağı da dahil olmak üzere 100’den fazla dili destekliyor. Özellikle duygusal bağlamı ve kullanıcının niyetini anlamak söz konusu olduğunda, farklı diller, aksanlar ve iletişim tarzları genelinde tutarlı bir konuşma zekâsı sunmanın başlıca teknik zorlukları nelerdir?

Dil kapsamı kulağa bir liste gibi geliyor, ama öyle değil. Bir süre önce bir müşterimizin Taycaya ihtiyacı oldu. Dili kısmen destekliyorduk; ilk fark ettiğimiz şey, Taycanın kendisi hakkında neredeyse hiçbir şey bilmediğimizdi. Örneğin yazılı Taycada neredeyse hiç noktalama işareti yok. Bu durum, çoğu konuşma sisteminin dayandığı cümle sınırı varsayımlarını geçersiz kılıyor. Bu pazara girmeyi erteleyebilirdik. Bunun yerine Tayca konuşan bilgisayar bilimcileri bulduk ve dil işleme yöntemimizi gerektiği gibi yeniden oluşturduk.

Yaklaşık altı hafta sonra, sistemi tanıtmak için Bangkok’taydık. Tanıtım sırasında işlerin nasıl gittiğini anlayamıyordum — konuşmadığım bir dilde insanların sistemi denemesini dinliyordum — ama sonrasında sistemin iyi olduğunu söylediler; bu da beni epey rahatlattı. Gelenekler de sözcük dağarcığı kadar farklılık gösteriyor. Japoncada dinleyiciler, konuşurken sizi takip ettiklerini göstermek için küçük onaylama sesleri çıkarırlar. Asistan her seferinde konuşma sırasını devretmek için durursa sohbetin ritmini bozar.

Kelimeler kusursuz olabilir ama sohbet yine de başarısız olabilir. Bir şeyi nasıl söylediğiniz, ne söylediğiniz kadar önemlidir. Aynı kelimeleri sevgiyle de alaycı bir tavırla da söyleyebilirsiniz; bu durumda verilecek uygun yanıt tamamen farklı olur. Dil cümlenin ortasında değişirken tonu ve bağlamı korumak, bu konuyu benim için ilginç kılan unsurların başında geliyor.

OpenAI ve Google gibi şirketler gerçek zamanlı çok modlu yapay zekâya büyük yatırımlar yapıyor. Boson AI gibi uzmanlaşmış bir şirket, çok daha fazla işlem kaynağına sahip kuruluşlarla nasıl rekabet edebilir? Model mimarisi, performans ve çıkarım ekonomisi açısından farklılaşma fırsatlarını en çok nerede görüyorsunuz?

Daha fazla işlem gücüne sahip olmak, onu iyi kullandığınız anlamına gelmez. Canlı bir sohbette, birinin “hımm” ya da “evet, muhtemelen” demesini işlemek için çok güçlü bir modeli çalıştırmaya yüklü miktarda para harcayabilirsiniz. Böyle bir model, zekâsının büyük bölümünü dolgu ifadelerini dinlemeye harcar. Zekâ pahalıdır ve çok enerji tüketir; çıkarım da öyle. Sonunda maliyeti müşteri öder.

İnsanlar bunu dikkatlerini bölerek çözer. Bir kafede biraz sıkıcı bir sohbet ederken zihninizin bir köşesinde akşam yemeğinde ne pişireceğinizi düşünebilirsiniz. Zihninizin ön planı sohbeti sürdürür. Sonra karşınızdaki kişi gerçekten zor bir soru sorar ve tüm dikkatinizi ona vererek kendinizi bütünüyle sohbete kaptırırsınız. Diyalog sistemlerini de aynı şekilde kuruyoruz.

Sohbetin başlangıç aşamasını düşük maliyetli bir model yönetir; görev gerçekten gerektirdiğinde daha pahalı akıl yürütme süreçleri ve araç çağrıları devreye girer. İşin diğer yanı da işlem gücümüzü kiralamak yerine satın almış olmamız. Hesap karmaşık değil: Bir bulut sunucusunun saatlik maliyetini yıldaki saat sayısıyla çarptığınızda, donanımı doğrudan satın alma maliyetine yakın bir tutara ulaşırsınız. Başabaş noktasını her bileşen için ayrı ayrı hesapladık ve oradan yola çıkarak sistemi kurduk. Bu kulağa geldiğinden daha zordu ve her şey kusursuz gitmedi. Ancak bu yaklaşım, kaba kuvvetle ölçeklendirme seçeneğini devre dışı bırakıyor; dolayısıyla her kazanımın daha iyi verilerden ve daha iyi bir mimariden gelmesi gerekiyor. Bunun bizi koruduğu da ortaya çıktı: 100.000 doların altında fiyat verilen bileşenlerin maliyeti altı ay sonra yaklaşık iki katına çıktı. Tek bir konu üzerinde çalışan küçük bir ekip olduğumuz için hızlı hareket edebiliyoruz. Bir araştırmacı bir fikir geliştirip test edebiliyor ve bunu ürüne bizzat aktarabiliyor. Ayrıca açık araştırma topluluğundan yararlanıyor ve topluluğa katkıda bulunuyoruz; böylece küçük bir ekip, büyüklüğünün düşündüreceğinden çok daha fazlasını başarabiliyor.

ProactBench araştırmanız, diyalog zekâsının önemli bir boyutunu inceliyor: Kullanıcıların açıkça dile getirmedikleri ihtiyaçlarını fark etmek. Sesli ajanların tepkisel asistanlardan proaktif iş birliği ortaklarına dönüşmesini nasıl öngörüyorsunuz? Kullanıcıların ihtiyaçlarını önceden tahmin etmekle sınırları aşmak arasındaki çizgi nerede olmalı?

Diyelim ki doktordan randevu alıyorsunuz ve konuşmanın başlarında araç kullanamadığınızı söylüyorsunuz. İyi bir asistan bunu hatırlayıp uzaktan randevu önerebilir ya da ulaşım ayarlamanıza yardımcı olabilir. Bu bilgiyi tekrar tekrar vermeniz gerekmemeli.

ProactBench ile, bir asistanın kendisine anlattıklarınızı kullanarak ihtiyaçlarınızı önceden tahmin edip doğrudan talep etmediğiniz bir konuda yardım sunup sunamayacağını araştırıyoruz.

Elbette randevunuza gitmek için ulaşımı önceden ayarlamış olabilirsiniz. Asistan, planlarınızı bildiğini varsaymak yerine bu seçeneği sunmalı ve kararı size bırakmalı. Bu sistemlerin insanlara zahmetten tasarruf sağlamasını, ama olacaklar üzerindeki kontrolü onların elinde tutmasını istiyorum.

Önümüzdeki beş yıla baktığınızda, sesin insanların yapay zekâ ve yazılımla etkileşim kurduğu başlıca arayüz hâline geleceğine inanıyor musunuz? Öyleyse bu dönüşüm geleneksel uygulamaları, kurumsal yazılımları ve ekranların ve grafik kullanıcı arayüzlerinin rolünü nasıl yeniden şekillendirebilir?

Bilgisayarlarla çok daha fazla konuşacağımızı ve bunu çoğu zaman videoyla da destekleyeceğimizi düşünüyorum. Birinin kafasının karıştığını görebildiğinizde, bir şeyi farklı biçimde açıklamanız gerekebileceğini anlarsınız. Ses ve video demomuz, yapay zekânın duyduklarının yanı sıra gördüklerine de yanıt verdiği bu tür bir etkileşimin ilk örneklerini gösteriyor.

Kod yazarken klavyeyi hâlâ tercih ediyorum. Bilgileri karşılaştırıyorsam, kendi hızımda inceleyebilmek için bunları ekranda görmek isteyebilirim.

İş yazılımlarında, ihtiyaçlarımı açıklayarak bir göreve başlamayı, ardından sonucu ekranda inceleyip doğrudan değişiklikler yapmayı hayal edebiliyorum. Önümüzdeki beş yıl içinde, bu çalışma biçimleri arasında geçiş yapmanın çok daha kolaylaşacağını düşünüyorum. Uygun olduğunda konuşabilir, hassasiyet gerektiğinde ise ekranı kullanabilirsiniz.

Harika röportaj için teşekkürler. Konuşmaya dayalı ses yapay zekâsını ve kurumsal sesli ajanları keşfetmek isteyen okuyucular Boson AI‘ı ziyaret edebilir.