Andrew Missey, Convos’un CTO ve Kurucu Ortağı – Röportaj Serisi

Andrew Missey, Convos’un CTO ve kurucu ortağı, yazılım mühendisi ve ürün lideri olarak AI ürün geliştirme, yazılım mimarisi, ağ ve full-stack mühendislik konularında deneyim sahibi. Convos’u kurmadan önce, Forum3’te iki AI destekli yaratıcı ve pazarlama platformunun geliştirilmesine ve lançmanına yardımcı oldu. Daha önceki rolleri arasında N-able (NABL ), Autoshop Solutions ve Brand IQ yer alıyor ve bu rollerde frontend uygulamaları, backend sistemleri, müşteri panelleri ve iç yazılım araçlarını Svelte, NestJS, Angular ve JavaScript gibi teknolojiler kullanarak geliştirdi. Bu çok disiplinli geçmiş, teknik yürütme ile ürün stratejisini birleştirmesini sağladı ve Convos’un AI destekli iletişim platformunun geliştirilmesine liderlik ediyor.

Convos , siyasi kampanyalar ve iletişim firmaları için kişiselleştirilmiş, iki yönlü voter konuşmalarıyla bir yönlü toplu mesajlaşmayı değiştirmelerine yardımcı olmak üzere tasarlanmış bir kontrol edilen AI destekli metin platformudur. Platform, gerçek zamanlı sentiment analizi, konu sınıflandırması, çağrıya cevap sonuçları, etkileşim ölçütleri ve yapılandırılmış voter içgörülerini kampanyaların erişimini iyileştirmek için kullanabileceği bir forma dönüştürür. Kapalı sistem AI’si, kampanya onaylı materyaller ve mesaj koridorları içinde çalışırken, temas segmentasyonu, konuşma geçmişleri, link takibi, veri ihracatı ve uyum odaklı denetim izleri gibi özellikler sunar. Convos, ayrıca bir organizasyonun mevcut metin altyapısını değiştirmek yerine tamamlayabilir.

Siyasi ve kurumsal metin mesajlaşmasının büyük ölçüde tek yönlü iletişim haline geldiğini gözlemledikten sonra Convos’u kurduk. Orijinal fikir, toplu metin mesajlaşmasını AI destekli konuşmalara dönüştürme fırsatını görmekti ve platformu inşa ederken karşılaştığınız en büyük teknik zorluklar nelerdi?

Bu fikir, bunun receiving ucunda olmakla geldi.

2024 seçimlerinde, birçok insan gibi, siyasi metinlerle bombardıman ediliyordum. Bir noktada onlara cevap vermeye başladım. Bir soru sorardım veya cevap verirdim, ancak hiçbir zaman geri dönüş alamazdım. Milyonlarca mesaj gidiyordu, ancak gerçek bir alışveriş yapmaya çalıştığınızda, kimse yoktu.

Bunu büyük bir kaçırılmış fırsat olarak gördüm. Diğer taraftaki kişi zaten dahil olmuştu. Gerçek bir soru soruyorlardı, ancak asla bir cevap gelmiyordu.

Convos’un arkasındaki fikir basitti. Yayıncılık yerine, ölçeklenebilir, gerçek bir konuşma yaratmak.

En büyük teknik zorluklar üç şeye indirgenebilir: ölçek, gecikme ve uyum.

Ölçek, en açık olanıdır. Aynı anda binlerce konuşmayı yönetiyorsunuz ve her biri kendi durumuna ve geçmişine sahiptir. Gecikme beklenenden daha önemlidir. Birisi size geri dönerse ve cevap çok uzun sürerse, an kaybolur. Metin mesajlaşması neredeyse anında hissedilir ve deneyim buna uygun olmalıdır.

Uyum, en zor parteiydi ve bunu baştan önceliklendirdik. Siyasi metin mesajlaşması ağır bir şekilde düzenlenmiştir ve bunu yanlış yapmak seçenek değildir. İlk mühendislik çalışmalarımızın büyük bir kısmı, sistemimizin mesajda kalmasını ve rıza ve iptalleri beklenenden daha iyi bir şekilde saygı göstermesini sağlamakla geçti.

Convos, konuşma AI’si, büyük ölçekli mesajlaşma ve gerçek zamanlı sentiment analizi arasındaki kesişmede çalışır. Binlerce insanla aynı anda etkileşim kurmak zorunda olan AI sistemlerini dağıtırken, neler öğrendiniz?

En büyük ders, “kişiselleştirilmiş ölçek” diye bir şeyin olması gerektiğidir. Bu, varsayılan olarak olmaz.

Binlerce konuşma aynı anda yürütülürken, hepsini bir büyük toplu olarak ele alma eğilimi vardır. Ancak metin mesajını alan kişi, sizin toplu işinizle ilgilenmez. Onlar için bu, birer birer bir alışveriştir ve böyle hissetmelidir. Bu, her konuşmanın kendi bağlamını ve geçmişini taşıması anlamına gelir, böylece bir cevap, spesifik olarak o kişiye verilen cevaba karşılık verir, herkesin ortalamasına değil.

Ayrıca, insanların bize gerçekten neler söylediğine dikkat etmeyi öğrendik. Bir cevap, sadece bir cevap değil. Bir sentiment taşır. Birisi bir soru, bir coşku, bir hayal kırıklığı veya yalnız bırakılmak istendiğine dair açık bir sinyal ile cevap verebilir. Bu nüansları doğru bir şekilde okumak, bir etkileşimi başarılı veya başarısız kılabilir.

Sonuçta, samimiyet, zekice konuşmaktan değil, dinlemekten gelir. En insanî gelen alışveriş, gerçek soruyu cevaplayan ve kişinin zamanını saygı gösteren alışveriştir.

Çok sayıda organizasyon, model benchmark’larına çok fazla odaklanıyor ve kişilik ve iletişim stilini göz ardı ediyor. Kişilik, neden kurumsal AI dağıtımı için kritik bir faktör haline geliyor ve organizasyonlar bunu nasıl değerlendirmelidir?

Benchmark’lar yetenek ölçer. Uygunluğu ölçmez.

Bir model, akıl yürütme veya kodlama konusunda çok iyi puan alabilir, ancak bir voter ile sohbet için yanlış seçim olabilir. Şeyleri nasıl ifade ettiği, ne kadar sıcak veya resmi olduğu, ne zaman kısa olması gerektiği gibi her şey çok önemlidir, bir gerçek kişi diğer ucunda olduğunda.

Dünyamızda model, bir matematik problemi çözmüyor. Bir kampanyayı bir metin mesajında temsil ediyor. Her kampanyanın kendi sesi vardır ve modelin bunu taklit etmesi gerekir, kendi sesini dayatmak yerine. Ton yanlışsa, alttaki model ne kadar zeki olursa olsun, etkileşim başarısız olur.

Ayrıca, benchmark’lar kaçırdığı bir yetenek tarafı var. Bir kampanya, ajansa ayrıntılı talimatlar verebilir, ne söyleyeceğini, ne kaçınacağını ve belirli konuları nasıl ele alacağını. Modelin tüm bunları tutarlı bir şekilde, uzun bir sohbet boyunca takip etmesi gerekir. Bazı modeller, diğerlerinden daha iyi, karmaşık talimatları drifted olmadan takip edebiliyor. Bu yetenek de kişiliğin bir parçasıdır, çünkü talimatlarına uymayan bir model, gerçek insanlarla karşılaştırıldığında başarılı olamaz.

Bu nedenle, kişilik, kurumsal dağıtımda gerçek bir faktör haline geliyor. Modeller daha yetenekli hale geldikçe, yetenek arasındaki boşluk daralıyor. Geriye karakter kalıyor. Nasıl iletişim kurdukları ve çizgileri içinde kalıp kalmadıkları.

Değerlendirmek için yolu, bir liderlik tablosunda değil. Modeli, gerçek kullanım durumunuzda, gerçek içeriğinizle test etmek ve çıktıları, son kullanıcı gibi okumaktır. Üretimdeki gibi sohbetlere sokuyoruz ve sohbetin doğru hissedip hissetmediğine bakıyoruz. Bu, bir benchmark puanından çok daha fazla şey anlatıyor.

Ekibiniz, önde gelen modelleri test etti ve görevler boyunca önemli performans farklılıkları gözlemledi. Bugün büyük LLM’lerin güçlerini ve zayıflıklarını neler öğrendiniz ve bazıları neden diğerlerinden daha iyi sohbet için uygun?

Öğrendiğimiz şey, tek bir en iyi model olmadığıdır. Sadece belirli bir işe en iyi model vardır.

Bazı modeller, talimatları precisa takip etmekte mükemmel, bu da sınırlar içinde kalmak isteyen sistemler için önemlidir. Bazıları, doğal, sohbet tonunda daha güçlüdür. Bazıları daha hızlı, bu da gecikme deneyimi bir parçası olduğunda kendi gücüdür. Diğerleri, karmaşık bir talebi akıl yürütmekte daha iyidir, ancak bir sohbet sırasında katı veya uzun cevaplar verebilir.

Sohbet için özel olarak, önemli olan nitelikler her zaman başlıklarda yer almayabilir. Hız önemlidir. Tutarlılık önemlidir. Ne zaman kısa olunacağını bilmek önemlidir. Bir model, güzel bir üç paragraflık cevap yazabilir, ancak doğru cevap bir cümle olduğunda, yanlış seçimdir.

Hiçbiri bir liderlik tablosunda görünmez. Bunları öğrenmenin yolu, modelleri gerçek işe sokmak ve nasıl ele aldıklarına dikkat etmektir.

Çok sayıda şirket, tek bir AI sağlayıcısına güvenmek yerine, çok model stratejileri benimsemektedir. Modeller arasında geçiş yapabilen sistemler oluşturmanın avantajları nelerdir ve bunu mümkün kılmak için hangi mimari dikkate alınmalıdır?

Ana avantaj, kilitlenmemektir.

Eğer her şeyi bir sağlayıcı etrafında inşa ederseniz, onların kısıtlamalarını miras alırsınız. Fiyatlandırma, hız sınırları, gecikme, kesintiler ve yayın zamanları sizin olur. Çok model yaklaşımı, her görevi en iyi şekilde ele alan modele yönlendirmenize ve bir sağlayıcının kötü bir gününde başka bir yere gitmenize olanak tanır.

Ayrıca, işin maliyetini işle eşleştirmenize olanak tanır. Her etkileşim en güçlü ve en pahalı modelinizi gerektirmez. Basit işleri daha hafif bir modele göndererek ve ağır modeli zor vakalara ayırarak, ölçekte gerçek bir fark yaratırsınız.

Mimari, bunu mümkün kılan şeydir ve ana karar, uygulamanız ile belirli bir model arasında bir soyutlama katmanı oluşturmaktır. Sisteminiz, tüm kod tabanında bir sağlayıcının API’sine doğrudan konuşmamalıdır. Kendi dahili arayüzünüzle konuşmalıdır ve bu arayüz, talebi hangi modelin ele alacağını quyếtler.

Bir kez bunu yaptığınızda, yönlendirme mantığı, bir sağlayıcı başarısız olduğunda geri dönüşler ve modeli değiştirme yeteneği ekleyebilirsiniz. Ayrıca, modeller arasında tutarlı bir şekilde işleme ve çıktı işleme gerekir, çünkü her biri biraz farklı davranır ve sisteminizin bu farklılıkları gidermesi gerekir.

Önceden daha fazla iş gerektirir. Ancak esneklik satın alırsınız ve bunu sonra eklemek çok zordur.

Son zamanlarda, AI modellerinin hızla evrimleştiği ve yeni sürümlerin bazen beklenmedik şekillerde performans özelliklerini değiştirdiği konusunda destac ettiniz. Bir entreprise, en son modelleri benimsemek isteği ile stabilite, güvenilirlik ve öngörülebilir performans ihtiyacı arasında nasıl bir denge kurmalıdır?

Samimi cevap, yeni bir model, kanıtlanana kadar bir yükseltme değildir.

Her yeni sürüm heyecan verici ve en son şeyi hemen benimsemek için gerçek bir baskı vardır. Ancak yeni modellerin davranışını beklenmedik şekillerde değiştirdiğini gördük. Güvenilir bir şekilde çalışan bir şey, küçük değişikliklerle farklı bir şekilde cevap vermeye başlar ve bir üretim sisteminde bu küçük değişiklikler birikir.

Bunu ele alma şeklimiz basittir. Hiçbir model, bizim kendi elimizle test etmeden üretim pipeline’ımıza girmez. Yeni bir sürüm çıktığında, benchmark’ları veya duyuruları kelimesi kelimesine almıyoruz. Üretimdeki gibi sohbetlere sokuyoruz ve çıktıları kendimiz okuyoruz.

Bu elle test aşaması bizim için zorunlu değildir. Bir model kağıt üzerinde daha iyi görünse bile, gerçek bir sohbeti bizim üretim sisteminde rahat hissetmediğimiz bir şekilde ele alabilir. Tek yolu, onu üretimdeki gibi sohbetlere sokmak ve gerçekten nasıl cevap verdiğini görmektir.

Bu, soyutlama katmanının bir kez daha kazandığı bir yerdir. Uygulamamamız, belirli bir modele bağımlı olmadığından, yeni bir sürümü getirebilir, üretimdeki sohbetlerle test edebilir ve gerçekten neler yaptığını karşılaştırabiliriz. Barajı geçerse, değiştiririz. Geçmezse, bekleriz.

AI ajanlarının, önceden insan personeline ihtiyaç duyan sohbetleri ele alabilme yetenekleri artmaktadır. Beş yıl içinde otomasyon ve insan denetimi arasındaki dengeyi nasıl görüyorsunuz ve hangi iş akışlarının her zaman bir insanı dahil etmesi gerektiğini düşünüyorsunuz?

Bu, zor bir soru ve kimsenin gerçekten beş yıl içinde tam olarak nerede duracağını bilmediğini düşünmüyorum. Benim bunu düşündüğüm şekilde, AI’nın gerçek değeri, bir güç çarpanı olarak ortaya çıkıyor. Bir küçük insan grubunun, yalnız başına yapabileceğinden çok daha fazlasını yapmasına olanak tanıyor.

Bu araçlardan en çok faydalanan takımlar, bunları tam olarak böyle kullanıyor. AI, hacmi ve tekrarı alıyor ve insanlar, yargı, strateji ve gerçekten bir insan gerektiren durumlar üzerinde zaman harcıyor. Bu, insanları resimden çıkarmaya çalışmakla çok farklı bir hedeftir.

İnsanları değiştirmek quando hedef olduğunda, teknolojiyi gerçekten iyi olduğu şeylerin ötesine itersiniz ve görünür ve pahalı bir şekilde başarısız olursunuz. İnsanları çarpmak quando hedefiyseniz, AI’nı ne iyi yaptığını yaptırır ve insanları, en fazla değer kattıkları yerlerde tutarsınız. İkinci yaklaşım daha iyi çalışır ve teknolojinin gerçekten nerede olduğu hakkında daha dürüsttür.

Beş yıl içinde, ajanların daha fazla ve daha fazla rutin sohbet yükünü üstleneceğini öngörüyorum ve bunu yapmalılar. Bu iş, bir insanı her kelimeyi izlerken gerektirmez.

İnsanların dahil olduğu iş akışları, yüksek riskli veya gerçekten yeni durumlar olmalıdır. Onay, uyum veya geri dönülmesi zor bir karara dokunan her şey. Bir insan, yönü sahibi olmalı ve AI, çok daha fazla zemin kaplamalarına yardımcı olmalıdır.

İleriye bakarak, konuşma AI’sinde neler gelişiyor ve Convos gibi platformların, modeller daha yetenekli, çok modlu ve otonom hale geldikçe nasıl evrileceğini öngörüyorsunuz?

Beni en çok heyecanlandıran şey, sohbetlerin daha da iyi hale geleceği.

Modeller geliştikçe, platformumuzun ele aldığı sohbetler, temelini yeniden inşa etmemize gerek kalmadan daha doğal ve daha faydalı hale geliyor. Çünkü sistemimizi, modeller arasında geçiş yapabilen şekilde tasarladık, bu gelişmeleri geldiğinde getirebiliyoruz.

Çok modlu gelişmeleri en yakından izlediğim şey. Şu anda sohbet, metin ile sınırlı. Modeller, resimler ve diğer formatları daha iyi ele aldıkça, bu sohbetleri zenginleştirmek için gerçek bir fırsat oluşuyor, aynı zamanda metin mesajlaşmasının sağladığı anlık deneyimi koruyor.

Otonomi konusunda, iyimserim, ancak dikkatliyim. Daha yetenekli ajanlar aylık olarak yayınlanıyor ve çok şeyi kendi başlarına ele alabilecekler. Ancak bir düzenlenmiş alanda, daha fazla otonomi, daha fazla disiplin ile gelmelidir, daha az değil. Sınırlar, yetenek arttıkça daha da önemlidir.

Ben bu işe, boşluğa metin mesajı gönderen ve hiçbir cevap almayan kişi olarak başladım. Bu, hala en çok önem verdiğim sorundur. Modeller ne kadar yetenekli olursa olsun, geri döndüğüm ölçüt basit. Diğer taraftaki kişi duyuldu mu hissettirir?

Harika röportaj için teşekkür ederiz, daha fazla bilgi öğrenmek isteyen okuyucular Convos ziyaret edebilir.