Şimdi, daha önce hiç olmadığı kadar AI güçlü ses tabanlı sistemler zamanı. Müşteri hizmetlerine bir telefon görüşmesini düşünün. Yakında tüm kırılganlık ve esneklik ortadan kalkacak – sert robotik sesler, “satış için 1’e basın” tarzı kısıtlayıcı menüler, bizi hepimiz frantically sıfır basın umuduyla bir insan ajanı ile konuşmak için press ettiren sinir bozucu deneyimler. (Veya, bir insan ajanına aktarılmanın gerektirdiği uzun bekleme süreleri nedeniyle, aramayı tamamen bırakmak için.)

Artık değil. Büyük dil modellerinde (LLM’ler) değil, aynı zamanda otomatik konuşma tanıma (ASR) ve metin-konuşma (TTS) sistemlerindeki gelişmeler sayesinde “sonraki nesil” ses tabanlı ajanlar burada – eğer nasıl inşa edileceğini biliyorsanız.

Bugün, böyle bir state-of-the-art ses tabanlı konuşma ajanı inşa etmek isteyen herkesin karşılaştığı zorluklara bir göz atıyoruz.

Neden Ses?

İçeri girmeden önce, ses tabanlı ajanların (metin tabanlı etkileşimlere kıyasla) genel çekiciliğini ve alaka düzeyini hızlıca inceleyelim. Sesli etkileşimin metin tabanlı bir etkileşimden daha uygun olabileceği birçok neden vardır – bunlar şunları içerebilir, artan şiddet sırasına göre:

• Tercih veya alışkanlık – konuşma, gelişimsel ve tarihsel olarak yazma öncesi

• Yavaş metin girişi – birçok kişi metin girişinden daha hızlı konuşabilir

• Eller serbest durumlar – örneğin sürüş, egzersiz yapma veya bulaşık yapma

• Okur-yazar olmama – en azından ajanın anladığı dil(ler)de

• Engellilik – örneğin körlük veya non-vokal motor kontrolü olmama

Web sitesi aracılığıyla gerçekleştirilen işlemlerin hakim olduğu bir çağda, ses, ticaret için güçlü bir kanaldır. Örneğin, otel endüstrisinde müşteri memnuniyeti konusunda JD Power tarafından yapılan bir recent study, telefon aracılığıyla oda ayırtan misafirlerin, online seyahat acentası (OTA) veya doğrudan otelın web sitesinden ayırtan misafirlerden daha memnun kaldıklarını buldu.

Ancak etkileşimli sesli yanıtlar veya IVR’ler yeterli değildir. 2023 yılında Zippia tarafından yapılan bir study, müşterilerin %88’inin canlı bir ajanla sesli aramayı tercih ettiğini, otomatik telefon menüsünü gezinmek yerine buldu. Çalışma, ayrıca insanların telefon menülerinden en çok rahatsız olduğu şeylerin arasında alakasız seçenekleri dinlemek (%69), sorunu tam olarak açıklama yeteneklerinin olmaması (%67), verimsiz hizmet (%33) ve karmaşık seçenekleri (%15) içerdiğini buldu.

Ve sesli asistanları kullanma konusunda bir açıklık var. Accenture tarafından yapılan bir studye göre, tüketicilerin yaklaşık %47’si already ses asistanlarını işlerle etkileşmek için kullanmaya rahatlar ve yaklaşık %31’i zaten bir ses asistanını bir işle etkileşmek için kullandı.

Her ne nedenle olursa olsun, birçok kişi için doğal ve rahat olan bir sesli etkileşim tercihi vardır.

İyi Bir Ses Tabanlı Ajan Nedir?

Kaba bir şekilde, iyi bir ses tabanlı ajan, kullanıcıya aşağıdaki şekilde yanıt vermelidir:

• Alakalı: Kullanıcının söylediği/ne istediği şeyin doğru bir anlayışına dayanarak

• Doğru: Gerçekler temelinde (örneğin, sadece otele 19 Ocak’ta bir oda mevcut ise bunu söyleyin)

• Açık: Yanıt anlaşılabilir olmalıdır

• Zamanında: Bir insanla sohbet ederken beklediğiniz gecikme ile

• Güvenli: Hiçbir saldırgan veya uygunsuz dil, korunan bilgilerin ifşası vb. olmadan

Sorun

Mevcut ses tabanlı otomatik sistemler, yukarıdaki kriterleri, çok sınırlı ve çok sinir bozucu olma pahasına karşılamaya çalışırlar. Bunun bir kısmı, ses tabanlı bir konuşma bağlamının oluşturduğu yüksek beklentilerin bir sonucudur ve bu beklentiler, TTS sistemlerindeki ses kalitesinin insan seslerinden ayırt edilemez hale gelmesi ile birlikte daha da artar. Ancak bu beklentiler, şu anda yaygın olarak dağıtılan sistemlerde boşa çıkarılır. Neden?

Kısaca – esneklikten yoksunluk:

• Sınırlı konuşma – kullanıcı, genellikle doğal olmayan bir şekilde şeyler söylemek zorundadır: kısa cümleler, belirli bir sırayla, alakasız bilgiler olmadan, vb. Bu, eski usul numaralı menü sisteminden pek bir ilerleme sağlamaz

• Dar, kapsayıcı olmayan “kabul edilebilir” konuşma kavramı – slang, uhms ve ahs için düşük tolerans

• Geri dönmek yok: Bir şey yanlış giderse, sorunlu bilgi parçasını “tamir etmek” veya düzeltmek için little chance olabilir, ancak bunun yerine yeniden başlamaktan veya bir insan ajanına transfer edilmeyi beklemekten başka seçenek yoktur

• Sıkı dönüş alma – ajanı kesmek veya konuşmak için hiçbir khảılık yok

İnsanların bu kısıtlamaları sinir bozucu bulmaları şaşırtıcı değildir.

Çözüm:

İyi haber, modern AI sistemlerinin, yukarıdaki türdeki deneyimleri büyük ölçüde iyileştirmek için güçlü ve hızlı enough olmasıdır, bunun yerine insan tabanlı müşteri hizmetleri standartlarına yaklaşmak veya bunları aşmak için. Bu, çeşitli faktörlerin bir sonucudur:

• Daha hızlı, daha güçlü donanım

• ASR’de (daha yüksek doğruluk, gürültü, aksan vb. vượt edilmesi) gelişmeler

• TTS’de (doğal sesler veya hatta klonlanmış sesler) gelişmeler

• Üretken LLM’lerin (doğal sesli konuşmalar) gelişi

Son nokta, bir oyun değiştiricidir. Ana fikir, iyi bir öngörülü modelin aynı zamanda iyi bir üretken model olabileceğidir. Bir yapay ajan, bir insan müşteri hizmetleri ajanının söyleyeceği en olası şeyi öngörerek, insan düzeyinde konuşma performansı elde edebilir.

AI startups’ın, ses tabanlı konuşma ajanı sorununu sadece hazır ASR ve TTS modüllerini bir LLM çekirdeğine bağlayarak çözmeye çalışan dozens’ı geliyor. Bu görüşe göre, çözüm, sadece gecikme ve maliyeti en aza indiren bir kombinasyon seçmektir. Ve elbette, bu önemlidir. Ancak yeterli mi?

Hemen Değil

Bu basit yaklaşımın çalışmayacağı beberapa özel neden vardır, ancak bunlar iki genel noktadan kaynaklanır:

1. LLM’ler, kendi başlarına, girişimlerde gerekli olan türden iyi, dayanak tabanlı metin konuşmaları sağlayamazlar. Dolayısıyla, sesli konuşmalar için de bunu yapamazlar. Bir şeyler daha gerekli.

2. Eğer LLM’leri, iyi bir metin tabanlı konuşma ajanı yapmak için gerekli olan şeylerle tamamlarsanız, bunu iyi bir ses tabanlı konuşma ajanına dönüştürmek, sadece en iyi ASR ve TTS modüllerine bağlamakla değil, daha fazlasını gerektirir.

Her iki zorluğun da özel bir örneğine bakalım.

Zorluk 1: Gerçekliği Koruma

LLM’lerin bazen yanlış veya “hayal ürünü” bilgiler ürettiği artık yaygın olarak bilinmektedir. Bu, birçok ticari uygulama bağlamında felaket olabilir, hatta eğlence uygulamalarında doğruluk önemli olmayabilir.

LLM’lerin bazen hayal ürünü üretmesi, yansıma üzerine beklenenden başka bir şey değildir. Bu, bir yıl (veya daha fazla) önce toplanan verilerden entren edilen modelleri, veri setinin (ne kadar büyük olursa olsun) bir parçası olmayan veya ima edilmeyen gerçekler hakkında sorulara cevap üretmek için kullanmanın doğrudan bir sonucudur. Arayan “Üyelik numaram nedir?” diye sorduğinde, basit bir pre-entrenilmiş LLM sadece bir cevap üretebilir, doğru bir cevap değil.

Bu sorunun en yaygın çözümleri:

• İnce ayar: Pre-entrenilmiş LLM’yi, istediğiniz doğru cevaplar verebileceği alan özel verilere daha fazla entren edin.

• Prompt mühendisliği: Ekstra veri/talimatları, konuşma geçmişine ek olarak LLM’ye girdi olarak ekleyin

• Retriev Augmented Generation (RAG): Prompt mühendisliği gibi, ancak prompt’a eklenen veri, konuşma bağlamına göre alan özel verilerin kodlanmış bir dizinine göre belirlenir.

• Kural tabanlı kontrol: RAG gibi, ancak prompt’a eklenmesi gereken (veya çıkarılması gereken) şey, nöral bir hafıza tarafından değil, elle kodlanmış kurallar tarafından belirlenir.

Her boyutta bir çözüm yoktur. Hangi yöntemin uygun olacağı, örneğin alan özel verilerin sık sık değişip değişmediğine (örneğin, müşteri adı) bağlı olacaktır. Özellikle, fine-tuning, sık değişen verilere uygun olmayacaktır ve RAG, değişmeyen verilere (örneğin, “Hotel Budapest’i aradığınız için teşekkür ederiz. Bugün size nasıl yardımcı olabiliriz?”) için kaba bir çözüm olacaktır. Dolayısıyla, herhangi bir çalışan sistem, bu yöntemlerin bir kombinasyonunu kullanmak zorunda kalacaktır.

Daha da önemlisi, bu yöntemleri LLM ile ve birbirleriyle entegre etmek, gecikme ve maliyeti en aza indirmek için dikkatli bir mühendislik gerektirir. Örneğin, modelinizin RAG performansı, bu yöntemi kolaylaştırmak için fine-tune edilmesi ile geliştirilebilir.

Her bir yöntemin kendi zorluklarını getirdiği şaşırtıcı değildir. Örneğin, fine-tuning’i ele alalım. Alan özel verilerinize pre-entrenilmiş LLM’nizi fine-tune etmek, bu verilerin performansını iyileştirecektir, evet. Ancak fine-tuning, pre-entrenilmiş modelin (oldukça iyi) genel performansının temelini oluşturan parametreleri (ağırlıkları) değiştirir. Bu değişiklik, modelin önceki bilgisinin bir kısmının unutulmasına (veya “catastrophic forgetting” olarak adlandırılan duruma) neden olur. Bu, modelin yanlış veya uygunsuz (hatta güvenliksiz) cevaplar vermesine neden olabilir. Ajanınızın doğru ve güvenli bir şekilde yanıt vermeye devam etmesini istiyorsanız, catastrophic forgetting’i azaltan bir fine-tuning yöntemi kullanmanız gerekir.

Zorluk 2: Endpointing

Müşterinin konuşmasını bitirdiğini belirlemek, doğal konuşma akışının kritik bir parçasıdır. Aynı zamanda, sistem, konuşmanın müşteri ihtiyaçlarına karşı tutarlı ve duyarlı kalmasını sağlamak için kesintileri nazikçe ele almalıdır. Bu, insan etkileşimine benzer bir standartta gerçekleştirmek, doğal ve hoş konuşma deneyimleri oluşturmak için temel bir görevdir.

Çalışan bir çözüm, tasarımcıların aşağıdaki gibi soruları dikkate almasını gerektirir:

• Müşteri konuşmasını bitirdikten sonra ajanın beklemesi gereken süre ne kadar olmalıdır?

• Yukarıdaki, müşterinin bir cümle tamamlayıp tamamlamadığına bağlı mı?

• Ajanı müşterinin kesmesi durumunda ne yapılmalıdır?

• Özellikle, ajanın müşterinin duyduğu şeyi varsayması gerekir mi?

Bu konular, büyük ölçüde zamanlama ile ilgili olarak, LLM’nin doğru bir cevap vermesiyle ilgili mühendislikten daha fazla mühendislik gerektirir.

Sonuç

AI güçlü ses tabanlı sistemlerin evrimi, müşteri hizmetleri dinamikleri açısından devrim niteliğinde bir değişikliği vaat ediyor, eski telefon sistemlerini gelişmiş LLM’ler, ASR ve TTS teknolojileriyle değiştiriyor. Ancak, hayal ürünü bilgiler ve sorunsuz endpointing gibi zorlukları aşmak, doğal ve verimli sesli etkileşimler sunmak için kritik olacaktır.

Müşteri hizmetlerinin otomatikleştirilmesi, girişimlerde gerçek bir oyun değiştirici haline gelebilir, ancak doğru şekilde yapılması koşuluyla. 2024 yılında, özellikle bu yeni teknolojilerle, sonunda doğal ve akıcı hissedebileceğimiz ve bizi güçlü bir şekilde anlayan sistemler inşa edebileceğiz. Net etki, bekleme sürelerini azaltacak ve sesli botlarla ilgili mevcut deneyimlerimizi, müşteri katılımı ve hizmet kalitesinde dönüştürücü bir çağa işaret edecek.