Anastassia Loukina, ETS’de (NLP/Ses) Kıdemli Araştırma Bilimcisi – Röportaj Serisi

Anastassia Loukina, Eğitim Test Hizmetleri (ETS) bünyesinde araştırma bilimcisi olarak görev yapmakta ve otomatik konuşma puanlaması üzerine çalışmaktadır.

Araştırma ilgi alanları geniş bir yelpazeye sahiptir. Modern Yunan lehçeleri, konuşma ritmi ve otomatik prosodi analizi gibi konularda çalışmıştır.

Şu anki çalışması, konuşma teknolojileri ve makine öğrenimi araçlarını ve yöntemlerini, konuşma algılama/üretimi üzerine yapılan çalışmaların içgörüleriyle birleştirerek, yabancı dil konuşma becerilerini değerlendirmek için otomatik puanlama modelleri oluşturmaya odaklanmaktadır.

Konusma dillerine olan sevginiz oldukça açık, sizi bu tutkuya neler yönlendirdi?

Rusça konuşarak St. Petersburg, Rusya’da büyüdüm ve İngilizce dilini ilk öğrendiğimde bazı kelimelerin bir kalıp oluşturabileceğini fark ettim. Sonra, “kalıbımın” başarısız olduğu kelimelerle karşılaştım ve daha genel bir kural oluşturmaya çalıştım. O zamanlar, dilbilim veya ödünç kelimelerin farkında değildim, ancak bu, dilleri öğrenme ve konuşma kalıplarını tanımlama isteğimi ateşledi. Bu, beni fonetik, makine öğrenimi ve şu an yaptığım çalışmaya yöneltti.

Şu anki NLP çalışmanızdan önce İngilizce-Rusça ve Modern Yunanca-Rusça arasında tercüman olarak çalıştınız. Tercüman olarak yaptığınız çalışma, NLP ile ilgili bazı nüansları ve sorunları anlamınıza yardımcı oldu mu?

Asıl kimliğim her zaman bir araştırmacı olarak kaldı. Modern Yunan dili üzerine akademik kariyerime başladım. Doktora çalışmamda, birkaç Modern Yunan lehçesinin fonetik farklılıklarını ve bu farklılıkların bölgenin tarihine bağlı olabileceğini araştırdım. Şu an Modern Yunan lehçeleri üzerine çalışmıyorum, ancak dillerin birbirleriyle teması sonucu oluşan değişiklikler hala çalışmamdaki temel konudur; sadece şimdi, bir kişinin yeni bir dil öğrenmesi ve teknolojinin bunu en verimli şekilde nasıl yapabileceğini odaklanıyorum.

İngilizce dilinde birçok aksan vardır. Farklı aksanları anlamaya 能 bir NLP nasıl tasarlanabilir? Bu, derin öğrenme algoritmasına her aksandan büyük veri beslemek kadar basit midir?

Geçmişte bu sorunu çözmek için birkaç yaklaşım kullanılmıştır. Büyük bir model oluşturmak yerine, önce aksanı belirleyebilir ve sonra bu aksana özel bir model kullanabilirsiniz veya birden fazla modeli aynı anda çalıştırıp en iyi sonucu veren modeli seçebilirsiniz. Sonunda, geniş bir aksan yelpazesi üzerinde iyi bir performans elde etmek için, sistemin karşılaşabileceği birçok aksandan temsilci eğitim ve değerlendirme verilerine ihtiyacınız vardır.

ETS’de, puanların, ölçmek istediğimiz gerçek becerilerdeki farklılıkları yansıttığını ve öğrenenin demografik özelliklerinden etkilenmediğinden emin olmak için kapsamlı değerlendirmeler yapıyoruz.

Çocuklar ve/veya dil öğrenenler genellikle mükemmel telaffuzla ilgili zorluklar yaşarlar. Telaffuz sorununu nasıl aşarsınız?

Mükemmel telaffuz diye bir şey yoktur; konuşma şeklimiz kimliğimizle yakından bağlantılıdır ve geliştiriciler ve araştırmacılar olarak, sistemlerimizin tüm kullanıcılar için adil olduğundan emin olmak hedefimizdir.

Hem dil öğrenenler hem de çocuklar, konuşma tabanlı sistemler için özel zorluklar sunar. Örneğin, çocuk sesleri çok farklı akustik özelliklere sahiptir ve çocuklar yetişkinlerden farklı konuşur ve çocuklar arasında büyük varyasyonlar vardır. Bu nedenle, çocuklar için otomatik konuşma tanıma sistemi geliştirmek genellikle, büyük miktarda çocuk konuşma verisi gerektiren ayrı bir görevdir.

Benzer şekilde, aynı arka plana sahip dil öğrenenler arasında benzerlikler olsa da, öğrenenler fonetik, gramer ve sözcük kalıplarının kullanımında geniş bir varyasyon gösterebilir, bu da konuşma tanımayı özellikle zor bir görev haline getirir. İngilizce dil becerisi puanlama sistemleri oluştururken, geniş bir dil becerisi ve anadili yelpazesine sahip dil öğrenenlerin verilerini kullanıyoruz.

2018 Ocak ayında, ‘Otomatik konuşma puanlama sistemleri için örnek yanıtların kullanımı‘ başlıklı bir makale yayınladınız. Bu makaledeki temel buluşlar nelerdir?

Bu makalede, eğitim ve test verilerinin kalitesinin, otomatik puanlama sistemlerinin performansını nasıl etkilediğini inceledik.

Otomatik puanlama sistemleri, insan tarafından etiketlenmiş verilerle eğitilir. Bu durumda, insan puanlayıcılar tarafından atanmış puanlardır. İnsan puanlayıcılar her zaman aynı puanları atmazlar. Puanların tutarlılığını sağlamak için, insan anlaşmazlıklarını azaltmak için çeşitli stratejiler kullanılır. Ancak, otomatik puanlama motorları genellikle response-level puanlarla eğitilir, bu nedenle insan anlaşmazlıklarından kaynaklanan tutarlılıklar, sistem performansı üzerinde olumsuz bir etkiye sahip olabilir.

Büyük miktarda veri ve insan puanlayıcı anlaşmazlıkları olan verilere erişimimiz oldu ve sistem performansı farklı koşullar altında karşılaştırdık. Bulduklarımız, mükemmel veriyle eğitilen bir sistemin, gürültülü etiketlere sahip veriyle eğitilen bir sistemden daha iyi performans göstermediğini gösterdi. Mükemmel etiketler, sadece eğitim setinin boyutu çok küçükse bir avantaj sağlar. Öte yandan, insan etiketlerinin kalitesi, sistem değerlendirilmesinde büyük bir etkiye sahiptir: temiz etiketlerle değerlendirme yaparsanız, performans tahminleriniz %30 daha yüksek olabilir.

Alınacak mesaj, büyük miktarda veri ve temizleme kaynaklarına sahipseniz, eğitim setindeki etiketlerin místo değerlendirme setindeki etiketlerin temizlenmesi daha akıllıca olabilir. Bu bulgu, sadece otomatik puanlamaya değil, birçok başka alana da uygulanabilir.

ETS’de yaptığınız çalışmalardan bazılarını anlatır mısınız?

ETS’de, konuşma puanlama motoru sistemleri üzerine çalışıyorum. Bu sistemlerden biri, SpeechRater®, konuşma tanıma ve analiz teknolojisini kullanarak İngilizce konuşma becerilerini değerlendirmek ve ayrıntılı geri bildirim sağlamak için tasarlanmıştır. SpeechRater, 10 yıldan fazla süredir kullanılan olgun bir uygulamadır. Farklı uygulamalar için puanlama modelleri oluşturuyor ve ETS’deki diğer colegelerle birlikte, puanlarımızın tüm sınav adayları için güvenilir, adil ve geçerli olduğundan emin olmak için çalışıyoruz. Ayrıca, sistem performansını sürekli izlemek için diğer ETS gruplarıyla birlikte çalışıyoruz.

Operasyonel sistemlerimizi korumak ve geliştirmenin yanı sıra, yeni sistemler oluşturuyoruz. Çok heyecanlandığım bir proje, gelişen okuyucuların akıcılık ve güven kazanmalarına yardımcı olmak için tasarlanan RelayReader™ uygulamasıdır. RelayReader ile bir kullanıcı, bir kitabı yüksek sesle okuyarak ve dinleyerek sırayla okuyabilir. Okuması, geri bildirimi sağlamak için sunucularımıza gönderilir. Konuşma işleme açısından, bu uygulamanın ana zorluğu, öğrenmeyi ölçmek ve kitaba olan ilgisini bozmadan geri bildirimi sağlamak için nasıl ölçülendirilebileceğidir.

ETS’de çalışmanın en sevdiğiniz kısmı nedir?

ETS’ye ilk çekilen şey, kâr amacı gütmeyen bir organizasyon olarak, dünya çapındaki herkesin eğitim kalitesini geliştirmeye yönelik misyonudur. Araştırmalarımızın ürün geliştirmeye yol açması harika, ancak daha temel naturel projeler üzerinde çalışmak ve gelecekteki ürün geliştirmesine yardımcı olmak için fırsatım olduğunu takdir ediyorum. Ayrıca, ETS’nin veri gizliliği ve adilliği ciddiye aldığını ve tüm sistemlerimizin operasyonel olarak dağıtmadan önce çok sıkı bir değerlendirme sürecinden geçtiğini takdir ediyorum.

ETS’yi harika bir çalışma ortamı yapan, insanların kendisi. Farklı arka planlardan gelen bilim adamları, mühendisler ve geliştiricilerden oluşan harika bir topluluğa sahibiz ve bu, birçok ilginç işbirliği için fırsat sunuyor.

AI’nin bir gün Turing Testini geçebileceğine inaniyor musunuz?

1950’lerden beri, Turing testinin nasıl uygulanacağı konusunda birçok yorum yapılmıştır. AI sistemlerinin, insan gibi düşündüğü felsefi anlamda Turing testini geçmediği konusunda genel bir anlaşma vardır. Ancak, bu artık çok spesifik bir konudur. Çoğu insan, sistemlerini Turing testini geçmek için inşa etmemektedir – belirli hedeflere ulaşmalarını istiyoruz.

Bazı görevler için, örneğin konuşma tanıma veya doğal dil理解i, insan performansı altın standart olarak kabul edilebilir. Ancak, birçok görevde, bir otomasyon sisteminin insanlardan daha iyi performans göstermesini bekliyoruz veya bir otomasyon sistemi ve insan uzmanı, en iyi sonucu elde etmek için birlikte çalışmalıdır. Örneğin, bir eğitim bağlamında, bir AI sistemini bir öğretmene替 olarak görmek istemiyoruz – öğretmene yardımcı olmasını istiyoruz, bu da öğrenci öğrenme yollarını tanımlamaya, not vermeye veya en iyi öğretim materyallerini bulmaya yardımcı olmak olabilir.

ETS veya NLP hakkında paylaşmak istediğiniz başka bir şey var mı?

Çoğu insan, ETS’yi değerlendirmeleri ve otomatik puanlama sistemleriyle tanır. Ancak, bundan çok daha fazlasını yapıyoruz. Ses biyometrisinden konuşma diyalogu uygulamalarına kadar birçok yeteneğimiz var ve teknolojiyi öğrenme sürecine entegre etmenin yeni yollarını arıyoruz. Şimdi, birçok öğrenci evden öğreniyor, bu nedenle bazı araştırma yeteneklerini genel halka açtık.

İlgili görüşme ve NLP ile konuşma tanıma alanındaki son gelişmeler hakkında bilgi vermeniz için teşekkür ederiz. Daha fazla bilgi öğrenmek isteyenler Eğitim Test Hizmetleri sitesini ziyaret edebilir.