Victor Thu, Datatron Başkanı – Röportaj Serisi

Victor Thu, Datatron şirketinin başkanıdır. Datatron, şirketlerin makine öğrenimi gücünü hızlandırarak, sorunları erken tespit ederek ve birden fazla modeli ölçeklenebilir şekilde yöneterek kullanmalarına yardımcı olan bir platformdur.

Ürün pazarlaması, pazara sürme ve ürün yönetimi alanındaki geçmişiniz, size makine öğrenimi ve yapay zeka alanında çalışmaya nasıl yöneltti?

Ben teknolojiyi severim ve bazı yakın arkadaşlarım beni “teknoloji fısıldayıcısı” olarak adlandırır. Karmaşık teknoloji konularını insanların anlayabileceği bir dilde anlatmayı ve yeni teknolojileri öğrenerek insanların en çok önem verdiği teknolojilerin arkasındaki nedenleri anlamayı severim.

“Modern AI” olarak adlandırdığım ilk karşılaşmam, ünlü bir Stanford AI profesörü olan Dr. Fei-Fei Li’nin bir ana konuşmasını izlediğim zaman oldu. Dr. Li’nin ana konuşması o kadar büyüleyiciydi ki, kariyerimde bir dönemeç noktası oldu. O konuşma, buraya gelmek istediğimi bana gösterdi. AI ve ML’yi kullanarak iş zorluklarını çözmeye yardımcı olmak istedim.

O zamandan beri, AI/ML startups ile birlikte çalıştım ve teknolojiyi gerçek iş ihtiyaçlarını karşılamak için kullandım. Ph.D. düzeyinde ML bilim adamları ile çok yakın çalıştım ve onlar bana AI/ML alanında büyük bilgiler verdi. Hala öğreniyorum, çünkü bu alan çok hızlı bir şekilde gelişiyor.

Gerçekten de teknolojiye olan tutkum ve insanların yararlanabileceği şekilde teknolojiyi kullanma isteğim, beni AI/ML ile yakın çalışmaya yöneltti.

Datron, MLOps üzerine odaklanıyor. MLOps’un ne olduğunu bilmeyen okuyucular için, bu terimi özel olarak açıklayabilir misiniz?

MLOps, AI ve ML modellerini prototip aşamasından üretim aşamasına taşımak için gereken çok fazla el emeğinin gerektiren süreci kodlama ve basitleştirme işlemidir.

En büyük yanlış anlaşılmazlardan biri, veri bilimcilerin AI modellerini inşa ettikten sonra bunları hızlı bir şekilde üretime koyabilecekleridir. Ancak gerçeklik, bir modelin üretime konulmasının bir yıldan fazla sürebileceği yönündedir.

Bu gecikmenin ana nedeni, model geliştirmeye uzman olan kişilerin aynı zamanda yazılım mühendisliği uzmanlığına sahip olmadıklarıdır. Bir benzetme, gökdelenleri tasarlayan mimarlar – onlar aynı zamanda gökdelenleri inşa edenler değildir.

MLOps, model geliştiriciler ve yazılım mühendisliği arasında köprü görevi görür. Model geliştiricilerin 12 aydan fazla sürebilecek bir süreci, MLOps birkaç güne indirgeyebilir.

Eylül 2021’de bizim için yazdığınız bir makalede, “Şirketlerin çözümleri üretime koymalarının ana engelinin, modellerin kalitesi değil, şirketlerin bunları yapmasına olanak tanıyan altyapının eksikliği olduğu” belirttiniz. Bu, şirketler için neden böyle bir engel?

Bunun birkaç nedeni var.

• “Ücretsiz” açık kaynaklı yazılımların abartılması. İlk olarak, açık kaynaklı yazılımları sevdiğimizi ve endüstrinin bu yazılımlar sayesinde büyük ilerleme kaydettiğine inanıyorum. Ancak birçok kişi, AI ve ML ile ilgili açık kaynaklı yazılımların karmaşıklığını anlamıyor. Bugün, AI/ML yetenekleri konusunda ciddi bir kıtlık var. AI/ML kodlarını işleyebilecek ML mühendisleri veya MLOps mühendislerini bulundurmak ve ardından 300’den fazla açık kaynaklı MLOps projesini içselleştirmek, şirketlerin kendi MLOps platformunu içselleştirmesini beklemek, başarısızlık için kendilerini hazırlamaktır.
• Mühendislik ekiplerini destekleyecek altyapının eksikliği. Şirketlerin, mühendislerin başarılı olabilmesi için daha iyi bir ortam oluşturmaları gerekiyor. Doğru araçlar ve bant genişliği sağlanmalıdır. AI, yeni bir teknolojidir. AI yapan şirketler, modelleri hızlı bir şekilde üretime koyabilmek için ne gerektiğini her zaman bilmez, bu nedenle MLOps çok önemli bir araçtır.

MLOps, altyapı eksikliği sorununu nasıl çözer?

MLOps, altyapı eksikliği sorununu dört şekilde çözer:

1. Özel kod değişiklikleri gerekmez: Veri bilimcileri, iş kullanım örneklerine uygun modeller oluşturmak için esneklik ister. Bu nedenle, MLOps süreçleri kod değişiklikleri gerektirirse, modellerin bütünlüğü karmaşıklaşır.
2. Otomasyon/otomatikleştirme: Birçok ekip, modelleri elle kodluyor, bu da çok zaman alıyor. MLOps, bu süreci otomatikleştirerek zaman ve enerji tasarrufu sağlar.
3. Güncellemeleri basitleştirme: AI modelleri, çevrelerine uyum sağlamak için düzenli olarak değişir. Bazen veri bilimcilerin modelleri sık sık güncellemeleri gerekir. MLOps olmadan, bu tekrarlanan güncellemeyi önlemek mümkün değildir.
4. Alt yapının yönetimini basitleştirme: Modelleri üretime koymak için, AI/ML modellerinin benzersiz özelliklerine uygun kaynaklara ihtiyaç vardır. MLOps araçları, bu kaynaklara erişimi basitleştirir ve ölçeklenebilirliği sağlar.

Şirketlerin kendi MLOps araçlarını oluştururken dikkate almadığı diğer kurumsal gereksinimler de vardır: rol tabanlı erişim kontrolü (RBAC), entegrasyon ve etkileşim, farklı ML araçlarını destekleme, güvenlik açıklarını giderme ve ana takım üyelerinin beklenmedik ayrılması.

AI yönetimine ilişkin kişisel görüşünüz nedir?

AI modellerinin düzgün çalışmadığı, belirli grupları yanlış etiketlediği veya halka açık şirketlere büyük mali kayıplar verdiği konusunda sayısız korkunç hikaye vardır.

AI yönetimi, şirketlerin AI modellerini üretim aşamasına koyduklarında çok önemlidir. Ancak bu, diğer IT veya iş yönetiminden farklı değildir. Bugün, şirketlerin bulut veya kendi veri merkezlerinde uygulamaları çalıştırdıklarında, uygulamaların düzgün çalıştığından emin olmak için bir dizi aracı vardır.

AI modelleri çalıştırırken, iş ve veri bilimcilerinin modellerin ne yaptığını görebilmeleri için mekanizmalar ve araçlar oluşturmak gerekir.

Özellikle AI/ML’nin bu yeni aşamasında, ‘kur ve unut’ seçeneği yoktur. Başlangıçta, modelin davranışını izlemek ve gerektiğinde ayarlamalar yapmak gerekir. Modellerin istenilen sınırlar dışında davrandığında uyarı verebilecek uygun izleme olanaklarına sahip olmak çok önemlidir.

Model risk yönetimi (MRM), model geliştirme ve dağıtımı过程inde yer alan farklı kişileri de hesaba katmalıdır. Model bütünlüğünü korumak için hangi erişim kontrollerini uyguladınız? Farklı gruplardan kişiler, modelleri amaçlandığı kullanım durumları dışında kullanmalarını önlemek için nasıl önlem alırsınız? Tüm bunlar, ekiplerin kendilerine sorması gereken sorulardır.

Datron, model risk yönetimine nasıl yardımcı olur?

MLOps, hızlı model güncellemeleri ve değişikliklerine olanak tanır. Örneğin, bir modelin kredi başvurusunda insanları yanlış olarak reddettiği durumlarda, MLOps, modeli geri çekerek yeni bir modeli sunarak riski basit bir şekilde yönetebilir.

Modellerin üretim aşamasında, önyargı kayması ve ana metriklerin korunmasını sağlar ve iş karar vericilerinin kolayca anlayabileceği şekilde derinlemesine veri kullanarak bu metrikleri sunar.

Datron platformu, AI yönetimini, müşterilerin kullanım durumlarına daha ilgili olan modellerin net bir görünümünü sunarak, genel bir izleme yeteneğinden daha advanced bir seviyeye taşır.

Datron’un web sitesinde yayımlanan bir blog gönderisinde, Datatron’un Güvenilir AI™ sloganını benimsediğini belirttiniz. Güvenilir AI™’nin size göre ne anlama geldiğini açıklayabilir misiniz?

Bu sloganı ortaya koyduğumuzda, ticari uçaklara binmek kadar rahat olduğumuz düşünceyi temel aldık.

Etişel AI, sorumlu AI gibi konuşmalar, aslında mevcut AI modellerinin beklenen şekilde çalışmadığı ve bu nedenle güvensiz olduğu gerçeğinden kaynaklanıyor. Şirketler, modellerinin önyargılı olmadığından emin olmadıkları için AI kullanmak istemiyor. Bu, modellerinin güvensiz olduğu ve Datatron’un bunu değiştirmeyi amaçladığı anlamına geliyor.

Datron hakkında paylaşmak istediğiniz başka bir şey var mı?

Biz, Super Bowl’de başarıyla çalışan, yüksek stresli bir senaryoda çalışan ender MLOps oyuncularından biriyiz. Domino’s Pizza , AI modellerini üretim aşamasına kolayca ve hızlı bir şekilde koymak için Datatron ile çalışıyor ve bu modeller Super Bowl’de en zorlu teste tabi tutuldu.

MLOps, gerçekten de AI/ML modellerini üretim aşamasına koymak için kaynakları koruyarak ve maliyetleri azaltarak yardımcı olan bir yoldur. Biz, başarılı AI/ML modelleri için sürdürülebilir bir kaynak ve gelir katalizörüüz. Şirketler, nihayet AI ve ML projelerinden geri dönüş elde edebilir. Marjınız ne olursa olsun, MLOps kullanarak sonuçlar üretebilirsiniz.

Harika röportaj için teşekkür ederiz. Daha fazla bilgi öğrenmek isteyen okuyucular Datatron‘u ziyaret edebilir.