Victor Thu, Datatron Başkanı – Röportaj Serisi

Victor Thu, Datatron başkanıdır, bu platform şirketlerin makine öğrenimi gücünden yararlanmasına yardımcı olur, dağıtımları hızlandırır, sorunları erken tespit eder ve çok sayıda modeli yönetme verimliliğini artırır.

Ürün pazarlaması, pazara çıkış ve ürün yönetimi alanındaki geçmişiniz, sizi makine öğrenimi ve yapay zeka çalışmasına nasıl yönlendirdi?

Teknolojiyi seviyorum ve bazı yakın arkadaşlarım bana “teknoloji fısıldayıcısı” der. Karmaşık teknoloji konularını insanların anlayabileceği bir dile çevirmeyi ve yeni teknolojileri öğrenmeyi seviyorum, böylece insanların en çok önem verdiği teknolojilerin nedenini anlamaya çalışıyorum.

“Modern AI” ile ilk karşılaşmam, ünlü bir Stanford AI profesörü Dr. Fei-Fei Li’nin bir ana konuşmasını izlediğim zaman oldu. Dr. Li’nin ana konuşması o kadar büyüleyiciydi ki, kariyerimde bir dönemeç noktası oldu. Ben de burada olmak istedim, yani AI ve ML’yi kullanarak iş zorluklarını çözmek istediğim yerde.

O günden beri, AI/ML startups ile birlikte çalıştım ve teknolojiyi gerçek iş ihtiyaçlarını karşılamak için kullandım. Ph.D. düzeyinde ML bilim adamları ile çok yakın çalıştım ve onlar bana AI/ML’de büyük bilgi verdi. Ve hala öğreniyorum, çünkü bu alan çok hızlı bir şekilde gelişiyor.

Bu nedenle, teknolojiye olan tutkum ve başkalarına nasıl yardımcı olabileceğimi öğrenme isteğim, beni AI/ML ile yakın çalışmaya yöneltti.

Datron, MLOps üzerine odaklanıyor, bu terimi bilmeyen okuyucular için, lütfen MLOps’in ne olduğunu açıklar mısınız?

MLOps, temel olarak AI ve ML modellerini prototip aşamasından üretime alma sürecini kodlama ve basitleştirme işlemidir.

En büyük yanlış anlaşılmazlardan biri, veri bilimcilerin AI modellerini inşa ettikten sonra bunları hızlı bir şekilde üretime koyabilecekleridir. Ancak gerçeklik, bir modelin üretime konulabilmesi için bir yıla kadar sürebileceği yönündedir.

Bu gecikmenin ana nedeni, model geliştirmede uzman olan kişilerin aynı zamanda yazılım mühendisliği uzmanlığına da sahip olmamasıdır. Bir karşılaştırma olarak, gökdelenleri tasarlayan mimarlar, onları inşa eden geliştiriciler değildir.

MLOps, temel olarak model geliştiricileri ve yazılım mühendisliği arasında bir köprüdür. Model geliştiricileri ve yazılım mühendisleri arasında bir köprü kurarak, modelleri üretime alma süresini 12 aydan birkaç güne kadar azaltabilir.

Eylül 2021’de bizim için yazdığınız bir makalede, “Çözümleri üretime alma konusundaki ana engel, modellerin kalitesi değil, şirketlerin bunu yapmasına izin veren altyapının eksikliği” dediniz. Bu, çoğu şirket için neden böyle bir engel?

Birkaç faktör, buna katkıda bulunuyor.

• “Ücretsiz” açık kaynaklı yazılımların abartılması. İlk olarak, açık kaynaklı yazılımları sevdiğimizi ve endüstrinin bu yazılımlar sayesinde büyük adımlar attığını vurgulamak istiyorum. Ancak birçok kişi, AI ve ML ile ilgili açık kaynaklı yazılımların karmaşıklığını anlamıyor. Bugün, AI/ML yetenekleri konusunda büyük bir kıtlık var. Bunu, açık kaynaklı MLOps projelerinin 300’ü aşkın olduğunu ve bu projeleri içselleştirmek için gerekli olan yazılım mühendislerini (ML mühendisleri veya MLOps mühendisleri) bulmanın zorluğunu eklediğinizde, şirketlerin kendi MLOps platformunu içselleştirmeye çalışmasının başarısızlığa mahkum olduğunu görüyoruz.
• Mühendislik ekiplere destek olan altyapının eksikliği. Şirketlerin, mühendislerin başarılı olmasına yardımcı olacak bir ortam oluşturmaları gerekiyor. Mühendislerin doğru araçlara sahip olmaları için yeterli bant genişliği ve bütçe gerekiyor. AI, oldukça yeni bir teknoloji. AI yapan şirketlerin, modelleri hızlı bir şekilde üretime koyabilmek için ne yapmaları gerektiğini her zaman bilmiyorlar, bu nedenle MLOps çok önemli bir araç.

MLOps, altyapı eksikliği sorununu nasıl çözer?

MLOps, altyapı eksikliği sorununu dört şekilde çözer:

1. Özel kod değişiklikleri olmadan: Veri bilimcileri, modellerini iş kullanım durumlarına uyacak şekilde inşa etme esnekliğine sahip olmak isterler, bu nedenle MLOps süreçlerinin kod değişiklikleri gerektirmesi, modellerin bütünlüğünü karmaşık hale getirir.
2. Otomasyon/yazılım: Birçok ekip, modelleri zor kodlama yoluyla yazıyor, bu da çok zaman alıyor. MLOps, bu süreci otomatikleştirerek, çok zaman ve enerji tasarrufu sağlar.
3. Güncellemeleri basitleştirme: AI modelleri, ortamına uyum sağlamak için düzenli olarak değişir. Bazen veri bilimcilerin modelleri sık sık güncellemesi gerekir. MLOps olmadan, bu tekrarlanan güncellemeyi önlemek mümkün değildir.
4. Altta yatan altyapıyı yönetme: Modelleri üretime almak için, AI/ML modellerinin benzersiz özelliklerine sahip olan ağ, depolama ve hesaplama gibi kaynaklara ihtiyaç vardır. MLOps araçları, bu kaynaklara erişme ve bunları gerektiği gibi ölçeklendirme能力ine sahiptir.

Ayrıca, kendi MLOps aracını oluştururken dikkate alınmayan empresa gereksinimleri vardır: rol tabanlı erişim kontrolü (RBAC), entegrasyon ve işbirliği, farklı ML araçları için destek, güvenlik açıklarını giderme ve ana ekip üyelerinin beklenmedik ayrılması.

AI yönetimine ilişkin kişisel görüşünüz nedir?

AI modellerinin düzgün çalışmadığı birçok korkunç hikaye vardır, bazı grupları yanlış etiketlemekten, büyük finansal kayıplara neden olmaya kadar.

AI yönetimine, şirketlerin AI modellerini üretime aldıklarında büyük önem verilmesi gerekiyor. Dediğim gibi, bu, diğer IT veya iş yönetiminden farklı değil. Bugün, şirketlerin bulut veya kendi veri merkezlerinde uygulamalar çalıştırması durumunda, bu uygulamaların düzgün çalıştığından emin olmak için bir dizi aracı vardır.

AI modellerini üretime aldığınızda, iş ve veri bilimcilerine modellerin ne yaptığını gösteren mekanizmalar ve araçlar oluşturmanız gerekir.

Özellikle AI/ML’nin bu nasırlı aşamasında, “kur ve unut” seçeneği yoktur. Başlangıçta, modelin nasıl davrandığını izlemek ve gerekli ayarlamaları yapmak gerekir. Modelin istenilen sınırların dışında davrandığında sizi uyaran doğru izleme yeteneklerine sahip olmak çok önemlidir.

Model risk yönetimi (MRM), model geliştirme ve dağıtımı过程inde yer alan farklı kişileri de dikkate almalıdır. Model bütünlüğünü korumak için hangi erişim kontrolünü yerleştirdiniz? Veya farklı gruplardan kişiler, modellerinizi amaçlandığı kullanım durumları için kullanmalarını nasıl engelleyebilirsiniz? Tüm bu soruları ekiplerin sorması gerekir.

Datron, model risk yönetimine nasıl yardımcı oluyor?

MLOps, hızlı model güncellemeleri ve değişikliklerine izin verir. Örneğin, bir modelin kredi başvurularını yanlış olarak reddettiğini varsayalım, MLOps, modeli geri çekmenize ve yeni bir modeli yeniden sunmanıza olanak tanır, böylece riski basit bir şekilde yönetebilirsiniz.

Modelin, üretim aşamasında, önyargı kayması ve ana metriklere karşı korunmasını sağlar ve iş karar vericilerinin kolayca anlayabileceği bir şekilde derin ve ayrıntılı veri kullanarak bu metriklere ilişkin yüksek düzeyde bir genel bakış sunar.

Datron platformunun AI yönetimi, genel bir izleme yeteneğinden daha advanced bir seviyede, müşteri kullanım durumlarına daha ilgili olan modelin net bir görünümünü sunar.

Datron’un blog gönderisinde, Datatron’un “Güvenilir AI™” sloganını benimsediğinizi açıkladınız. Bu, sizin görüşünüzde ne anlama geliyor?

Bu konsepti oluştururken, ticari uçuşların bugün nasıl güvenilir olduğunu düşündük. AI/ML’yi kullanarak iş zorluklarını çözmek isteyen şirketlerin, AI’yi güvenilir bir şekilde kullanabilmeleri gerekiyor.

“Etik AI”, “sorumlu AI” gibi terimlerin ortaya çıkması, aslında mevcut AI modellerinin beklenenden farklı çalışması ve bu nedenle güvensiz olarak görülmesinden kaynaklanıyor. Şirketler, AI modellerinin önyargılı olmadığından emin olmadıkları için AI’yi kullanmak istemiyorlar, bu nedenle modelleri güvensiz buluyorlar ve Datatron bunu değiştirmeye çalışıyor.

Datron hakkında paylaşmak istediğiniz başka bir şey var mı?

Biz, MLOps oyuncuları arasında, yüksek stresli bir senaryoda, yani Super Bowl’da başarılı bir şekilde çalışan birkaç şirketlerden biriyiz. Domino’s Pizza, AI modellerini rapid bir şekilde operasyonelleştirmek için Datatron ile çalışıyor ve bu modeller daha sonra Super Bowl’da test edildi.

MLOps, gerçekten AI/ML modellerini üretime alırken kaynakları koruyup maliyeti azaltmanın bir yolu. Biz, başarılı AI/ML modelleri için sürdürülebilir bir kaynak ve gelir katalizörü olarak hizmet ediyoruz. Şirketler, nihayet AI ve ML projelerinden geri dönüşümlerini alabilir. Marjlarınız ne olursa olsun, MLOps kullanarak sonuçlar üretebilirsiniz.

Harika röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular Datron‘u ziyaret edebilir.