Gerçek Dünyada AI Dağıtımlarını Ölçeklendirerek Etkinleştirmek

Brad King, field CTO, Scality

AI/ML ve büyük veri araçları ortak bir noktaya sahiptir – veri gerektirir ve çok fazla veri gerektirir. Geleneksel görüş daha fazlasının daha iyi olduğunu söyler. Analistler, küresel veri oluşturmanın 2025 yılına kadar 180 zettabayta ulaşacağını öngörüyor ve 2020 yılında oluşturulan ve kopyalanan veri miktarı 64.2 zettabayt ile yeni bir yüksekliğe ulaştı.

Veriler son derece değerli – genellikle yerini doldurulamaz ve bazen bir kez veya bir ömür boyu olayları temsil ediyor. Bu veriler güvenli bir şekilde depolanmalıdır; ve yalnızca yeni oluşturulan verilerin küçük bir yüzdesinin saklandığı tahmin edilse de depolama kapasitesi talebi devam etmektedir. Aslında, kurulu depolama kapasitesi 2020 ile 2025 arasında %19.2’lik bir bileşik yıllık büyüme oranında büyüyecek, Statista araştırmacılarına göre.

Daha fazla veri oluşturuluyor – özellikle AI/ML iş yükleri tarafından – organizasyonlar daha fazla depolamaya ihtiyaç duyuyor, ancak tüm depolama çözümleri bu yoğun ve büyük iş yüklerini yönetemez. Gereken şey depolama için yeni bir yaklaşım. Üç kullanım örneği açısından bu zorlukların nasıl aşıldığını görelim.

Seyahat endüstrisi

Birçoklarımız daha than bir yıl süren kapanmalar之后 seyahat etmeye yeniden alışırken, seyahat endüstrisi büyük bir şekilde pre-pandemi zamanlarına dönmeye çalışıyor. Ve bu, verilerin – özellikle ilgili uygulama ve kullanımı – önemini daha da artırıyor.

Imagine what you could do with the knowledge of where the majority of the world’s airline travelers are going to travel next or where they’re going tomorrow. For a travel agency, for instance, that would be huge.

Ancak bu seyahat organizasyonları o kadar çok veri ile uğraşıyor ki, neyin anlamlı olduğunu bulmak için bunları ayırmak bunaltıcı bir prospektüs. Her gün bir petabayt veri üretiliyor ve bazı veriler Kayak gibi siteler tarafından kopyalanıyor. Bu veriler zaman duyarlı ve seyahat şirketleri hangi verilerin anlamlı olduğunu nhanh chóng keşfetmeleri gerekiyor. Bu ölçekte daha etkili bir şekilde yönetebilecekleri bir aracıya ihtiyaçları var.

Otomobil endüstrisi

Başka bir örnek otomobil endüstrisinden geliyor, ki bu en çok konuşulan kullanım örneklerinden biri. Endüstri uzun süredir yardımcı araçlar gibi şerit koruyucular, çarpışma önleyici gibi araçlar üzerinde çalışıyor. Tüm bu sensörler büyük miktarda veri getiriyor. Ve elbette, kendiliğinden sürüş algoritmalarını geliştiriyor, test ediyor ve doğruluyorlar.

Endüstriye ihtiyaç duyulan şey, depolanan bu verilerin anlamını daha iyi şekilde çıkarmak için daha iyi bir yol. Böylece, bir şeyler yanlış gittiğinde olayları analiz edebilsinler, test vakaları olarak sensör çıkışlarını kürate edebilsinler, algoritmaları sensör verilerine karşı test edebilsinler ve daha fazlasını yapabilsinler. Regresyonlardan kaçınmak için QA testlerine ihtiyaçları var ve başarısız olan durumları belgelemeleri gerekiyor.

Dijital patoloji

AI/ML için başka bir ilgi çekici kullanım örneği de dijital patoloji, ki bu da veri bolluğundan ve verilerin daha iyi kullanılmasından mustarip. Diğer örneklerde olduğu gibi, gerçekten ihtiyaç duyulan şey, bu verilerin daha iyi kullanılabilmesi için – Örneğin, doku örneklerinde otomatik olarak patolojileri tespit edebilmek, uzaktan tanı yapabilmek ve benzeri şeyler yapmak için.

Ancak depolama bugün kullanımı sınırlıyor. Faydalı bir çözünürlüğe sahip görüntüler ekonomik olarak depolanamayacak kadar büyük. Ancak hızlı nesne depolama yeni yetenekler sağlayacak – Örneğin, ana bir eğitim kaynağı olarak kullanılabilen görüntü bankaları ve çok çözünürlüklü görüntüleri bir nesne deposunda saklamak ve almak için uzay dolduran eğriler. Ayrıca, arama ve anlam çıkarmayı kolaylaştıran esnek ve genişletilebilir meta veri etiketlemesini sağlar.

AI iş yükleri yeni bir yaklaşım gerektirir

Yukarıdaki üç örnekte gördüğümüz gibi, AI/ML iş yükleri ile ilgili devasa miktarda veriyi toplamak ve düzenlemek kritik öneme sahiptir. Veri kümeleri genellikle multi-petabayt ölçeğine ulaşıyor ve altyapıyı doygunluğa ulaştıracak performans talepleri ile birlikte. Bu büyük ölçekli eğitim ve test veri kümeleri ile başa çıkmak için, depolama engellerini (gecikme ve/veya bant genişliği sorunları) ve kapasite sınırlarını aşmak anahtar unsurlardır.

AI/ML/DL iş yükleri, ham I/O performansı ve kapasite ölçekleme yeteneği ile birlikte veri akışını boru hattı boyunca sürdürebilen bir depolama altyapısına ihtiyaç duyar. Depolama altyapısı, AI/ML/DL boru hattının tüm aşamalarındaki giderek daha talepkar gereksinimlerle birlikte ilerlemelidir. Çözüm, hız ve sınırsız ölçek için özel olarak tasarlanmış bir depolama altyapısıdır.

Değeri çıkarmak

Haftada bir kez, AI ve ML’nin iş süreçlerini ve günlük hayatları değiştirme potansiyeli hakkında hikayeler anlatılıyor. Bu teknolojilerin faydalarını gösteren birçok kullanım örneği var. Ancak AI’nin bugün kurumsal gerçekliği, devasa veri kümeleri ve bu büyük iş yüklerini yönetemeyen depolama çözümleri. Otomobil, sağlık ve daha birçok endüstrideki yenilikler, depolama sorunu çözülmeden ilerleyemez. Hızlı nesne depolama, büyük veri sorununu aşar ve organizasyonlar bu verilerden değer çıkarmak için ilerleyebilir.