Federasyon Öğrenimi Nedir?

Federasyon Öğrenimi Nedir?

Geleneksel AI model eğitim yöntemi, modellerin veri üzerinde eğitildiği sunucuların kurulmasını içerir. Ancak son yıllarda ortaya çıkan alternatif bir model oluşturma yöntemi, federasyon öğrenimi olarak adlandırılmaktadır. Federasyon öğrenimi, makine öğrenimi modellerini veri kaynağına getirir, veri değil, modeli getirir. Federasyon öğrenimi, çeşitli hesaplama cihazlarını bir merkezi sistemde birleştirir ve öğrenme ağındaki bireysel cihazların modeli eğitmelerine yardımcı olur.

Federasyon öğrenimi sisteminde, öğrenme ağındaki çeşitli cihazlar, her biri cihazda bir model kopyasına sahiptir. Farklı cihazlar/istemciler, kendi yerel verilerini kullanarak modelin kendi kopyasını eğittiği sonra, bireysel modellerin parametreleri/ağırlıkları, parametreleri birleştiren ve küresel modeli güncelleyen bir ana cihaza veya sunucuya gönderilir. Bu eğitim süreci, istenen doğruluk düzeyine ulaşılana kadar tekrarlanabilir. Kısacası, federasyon öğreniminin arkasındaki fikir, hiçbir eğitim verisinin cihazlar veya taraflar arasında iletilmemesidir, yalnızca modelle ilgili güncellemeler iletilir.

Federasyon öğrenimi, üç farklı adımda veya aşama olarak bölünebilir. Federasyon öğrenimi genellikle, merkezi bir sunucuda eğitilen ve temel olarak kullanılan bir generic model ile başlar. İlk adımda, bu generic model, uygulamanın istemcilerine gönderilir. Bu yerel kopyalar, istemci sistemleri tarafından üretilen verilerin üzerinde eğitilir ve performanslarını iyileştirir.

İkinci adımda, istemciler, öğrenilen model parametrelerini merkezi sunucuya gönderir. Bu, periyodik olarak, belirli bir zaman diliminde gerçekleşir.

Üçüncü adımda, sunucu, aldığı parametreleri birleştirdiğinde, merkezi model güncellenir ve istemcilerle tekrar paylaşılmış olur. Tüm süreç sonra tekrar edilir.

Modelin bir kopyasının çeşitli cihazlarda bulunmasının avantajı, ağ gecikmelerinin azaltılması veya ortadan kaldırılmasıdır. Sunucuya veri paylaşma maliyeti de ortadan kalkar. Federasyon öğrenimi yöntemlerinin diğer avantajları, federasyon öğrenimi modellerinin gizlilik koruması ve model tepkilerinin cihaz kullanıcıları için kişiselleştirilmesidır.

Federasyon öğrenimi modellerinin örnekleri, öneri motorları, sahtecilik tespit modelleri ve tıbbi modellerdir. Medya öneri motorları, Netflix (NFLX ) veya Amazon (AMZN ) tarafından kullanılanlar gibi, binlerce kullanıcıdan toplanan verilerin üzerinde eğitilebilir. İstemci cihazlar, kendi ayrı modellerini eğitecek ve merkezi model, bireysel veri noktalarının benzersiz olmasına rağmen, daha iyi tahminler yapmayı öğrenecektir. Benzer şekilde, bankalar tarafından kullanılan sahtecilik tespit modelleri, birçok farklı cihazdan gelen hoạt động kalıpları üzerinde eğitilebilir ve birkaç banka, ortak bir modeli eğitmek için işbirliği yapabilir. Tıbbi bir federasyon öğrenimi modeli için, birçok hastane, tıbbi taramalarda potansiyel tümörleri tanımlayabilen ortak bir modeli eğitmek için işbirliği yapabilir.

Federasyon Öğrenimi Türleri

Federasyon öğrenimi şemaları genellikle iki farklı sınıftan birine girer: çoklu parti sistemleri ve tek parti sistemleri. Tek parti federasyon öğrenimi sistemleri, “tek parti” olarak adlandırılır çünkü yalnızca bir varlık, öğrenme ağındaki tüm istemci cihazlarındaki veri akışını ve yakalamasını denetler. İstemci cihazlarındaki modeller, aynı yapıdaki verilerin üzerinde eğitilir, ancak veri noktaları genellikle çeşitli kullanıcılar ve cihazlar için benzersizdir.

Tek parti sistemlerine kıyasla, çoklu parti sistemleri iki veya daha fazla varlık tarafından yönetilir. Bu varlıklar, paylaşılan bir modeli eğitmek için çeşitli cihazlar ve eriştikleri veri kümelerini kullanmak için işbirliği yapar. Parametreler ve veri yapıları, farklı varlıklara ait cihazlar için genellikle benzerdir, ancak aynı olmak zorunda değildir. Bunun yerine, model girişlerini standartlaştırmak için ön işleme yapılır. Parametreleri birleştirmek için tarafsız bir varlık kullanılabilir.

Federasyon Öğrenimi Çerçeveleri

Federasyon öğrenimi için popüler çerçeveler arasında Tensorflow Federated, Federated AI Technology Enabler (FATE) ve PySyft bulunur. PySyft, PyTorch derin öğrenme kütüphanesine dayanan bir açık kaynaklı federasyon öğrenimi kütüphanesidir. PySyft, sunucular ve ajanlar arasında şifreli hesaplamayla güvenli, özel derin öğrenimi sağlamak amacıyla tasarlanmıştır. Tensorflow Federated ise Google’un Tensorflow platformuna dayanan başka bir açık kaynaklı çerçevedir. Kullanıcıların kendi algoritmalarını oluşturmasına olanak tanımanın yanı sıra, Tensorflow Federated, dahil edilen federasyon öğrenimi algoritmalarını kendi modelleri ve verileri üzerinde simüle etmelerine de olanak tanır. Son olarak, FATE de Webank AI tarafından tasarlanan bir açık kaynaklı çerçevedir ve Federated AI ekosistemine güvenli bir hesaplama çerçevesi sağlamak amacıyla tasarlanmıştır.

Federasyon Öğrenimi Zorlukları

Federasyon öğrenimi hala oldukça yeni bir alandır, bu nedenle birkaç zorluk vẫn çözülmesi gereken konulardır. Kenar cihazlarının eğitim yetenekleri, veri etiketleme ve standartlaştırma, model yakınsaklık zamanı, federasyon öğrenimi yaklaşımları için potansiyel engellerdir. (GOOGL )

Yerel eğitim için kenar cihazlarının hesaplama yetenekleri, federasyon öğrenimi yaklaşımlarının tasarlanması sırasında dikkate alınmalıdır. Çoğu akıllı telefon, tablet ve diğer IoT uyumlu cihazlar, makine öğrenimi modellerini eğitmek için yeterli güce sahiptir, ancak bu genellikle cihazın performansını etkiler. Model doğruluğu ve cihaz performansı arasında bir denge kurulması gerekir.

Verileri etiketleme ve standartlaştırma, federasyon öğrenimi sistemlerinin aşması gereken bir başka zorluktur. Denetimli öğrenme modelleri, tutarlı bir şekilde etiketlenmiş eğitim verilerine ihtiyaç duyar, bu da sistemdeki birçok istemci cihazı arasında zor olabilir. Bu nedenle, olaylara ve kullanıcı eylemlerine dayalı olarak otomatik olarak etiketler uygulayan model veri boru hatları geliştirmek önemlidir.

Model yakınsaklık zamanı, federasyon öğrenimi için bir başka zorluktur, çünkü federasyon öğrenimi modelleri genellikle yerel olarak eğitilen modellere göre daha uzun sürede yakınsar. Eğitimde yer alan cihazların sayısı, model eğitimi sürecine belirsizlik katar, çünkü bağlantı sorunları, düzensiz güncellemeler ve farklı uygulama kullanım zamanları, yakınsaklık süresini uzatabilir ve güvenilirliği azaltabilir. Bu nedenle, federasyon öğrenimi çözümleri, genellikle merkezi olarak bir modeli eğitmek yerine anlamlı avantajlar sunarlar, Örneğin, veri kümeleri çok büyük ve dağıtılmış olduğunda.

Foto: Jeromemetronome via Wikimedia Commons, CC By S.A. 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)