Yapay zeka temelleri
CodeCarbon ile AI’nın Karbon Ayak İzini Ölçmek ve Azaltmak
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
AI iş yükleri elektrik tüketir ve bu elektriğin sera gazı emisyonları, hesaplamanın nerede ve ne zaman çalıştığına bağlıdır. CodeCarbon, iş yükü enerji tahminlerini elektrik karbon yoğunluğu ile birleştirerek operasyonel emisyonları tahmin eden açık kaynaklı bir araçtır.
Bir tahmin, sınırı ve belirsizliği açık olduğunda faydalıdır. Bu tahmin, donanım üretimini, veri merkezi inşasını, ağ iletişimini, depolamayı ya da bir modelin dağıtımının sonraki etkilerini otomatik olarak içermez.
Temel Çıkarımlar
- Enerji kullanımı ve karbon emisyonları ilişkili ancak aynı şey değildir; şebeke karbon yoğunluğu bölge ve zamana göre değişir.
- CodeCarbon, CPU, GPU ve bellek enerjisini tahmin eder, ardından konuma bağlı emisyon faktörlerini uygular.
- Donanım kullanım oranı, çalışma süresi, veri merkezi ek yükü ve ölçüm kaynağı doğruluğu etkiler.
- Pratik amaç, yanlış bir kesinlikten kaçınarak karşılaştırılabilir raporlama ve azaltmadır.
Enerji, güç ve karbon yoğunluğu
Güç, enerji kullanımının hızıdır ve genellikle watt cinsinden ölçülür. Enerji zaman içinde birikir ve genellikle kilovat‑saat (kWh) olarak ifade edilir. Operasyonel karbondioksit eşdeğeri, enerji gram CO₂e/kWh gibi bir emisyon faktörüyle çarpılarak tahmin edilir.
Aynı iş, daha temiz bir şebekede ya da daha düşük karbonlu bir zamanda çalıştırıldığında farklı emisyonlara sahip olabilir. Daha hızlı bir hızlandırıcı, anlık olarak daha fazla güç tüketebilir ancak işi çok daha erken bitirirse toplam enerji tüketimi daha az olur.
CodeCarbon ne ölçer
CodeCarbon, hesaplama bileşenlerinin enerji tüketimini gözlemler veya tahmin eder ve süresi, konumu gibi meta verileri kaydeder. Donanım doğrudan güç telemetrisi sağladığında tahminler daha kesin olur; aksi takdirde araç donanım modelleri ve kullanım varsayımları kullanır.
Çevrimiçi mod, konuma duyarlı karbon yoğunluğunu kullanabilirken, çevrim dışı ayarlar yapılandırılmış faktörlere dayanır. Çıktı, yöntemi, yazılım sürümü ve yapılandırmasıyla birlikte deneyde saklanması gereken bir tahmindir.
Raporlama sınırını seçin
Çalışma düzeyindeki bir sınır, tek bir eğitim işini kapsayabilir. Proje sınırı, hiperparametre aramasını, başarısız çalışmaları, ön işleme ve çıkarımı içerebilir. Hizmet sınırı ise ağ iletişimini, depolamayı ve sürekli dağıtımı kapsayabilir.
Veri merkezi enerji kullanım etkinliği, BT ekipmanının ötesindeki tesis ek yükünü hesaba katar. Üretim ve inşaat kaynaklı gömülü emisyonlar, genellikle bir çalışma zamanı izleyicisinin sağlamadığı yaşam döngüsü verilerini gerektirir. Raporlar, karşılaştırılamayan toplamları karıştırmak yerine dışlamaları belirtmelidir.
Dengelemeden önce azaltın
İş yükünün değerinden başlayın: gereksiz deneyleri kaldırın, erken durdurma kullanın, kontrol noktalarını yeniden kullanın ve verimli temel hatları seçin. Kullanım oranını artırın, uygun şekilde toplu işleyin ve model boyutunu göreve uygun hale getirin. Transfer öğrenme, sıfırdan eğitmekten kaçınabilir.
Yasal ve operasyonel olarak mümkün olduğunda, daha düşük karbonlu bölge ve zamanlarda esnek çalışma planlayın. Modelleri sıkıştırın ve verimli sunum donanımı seçin; kenar AI (edge AI) veri transferini azaltabilir ancak kullanılmayan donanımı çoğaltabilir, bu yüzden tüm sistemi ölçün.
Belirsizliği raporlayın ve adil karşılaştırın
Donanım, konum, çalışma süresi, enerji, emisyon faktörü, çalışma sayısı ve değerin ölçülüp ölçülmediğini yayınlayın. Keşif amaçlı hesaplamayı son eğitim çalışmasından ayırın. Varsayımların kesinliği belirlediği durumlarda çok fazla ondalık basamak raporlamaktan kaçının.
Sistemleri aynı görev kalitesi ve sınırda karşılaştırın. Görevi başaramayan düşük enerji tüketimli bir model verimli değildir, aynı zamanda küçük bir doğruluk artışı büyük bir kaynak artışını haklı çıkarmaz. Karbon, maliyet, su, donanım yaşam döngüsü ve sosyal fayda gibi diğer etkilerle birlikte bir etkidir.
CodeCarbon neyi tahmin eder
CodeCarbon, bir hesaplamayla ilişkili enerji tüketimini ve karbon emisyonlarını tahmin eder. Ortam ve mevcut telemetrinin durumuna bağlı olarak CPU, GPU, RAM veya sistem gücünü okuyabilir, enerjiyi zaman içinde bütünleştirir ve elektrik bölgesi için bir karbon yoğunluğu tahminiyle çarpar. Sonuçlar, donanım kapsamı, örnekleme aralığı, süreç ataması, güç modelleri, konum ve şebeke verileriyle şekillenen tahminlerdir. Bu tahminler birimler, sürüm, metodoloji ve belirsizlik içermeli, kesin fiziksel ölçümler gibi raporlanmamalıdır.
Operasyonel emisyonlar, eğitim ve çıkarım sırasında kullanılan elektrikten gelir; gömülü emisyonlar ise donanımın üretimi, taşınması ve bertarafından kaynaklanır ve genellikle bir çalışma zamanı izleyicisinin kapsamı dışındadır. Paylaşımlı sunucular tahsisatı karmaşıklaştırır, bulut örnekleri ise sınırlı telemetri sağlayabilir. Ortalama şebeke yoğunluğu, marjinal yoğunluktan farklıdır ve zamana göre değişir. Yenilenebilir sözleşmeler ve denkleştirmeler muhasebe araçlarıdır, bir iş yükünün sıfır emisyonlu olduğunu kanıtlamaz. Çalışmaları veya sağlayıcıları karşılaştırmadan önce sınırı net bir şekilde belirtin.
Anlamlı bir ölçüm deneyi tasarlamak
Görevi, modeli, veriyi, donanımı, bölgeyi, süresi, kullanım oranını, enerjiyi, karbon tahminini, kaliteyi ve başarılı çıktı sayısını izleyin. Isınma ve önbellek etkileri kısa çalışmaları çarpıtabilir; bu yüzden kontrollü yük altında ölçümleri tekrarlayın. Modelleri tek bir eğitim dönemi veya token sayısı yerine eşit kalite ve hizmet hedefleriyle karşılaştırın. Veri hazırlama, hiperparametre araması, başarısız deneyler, boşta kalan kaynaklar ve tekrar eden çıkarımları, eğer önemliyse dahil edin. Daha küçük bir eğitim ayak izi, yüksek hacimli hizmet tarafından boğulabilir.
Aracı, mühendislik kollarını bulmak için kullanın: gereksiz çalışmaları azaltın, erken durdurma kullanın, hızlandırıcıları doğru boyutlandırın, kullanım oranını ve toplu işlemeyi iyileştirin, verimli modeller seçin, kuantize veya distil edin, sonuçları önbelleğe alın, daha düşük karbonlu dönemlerde veya bölgelerde esnek çalışma planlayın ve boşta kalan kaynakları kaldırın. Her optimizasyon, gereken doğruluk, gecikme, güvenlik ve güvenilirliği korumalıdır. Veri transferi veya bölgesel kısıtlamalar göz önüne alınmadan hesaplamayı taşımak, etkiyi azaltmak yerine kaydırabilir.
Raporlama ve yönetişim
Tahminle birlikte metodolojiyi, yazılım sürümünü, donanımı, coğrafi varsayımı, kalite metriğini ve belirsizliği yayınlayın. Farklı sınırlar kullanan kuruluşları karşılaştırmaktan kaçının. Bütçeler belirleyin ve büyük deneyleri çalışmadan önce gözden geçirin, ancak ekipleri ölçülen ortamların dışındaki hesaplamaları gizlemek için ödüllendirmeyin. Deney meta verilerini güvence altına alın ve özel istemleri ya da verileri kaydetmekten kaçının. CodeCarbon, çevresel maliyeti disiplinli bir yöntem içinde görünür ve karşılaştırılabilir kılar; tam bir yaşam döngüsü değerlendirmesi sağlayamaz ve bağımsız olarak doğrulanmış enerji ve karbon muhasebesinin yerini alamaz.
Uygulamalı örnek: iki model eğitim çalışmasını karşılaştırma
Bir ekip, aynı görüntü modelini iki farklı hızlandırıcı türünde eğitir ve CodeCarbon’ı aynı veri, kalite hedefi, toplu iş mantığı ve durdurma kuralı ile kullanır. Araç sürümü, donanım, bölge, örnekleme, kullanım oranı, süre, enerji, karbon yoğunluğu kaynağı ve belirsizlik kaydedilir. Karşılaştırma, başarısız denemeleri ve ön işleme adımlarını içerirken, gömülü donanım emisyonları açıkça çalışma zamanı tahmininin dışındadır. Sonuçlar, kaliteye uygun eğitim çalışması başına normalize edilir.
Daha verimli yapılandırma, ardından çıkarım gecikmesi, güvenilirlik ve sonraki doğruluk açısından test edilir. Mühendisler boş zaman ve hiperparametre çalıştırmalarını azaltır, toplu işleme iyileştirir ve düzenlenmiş verileri taşımadan şebeke yoğunluğunun daha düşük olduğu zamanlarda esnek çalışmayı planlar. Bir rapor varsayımları yayınlar ve yenilenebilir sözleşmelerden sıfır etki iddiasından kaçınır. Tahmin, bir bütçe ve tasarım sinyali haline gelir, pazarlama rozeti değildir. Tekrarlanan ölçüm, optimizasyonun tek bir görünür çalışmadan ziyade toplam yaşam döngüsü iş yükünü azaltıp azaltmadığını kontrol eder.
Uygulama kanıtları ve operasyonel hazırlık
Bir üretim kararı, sadece başarılı bir gösterimden daha fazlasını gerektirir. Hedef kullanıcıları, işletim ortamını, girdileri, çıktıları, bağımlılıkları, sorumluyu ve her önemli hatanın sonucunu tanımlayın. Ayarlamadan önce yeniden üretilebilir bir temel ve sürümlenmiş bir değerlendirme seti oluşturun. Normal durumları, sınır koşullarını, hatalı ya da eksik girdileri, dağılım kaymasını, bağımlılık kesintisini, yanlış kullanımı ve en çok hizmet dışı kalabilecek grup ya da ortamları test edin. Görev kalitesini kalibrasyon veya belirsizlik, gecikme, verim, kaynak maliyeti, erişilebilirlik, gizlilik ve güvenlik ile birlikte ölçün. Bağımsız bir inceleyicinin sonucu yeniden üretebilmesi ve kanıtı çekici bir prototipten ayırabilmesi için her dönüşümü ve eşiği kaydedin.
Başlamadan önce, sürüm, istisna, değişiklik, geri alma ve emeklilik için yetki atayın. Aşamalı bir dağıtım kullanın, güvenli bir geri dönüşü koruyun ve kasıtlı olarak eklenen hatalarla izlemeyi doğrulayın. Operasyonel telemetri, gereksiz hassas veri toplama olmadan giriş kalitesini, çıktı davranışını, model ya da kural sürümünü, bağımlılık sağlığını, insan müdahalelerini ve doğrulanmış sonuçları ortaya koymalıdır. Uyarı eşiklerini ve bir yanıt sorumlusunu tanımlayın, ardından dağıtımdan sonra gerçek dünya kanıtlarını gözden geçirin; çevrim dışı performansın devam edeceğini varsaymayın. Veri kaynakları, kullanıcılar, modeller, satıcılar, politikalar, donanım veya hedefler değiştiğinde yeniden değerlendirin. Bakımı yapılan bir sistem, belgelenmiş kurtarma, olay öğrenimi, silme ve saklama prosedürleri ve ne zaman devre dışı bırakılması veya değiştirilmesi gerektiğine dair net bir noktaya da ihtiyaç duyar.
Sıkça Sorulan Sorular
CodeCarbon, bir bilgisayardan gelen CO₂’yi doğrudan ölçer mi?
Hayır. Emisyonları, enerji kullanımı ve elektrik karbon yoğunluğuna dayanarak tahmin eder; bilgisayarlar şebekenin sera gazlarını doğrudan yaymaz.
Bulut bilişim her zaman daha düşük karbonlu mu?
Hayır. Sonuçlar, donanım verimliliği, kullanım oranı, veri merkezi ek yükü, şebeke karışımı, bölge, zaman ve veri hareketine bağlıdır.
Temel Referanslar
