Yapay zeka modelleri ve platformları
ChatGPT Gibi Büyük Dil Modellerini Yarı Maliyetle Oluşturabilir misiniz?
Öne çıkan noktalarLiGO, daha küçük önceden eğitilmiş modellerden daha büyük modeller geliştirerek LLM…
Daha fazla göster
- LiGO, daha küçük önceden eğitilmiş modellerden daha büyük modeller geliştirerek LLM eğitim maliyetini yarıya indiriyor.
- GPT-3'ün eğitimi 5 milyon dolara mal oldu ve 14,8 gün boyunca 10.000 GPU gerektirdi.
- OpenAI, eğitim maliyetlerinin ötesinde ChatGPT sorgularını çalıştırmak için günlük 700.000 dolar harcıyor.
Büyük Dil Modelleri (LLM’ler) olan GPT-3 ve ChatGPT, doğal dil anlama ve içerik oluşturma yetenekleri sunarak AI alanında devrim yarattı. Ancak geliştirilmeleri büyük bir maliyetle geliyor ve erişilebilirliği ve daha fazla araştırmayı sınırlıyor. Araştırmacılar, GPT-3’ü eğitmek için OpenAI’ye yaklaşık $5 milyon maliyetinin olduğunu tahmin ediyor. Buna rağmen, Microsoft (MSFT ) potansiyeli tanıdı ve 2019’da $1 milyar ve 2023’te $10 milyar OpenAI’nin GPT-3 ve ChatGPT girişimine yatırım yaptı.
LLM’ler, NLP uygulamaları için geniş metin verilerine dayalı olarak eğitilen makine öğrenimi modelleridir. Transformer mimarisi temelinde oluşturulurlar ve NLP görevleri gibi soru-cevap, makine çevirisi, duygu analizi vb. için dikkat mekanizmaları kullanır.
Soru ortaya çıkıyor: Bu büyük modellerin verimliliği artırılırken aynı zamanda hesaplama maliyeti ve eğitim süresi azaltılabilir mi?
Progressive Neural Networks, Network Morphism, intra-layer model parallelism, knowledge inheritance gibi çeşitli yaklaşımlar, sinir ağları eğitiminin hesaplama maliyetini azaltmak için geliştirildi. Ele alacağımız yeni LiGO (Linear Growth Operator) yaklaşımı yeni bir ölçüt belirliyor. LLM’leri eğitmenin hesaplama maliyetini yarıya indiriyor.
Bu tekniği ele almadan önce, LLM’leri oluşturmanın yüksek maliyetine yol açan etkenleri incelemek önemlidir.
Büyük Dil Modellerini Oluşturmanın Maliyeti
LLM’lerin geliştirilmesinde üç büyük maliyet vardır:
1. Hesaplama Kaynakları
Büyük dil modellerini büyük veri kümeleri üzerinde eğitmek için büyük hesaplama kaynaklarına ihtiyaç vardır. Milyarlarca parametre işlenmeli ve büyük metin verilerinden karmaşık kalıplar öğrenilmelidir.
Özel donanım yatırımı, örneğin Graphics Processing Units (GPU’lar) ve Tensor Processing Units (TPU’lar), büyük dil modellerini oluşturmak, eğitmek ve en ileri düzeyde performans elde etmek için gereklidir.
Örneğin, GPT-3, 10.000 kurumsal düzeyde GPU (H100 ve A100) ve 285.000 CPU çekirdeğine sahip bir süperbilgisayarda eğitildi.
2. Enerji Tüketimi
Büyük dil modellerini oluşturmak için gereken yoğun hesaplama kaynakları, önemli enerji tüketimine neden olur. Örneğin, 175 milyar parametreli GPT-3’ü eğitmek, 14,8 gün sürdü ve 10.000 V100 GPU ile 3,55 milyon GPU saati eşdeğeriydi. Bu düzeydeki enerji tüketiminin önemli çevresel etkileri de vardır.
3. Veri Depolama ve Yönetimi
Büyük dil modelleri, büyük veri setlerine dayalı olarak eğitilir. Örneğin, GPT-3, Common Crawl, WebText2, Books1, Books2 ve Wikipedia gibi çeşitli kaynaklardan oluşan büyük bir metin verisi derlemi üzerinde eğitildi. Bu veri setlerini toplamak, düzenlemek ve depolamak için önemli altyapı yatırımı gerekir.
Ayrıca, bulut depolama, veri ön işleme ve sürüm kontrolü için insan uzmanlığına ihtiyaç vardır. Ayrıca, veri stratejisinin GDPR gibi düzenlemelere uyumlu olmasını sağlamak da maliyeti artırır.
LiGO Tekniği: Büyük Dil Modellerini Oluşturmanın Maliyetini Yarısına İndir
LiGO (Linear Growth Operator), MIT’de geliştirilen bir teknik olup, LLM’lerin eğitiminin hesaplama maliyetini %50 azaltıyor. Bu yöntem, daha büyük modellerin ağırlıklarını önceden eğitilmiş daha küçük modellerin ağırlıklarından başlatmayı içerir ve sinir ağlarının verimli bir şekilde ölçeklenmesini sağlar.

Makaledeki Görüntü: Önceden Eğitilmiş Modelleri Etkin Transformer Eğitimi için Büyütmeyi Öğrenme
Yoon Kim, makalenin kıdemli yazarı, diyor ki:
“ChatGPT’nin çalıştığı varsayılan ölçekteki modelleri eğitmenin, tek bir eğitim çalıştırması için bile milyonlarca dolara mal olabileceği tahmin ediliyor. Daha kısa sürede ve daha az parayla yine iyi modeller elde edebilmek için bu eğitim yöntemlerinin verimliliğini artırabilir miyiz? Bunu, daha önce eğitilmiş daha küçük dil modellerinden yararlanarak yapmayı öneriyoruz.”
Bu yöntem, daha büyük modellerin performans avantajlarını korurken, hesaplama maliyetini ve eğitim süresini büyük bir modeli sıfırdan eğitmeye kıyasla azaltıyor. LiGO, veri odaklı bir lineer büyüme operatörü kullanıyor ve optimum performans için derinlik ve genişlik operatörlerini birleştiriyor.
Makale, çeşitli veri setleri kullanarak metin tabanlı deneyler gerçekleştirdi. İngilizce Wikipedia korpusu, BERT ve RoBERTa modellerini eğitmek için ve C4 veri seti, GPT2’yi eğitmek için kullanıldı.
LiGO tekniği, BERT-Small’u BERT-Base’e, BERT-Base’i BERT-Large’e, RoBERTaSmall’u RoBERTa-Base’e, GPT2-Base’i GPT2-Medium’a ve CaiT-XS’i CaiT-S’ye büyütme deneylerini içeriyordu.
Araştırmacılar, yaklaşımını, sıfırdan eğitim, progressive eğitim, bert2BERT, ve KI gibi diğer bazlarla karşılaştırdı.
LiGO tekniği, BERT-Base’i sıfırdan eğitmeye kıyasla BERT-Small modelini yeniden kullanarak FLOPs’ta (saniye başına kayan nokta işlemleri) %44,7 ve gerçek geçen sürede %40,7 tasarruf sağladı. LiGO büyüme operatörü, StackBERT, MSLT, bert2BERT ve KI’yi verimli eğitimde geride bıraktı.
LiGO Gibi bir Eğitim Optimizasyon Tekniğinin Kullanılmasının Avantajları
LiGO, çeşitli avantajlara sahip bir verimli sinir ağı eğitimi yöntemidir:
1. Daha Hızlı Eğitim
LiGO tekniğinin ana avantajı, daha hızlı eğitimdir. LLM’leri sürenin yarısında eğitiyor ve üretkenliği artırıyor, maliyetleri azaltıyor.
2. Kaynak Verimliliği
LiGO, gerçek geçen süreyi ve FLOPs’ı en aza indirerek büyük transformer modellerinin eğitimi için daha uygun maliyetli ve çevre dostu bir yaklaşım sunuyor.
3. Genelleme
LiGO tekniği, hem dil hem de görme transformer’lerinin performansını iyileştirdi, bu da farklı görevlere uygulanabilen, genellenebilir bir teknik olduğunu gösteriyor.
Ticari AI ürünleri oluşturmak, AI sistemleriyle ilgili maliyetlerin sadece bir yönü. Diğer önemli bir maliyet bileşeni, günlük operasyonlardan geliyor. Örneğin, OpenAI’ye ChatGPT ile sorguları yanıtlamak için günlük $700,000 maliyeti oluyor. Araştırmacıların LLM’lerin eğitimini daha uygun maliyetli, çalışma zamanında ise daha erişilebilir kılan yaklaşımları araştırmaya devam etmesi bekleniyor.
Daha fazla AI ile ilgili içerik için, unite.ai‘yi ziyaret edin.












