Microsoft'un Orca-2 Yapay Zeka Modeli Neden Sürdürülebilir Yapay Zekada Önemli Bir Adıma İşaret Ediyor?

Yapay zekanın son on yılda gerçekleştirdiği, stratejik oyunlarda insan şampiyonları yenmek de dahil olmak üzere kayda değer ilerlemelere rağmen Satranç ve GO ve proteinlerin 3 boyutlu yapısını tahmin etmekyaygın olarak benimsenmesi, büyük dil modelleri (LLM'ler) paradigma değişikliğine işaret ediyor. İnsan-bilgisayar etkileşimlerini dönüştürmeye hazır olan bu modeller; eğitim, müşteri hizmetleri, bilgi erişimi, yazılım geliştirme, medya ve sağlık hizmetleri dahil olmak üzere çeşitli sektörlerde vazgeçilmez hale geldi. Bu teknolojik adımlar bilimsel atılımların önünü açarken ve endüstriyel büyümeyi körüklerken, gezegen için dikkate değer bir dezavantaj da mevcut.

Yüksek Lisans eğitimi ve kullanım süreci çok büyük miktarda enerji tüketir ve bu da artan karbon ayak izi ve sera gazı emisyonları ile belirgin bir çevresel etkiye neden olur. Massachusetts Amherst Üniversitesi Bilgi ve Bilgisayar Bilimleri Fakültesi'nin yakın zamanda yaptığı bir araştırma, eğitim Yüksek Lisansı'nın (LLM) fazla yayılabileceğini ortaya çıkardı. 626,000 pound karbondioksitBu, kabaca beş arabanın ömür boyu emisyonuna eşdeğerdir. Bir yapay zeka girişimi olan Hugging Face, yılın başında başlatılan büyük bir dil modeli olan BLOOM'un eğitiminin, 25 metrik ton karbondioksit emisyonları. Benzer şekilde, Facebook'un yapay zeka modeli Meena, araba kullanmanın çevresel etkisine eşit miktarda karbon ayak izi biriktiriyor. 240,000 kilometre eğitim süreci boyunca.

LLM'lerin eğitimine rağmen, LLM'ler için hayati önem taşıyan bulut bilişim talebi artık katkı sağlıyor daha fazla emisyon tüm havayolu endüstrisinden daha fazla. Tek bir veri merkezi şu kadar güç tüketebilir: 50,000 evleri. Başka bir çalışma, tek bir büyük dil modelinin eğitiminin daha fazla şey ortaya çıkarabileceğini vurguluyor Beş araba kadar CO2 tüm yaşamları boyunca enerji kullanırlar. Tahminler yapay zeka emisyonlarının şu ana kadar artacağını gösteriyor 300%, 2025Yapay zekanın ilerlemesini çevresel sorumlulukla dengelemenin aciliyetini vurguluyor ve yapay zekayı daha çevre dostu hale getirmeye yönelik girişimleri teşvik ediyor. Yapay zekadaki ilerlemelerin olumsuz çevresel etkilerini ele almak için sürdürülebilir yapay zeka çok önemli bir çalışma alanı olarak ortaya çıkıyor.

Sürdürülebilir Yapay Zeka

Sürdürülebilir yapay zeka, çevresel etkiyi, etik hususları ve uzun vadeli toplumsal faydaları en aza indirmeye odaklanan, yapay zeka sistemlerinin geliştirilmesinde ve uygulanmasında bir paradigma değişikliğini temsil eder. Yaklaşım, enerji açısından verimli, çevreye duyarlı ve insani değerlerle uyumlu akıllı sistemler yaratmayı amaçlıyor. Sürdürülebilir yapay zeka, bilgisayarlar için temiz enerji kullanmaya, daha az güç kullanan akıllı algoritmalara ve adil ve şeffaf kararlar almak için etik yönergeleri izlemeye odaklanır. arasında bir fark olduğunu belirtmek önemlidir. Sürdürülebilirlik ve sürdürülebilir yapay zeka için yapay zeka; ilki, çevresel veya toplumsal sonuçlarını dikkate almadan mevcut süreçleri optimize etmek için yapay zekanın kullanılmasını içerebilirken ikincisi, gezegen üzerinde olumlu ve kalıcı bir etki yaratmak için sürdürülebilirlik ilkelerini tasarımdan dağıtıma kadar yapay zeka gelişiminin her aşamasına aktif bir şekilde entegre eder ve toplum.

Yüksek Lisans'tan Küçük Dil Modellerine (SLM'ler) Doğru

Sürdürülebilir yapay zeka arayışında Microsoft, Büyük Dil Modellerinin (LLM'ler) yetenekleriyle uyumlu hale getirmek için Küçük Dil Modelleri (SLM'ler) geliştirmeye çalışıyor. Bu çaba kapsamında yakın zamanda tanıtıyorlar Orca-2gibi mantık yürütmek için tasarlandı GPT 4. 1 milyar parametreye sahip selefi Orca-13'den farklı olarak Orca-2, iki temel teknik kullanılarak 7 milyar parametre içeriyor.

1. Talimat Ayarlama: Orca-2, örneklerden öğrenerek, içerik kalitesini, sıfır atış yeteneklerini ve çeşitli görevlerde akıl yürütme becerilerini geliştirerek gelişir.
2. Açıklama Ayarlama: Talimat ayarlamasındaki sınırlamaların farkında olan Orca-2, Açıklama Ayarlama'yı sunar. Bu, öğretmen modelleri için ayrıntılı açıklamalar oluşturmayı, akıl yürütme sinyallerini zenginleştirmeyi ve genel anlayışı geliştirmeyi içerir.

Orca-2, LLM'lerin çok daha fazla parametreyle elde ettiğiyle karşılaştırılabilecek düzeyde yüksek verimli muhakeme elde etmek için bu teknikleri kullanır. Ana fikir, ister hızlı bir yanıt vermek ister adım adım düşünmek olsun, modelin bir sorunu çözmenin en iyi yolunu bulmasını sağlamaktır. Microsoft buna “Dikkatli Akıl Yürütme” adını veriyor.

Microsoft, Orca-2'yi eğitmek için FLAN ek açıklamalarını, Orca-1'i ve Orca-2 veri kümesini kullanarak yeni bir eğitim verileri kümesi oluşturur. Kolay sorularla başlıyorlar, bazı zor soruları ekliyorlar ve ardından konuşan modellerden elde edilen verileri kullanarak konuyu daha da akıllı hale getiriyorlar.

Orca-2, muhakeme, metin tamamlama, temellendirme, doğruluk ve güvenliği kapsayan kapsamlı bir değerlendirmeye tabi tutulur. Sonuçlar, özel eğitim yoluyla SLM muhakemesini geliştirme potansiyelini göstermektedir. sentetik veri. Bazı sınırlamalara rağmen, Orca-2 modelleri muhakeme, kontrol ve güvenlik konularında gelecekteki iyileştirmeler için umut vaat ediyor ve eğitimden sonra modelin iyileştirilmesinde sentetik verilerin stratejik olarak uygulanmasının etkinliğini kanıtlıyor.

Sürdürülebilir Yapay Zeka Yönünde Orca-2'nin Önemi

Orca-2, sürdürülebilir yapay zekaya doğru önemli bir atılımı temsil ediyor ve yalnızca önemli enerji tüketimine sahip daha büyük modellerin yapay zeka yeteneklerini gerçekten geliştirebileceği yönündeki yaygın inanca meydan okuyor. Bu küçük dil modeli, dil modellerinde mükemmelliğe ulaşmanın mutlaka çok büyük veri kümeleri ve kapsamlı bilgi işlem gücü gerektirmediğini öne sürerek alternatif bir bakış açısı sunuyor. Bunun yerine akıllı tasarımın ve etkili entegrasyonun öneminin altını çiziyor.

Bu atılım, yapay zekayı genişletmekten onu nasıl tasarladığımıza odaklanmaya doğru bir odak değişimini savunarak yeni olasılıkların önünü açıyor. Bu, gelişmiş yapay zekayı daha geniş bir kitle için daha erişilebilir hale getirme, inovasyonun kapsayıcı olmasını ve daha geniş bir insan ve kuruluş yelpazesine ulaşmasını sağlama konusunda önemli bir adıma işaret ediyor.

Orca-2, gelecekteki dil modellerinin gelişimini önemli ölçüde etkileme potansiyeline sahiptir. İlgili görevleri iyileştirip iyileştirmediği doğal dil işleme veya çeşitli endüstrilerde daha karmaşık yapay zeka uygulamalarına olanak tanıyan bu küçük modeller, önemli olumlu değişiklikler yaratmaya hazırlanıyor. Dahası, teknolojik ilerlemeyi çevresel sorumluluk taahhüdüyle uyumlu hale getirerek daha sürdürülebilir yapay zeka uygulamalarını teşvik etmede öncü olarak hareket ediyorlar.

The Bottom Line:

Microsoft'un Orca-2'si, yapay zekayı yalnızca büyük modellerin geliştirebileceği inancına meydan okuyarak, sürdürülebilir yapay zekaya yönelik çığır açıcı bir adımı temsil ediyor. Orca-2, boyuttan ziyade akıllı tasarıma öncelik vererek yeni olanaklar açarak gelişmiş yapay zeka gelişimine daha kapsayıcı ve çevreye duyarlı bir yaklaşım sunuyor. Bu değişim, akıllı sistem tasarımında yeni bir paradigmaya doğru önemli bir adıma işaret ediyor.