Apple’ın ReALM’i ile Yapay Zekayı Devrimleştirme: Akıllı Asistanların Geleceği

Yapay zeka peyzajında sürekli olarak gelişen bir dünyada, Apple (AAPL ) sessizce bir dönüştürücü yaklaşım geliştiriyor ve bu, iPhone’larımıza nasıl etkileşimde bulunduğumuzun yeniden tanımlanmasına neden olabilir. ReALM veya Referans Çözümü olarak Dil Modelleme, bağlamsal farkındalık ve sorunsuz asistanlık düzeyini getirmeye söz veren bir yapay zeka modelidir.

Teknoloji dünyası OpenAI’nin GPT-4 ve diğer büyük dil modelleri (LLM’ler) hakkında heyecanla konuşurken, Apple’ın ReALM’i, sadece bulut tabanlı yapay zekaya güvenmek yerine daha kişiselleştirilmiş, cihazda çalışan bir yaklaşıma doğru bir düşünce değişikliğini temsil ediyor. Hedef? Gerçekten sizi, dünyanızı ve günlük dijital etkileşimlerinizi anlayan bir akıllı asistan yaratmak.

ReALM’in kalbinde, referansları çözmek – insanların bağlamsal ipuçlarıyla kolayca gezindiği o belirsiz zamirleri (“o”, “onlar”, “o”) çözme yeteneği yatıyor. Yapay zeka asistanları için bu, uzun süredir bir engel oluşturuyor ve can sıkıcı yanlış anlaşılmalara ve kopuk bir kullanıcı deneyimine yol açıyor.

Buzdolabında neler olduğunu temel alarak mantıksız bir tarif bulmama yardım et, ancak mantarı koyma – onu sevmediğimi” gibi bir senaryo hayal edin. ReALM ile iPhone’unuz, sadece ekran bilgilerini (buzdolabının içeriğini) değil, aynı zamanda kişisel tercihlerinizi (mantıdan hoşlanmama) ve daha geniş bağlamı (bu parametrelere göre bir tarif bulma) anlamayı ve hatırlamayı başaracaktır.

Bu düzeyde bağlamsal farkındalık, çoğu current yapay zeka asistanının kullandığı anahtar kelime eşleştirmesi yaklaşımından bir sıçrama gibi görünüyor. ReALM, büyük dil modellerini (LLM’ler) konuşma, ekran ve arka plan olmak üzere üç ana alandaki referansları sorunsuz bir şekilde çözmeyi öğreterek, gerçekten akıllı bir dijital arkadaş yaratmayı hedefliyor – bu, robotik bir ses asistanı gibi değil, kendi düşünce süreçlerinizin bir uzantısı gibi hissediyor.

Konuşma Alanı: Önceden Ne Olduğunu Hatırlama

ReALM, konuşma yapay zekasını ele alır ve çok uzun süredir devam eden bir zorluğu – çoklu diyalog döngülerinde tutarlılık ve hafıza koruma – ele alır. Referansları bir sohbet içinde çözebilme yeteneğiyle, ReALM nihayet doğal, ileri geri etkileşim vaadini yerine getirebilir.

Tatil için bilet satın almak için cuma günü maaşımı aldığımı hatırlat” gibi bir talepte bulunun. ReALM ile Siri, sadece tatil planlarınızın bağlamını (potansiyel olarak önceki bir sohbetten veya ekran bilgilerinden elde edilebilecek) değil, aynı zamanda “maaş alma”yı düzenli maaş gününüzle bağdaştırma bilincine de sahip olacaktır.

Bu düzeyde konuşma zekası, sürekli olarak bağlamı yeniden açıklamak veya kendinizi tekrarlamak zorunda kalmadan sorunsuz çoklu döngü diyalogları sağlayan gerçek bir ilerleme gibi görünüyor.

Ekran Alanı: Asistanınıza Gözler Verme

Ancak ReALM’in belki de en devrim niteliğindeki yönü, ekran varlıklarına referansları çözme yeteneğidir – gerçekten elsiz, sesle yönlendirilen bir kullanıcı deneyimi yaratma yolunda kritik bir adımdır.

Apple’ın araştırma makalesi, cihazınızın ekranından görsel bilgileri büyük dil modellerinin işleyebileceği bir forma dönüştürmek için yeni bir tekniği tartışıyor. Ekranın düzenini metin tabanlı bir temsil olarak yeniden oluşturarak, ReALM “görebilir” ve çeşitli ekran öğeleri arasındaki uzaysal ilişkileri anlayabilir.

Ana caddesindeki restoranların listesini görüntülüyorsunuz ve “Main Street’teki o restorana yönlerimi göster” gibi bir talepte bulunun. ReALM ile iPhone’unuz, sadece belirli bir konuma referansı anlamakla kalmaz, aynı zamanda ilgili ekran varlığına – tanıma uyan restoran listesini – bağlar.

Bu düzeyde görsel anlama, uygulamalar ve web siteleri içindeki referanslara sorunsuz bir şekilde действие yanıtlama, gelecekteki AR arayüzleriyle entegrasyon ve hatta cihazınızın kamerası aracılığıyla gerçek dünya nesnelerine ve ortamlarına tepki verme olanakları açıyor.

Araştırma makalesi, sistemlerin ekran varlıklarını nasıl kodladıkları ve çeşitli bağlamlarda referansları nasıl çözdükleri hakkında ayrıntılı açıklamalar içeriyor. İşte makalede sunulan algoritmalar ve örneklerin basitleştirilmiş bir açıklaması:

1. Ekran Varlıklarını Kodlama: Makale, ekran öğelerini büyük dil modellerinin işleyebileceği metin formatına dönüştürmek için çeşitli stratejileri keşfediyor. Bir yaklaşım, çevreleyen nesneleri uzaysal yakınlıklarına göre kümeleyerek ve bu kümelere dahil nesneleri içeren prompler oluşturmayı içerir. Ancak bu yöntem, varlıkların artmasıyla birlikte aşırı uzun prompler oluşturabilir.

Araştırmacılar tarafından benimsenen nihai yaklaşım, ekranı üstten alta ve soldan sağa doğru sıralayarak, düzeni metin formatında temsil etmektir. Bu, Algoritma 2 aracılığıyla gerçekleştirilir; burada ekran nesneleri merkez koordinatlarına göre sıralanır, dikey seviyeler belirli bir marj içinde gruplandırılarak belirlenir ve ekran parse’ı, aynı satırdaki nesneleri ayıran sekmelerle birleştirilerek oluşturulur.

İlgili varlıkları (bu durumda telefon numaraları) metin temsiline enjekte ederek, büyük dil modeli ekran bağlamını anlayabilir ve referansları uygun şekilde çözebilir.

2. Referans Çözümünün Örnekleri: Makale, ReALM modelinin farklı bağlamlarda referansları çözme yeteneğini göstermek için çeşitli örnekler sağlar:

a. Konuşma Referansları: “Siri, buzdolabında neler olduğunu temel alarak mantarı hariç tutarak sağlıklı bir tarif bul” gibi bir talepte bulunulduğunda, ReALM ekran bağlamını (buzdolabının içeriği), konuşma bağlamını (tarif bulma) ve kullanıcı tercihlerini (mantıdan hoşlanmama) anlayabilir.

b. Arka Plan Referansları: “Siri, süpermarkette daha önce çalan o şarkıyı çal” gibi bir talepte bulunulduğunda, ReALM potansiyel olarak ambiente ses parçalarını yakalayabilir ve belirli bir şarkıya referansı çözebilir.

c. Ekran Referansları: “Siri, cuma günü maaşımı aldığım zaman tatil için bilet satın almamı hatırlat” gibi bir talepte bulunulduğunda, ReALM kullanıcıların rutinlerini (maaş günü), ekran sohbetlerini veya web sitelerini (tatil planları) ve takvimi birleştirerek talebi anlayabilir ve buna göre davranabilir.

Bu örnekler, ReALM’in konuşma, ekran ve arka plan bağlamları arasında referansları çözme yeteneğini göstererek, daha doğal ve sorunsuz bir etkileşimi sağlar.

Arka Plan Alanı

Sadece konuşma ve ekran bağlamlarının ötesine geçerek, ReALM ayrıca arka plan varlıklarına referansları çözme yeteneğini keşfediyor – genellikle mevcut yapay zeka asistanlarımızın dikkat etmediği çevresel olaylar ve süreçler.

Süpermarkette daha önce çalan o şarkıyı çal” gibi bir talepte bulunun. ReALM ile iPhone’unuz, potansiyel olarak ambiente ses parçalarını yakalayabilir ve şarkıyı sorunsuz bir şekilde çalabilir.

Bu düzeyde arka plan farkındalığı, gerçekten her yerde, bağlamsal olarak farkında olan yapay zeka asistanlarının ilk adımı gibi görünüyor – bir dijital asistan, sadece sözlerinizi değil, aynı zamanda günlük deneyimlerinizin zengin dokusunu anlıyor.

Cihazda Yapay Zeka’nın Vaadi: Gizlilik ve Kişiselleştirme

ReALM’in yetenekleri şüphesiz etkileyici, ancak belki de en önemli avantajı, Apple’ın uzun süredir devam eden cihazda yapay zeka ve kullanıcı gizliliği taahhüdü.

Bulut tabanlı yapay zeka modellerinin aksine, kullanıcı verilerini uzaktaki sunucularda işleme göndermek yerine, ReALM tamamen iPhone’unuzda veya diğer Apple cihazlarında çalışmak üzere tasarlandı. Bu, veri gizliliği endişelerini ele alır ve size gerçekten uyarlanmış bir dijital asistan sunma olanağı sunar.

Cihazınızdaki verilerinize – sohbetlerinize, uygulama kullanım kalıplarınıza ve hatta ambiente duyusal girdilerinize – doğrudan öğrenerek, ReALM potansiyel olarak benzersiz ihtiyaçlarınıza, tercihlerinize ve günlük rutinlerinize uyarlanmış bir dijital asistan yaratabilir.

Bu düzeyde kişiselleştirme, mevcut yapay zeka asistanlarının sıklıkla bireysel kullanıcıların özelliğine ve bağlamına uyum sağlamakta zorlandıkları bir yaklaşımın ötesine geçen bir paradigma değişikliği gibi görünüyor.

ReALM-250M modeli etkileyici sonuçlar elde ediyor:

• • Konuşma Anlama: 97.8
  • Sentetik Görev Anlama: 99.8
  • Ekran Görev Performansı: 90.6
  • Görülmemiş Alan Elleme: 97.2

Etik Düşünceler

Elbette, bu düzeyde kişiselleştirme ve bağlamsal farkındalıkla birlikte, gizlilik, şeffaflık ve yapay zeka sistemlerinin kullanıcı davranışını etkileyebilmesi veya manipüle edebilmesi konusunda bir dizi etik düşünce ortaya çıkıyor.

ReALM, günlük yaşamlarınızı – yemek alışkanlıklarınızdan, medya tüketim kalıplarınızdan, sosyal etkileşimlerinize ve kişisel tercihlerinize kadar – daha derin bir şekilde anladıkça, bu teknolojinin kullanıcı güvenini ihlal edecek veya etik sınırları aşacak şekilde kullanılma riski ortaya çıkıyor.

Apple’ın araştırmacıları, bu gerilimi farkında olarak, gerçekten faydalı ve kişiselleştirilmiş bir yapay zeka deneyimi sunmakla kullanıcı gizliliği ve ajansını saygı göstermek arasında dikkatli bir denge kurma ihtiyacını kabul ediyor.

Bu zorluk, elbette, Apple veya ReALM’e özgü değil – bu, tüm teknoloji endüstrisinin gelişen yapay zeka sistemleriyle birlikte günlük yaşamlarımıza entegre olurken karşı karşıya kalacağı bir konuşma.

Daha Akıllı, Daha Doğal Bir Yapay Zeka Deneyimi Doğruyu

Apple, ReALM gibi modellerle cihazda yapay zekayı sınırları zorlarken, gerçekten akıllı, bağlamsal olarak farkında olan bir dijital asistan vaadi daha önce hiç olmadığı kadar yakın hissediyor.

Bir dünya hayal edin, burada Siri (veya gelecekte bu yapay zeka asistanı ne isimlendirilirse) bulutun sesinden daha çok kendi düşünce süreçlerinizin bir uzantısı gibi hissediyor – bir ortak, sadece sözlerinizi değil, aynı zamanda dijital yaşamınızın zengin dokusunu, günlük rutinlerinizi ve benzersiz tercihlerinizi anlıyor.

Uygulamalar ve web siteleri içindeki referanslara sorunsuz bir şekilde tepki vererek, konumunuza, etkinliğinize ve ambiente duyusal girdilerinize göre ihtiyaçlarınızı öngörerek, ReALM daha doğal, sorunsuz bir yapay zeka deneyimi için önemli bir adım temsil ediyor – bu, dijital ve fiziksel dünyalarımız arasındaki sınırları bulanıklaştırıyor.

Elbette, bu vizyonu gerçekleştirmek, sadece teknik inovasyondan daha fazlasını gerektirecek – aynı zamanda yapay zeka geliştirme için etik, kullanıcı gizliliği, şeffaflık ve ajansını önceliklendiren bir yaklaşım gerekecek.

Apple, ReALM’in yeteneklerini geliştirip genişletirken, teknoloji dünyası şüphesiz heyecanla izleyecek, bu dönüştürücü yapay zeka modelinin akıllı asistanların geleceğini nasıl şekillendireceğini ve gerçekten kişiselleştirilmiş, bağlamsal olarak farkında olan bir bilgisayar çağını nasıl başlatacağını görmek için sabırsızlanacak.

ReALM’in, güçlü GPT-4’i bile geride bırakma vaadini yerine getirip getiremeyeceği henüz görülmesi gereken bir şey. Ancak bir şey kesin: gerçekten bizi anlayan – sözlerimizi, dünyamızı ve günlük yaşamlarımızın zengin dokusunu anlayan – yapay zeka asistanlarının çağı zaten başladı ve Apple’ın son inovasyonu bu devrimin ön saflarında olabilir.