Bilgisayar Kullanan Ajanlar Nedir? Yapay Zekâ Yazılımları Nasıl Görür, Tıklar, Yazar ve Kullanır

Bilgisayar kullanan ajanlar; bir yazılım arayüzünü algılayabilen ve tıklama, yazma, kaydırma, sürükleme ve klavye kısayolları gibi eylemlerle kullanabilen yapay zekâ sistemleridir. Her uygulama için özel bir API gerektirmek yerine, insanların kullandığı görsel arayüzlerin çoğunda çalışırlar.

Bu beceri, ajanların eski yazılımlardan web sitelerine ve masaüstü uygulamalarına kadar geniş bir alanda çalışabilmesini sağlar. Ancak beraberinde alışılmadık riskler de getirir. Görseldeki küçük bir yanlış anlama, uzun bir görevin yönünü değiştirebilir; ayrıca arayüze erişim, oturum açmış kullanıcının görebildiği veya değiştirebildiği her şeyi açığa çıkarabilir.

Bilgisayar Kullanımı Neden Önemli?

Dünyadaki önemli yazılımların çoğu ajanlar için değil, insanlar için tasarlanmıştır. Bir uygulamanın herkese açık bir API’si olmayabilir, işlevlerinin yalnızca bir kısmını programatik olarak kullanıma açabilir ya da birkaç farklı arayüzde işlem yapmayı gerektirebilir.

Geleneksel robotik süreç otomasyonu kullanıcı arayüzlerinde işlem yapabilir, ancak genellikle önceden tanımlanmış seçicilere ve iş akışlarına bağlıdır. Bilgisayar kullanan bir ajan ise alışılmadık ekranları yorumlayabilen, hangi adımın gerektiğine karar verebilen ve arayüz değiştiğinde ya da beklenmedik bir iletişim penceresi açıldığında buna uyum sağlayabilen bir modelden yararlanır.

Bu özellik, bilgisayar kullanımını genel amaçlı bir araca dönüştürür. Aynı algılama ve eylem döngüsü; bir elektronik tabloyu, müşteri ilişkileri yönetimi sistemini, tasarım uygulamasını, tarayıcıyı veya kurum içi portalı kullanmak için de kullanılabilir.

Bilgisayar Kullanan Bir Ajan Nasıl Çalışır?

Talimatı arayüzdeki doğru öğeyle eşleştirmek, sürecin en zor aşamasıdır. Ajanın, “en son faturayı aç” gibi kavramsal bir talimatı ekranda görünen belirli bir satırla veya denetim öğesiyle ilişkilendirmesi gerekir. Metin etiketleri ve erişilebilirlik üst verileri yardımcı olabilir; ancak dinamik düzenler, tuval tabanlı arayüzler, üst üste binen öğeler ve anlamı belirsiz simgeler, modeli pikseller üzerinden akıl yürütmeye zorlayabilir.

Temel döngü, bir insanın yazılımla etkileşim kurma biçimine benzer.

1. Gözlemle: Ekran görüntüsünü, erişilebilirlik ağacını, belge yapısını, imleç konumunu ve ortama ilişkin diğer durum bilgilerini yakala.
2. Yorumla: Görünen denetim öğelerini, içeriği ve uyarıları belirle; mevcut ekran ile görev arasındaki ilişkiyi saptay.
3. Bir eylem seç: Tıklamaya, yazmaya, kaydırmaya, bir tuşa basmaya, beklemeye veya yardım istemeye karar ver.
4. Uygula: Çalışma zamanı, eylemi işletim sistemi, tarayıcı veya sanal makine arayüzü üzerinden gerçekleştirir.
5. Doğrula: Değişen ekranı yakala ve eylemin amaçlanan sonucu verip vermediğini belirle.
6. Yinele veya dur: Hedefe doğru ilerlemeyi sürdür, bir hatayı telafi et ya da koruma gerektiren bir sınırda durakla.

OpenAI’ın bilgisayar kullanan ajan tanımı, bu yeteneği görsel algının akıl yürütme ve fare-klavye eylemleriyle birleşmesi olarak ele alır. Önemli olan, tek bir tıklama tahmini değildir; algı, eylem ve yeniden gözlemlenen durum arasındaki kapalı döngüdür.

Ajan Neleri “Görebilir”?

Bilgisayar kullanımı sistemleri, bir arayüzün farklı temsillerini alabilir.

Ekran görüntüleri, piksel düzeyinde genel bir görünüm sunar ve yapılandırılmış arayüz üst verileri olmadığında bile kullanılabilir. Grafikleri, görüntüleri, tuval uygulamalarını ve görsel düzeni yakalayabilirler. Ancak küçük hedefleri, gizli durumları ve anlamı belirsiz simgeleri yorumlamak zor olabilir.

Erişilebilirlik ağaçları veya belge yapısı, denetim öğelerini ve metni daha yapılandırılmış biçimde sunar. Öğe seçimini daha hassas hâle getirebilir, ancak görsel bilgileri dışarıda bırakabilir veya uygulamalar arasında tutarsız çalışabilirler.

Hibrit sistemler, pikselleri, yapılandırılmış öğeleri, uygulama durumunu ve kimi zaman doğrudan API’leri bir araya getirir. Bu yaklaşım, her sorunu salt görsel taklit yoluyla çözmeye çalışmaktan çoğu zaman daha etkilidir.

Bilgisayar Kullanımı ile Tarayıcı Otomasyonu Karşılaştırması

Geleneksel tarayıcı otomasyonu, bilinen bir işlem dizisini gerçekleştirmek için kod ve kararlı seçiciler kullanır. Sayfa yapısı denetim altındaysa hızlı ve öngörülebilirdir. Bilgisayar kullanan bir ajan ise arayüzü dinamik olarak yorumlar ve izlenecek işlem dizisine karar verebilir.

Bu yaklaşımlar birbirini tamamlar. Sağlam bir sistem, ajanın yapılması gerekeni belirlemesini sağlayıp ardından iyi bilinen işlemleri deterministik otomasyon veya API’ler aracılığıyla gerçekleştirebilir. Piksel düzeyindeki etkileşim, yapılandırılmış bir arayüzün bulunmadığı veya izlenecek yolun önceden belirlenemediği durumlarda en yararlıdır.

Bilgisayar Kullanımı ile API’ler ve Araç Çağrısı

Bu hibrit yaklaşım hem hata oranını hem de maliyeti düşürür. Temsilci verileri bir API üzerinden alabilir, eski bir formu doldurmak için yalnızca masaüstü uygulamasını açabilir, ardından son kaydı başka bir yapılandırılmış sorguyla doğrulayabilir. Görsel denetimi birkaç araçtan biri olarak ele almak, her adımın en az güvenilir arayüz üzerinden gerçekleştirilmesini önler.

API, açıkça tanımlanmış işlemler ve veri türleri sunan, makinelerin kullanımı için tasarlanmış bir arayüzdür. Genellikle ekranda tıklamalarla gezinmekten daha hızlı, daha hassas ve doğrulanması daha kolaydır. Bilgisayar kullanımı ise daha fazla belirsizlik pahasına daha geniş uyumluluk sağlar.

Örneğin bir temsilci, envanteri bir API üzerinden sorgularken API’nin desteklemediği bir istisna durumunu ele almak için tedarikçinin web portalını kullanabilir. Araç çağrısı, çalışma zamanı en güvenilir yolu tercih ederken bu iki olanağı da modele sunabilir.

Yaygın Kullanım Alanları

• Arka ofis işlemleri: portallar arasında veri aktarma, rutin formları işleme ve onaya sunulacak kayıtları hazırlama.
• Araştırma: web sitelerinde gezinme, sonuçları filtreleme, kanıt toplama ve çalışma belgesini güncelleme.
• Yazılım testi: kullanıcı yolculuklarını izleme, hataları kaydetme ve görsel değişiklikleri denetleme.
• BT desteği: ayarları inceleme, tanılama verilerini toplama ve onaylanmış düzeltmeler konusunda yol gösterme veya bu düzeltmeleri uygulama.
• Kişisel verimlilik: dosyaları, web uygulamalarını, takvimleri ve belgeleri eşgüdümleme.
• Erişilebilirlik: güçlü gizlilik denetimlerine tabi olmak kaydıyla, kullanıcıların gezinmesi başka türlü zor olan arayüzleri kullanmasına yardımcı olma.

Bilgisayar Kullanımı Görevleri Neden Hâlâ Zor?

Kullanıcı arayüzlerinde dinamik menüler, gecikmeli yükleme, açılır pencereler, kaydırılabilir alanlar, küçük hedefler ve birbirine benzeyen ancak farklı sonuçlara yol açan durumlar bulunur. Bir görev, doğru biçimde tamamlanması gereken onlarca adım içerebilir; bu nedenle adım başına hata oranı düşük olsa bile hatalar birikebilir.

OSWorld gibi kıyaslamalar, temsilcileri tekil tıklamalar yerine gerçek bilgisayar ortamlarında değerlendirir. OSWorld 2.0, bu yaklaşımı durum değişiklikleri ve daha fazla çeşitlilik içeren, daha uzun iş akışlarını kapsayacak şekilde genişletir. Stanford’ın 2026 AI Index teknik performans bölümü, hızlı ilerleme kaydedildiğini bildirirken OSWorld’de insan performansıyla aradaki farkın hâlâ sürdüğünü de gösteriyor; bu da etkileyici demoların her durumda güvenilirlik anlamına gelmediğini vurguluyor.

Başlıca Hata Türleri

• Görsel hedefleme hataları: yakındaki ya da benzer görünen bir denetime tıklama.
• Durum karışıklığı: aslında yüklenmediği hâlde sayfanın yüklendiğini, kaydetme işleminin başarıyla tamamlanmadığı hâlde tamamlandığını veya etkin pencerenin değişmediği hâlde değiştiğini varsayma.
• Uzun görevlerde hedef sapması: çok sayıda küçük eylemden sonra görev amacını gözden kaçırma.
• Gizli yan etkiler: temsilci yalnızca önizleme yapmak isterken formu gönderme veya satın alma işlemini gerçekleştirme.
• İstem enjeksiyonu: bir web sayfasına, belgeye veya mesaja yerleştirilmiş kötü amaçlı talimatları izleme.
• Kimlik bilgilerinin açığa çıkması: oturum açılmış bir oturumda erişilebilen bilgileri ifşa etme veya kötüye kullanma.
• Geri alınamaz hatalar: yeterli inceleme yapmadan silme, yayımlama, gönderme veya satın alma.

Güvenlik ve Denetim İlkeleri

Arayüz içeriği güvenilir kabul edilmemelidir. Bir web sayfası, e-posta veya belge, ajanı başka yöne yönlendirmeyi amaçlayan talimatlar içerebilir; kötü amaçlı bir iletişim kutusu da alışıldık bir onay penceresini taklit edebilir. Sistem, sayfa içeriğini politikadan ayrı tutmalı, gidilebilecek adresleri ve kimlik bilgilerini kısıtlamalı; beklenmedik bir izin isteği veya önemli sonuçlar doğurabilecek bir onay talebi belirdiğinde duraklamalıdır.

Bilgisayar kullanımı, görevi tamamlayabilecek en kısıtlı ortamda yürütülmelidir. Ayrı bir tarayıcı profili, sanal makine veya korumalı alan, ilgisiz hesaplara ve dosyalara erişimi sınırlar. Oturumlarda, kullanıcının tüm masaüstü yetkilerini devralmak yerine göreve özel kimlik bilgileri ve en az ayrıcalık ilkesiyle tanımlanmış izinler kullanılmalıdır.

Etkisi yüksek eylemler için açık bir onay sınırı gerekir. Sistem; gönderme, iletme, satın alma, silme, yayımlama veya hassas ayarları değiştirme işlemlerini gerçekleştirmeden hemen önce duraklamalı ve kullanıcıya hedefi ve işlemin etkisini tam olarak göstermelidir.

Ajanlar, ekran içeriğini de güvenilir olmayan veri olarak ele almalıdır. Bir web sayfasında karşılaşılan talimatlar, sistem politikasının veya kullanıcının görevinin önüne geçmemelidir. İndirmeler, kopyalanan komutlar ve harici iletişimler ayrıca doğrulanmalıdır.

Bilgisayar Kullanan Bir Ajan Nasıl Değerlendirilir?

Görevin başarıyla tamamlanması gereklidir, ancak tek başına yeterli değildir. Ekipler; adımların doğruluğunu, beklenmedik durumlardan toparlanma becerisini, gereksiz eylemleri, süreyi, maliyeti, hassas verilerin açığa çıkmasını, onay kurallarına uyumu ve tekrarlanan çalıştırmalardaki tutarlılığı ölçmelidir.

Değerlendirme ortamlarında ekran çözünürlüğü, düzen, veriler, zamanlama ve uygulama durumu çeşitlilik göstermelidir. Aksi hâlde bir ajan, günlük yazılımlarda karşılaşılan değişkenlikte başarısız olurken önceden belirlenmiş bir kıyaslama testine aşırı uyum sağlayabilir.

Bilgisayar Kullanımı Diyagramları Nasıl Okunur?

Bilgisayar Kullanımı diyagramlarını, numaralandırılmış girdiden gözlemlenebilir sonuca doğru okuyun. Karşılaştırma, Bilgisayar Kullanımını en yakın kestirme yönteminden ayıran sınırı belirginleştirirken denetim yolu, gerçek dünyada bir sonuç doğmadan önce yetkinin veya belirsizliğin nerede kontrol edilmesi gerektiğini gösterir. Etiketler, telefonda çevrilebilmeleri, satırlara bölünebilmeleri ve yeniden düzenlenebilmeleri için ekrana uyum sağlayan sıradan sayfa metinleri olarak kalır.

“Bilgisayar Kullanan Ajanlar Nedir? Yapay Zekâ Yazılımları Nasıl Görür, Tıklar, Yazar ve Gezinir?” başlıklı içerikteki görsel, bir garanti değil, bir yol haritasıdır. Gerçek bir uygulamada aşamalar birleştirilebilir, bir adım tekrarlanabilir veya insan onayı için bir sınır eklenebilir. Önemli olan, ekibin devreye alınmış sistemde aynı işlevleri belirleyebilmesi, her sınır için bir sorumlu atayabilmesi ve bu sınırlar arasındaki geçişi test edebilmesidir. Bir aşama gözlemlenemiyor veya ölçülemiyorsa bu aşamadaki arızaları teşhis etmek zorlaşır.

Bilgisayar Kullanan Ajanlar Hakkında Akılda Tutulması Gerekenler

Bilgisayar kullanan ajanlar, insanlara yönelik yazılım arayüzünü genel amaçlı bir araç olarak kullanılabilir hâle getirir. Uygun API’leri olmayan sistemlere erişebilir ve sabit otomasyonun kolayca öngöremediği farklı görevlere uyum sağlayabilirler.

Bu genellik, belirsizlik ve geniş kapsamlı etki potansiyelini de beraberinde getirir. En iyi tasarımlar, mevcut olduğunda yapılandırılmış API’leri tercih eder, bilgisayar ortamını yalıtır, her durum değişikliğini doğrular ve önemli sonuçlar doğurabilecek eylemlerin denetimini insanlarda tutar.