iMerit, Uzmanların Yönettiği Yapay Zekâ Eğitimi ve Değerlendirmesini Ölçeklendirmek İçin Scholars Platformunu Hayata Geçiriyor

Bir model, ikna edici bir tıbbi açıklama ya da matematik problemine akıcı bir yanıt üretip yine de yalnızca bir uzmanın fark edebileceği bir hata yapabilir. Uzman değerlendirmesine duyulan bu ihtiyaç, iMerit’in ileri düzey yapay zekâ modellerini eğiten, değerlendiren ve sınayan kişileri bir araya getirmek üzere tasarlanan iMerit Scholars platformunu kullanıma sunmasının ardındaki temel etken.

EXL’in sahibi olduğu şirket, işe alım, oryantasyon, uzman eşleştirme, proje atamaları, etkileşim ve ödemeleri tek bir platformda bir araya getiren hizmetini 26 Ekim’de duyurdu. Duyuruya göre, mevcut Scholars programında 118 ülkeden ve 106 dilde hizmet veren, davet edilmiş ve titizlikle seçilmiş 30.000’den fazla profesyonel yer alıyor.

Platform, talep arttıkça yüz binlerce uzmanı yönetebilecek şekilde tasarlandı. Bu, topluluğun hâlihazırda bildirilen büyüklüğünden farklı olarak, platformun hedeflenen operasyonel ölçeğine ilişkin bir ifadedir. Platformun kısa vadede sunduğu temel olanak, model geliştirme ve devreye alma yaşam döngüsünün her aşamasında uzman insan katkısını koordine etmeyi kolaylaştırmaktır.

Model Geliştirme Sürecinin Ardındaki İş Gücünü Oluşturmak

Scholars topluluğu tıp, matematik, tarım, dilbilim, otonom sistemler ve diğer uzmanlık alanlarından profesyonelleri bir araya getiriyor. Bu uzmanlar, denetimli ince ayar, model değerlendirmesi, kırmızı takım testleri ve yaygın olarak RLHF adıyla bilinen insan geri bildiriminden pekiştirmeli öğrenme çalışmalarına katkıda bulunuyor.

Bu çalışmaların her biri farklı türde bir değerlendirme gerektiriyor. İnce ayar sürecinde, modelin vermesi gereken yanıtı özenle oluşturan bir örnek gerekebilir. Değerlendirmede, bir çıktının belirlenmiş ölçütleri karşılayıp karşılamadığı incelenir. Kırmızı takım testlerinde sistemdeki kusurlar bilinçli olarak araştırılır; insan geri bildirimi ise sonraki eğitim aşamalarına yön verecek tercih ve düzeltmeler sağlayabilir.

Bu nedenle, doğru kişiyi doğru görevle eşleştirmek, uzman havuzunu genişletmek kadar önemlidir. Dar bir uzmanlık alanında deneyimli bir hekim, genel bilgisi geniş bir değerlendiricinin gözden kaçırabileceği önemli bir hatayı fark edebilir. Bir dilbilimci ise kelimesi kelimesine yapılan çeviride ortadan kaybolan bir anlam belirsizliğini görebilir.

Yeni platform, uzmanların projelere katılımını sürdürmeye yönelik idari altyapıyı sağlarken projeleri uzmanlık alanları ve bilişsel becerilerle eşleştiriyor. iMerit, hedefin yapılan işi öğrenen ve geri bildirim döngülerine katılan uzmanlarla süreklilik taşıyan bir ilişki kurmak olduğunu belirtiyor.

EXL’de iMerit’in başındaki icra başkan yardımcısı Radha Basu, “Modellere yalnızca bir şeyler öğretmekle kalmayıp onları haksız çıkarmaya ve düzeltmeye yetecek bilgiye sahip kişilere ihtiyacımız var,” dedi.

Ango Hub, Uzman Değerlendirmesini Eğitim Verileriyle Buluşturuyor

Scholars platformunun temelindeki operasyonel teknoloji, iMerit’in veri etiketleme ve model değerlendirme platformu olan Ango Hub. Bu platformun işlevi, uzmanların çalışmalarını eğitim veya değerlendirme süreçlerinde kullanılabilecek, düzenli ve incelenebilir çıktılara dönüştürmektir.

Ango Hub’ın mevcut ürün belgelerinde yapılandırılabilir iş akışları, bir veri öğesi üzerinde çalışan birden fazla etiketleyici, kıyaslama görevleri ve değerlendiricilerin etiketleri kabul etmesine, reddetmesine veya düzeltmesine olanak tanıyan kontroller açıklanıyor. Proje yönergeleri ve bir sorun takip sistemi, değerlendiricilerin soruları çözüme kavuşturmasına yardımcı olurken rol tabanlı erişim denetimleri, belirli veriler üzerinde kimlerin çalışabileceğini düzenliyor.

Platform; görseller, video, ses, metin, PDF’ler ve tıbbi DICOM verileri dâhil olmak üzere çeşitli veri türlerini destekliyor. Bu kapsam önem taşıyor; çünkü model geliştirme çalışmaları dil bilgisini görsel, klinik veya fiziksel dünyaya ilişkin bilgilerle giderek daha fazla bir araya getiriyor. Arayüzün ve inceleme sürecinin, uzmanın değerlendirdiği materyale uygun olması gerekiyor.

İki platform arasındaki işlev ayrımı yararlı: Scholars, uzman iş gücünü ve bu iş gücünün projelerle ilişkisini koordine ederken Ango Hub, uzman katkılarını kullanılabilir yapay zekâ verilerine dönüştüren araçları ve iş akışlarını sağlıyor.

Yanıtları Düzeltmekten Ajanların Tüm İş Akışlarını Değerlendirmeye

iMerit’in Deep Reasoning Lab ürünü, bu sürece daha ayrıntılı bir bakış sunuyor. Şirketin açıklamasına göre uzmanlar, çok aşamalı senaryolar tasarlıyor, model çıktılarını inceliyor, hataları kategorilere ayırıyor ve açıklamalarla birlikte düzeltmeler sağlıyor. Bu yapılandırılmış örnekler, geliştiricilerin yanıtın nerede yanlış gittiğini belirlemesine ve hedefe yönelik eğitim materyalleri oluşturmasına yardımcı olabilir.

Bu tür akıl yürütme izleri, belirli bir görev için oluşturulan ve incelenen, özenle derlenmiş çıktılardır. Bunların, modelin yanıtını üretirken gerçekleştirdiği tüm iç hesaplamaları ortaya koyduğu varsayılmamalıdır. Bu izlerin pratik değeri, değerlendirme sürecini ve bu süreçte yapılan düzeltmeleri incelenip yeniden kullanılabilecek kadar açık hâle getirmeleridir.

Şirketin ajan değerlendirme hizmeti, incelemeyi nihai yanıtın ötesine taşıyarak planlama adımlarını, araç çağrılarını, ara durumları ve sonuçları da kapsıyor. Şirket, görevin tamamlanması, araç seçimi, dayanaklandırma ve politika sınırları gibi konularda yapılandırılmış değerlendirme ölçütleri ve uzman hakemliği sunduğunu belirtiyor.

Yapay zekâ eyleme geçtiğinde bu yaklaşım önem kazanıyor. Bir ajan, yanlış aracı kullanırken veya temel görevi tamamlamazken bile özenli bir özet sunabilir. Eylem dizisinin incelenmesi, uzmanlara bu tür başarısızlıkları belirleme ve geliştiricilere yapılandırılmış geri bildirim iletme olanağı sağlar.

Ödemeler ve Proje Sürekliliği Altyapının Bir Parçası Hâline Geliyor

Lansman kapsamında, küresel ödemeler için Trolley de entegre ediliyor. iMerit, bu entegrasyonun uluslararası uzman topluluğu için güvenli ödeme ve mevzuata uyum süreçlerini desteklediğini belirtiyor.

Ödeme operasyonları model performansından uzak bir konu gibi görünebilir; ancak bir uzmanın düzenli biçimde katılım gösterip gösteremeyeceğini etkiler. Bir proje birçok ülkedeki uzmanlara dayanıyorsa işe alım, işe başlatma, görevlere erişim ve ücretlendirme operasyonel bağımlılıklara dönüşür.

Platform, her proje ekibinin bu işlevleri ayrı ayrı oluşturmasını gerektirmek yerine, bunları eşleştirme ve katılımla birlikte sunuyor. Müşteriler için hedeflenen fayda, daha istikrarlı bir iş gücü ve inceleme süreci; uzmanlar içinse bir projeye katılmaktan işi tamamlayıp ödeme almaya uzanan daha açık bir yol.

Beth Israel Deaconess Medical Center’da patoloji uzmanı ve iMerit’in sağlıkta yapay zekâ alanındaki uzmanlarından biri olan Pavel Kopach, M.D., duyuruda şöyle dedi: “Yalnızca verileri etiketlemiyorsunuz; bu sistemlerin kendi alanınızda nasıl akıl yürüttüğünü ve davrandığını şekillendirmeye yardımcı oluyorsunuz.”

EXL, Kurumsal Ölçekte Devreye Alma Bağlamını Sunuyor

Lansman, EXL’in iMerit’i satın alma işlemini tamamlamasının ardından geldi; satın alma 3 Ağustos’ta duyurulmuştu. EXL, bu birleşimi model eğitimi ve değerlendirmesi konusundaki uzmanlığı kendi kurumsal verileri, operasyonel bağlamı ve yapay zekâ uygulama yetkinlikleriyle bir araya getirme hedefi etrafında konumlandırdı.

Bu gelişme, Scholars için pazara açılma yolunu genişletiyor. Basu, iMerit’in öncü model geliştirme çalışmalarından bankacılık, sağlık ve sigortacılık iş akışlarına doğru genişlediğini söyledi. Bu alanlarda alana özgü özelleştirme, güven ve emniyet, yapay zekânın üretim ortamında başarıyla çalışıp çalışamayacağını etkiliyor.

Yeni platform, bir modelin her uzmanlık alanında güvenilir olduğunu tek başına ortaya koymuyor. Bunun yerine, bir sistemi o alanın gerekliliklerine göre sınamak için gereken kişileri, araçları ve geri bildirimleri düzenlemek gibi daha somut bir ön koşulu karşılıyor. Yapay zekâ profesyonel iş akışlarına daha fazla nüfuz ettikçe doğru uzmanı bulma, işe yarar bir düzeltmeyi kayda geçirme ve bu bilgiyi geliştirme sürecine geri aktarma becerisi, teknoloji yığınının giderek daha önemli bir parçası hâline geliyor.