Anand Kannappan, Patronus AI’nin CEO’su ve Kurucu Ortağı – Röportaj Serisi

Anand Kannappan, Patronus AI‘nin kurucu ortaklarından ve CEO’sudur. Patronus AI, işletmelerin büyük dil modellerindeki (LLM) hataları büyük ölçekte yakalamalarına yardımcı olan endüstriye özel ilk otomatik AI değerlendirme ve güvenlik platformudur. Daha önce Anand, Meta Reality Labs’de makine öğrenimi açıklanabilirliği ve gelişmiş deney effortlarını yönetti.

İlk olarak bilgisayara ne drew you to bilgisayar bilimine?

Büyürken, teknolojiye ve gerçek dünya sorunlarını çözmede nasıl kullanılabileceğine her zaman ilgi duydum. Sadece bir bilgisayar ve kod kullanarak bir şey yaratma fikri beni cezbediyordu. Bilgisayar bilimine daha derinlemesine daldıkça, inovasyon ve çeşitli endüstrilerdeki dönüşüm için sahip olduğu muazzam potansiyeli fark ettim. İnovasyon yapma ve fark yaratma isteği, beni ilk olarak bilgisayar bilimine çekti.

Patronus AI’nin köken hikayesini paylaşabilir misiniz?

Patronus AI’nin kökeni oldukça ilginç bir yolculuk. OpenAI, ChatGPT’yi lanç ettiğinde, bu en hızlı büyüyen tüketici ürünü oldu ve sadece iki ayda 100 milyondan fazla kullanıcı kazandı. Bu büyük benimsenme, üretken AI’nin potansiyelini vurguladı, ancak aynı zamanda işletmelerin AI’yi böyle bir hızlı tempoda dağıtmaktaki tereddütlerini de ortaya çıkardı. Çok sayıda işletme, büyük dil modellerinin (LLM) olası hataları ve öngörülemez davranışları konusunda endişe duyuyorlardı.

Rebecca ve ben yıllardır tanışıyoruz, birlikte Şikago Üniversitesi’nde bilgisayar bilimi okuduk. Meta’da her ikimiz de makine öğrenimi çıkışlarını değerlendirme ve yorumlama konusunda zorluklarla karşılaştık – Rebecca araştırma açısından ve ben uygulamalı açıdan. ChatGPT duyurulduğunda, her ikimiz de LLM’lerin dönüştürücü potansiyelini gördük, ancak işletmelerin gösterdiği ihtiyatlılığı da anladık.

Dönüm noktası, kardeşimin yatırım bankası olan Piper Sandler’ın, içerde OpenAI erişimini yasaklama kararı almasıyla geldi. Bu, AI’nin önemli ölçüde ilerlemiş olmasına rağmen, hala LLM’lerin güvenilirliği ve güvenliği konusunda endişeler nedeniyle işletme benimsemesinde bir boşluk olduğunu bize gösterdi. Patronus AI’yi, bu boşluğu doldurmak ve işletmelerin üretken AI’ye güvenini artırarak LLM’ler için bir değerlendirme ve güvenlik katmanı sağlamak amacıyla kurduk.

Patronus AI’nin LLM’leri değerlendirme ve güvence altına alma platformunun temel işlevini tarif edebilir misiniz?

Misyonumuz, işletmelerin üretken AI’ye güvenini artırmaktır. LLM’ler için endüstrinin ilk otomatik değerlendirme ve güvenlik platformunu geliştirdik. Platformumuz, işletmelerin LLM çıkışlarını büyük ölçekte hata yakalamalarına yardımcı olarak, AI ürünlerini güvenle ve güvenle dağıtmalarını sağlar.

Platformumuz several ana süreçleri otomatikleştirir:

• Puanlama: Model performansı gerçek dünya senaryolarında değerlendirilir, önemli kriterlere odaklanılır, Örneğin, hallucinations ve güvenlik.
• Test Oluşturma: Model yeteneklerini kapsamlı bir şekilde değerlendirmek için otomatik olarak adversarial test takımları oluştururuz.
• Referans: Farklı modelleri karşılaştırarak müşterilerin belirli kullanım durumları için en uygun modeli belirlemelerine yardımcı oluruz.

İşletmeler, gelişen modellere, verilere ve kullanıcı ihtiyaçlarına uyum sağlamak için sık sık değerlendirmeleri tercih eder. Platformumuz, AI alanında Moody’s gibi bir üçüncü taraf değerlendiricisi olarak hareket eder, tarafsız bir bakış açısı sağlar. İlk ortaklarımız arasında MongoDB, Databricks, Cohere ve Nomic AI gibi önde gelen AI şirketleri yer alıyor ve geleneksel endüstrilerdeki beberapa yüksek profilli şirketle platformumuzu deneme konusunda görüşmelerdeyiz.

Patronus AI’nin Lynx modeli, LLM çıkışlarında hangi tür hataları veya “hallucinations”ı tespit eder ve işletmeler için bu sorunları nasıl ele alır?

LLM’ler gerçekten güçlü araçlar, ancak olasılıksal doğaları onları “hallucinations” veya hatalara eğilimlidir, burada model yanlış veya alakasız bilgi üretir. Bu hallucinations, özellikle yüksek riskli iş ortamlarında, doğruluk kritik olduğunda sorunludur.

Geleneksel olarak, işletmeler LLM çıkışlarını değerlendirmek için manuel inceleme yöntemlerine güvenmiştir, bu süreç hem zaman alıcı hem de ölçeklenebilir değildir. Bunu akıcı hale getirmek için, Patronus AI, platformumuzun yeteneklerini geliştiren Lynx adlı bir model geliştirdi. Lynx, hallucinationsın otomatik olarak tespitini sağlar ve işletmelere, kritik hataları tespit etme ve LLM’leri kritik uygulamalarda güvenle dağıtma olanağı sağlar.

FinanceBench, finansal sorular için LLM performansı değerlendirmek amacıyla endüstrinin ilk benchmark’ı olarak tanımlanıyor. Finans sektöründe LLM’lerin benimsenmesinde hangi zorluklar, FinanceBench’in geliştirilmesine yol açtı?

FinanceBench, finans sektörünün LLM’leri benimsemesinde karşılaştığı benzersiz zorluklara yanıt olarak geliştirildi. Finans uygulamaları, yüksek bir doğruluk ve güvenilirlik derecesi gerektirir, çünkü hatalar önemli finansal kayıplara veya düzenleyici sorunlara yol açabilir. LLM’lerin büyük finansal veri hacimlerini işleme potansiyeline rağmen, araştırmamız, GPT-4 ve Llama 2 gibi güncel modellerin finansal sorularla başa çıkmada sık sık başarısız olduğunu gösterdi.

FinanceBench, finansal bağlamlarda LLM performansı değerlendirmek için kapsamlı bir benchmark olarak oluşturuldu. Kamuya açık finansal belgelerine dayalı 10.000 soru ve cevap çiftini içerir, bunlar arasında nicel akıl yürütme, bilgi edinme, mantıksal akıl yürütme ve dünya bilgisi gibi alanlar bulunur. Bu benchmark’u sağlayarak, işletmelerin mevcut modellerin sınırlarını daha iyi anlamalarına ve geliştirme alanlarını belirlemelerine yardımcı olmak istiyoruz.

İlk analizimiz, birçok LLM’nin finans uygulamaları için gerekli yüksek standartları karşılamadığını ortaya koydu, bu da finans sektöründe LLM’lerin performansını iyileştirmeye yönelik daha fazla çalışmaya ihtiyaç olduğunu gösterdi. FinanceBench ile, işletmelere LLM’lerin finans sektöründeki performansını değerlendirmek ve geliştirmek için değerli bir araç sunuyoruz.

Araştırmalarınız, özellikle OpenAI’nin GPT-4’ünün, popüler kitaplardan alıntılarla teşvik edildiğinde önemli oranlarda telif hakkı içerik ürettiğini gösterdi. Bu bulguların, AI geliştirme ve daha geniş teknoloji endüstrisi için uzun vadeli etkileri nelerdir, özellikle de devam eden AI ve telif hakkı yasası tartışmaları dikkate alındığında?

AI modellerinin telif hakkı içerik üretmesi, AI endüstrisi için karmaşık ve acil bir sorundur. Araştırmamız, GPT-4 gibi modellerin, popüler kitaplardan alıntılarla teşvik edildiğinde sık sık telif hakkı materyali ürettiğini gösterdi. Bu, fikri mülkiyet hakları ve AI tarafından üretilen içeriğin yasal etkileri hakkında önemli soruları gündeme getiriyor.

Uzun vadede, bu bulgular, AI ve telif hakkı konusunda daha net rehberlik ve düzenlemelere ihtiyaç olduğunu vurguluyor. Endüstri, AI modellerinin fikri mülkiyet haklarına saygı göstererek yaratıcı yeteneklerini korurken, telif hakkı materyali içermeyen eğitim veri kümelerini geliştirmeli veya korunan içeriğin yeniden üretimini önleyen mekanizmaları uygulamalıdır.

Daha geniş teknoloji endüstrisi, yasal uzmanlar, politika yapıcılar ve paydaşlarla birlikte, inovasyonu existing yasalara saygı göstererek dengeleyen bir çerçeve oluşturmak için devam eden tartışmalara katılmalıdır. AI devam ettikçe, bu zorlukları proaktif bir şekilde ele almak, sorumlu ve etik AI geliştirmeyi sağlamak önemlidir.

Araştırmalarınızın gösterdiği gibi, güncel LLM’lerin telif hakkı içerik üretme oranının alarm verici olduğu düşünüldüğünde, AI geliştiricilerinin ve endüstrinin bu endişeleri ele almak için hangi adımları atması gerektiğini düşünüyorsunuz? Ayrıca, Patronus AI, bu bulgular ışığında daha sorumlu ve yasal olarak uyumlu AI modelleri oluşturmaya nasıl katkıda bulunmayı planlıyor?

AI modellerinin telif hakkı içerik üretmesi sorununu ele almak için çok yönlü bir yaklaşım gerekli. AI geliştiricileri ve endüstri, AI modeli geliştirmesinde şeffaflık ve hesap verebilirliği önceliklendirmelidir. Bu:

• Veri Seçimi İyileştirme: Eğitim veri kümelerinin, telif hakkı materyali içermemesi için özenle seçildiğinden emin olmak, uygun lisanslar alındığında hariç.
• Tespit Mekanizmaları Geliştirme: AI modelinin potansiyel olarak telif hakkı içerik ürettiğinde tespit edebilecek sistemleri uygulamak ve kullanıcıların böyle içerikleri değiştirmesi veya kaldırması için seçenekler sunmak.
• Endüstri Standartları Oluşturma: Yasal uzmanlar ve endüstri paydaşlarıyla birlikte, fikri mülkiyet haklarına saygı gösteren AI geliştirme için rehberlik ve standartlar oluşturmak.

Patronus AI’de, değerlendirme ve uyum konusunda odaklanarak sorumlu AI geliştirmeye katkıda bulunmaya kararlıyız. Platformumuz, işletmelerin AI çıkışlarında potansiyel gizlilik sorunlarını tespit etmeye ve yönetmeye yardımcı olan EnterprisePII gibi ürünleri içerir. Bu çözümleri sağlayarak, işletmelerin AI’yi sorumlu ve etik bir şekilde kullanmalarını ve yasal riskleri en aza indirmelerini amaçlıyoruz.

EnterprisePII ve FinanceBench gibi araçlarla, özellikle finans ve kişisel veri gibi hassas alanlarda AI’yi dağıtmada işletmelerin davranışlarında hangi değişiklikleri öngörüyorsunuz?

Bu araçlar, işletmelere AI çıkışlarını daha etkili bir şekilde değerlendirmeleri ve yönetmelerini sağlar, özellikle finans ve kişisel veri gibi hassas alanlarda.

Finans sektöründe, FinanceBench işletmelere LLM performansı değerlendirmek için yüksek bir doğruluk düzeyi sağlar, böylece modeller finansal uygulamaların nghiêm gereksinimlerini karşılar. Bu, işletmelerin AI’yi veri analizi ve karar verme gibi görevler için güvenle ve güvenilir bir şekilde kullanmalarını sağlar.

Benzer şekilde, EnterprisePII gibi araçlar işletmelerin veri gizliliği karmaşıklıklarını gezinmelerine yardımcı olur. Potansiyel riskleri tespit etme ve bunları hafifletme çözümleri sunarak, işletmelerin AI’yi daha güvenli ve sorumlu bir şekilde dağıtmalarını sağlar.

Genel olarak, bu araçlar, AI benimsemesine daha bilinçli ve stratejik bir yaklaşım için zemin hazırlıyor, işletmelerin AI’nin faydalarını kullanırken ilgili riskleri en aza indirmelerini sağlıyor.

Patronus AI, bu araçları mevcut LLM dağıtımları ve iş akışlarına entegre etmekte şirketlerle nasıl çalışır?

Patronus AI’de, AI benimsemesinde sorunsuz entegrasyonun önemini anlıyoruz. Müşterilerimizle yakın çalışarak, araçlarımızın mevcut LLM dağıtımları ve iş akışlarına kolayca entegre edilebileceğini đảminiyoruz. Bu, müşterilerimize:

• Özel Entegrasyon Planları: Her müşteri için özel entegrasyon planları geliştiriyoruz, böylece onların spesifik ihtiyaçlarına ve hedeflerine uyumlu oluruz.
• Kapsamlı Destek: Entegrasyon sürecinde müşterilerimize sürekli destek sağlıyoruz, böylece sorunsuz bir geçiş için rehberlik ve yardım sunuyoruz.
• Eğitim ve Eğitim: Müşterilerimize araçlarımızı tam olarak anlamaları ve kullanmaları için eğitim seansları ve eğitim kaynakları sunuyoruz, böylece AI yatırımlarının maksimum faydasını elde etmelerini sağlıyoruz.

AI çıkışlarının güvenli, doğru ve çeşitli yasalara uygun olduğunu đảmurken karmaşıklıklar dikkate alındığında, LLM geliştiricilerine ve bunları kullanmak isteyen şirketlere hangi tavsiyelerde bulunurdunuz?

İşbirliği ve desteğe öncelik vererek, entegrasyon sürecini mümkün olduğunca basit ve verimli hale getirmeyi amaçlıyoruz, böylece işletmelerin AI çözümlerimizin tam potansiyelinden yararlanmasını sağlıyoruz.

AI çıkışlarının güvenli, doğru ve çeşitli yasalara uygun olduğunu đảmurken ortaya çıkan karmaşıklıklar önemli zorluklar sunar. LLM geliştiricileri için anahtar, gelişim sürecinde şeffaflık ve hesap verebilirliği önceliklendirmektir.

Temel bir yön, veri kalitesidir. Geliştiricilerin, eğitim veri kümelerinin iyi seçildiğinden ve telif hakkı materyali içermediğinden emin olmaları gerekir, aksi takdirde uygun lisanslar alınmalıdır. Bu, potansiyel yasal sorunları önlemenin yanı sıra AI’nin güvenilir çıkışlar üretmesini sağlar. Ayrıca, önyargı ve adaleti ele almak da önemlidir. Önyargıları aktif olarak tanımlamak ve azaltmak, ve çeşitli ve temsil edilen eğitim veri kümeleri geliştirmek, önyargıyı azaltabilir ve tüm kullanıcılar için adil sonuçlar sağlar.

Robust değerlendirme prosedürleri esastır. Sıkı testleri uygulamak ve FinanceBench gibi benchmark’ları kullanmak, AI modellerinin performansı ve güvenilirliğini değerlendirmeye yardımcı olabilir, böylece belirli kullanım durumları için gereksinimleri karşıladıklarından emin olunur. Ayrıca, etik dikkate alınmalıdır. Etik rehberlik ve çerçevelerle meşgul olmak, AI sistemlerinin sorumlu bir şekilde geliştirildiğini ve toplumsal değerlerle uyumlu olduğunu garantiler.

Şirketlerin AI’yi kullanmak isteyenler için, AI’nin yeteneklerini anlamak kritiktir. Gerçekçi beklentiler oluşturmak ve AI’yi organizasyon içinde etkili bir şekilde kullanmak önemlidir. Sorunsuz entegrasyon ve destek de önemlidir. Güvenilir ortaklarla çalışarak, şirketler AI çözümlerini mevcut iş akışlarına entegre edebilir ve ekiplerinin AI’yi etkili bir şekilde kullanmasını sağlayabilir.

Uygunluk ve güvenlik önceliklendirilmelidir, ilgili düzenlemelere ve veri koruma yasalarına uymaya odaklanılmalıdır. EnterprisePII gibi araçlar, potansiyel riskleri izleme ve yönetme konusunda yardımcı olabilir. AI performansı sürekli izlenmeli ve düzenli olarak değerlendirilmelidir, böylece gerektiğinde ayarlamalar yapılabilir.

Harika röportaj için teşekkürler, daha fazla bilgi edinmek isteyen okuyucular Patronus AI‘yi ziyaret edebilir.