Anand Kannappan, Patronus AI’nin CEO’su ve Kurucu Ortağı – Röportaj Serisi

Anand Kannappan, Patronus AI‘nin kurucu ortak ve CEO’sudur. Patronus AI, şirketlerin büyük dil modellerindeki (LLM) hataları büyük ölçekte yakalamalarına yardımcı olan endüstri ilk otomatik AI değerlendirme ve güvenlik platformudur. Daha önce Anand, Meta Reality Labs’de makine öğrenimi açıklanabilirliği ve gelişmiş deney yapma çabalarını yönetti.

Sizce bilgisayar bilimine ilk olarak neler sizi çekmiştir?

Büyürken, teknolojiye ve gerçek dünya sorunlarını çözmede nasıl kullanılabileceğine her zaman ilgi duydum. Yalnızca bir bilgisayar ve kod kullanarak bir şey yaratma fikri beni çekiyordu. Bilgisayar bilimine daha derinlemesine daldıkça, çeşitli endüstrilerde yenilik ve dönüşüm için sahip olduğu muazzam potansiyeli fark ettim. İnovasyon yapma ve fark yaratma arzusu, beni bilgisayar bilimine ilk olarak çekmiştir.

Patronus AI’nin kökenini paylaşabilir misiniz?

Patronus AI’nin kökeni oldukça ilginç bir yolculuk. OpenAI, ChatGPT’yi lanç ettiğinde, bu iki ayda 100 milyondan fazla kullanıcıya ulaşarak en hızlı büyüyen tüketici ürünü oldu. Bu büyük benimsenme, üretken AI’nin potansiyelini vurguladı, ancak şirketlerin AI’yi böyle hızlı bir tempoda dağıtmaktaki tereddütlerini de ortaya çıkardı. Çok sayıda işletme, AI’nin potansiyel hataları ve öngörülemez davranışları konusunda endişe duyuyordu.

Rebecca ve ben yıllardır tanışıyoruz, birlikte Chicago Üniversitesi’nde bilgisayar bilimi okuduk. Meta’da her ikimiz de makine öğrenimi çıktılarını değerlendirme ve yorumlama konusunda zorluklarla karşılaştık – Rebecca araştırma açısından, ben ise uygulamalı bir perspektiften. ChatGPT duyurulduğunda, her ikimiz de LLM’lerin dönüştürücü potansiyelini gördük, ancak şirketlerin gösterdiği ihtiyatlılığı da anladık.

Dönüm noktası, kardeşimin yatırım bankası Piper Sandler’ın içerde OpenAI erişimini yasakladığında geldi. Bu, AI’nin önemli ölçüde ilerlemiş olmasına rağmen, masih şirketlerin güvenirlik ve güvenlik endişeleri nedeniyle bir boşluk olduğunu bize gösterdi. Patronus AI’yi, bu boşluğu ele almak ve üretken AI’ye şirketlerin güvenini artırmak için LLM’ler için bir değerlendirme ve güvenlik katmanı sağlayarak kurduk.

Patronus AI’nin platformunun LLM’leri değerlendirmeye ve güvenceye alma konusundaki temel işlevini açıklayabilir misiniz?

Misyonumuz, şirketlerin üretken AI’ye güvenini artırmaktır. LLM’ler için endüstri ilk otomatik değerlendirme ve güvenlik platformunu geliştirdik. Platformumuz, işletmelerin LLM çıkışlarında hataları büyük ölçekte tespit etmelerine yardımcı olur, böylece AI ürünlerini güvenle ve güvenle dağıtabilirler.

Platformumuz several ana süreci otomatikleştirir:

• Puanlama: Gerçek dünya senaryolarında model performansı değerlendirdik, önemli kriterlere odaklandık, Örneğin, hallucinations ve güvenlik.
• Test Oluşturma: Model yeteneklerini kapsamlı bir şekilde değerlendirmek için otomatik olarak adversarial test paketleri oluştururuz.
• Karşılaştırma: Farklı modelleri karşılaştırırız, böylece müşterilerimiz belirli kullanım durumları için en uygun olanı belirleyebilir.

Şirketler, değişen modellere, verilere ve kullanıcı ihtiyaçlarına uyum sağlamak için sık sık değerlendirmeleri tercih eder. Platformumuz, AI alanında Moody’s gibi bir üçüncü taraf değerlendiricisi olarak hareket eder, tarafsız bir bakış açısı sağlar. İlk ortaklarımız arasında MongoDB (MDB ), Databricks, Cohere ve Nomic AI gibi önde gelen AI şirketleri yer alıyor ve geleneksel endüstrilerdeki beberapa yüksek profilli şirketle platformumuzu denemeye yönelik görüşmelerde bulunıyoruz.

Patronus AI’nin Lynx modeli, LLM çıkışlarında hangi tür hataları veya “halüsinasyonları” tespit eder ve bunları işletmeler için nasıl ele alır?

LLM’ler güçlü araçlardır, ancak olasılıksal doğaları onları “halüsinasyonlara” veya hatalı veya alakasız bilgi üretilmesine eğilimlidir. Bu halüsinasyonlar, özellikle yüksek riskli iş ortamlarında kritik öneme sahiptir.

Geleneksel olarak, işletmeler LLM çıkışlarını değerlendirmek için manuel inceleme yöntemlerine güvenirdi, bu da zaman alıcı ve ölçeklenebilir değildi. Bunu basitleştirmek için, Patronus AI, Lynx adlı bir model geliştirdi. Bu model, platformumuzun yeteneklerini otomatik hata tespiti ile genişletir. Lynx, entegre edildiğinde, kapsamlı test kapsamı ve güçlü performans garantileri sağlar, özellikle işletme operasyonlarını önemli ölçüde etkileyebilecek kritik hataları tespit etmeye odaklanır.

Lynx ile, manuel değerlendirme sınırlamalarını, otomatik adversarial testleme ile hafifletiyoruz, bu da olası başarısızlık senaryolarının geniş bir yelpazesini keşfetmemizi sağlar. Bu, insan değerlendirmecilerin kaçırebileceği sorunların tespit edilmesini sağlar ve işletmelere daha güçlü güvenilirlik ve kritik uygulamalarda LLM’leri dağıtmak için güven verir.

FinanceBench, mali sorular için LLM performansını değerlendirmek üzere endüstri ilk benchmark olarak tanımlanıyor. Mali sektördeki hangi zorluklar, FinanceBench’in geliştirilmesine yol açtı?

FinanceBench, mali sektörün LLM’leri benimsemesinde karşılaştığı benzersiz zorluklara yanıt olarak geliştirildi. Mali uygulamalar yüksek bir doğruluk ve güvenilirlik derecesi gerektirir, hatalar önemli mali kayıplara veya düzenleyici sorunlara yol açabilir. LLM’lerin mali verilerin büyük hacimli işlenmesinde vaatlerine rağmen, araştırmamız, GPT-4 ve Llama 2 gibi son teknoloji modellerin mali sorularla mücadele ettiğini ve genellikle doğru bilgi alamadığını gösterdi.

FinanceBench, mali bağlamlarda LLM performansını değerlendirmek için kapsamlı bir benchmark olarak oluşturuldu. Kamuya açık mali belgelerine dayalı 10.000 soru ve cevap çiftini içerir, nicel akıl yürütme, bilgi alımı, mantıksal akıl yürütme ve dünya bilgisi gibi alanları kapsar. Bu benchmark’u sağlayarak, işletmelerin mevcut modellerin sınırlarını daha iyi anlamalarına ve geliştirme alanlarını belirlemelerine yardımcı olmak istiyoruz.

İlk analizimiz, birçok LLM’nin mali uygulamalar için gereken yüksek standartları karşılayamadığını ortaya çıkardı, bu da bu modellerin daha da geliştirilmesine ve hedefli değerlendirilmesine duyulan ihtiyacı vurguladı. FinanceBench ile, mali sektörde LLM’lerin performansını değerlendirmek ve geliştirmek için değerli bir araç sunuyoruz.

Araştırmalarınız, özellikle OpenAI’nin GPT-4’ü, popüler kitaplardan alıntılarla karşılaştırıldığında önemli oranlarda telif hakkı materyali ürettığini gösterdi. Bu bulguların, AI geliştirme ve daha geniş teknoloji endüstrisi için uzun vadeli etkileri nelerdir, özellikle AI ve telif hakkı yasaları etrafındaki devam eden tartışmalar dikkate alındığında?

AI modellerinin telif hakkı materyali üretmesi, AI endüstrisinde karmaşık ve acil bir endişe konusudur. Araştırmamız, GPT-4 gibi modellerin, popüler kitaplardan alıntılarla karşılaştırıldığında, telif hakkı materyali ürettiklerini gösterdi. Bu, entelektüel mülkiyet hakları ve AI tarafından üretilen içeriğin yasal etkileri hakkında önemli soruları gündeme getiriyor.

Uzun vadede, bu bulgular, AI ve telif hakkı yasaları etrafında daha net rehberlik ve düzenlemelere duyulan ihtiyacı vurgulamaktadır. Endüstri, entelektüel mülkiyet haklarına saygı duyarken yaratıcı yeteneklerini koruyan AI modelleri geliştirmeye çalışmalıdır. Bu, eğitim veri kümelerini telif hakkı materyalinden arındırma veya korunan içeriğin yeniden üretimini önleyen mekanizmaların uygulanmasıyla olabilir.

Daha geniş teknoloji endüstrisi, yasal uzmanlar, politika yapıcılar ve paydaşlarla birlikte, inovasyonu mevcut yasalara saygı göstererek dengeleyen bir çerçeve oluşturmak için devam eden tartışmalara katılmalıdır. AI devam ettikçe, bu zorlukları proaktif bir şekilde ele almak, sorumlu ve etik AI geliştirme sağlamak için kritiktir.

Araştırmalarınızın gösterdiği gibi, LLM’lerin telif hakkı materyali üretme oranının endişe verici olduğu düşünülürse, AI geliştiricileri ve endüstri olarak bu endişeleri ele almak için hangi adımları atmaları gerekir? Ayrıca, bu bulgular ışığında, Patronus AI’nin daha sorumlu ve yasal olarak uyumlu AI modelleri oluşturmaya nasıl katkıda bulunmayı planladığından bahsedin.

AI modellerinin telif hakkı materyali üretmesi konusunu ele almak için çok yönlü bir yaklaşım gerekir. AI geliştiricileri ve endüstri olarak, AI modeli geliştirme sürecinde şeffaflık ve hesap verebilirliği önceliklendirmelidir. Bu,

• Veri Seçimini İyileştirme: Eğitim veri kümelerinin, telif hakkı materyalinden arındırıldığından emin olmak, uygun lisanslar alınmadıkça.
• Tespit Mekanizmaları Geliştirme: Potansiyel olarak telif hakkı materyali üreten AI modellerini tanımlayabilen sistemlerin uygulanması ve kullanıcıların bu tür içeriği değiştirmesine veya kaldırmasına olanak tanıma.
• Endüstri Standartları Oluşturma: AI geliştirme için, entelektüel mülkiyet haklarına saygı gösteren rehberlik ve standartlar oluşturmak için yasal uzmanlar ve endüstri paydaşlarıyla işbirliği.

Patronus AI olarak, değerlendirme ve uyumluluk konusunda odaklanarak sorumlu AI geliştirme katkıda bulunmaya çalışıyoruz. Platformumuz, EnterprisePII gibi ürünleri içerir, bu ürünler işletmelerin AI çıkışlarında potansiyel gizlilik sorunlarını tespit etmelerine ve yönetmelerine yardımcı olur. Bu çözümleri sağlayarak, işletmelerin AI’yi sorumlu ve etik bir şekilde kullanmalarını ve yasal riskleri en aza indirmelerini amaçlıyoruz.

EnterprisePII ve FinanceBench gibi araçlarla, özellikle finans ve kişisel veri gibi hassas alanlarda AI’yi dağıtmada işletmelerin davranışlarında neler gibi değişiklikler bekliyorsunuz?

Bu araçlar, işletmelerin AI çıkışlarını daha etkili bir şekilde değerlendirmelerine ve yönetmelerine olanak tanır, özellikle finans ve kişisel veri gibi hassas alanlarda.

Finans sektöründe, FinanceBench işletmelerin LLM performansını yüksek bir doğruluk derecesiyle değerlendirmelerine olanak tanır, böylece modellerin finansal uygulamaların nghiêm gereksinimlerini karşıladıklarından emin olabilirler. Bu, işletmelerin AI’yi veri analizi ve karar verme gibi görevlerde daha güvenle ve güvenilir bir şekilde kullanmalarını sağlar.

Benzer şekilde, EnterprisePII gibi araçlar işletmelerin veri gizliliği karmaşıklıklarını gezinmelerine yardımcı olur. Potansiyel risklere ilişkin içgörüler sunarak ve bunları hafifletmek için çözümler sunarak, işletmelerin AI’yi daha güvenli ve sorumlu bir şekilde dağıtmalarını sağlar.

Genel olarak, bu araçlar AI benimsemeye daha bilinçli ve stratejik bir yaklaşımı mümkün kılar, işletmelerin AI’nin faydalarını kullanırken ilgili riskleri en aza indirmelerine yardımcı olur.

Patronus AI, bu araçları mevcut LLM dağıtımları ve iş akışlarına entegre etmek için şirketlerle nasıl çalışır?

Patronus AI olarak, AI benimsemesinde sorunsuz entegrasyonun önemini anlıyoruz. Müşterilerimizle yakın çalışarak, araçlarımızın mevcut LLM dağıtımları ve iş akışlarına kolayca entegre edildiğinden emin oluyoruz. Bu, müşterilerimize;

• Özel Entegrasyon Planları: Her müşteri için, özel entegrasyon planları geliştiriyoruz, bu planlar onların spesifik ihtiyaçlarına ve hedeflerine uyuyor.
• Kapsamlı Destek: Entegrasyon süreci boyunca, sürekli destek sağlıyoruz, böylece müşterilerimiz araçlarımızı en iyi şekilde kullanabilsinler.
• Eğitim ve Öğretim: Müşterilerimize, araçlarımızın tam potansiyelinden yararlanabilmeleri için eğitim oturumları ve öğretim kaynakları sunuyoruz.

AI çıkışlarının güvenli, doğru ve çeşitli yasalara uygun olması konusundaki karmaşıklıklar dikkate alındığında, LLM geliştiricilerine ve bunları kullanmak isteyen şirketlere neler önerirsiniz?

İşletmelerle yakın çalışarak, entegrasyon sürecini mümkün olduğunca sorunsuz ve verimli hale getirmeyi amaçlıyoruz, böylece işletmeler AI çözümlerimizin tam potansiyelinden yararlanabilsin.

AI çıkışlarının güvenli, doğru ve çeşitli yasalara uygun olması konusundaki karmaşıklıklar önemli zorluklar sunar. LLM geliştiricileri için, şeffaflık ve hesap verebilirliği geliştirme sürecinde önceliklendirmek anahtardır.

Veri kalitesi, temel bir аспектtir. Geliştiricilerin, eğitim veri kümelerinin iyi bir şekilde oluşturulduğundan ve telif hakkı materyalinden arındırıldığından emin olmaları gerekir, aksi takdirde uygun lisanslar alınmalıdır. Bu, potansiyel yasal sorunları önlemenin yanı sıra AI’nin güvenilir çıkışlar üretmesini sağlar. Ayrıca, önyargı ve adaleti ele almak da önemlidir. Önyargıları tanımlamak ve hafifletmek ve çeşitli ve temsil edici eğitim veri kümeleri geliştirmek, önyargıyı azaltabilir ve tüm kullanıcılar için adil sonuçlar sağlar.

Güvenilir değerlendirme prosedürleri de çok önemlidir. Sıkı testlerin uygulanması ve FinanceBench gibi benchmark’lerin kullanılması, AI modellerinin performansını ve güvenilirliğini değerlendirmeye yardımcı olabilir, böylece belirli kullanım durumları için gereksinimleri karşıladıklarından emin olunabilir. Ayrıca, etik dikkate alınmalıdır. Etik rehberlik ve çerçevelerle meşgul olmak, AI sistemlerinin sorumlu ve toplum değerleriyle uyumlu bir şekilde geliştirildiğini güvence altına alır.

Şirketler için, AI’nin yeteneklerini anlamak çok önemlidir. AI’yi organizasyon içinde etkili bir şekilde kullanmak için gerçekçi beklentiler oluşturmak ve AI’yi mevcut iş akışlarına sorunsuz bir şekilde entegre etmek önemlidir. Ayrıca, uyumluluk ve güvenlik önceliklendirilmelidir, bu da ilgili düzenlemelere uymak ve veri koruma yasalarına dikkat etmek anlamına gelir. Araçlar gibi EnterprisePII, potansiyel riskleri izlemek ve yönetmek için yardımcı olabilir. AI performansının sürekli izlenmesi ve düzenli değerlendirilmesi, doğruluk ve güvenilirliğin korunmasını sağlar ve gerektiğinde ayarlamalar yapılmasına olanak tanır.

Harika röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular Patronus AI‘yi ziyaret edebilir.