Edo Liberty, Pinecone’un Kurucusu ve Baş Bilim Adamı – Röportaj Serisi

Edo Liberty, Pinecone’un kurucusu ve baş bilim adamı, büyük ölçekli veri sistemleri ve makine öğrenimi konusunda önde gelen bir uzmandır. Pinecone’u kurmadan önce, performans ve ölçek için tasarlanmış bir vektör veritabanı olan SageMaker, OpenSearch, Kinesis ve daha fazlasının arkasındaki temel teknolojileri geliştiren AWS’de Araştırma Direktörü ve Amazon (AMZN ) AI Labs’ın başkanı olarak görev yaptı. Daha önce Yahoo’nun New York araştırma laboratuvarını yönetti ve arama, reklamcılık ve güvenlik konularında makine öğrenimi platformları ve uygulamalarını geliştirdi. Çalışmaları, boyutluluk indirgeme, kümeleme, akış ve büyük ölçekli lineer cebir gibi konularda büyük veri kümelerini işleme algoritmaları ve matematiksel temelleri üzerine odaklanmaktadır.

Pinecone, büyük ve dinamik veri kümeleri üzerinde ölçeklenebilir ve verimli arama yapmak için tasarlanmış bir đầy olarak yönetilen vektör veritabanıdır. Yoğun ve seyrek gömme destekler, gerçek zamanlı dizin oluşturma ve meta veri tabanlı filtreleme sağlar ve önde gelen bulutlar, modeller ve çerçeveler ile sorunsuz bir şekilde entegre olur. Sunucusuz otomatik ölçeklendirme, kurumsal sınıf güvenlik ve SOC 2, ISO 27001, GDPR ve HIPAA gibi uyumluluk standartları ile Pinecone, büyük ölçekli AI uygulamaları dağıtmak için güvenilir bir temel sağlar.

2019’da Amazon AI Labs’te araştırma lideri olarak görev yaptıktan ve SageMaker gibi sistemleri inşa ettikten sonra, Pinecone’u kurma ve özellikle vektör veritabanlarına odaklanma kararını ne etkiledi?

AWS’de, ML ekibimiz harika sistemler inşa etti, ancak büyük miktarda yapılandırılmamış veri üzerinden anlamsal olarak arama yapmak için bir yol yoktu. Bu, komplex vektör arama tabanlı çözümler inşa etmeyi bilen son derece uzmanlaşmış mühendisler gerektiriyordu. Eğer insanlar kolayca vektörlerin yakaladığı anlamsal zenginliği erişebileceklerse ve bunu gelişmiş modellerle birleştirebilselerse, herkes AI’nin değerini kendileri için hızlandırabilirdi. Bu nedenle, AWS’den ayrıldım ve büyük ölçekli yapılandırılmamış veri kullanarak AI’nin değerini mümkün olduğunca basit bir şekilde elde etmeyi gerçekten dönüştürme hedefiyle.

Pinecone, vektör veritabanı alanında tanımlayıcı bir şirket haline geldi. Geriye bakıldığında, bu yeni kategoriyi kurmak için teknik veya pazar engelleri nelerdi?

En büyük zorluk? Nobody knew what a vector database was! Pazarı ne inşa ettiğimiz ve neden önemli olduğu konusunda eğitmek zorunda kaldık. Müşterilerimize kendileri için ne çağırdıklarını sorduk ve bize bir vektör veritabanı dediler.

Diğerleri anlamaya başladığında, neden açık kaynak kullanamadıklarını sordular ve açık kaynakların sınırlarını ve ölçek performans ticaretini açıklamak zorunda kaldık – ve sonra bile, uzman mühendislere altyapıyı inşa etmeleri gerekecekti. Bu nedenle, her zaman yönetilen bir hizmet olduk ve kullanıcı deneyimine odaklandık. Sistemimiz, milyarlarca ölçekli benzerlik araması için gerekli olan bu uzman altyapının altında son derece karmaşıktır. Ancak, herhangi bir geliştiricinin kullanabileceği bir API çağrısı ile erişilebilir hale getiriyoruz.

Bu, yaklaşık en yakın komşu algoritmalarının, dizin yönetimlerinin ve dağıtılmış sistemlerin tüm karmaşıklığını soyutlamak anlamına geliyordu. Geliştiriciler, HNSW parametreleri hakkında düşünmek istemiyorlar, sadece çalışmasını istiyorlar.

Son olarak, CEO’dan Baş Bilim Adamı’na geçiş yaptınız ve Ash Ashutosh’u şirketin lideri olarak getirdiniz. Bu kararı ne etkiledi ve Pinecone’un bir sonraki bölümünde rolünüzün nasıl evrimleşeceğini görüyorsunuz?

Pinecone, bir AI şirketi ve araştırma merkezli bir şirket. Bugüne kadar geldiğimiz yere, arama, sistemler ve algoritmaları yeniden tanımladığımız için geldik. Ve, akademik olarak çok aktifiz, teknik raporlar ve makaleler yayınlıyoruz, konferanslar veriyoruz ve pazarı eğitiyoruz, hatta AI ve Hafıza hakkında kitaplar yazıyoruz ve üniversite dersleri veriyoruz. Şirket büyüdükçe, bu çabaları işin geri kalanından ayrı bir araştırma laboratuvarı altında formalize etmeliyiz. DeepMind ve Google (GOOGL ) gibi bir örnek düşünün. Gelecekte, enerjiimi Pinecone’un araştırmasını yönetmeye, AI’yi bilgilendirmeye ve Pinecone’un bir sonraki ürün setini inşa etmeye odaklayacağım.

Aynı zamanda, Ash mükemmel bir CEO ve Pinecone için lider olacaktır. Altyapı şirketleri kurdu ve büyüttü ve Pinecone gibi bir şirketin nasıl işletileceğini bilir. Teknoloji ve pazar hakkında derinlemesine bilgi sahibi ve yaratıcı. Ve, müşterilerle obsesyonlu. Ash ve ben, şirketin ve işimizin büyümesi konusunda derinlemesine ortaklık yapacağız.

Blog yazınızda “AI’yi bilgilendirmeye” odaklanmaktan bahsettiniz. Bu, uygulamada ne anlama geliyor ve Pinecone’un teknolojisi bu konuda nasıl benzersiz bir şekilde konumlandırılmış?

AI’ye hafıza olmadan, bir dahi ile amnezi arasında bir benzerlik vardır: çok zeki, ancak hiçbir bağlamı yok. “AI’yi bilgilendirmek”, AI sistemlerine büyük miktarda bilgiye erişme, anlama ve gerçek zamanlı olarak akıl yürütme yeteneği kazandırmak anlamına gelir.

AI güçlendirilmiş uygulamaların, anlamsal olarak anlaşılan ve organize edilen verilerden gerçek zamanlı olarak ilgili içgörüler sağlayabilmesini sağlıyoruz ve AI sistemlerinin sadece tahminlerde bulunmadığından, sondern veri üzerinden bilgiyi geri çağırmak ve sentezlemek için donatıldığından emin oluyoruz. Bu, son kullanıcılar için daha doğru, daha bilgilendirici ve güncel çıktılara yol açar.

Bunun için, yüksek kaliteli, doğru uçtan uca geri çağırma için tüm bileşenleri ve yetenekleri tek bir yerde sunuyoruz ve büyük ölçekli geri çağırma için endüstri lideri performansı sunuyoruz.

Princeton’da “AI’de Uzun Süreli Hafıza” dersi verdiğiniz düşünülürse, vektör veritabanları ve AI modellerinin geleceği arasındaki ilişkiyi nasıl görüyorsunuz? Bugünkü büyük modeller için hafıza ve bağlamın eksik parçalar olduğuna inanılıyor musunuz?

Kesinlikle. LLM’ler, temel olarak desen eşleştirme makineleri – harika olanlar, ancak vẫn temel olarak eğitim veri kesme noktaları ve bağlam pencereleri ile sınırlılar. Matthijs Douze ile birlikte Meta’dan verdiğimiz ders, büyük miktarda veri üzerinde vektör aramasını mümkün kılan algoritmalar üzerine odaklandı. Gelecek, daha büyük modeller değil, daha akıllı geri çağırma ve daha fazla veri, gerçek zamanlıdır.

Çok sayıda kuruluş, AI pilotlarından üretim ölçekli dağıtımlara geçişte zorluk Yaşıyor. Pinecone bu boşluğu nasıl kapatıyor ve başarılı müşterilerinizden hangi en iyi uygulamaları gözlemlediniz?

Boşluk genellikle üç şeye indirgenir: performans (ve maliyet) ölçeklendirilebilirlik, güvenlik ve karmaşıklık. 10 milyon belgeyle çalışan bir demo, 10 milyar belgeyle çalışmaz. Bir şeyi bir saat çalıştırmak, 7/24 çalıştırmak ve hiç down-time toleransı olmaması farklıdır. Bu nedenle, sunucusuz mimari, kurumsal sınıf özellikler ve kullanım kolaylığına odaklandık.

En önemli şey, sadece başlamak. Müşterilerimiz, bize danışmadan çok şey yapabildiklerini thường şaşırıyorlar. Bunu kasıtlı olarak böyle tasarladık, ancak onlara ihtiyac duyduklarında her zaman yanlarında oluyoruz.

Akademiden, büyük teknoloji araştırma (Yahoo, AWS) ve girişimciliğe geçiş yaptınız. Bu farklı ortamlar, Pinecone’u inşa etme yaklaşımınızı nasıl şekillendirdi?

Akademiden, ilk ilkelerden düşünmeyi, büyük veri platformlarını nasıl tasarlayacağını ve inşa edeceğini öğrendim. Yahoo ve AWS’de, mühendislerin inşa etmekten hoşlandıkları basit veri platformlarını inşa etmeyi öğrendim.

Girişimcilik, en iyi teknolojinin ancak gerçek sorunları insanların kullanabileceği bir şekilde çözdüğünde kazandığını öğretir.

Bu karışım, inşa ettiğimiz şey için çok önemlidir. Sadece araştırma makaleleri yazmıyoruz veya teknoloji için teknoloji inşa etmiyoruz. Her yenilik, geliştiricilerin hayatını kolaylaştırmalı ve kuruluşların uygulamalarını daha güçlü hale getirmelidir.

Arama ve AI’nin birleşmesi, bilgisayarların en büyük değişimlerinden biri gibi görünüyor. Beş yıl içinde nereye gideceğini düşünüyorsunuz ve Pinecone’un çalışması bu geleceği nasıl şekillendirecek?

Arama, konuşmaya ve bağlama dönüşüyor. Beş yıl içinde, “arama” yapmayacaksınız – AI sistemleri ile diyaloglar yapacaksınız ve bunlar, sadece sorgunuzu değil, amacınızı, bağlamanızı ve geçmişinizi anlayacaklar. Her etkileşim, gerçek zamanlı olarak güncellenen büyük bilgi tabanları tarafından bilgilendirilecek.

Bu altyapıyı inşa ediyoruz. Vektör veritabanımız sadece başlangıç. Her uygulamanın gömülü bağlamı olan, AI’nin veri üzerinden hayal kurmadığı, veri üzerinden bilgiyi geri çağırdığı ve sentezlediği bir gelecek görüyorum – arama ve bilme arasındaki sınır kaybolacak.

Baş Bilim Adamı olarak, veri, modeller ve prototiplerle daha fazla ilgileneceksiniz. Şu anda en çok hangi araştırma alanlarına dalma heyecanını duyuyorsunuz?

Oh, nereden başlayacağımı bilemiyorum? Kısa ve orta vadeli olarak, verimlilik ve kullanım kolaylığına dalıyorum. Vektör aramasını 10 kat daha hızlı ve 10 kat daha ucuz hale getirebilir miyiz? API’lerimizi bugün olduğundan daha basit hale getirebilir miyiz? Bunlar zor sorunlar.

Uzun vadede, geri çağırma ve akıl yürütme arasındaki kesişme noktasına takıntılıyım. Nasıl sistemler inşa edebiliriz ki, sadece ilgili gerçekleri bulmakla kalmaz, sondern onlar arasındaki ilişkileri de anlar ve bu bağlamı kullanarak bilgilendirilmiş AI ve daha güçlü ajanlar oluşturur?

Son olarak, kişisel olarak: CEO rolünden geri adım atmak, bu geçişten en çok neyi heyecanlandırıyor ve Pinecone’un bir sonraki aşamasında hangi tür atılımları açığa çıkarmayı umuyorsunuz?

En mutlu olduğum zaman, kodun derinlerinde, araştırma ekibimle birlikte, “Bu gerçekten çalışıyor!” anlarını 2’de yaşıyorum.

Rüyam? Geri çağırma o kadar iyi ki, görünmez hale geliyor. Geliştiriciler, gömme, indeks veya herhangi bir şey hakkında düşünmeden bağlamsal uygulamalar inşa edebiliyor ve sadece çalışıyor.

AI ve veri birleştiği bu inanılmaz anda yaşıyoruz. Potansiyel sınırsız ve bu geleceği şimdi yaratmak için günlerimi geçiriyorum.

Harika bir röportaj için teşekkür ederiz, daha fazla bilgi öğrenmek isteyen okuyucular Pinecone‘u ziyaret edebilir.