Edo Liberty, Pinecone’un Kurucusu ve Baş Bilim İnsanı – Röportaj Serisi

Edo Liberty, Pinecone’un Kurucusu ve Baş Bilim İnsanı, büyük ölçekli veri sistemleri ve makine öğrenimi konusunda önde gelen bir uzmandır. Pinecone’u – performansa ve ölçeklenebilirliğe yönelik olarak tasarlanmış vektör veritabanını – başlatmadan önce, AWS’de Araştırma Direktörü ve Amazon AI Labs’ın Başkanı olarak, SageMaker, OpenSearch, Kinesis ve daha fazlasının arkasındaki temel teknolojileri geliştiren ekibin başında bulundu. Daha önce, Yahoo’nun New York araştırma laboratuvarını yönetti ve arama, reklamcılık ve güvenlik konularında makine öğrenimi platformları ve uygulamalarını geliştirdi. Çalışmaları, boyutluluk azaltma, kümeleme, akış ve büyük ölçekli lineer cebir dahil olmak üzere devasa veri kümelerini işleme için algoritmalar ve matematiksel temeller üzerine odaklanıyor.

Pinecone, büyük ve dinamik veri kümeleri üzerinde ölçeklenebilir ve verimli arama yapmak için tasarlanmış, tamamen yönetilen bir vektör veritabanıdır. Hem yoğun hem de seyrek gömme işlemlerini destekler, gerçek zamanlı dizinleme ve meta veri tabanlı filtreleme sağlar ve önde gelen bulut, modeller ve çerçevelerle sorunsuz bir şekilde entegre olur. Sunucusuz otomatik ölçeklendirme, kurumsal sınıf güvenlik ve SOC 2, ISO 27001, GDPR ve HIPAA gibi uyumluluk standartları ile Pinecone, büyük ölçekli AI uygulamaları dağıtmak için güvenilir bir temel sağlar.

Pinecone’u 2019’da Amazon AI Labs’te araştırma liderliği yaptıktan ve SageMaker gibi sistemleri inşa ettikten sonra kurduunuz. Pinecone’u başlatma ve özellikle vektör veritabanlarına odaklanma kararını ne tetikledi?

AWS’de, ML ekibimiz harika sistemler inşa etti, ancak bellek söz konusu olduğunda, büyük miktarda yapılandırılmamış verilerin semantik olarak aranması için bir yol yoktu. Bu, karmaşık vektör arama tabanlı çözümler nasıl inşa edileceğini bilen son derece uzmanlaşmış mühendisler gerektiriyordu. Eğer insanların vektörlerin yakaladığı semantik zenginliği kolayca erişebilecekleri ve gelişmiş modellerle birleştirebilecekleri bir yol olsaydı, herkes AI’nin değerini kendisi için hızlandırabilirdi. Bu nedenle, AWS’den ayrıldım ve amacım, AI’nin gücünü kullanarak özel yapılandırılmamış verilerin en büyük değerini mümkün olduğunca basit bir şekilde elde etmeyi gerçekten dönüştürmekti.

Pinecone, vektör veritabanı alanında tanımlayıcı şirket haline geldi. Geriye bakıldığında, bu yeni kategoriyi kurmak için aşmanız gereken en büyük teknik veya pazar engelleri nelerdi?

En büyük zorluk? Hiç kimse vektör veritabanının ne olduğunu bilmiyordu! Piyasayı ne inşa ettiğimiz ve neden önemli olduğu konusunda eğitmek zorunda kaldık. Müşterilerimize kendileri nasıl adlandırdıklarını sorduk ve bize vektör veritabanı dediler.

Diğerleri bunu anlamaya başladığında, neden açık kaynak kullanamadıklarını soruyorlardı ve açık kaynakların sınırları ve ölçek performans ticaretinin neler olduğunu açıklamak zorunda kalıyorduk – ve sonra, tüm bunlardan sonra, altyapınızı oluşturmak için deneyimli mühendislere ihtiyacınız olacaktı. Bu nedenle, her zaman yönetilen bir hizmet olduk ve kullanıcı deneyimi üzerinde odaklandık. Sistemimiz, milyarlarca ölçekli benzerlik araması için gerekli olan özel altyapı nedeniyle çok karmaşıktır. Ancak, herhangi bir geliştiricinin kullanabileceği bir API çağrısı ile erişilebilir hale getiriyoruz.

Bu, yaklaşık en yakın komşu algoritmaları, dizin yönetimi ve dağıtılmış sistemlerin tüm karmaşıklığını soyutlamak anlamına geliyordu. Geliştiriciler HNSW parametreleri hakkında düşünmek istemiyorlar, sadece çalışmasını istiyorlar.

Son olarak, CEO’dan Baş Bilim İnsanı’na geçiş yaptınız ve Ash Ashutosh’u şirketin lideri olarak getirdiniz. Bu kararı ne motive etti ve Pinecone’un bir sonraki bölümünde rolünüzün nasıl evrileceğini görüyorsunuz?

Pinecone, bir şirket olarak, bir AI şirketi ve araştırma merkezli bir şirkettir. Bugüne kadar geldiğimiz yere, arama, sistemler ve algoritmaları yeniden tanımladığımız için geldik. Ve akademik olarak çok aktifiz, teknik raporlar ve makaleler yayınlıyoruz, konferanslar veriyoruz ve piyasayı eğitiyoruz, hatta AI ve Hafıza üzerine üniversite dersleri ve kitaplar yazıyoruz. Şirket büyüdükçe, bu çabaları işin geri kalanından ayrılmış bir araştırma laboratuvarı altında resmi olarak organize etmeliyiz. DeepMind ve Google gibi bir örnek düşünün. Gelecekte, enerjiimi araştırma liderliğine, AI’nin bilgili olmasını sağlamaya ve Pinecone’dan sonraki ürün setini inşa etmeye odaklayacağım.

Aynı zamanda, Ash, Pinecone için harika bir CEO ve lider olacak. Altyapı şirketleri kurdu ve büyüttü ve bir şirket gibi Pinecone’u nasıl etkili bir şekilde işletileceğini biliyor. Teknoloji ve pazarımız hakkında derinlemesine bilgi sahibi ve yaratıcı. Ve müşterilerle derinden obsesif. Ash ve ben, şirketin büyümesi ve işimiz konusunda derinlemesine ortaklık yapacağız.

Blog yazınızda “AI’yi bilgili yapmak” üzerine odaklanmaktan bahsettiniz. Bu, uygulamada ne anlama geliyor ve Pinecone’un teknolojisinin bunu mümkün kılmak için benzersiz bir şekilde konumlandırıldığını nasıl görüyorsunuz?

AI, hafıza olmadan, amnezi olan zeki bir insan gibidir: çok zeka, ancak hiçbir bağlam. “AI’yi bilgili yapmak”, AI sistemlerine, gerçek zamanlı olarak büyük miktarda bilgiye erişme, anlamlandırma ve üzerinde akıl yürütme yeteneği kazandırmak anlamına geliyor.

AI güçlendirilmiş uygulamaların, anlamlı bilgiler sunmasını, bunları semantik olarak anlaşılan ve organize edilen verilerden ve AI sistemlerinin yalnızca tahminde bulunmadığını, sondern talebe göre bilgiyi alabilmesini ve sentezleyebilmesini sağlıyoruz. Bu, son kullanıcılar için daha doğru, daha bilgili ve güncel çıktılara yol açar.

Bunu, yüksek kaliteli, doğru uçtan uca geri alma için tüm bileşenleri ve yetenekleri tek bir yerde sunarak ve endüstri lideri performansı büyük ölçekli geri alma için sağlayarak gerçekleştiriyoruz.

Princeton’da “AI’de Uzun Süreli Hafıza” dersini verdiğiniz düşünülürse, vektör veritabanları ile AI modellerinin geleceği arasındaki ilişkiyi nasıl görüyorsunuz? Bugünün büyük modelleri için hafıza ve bağlamın eksik parçalar olduğuna inanılıyor mu?

Kesinlikle. LLM’ler, desen eşleştirme makineleri – harika olanlar, ancak temelde eğitim verisi kesme noktası ve bağlam pencereleri ile sınırlılar. Meta’dan Matthijs Douze ile birlikte verdiğim ders, büyük miktarda veri üzerinde vektör aramasını mümkün kılan algoritmalar üzerine odaklandı. Gelecek, daha büyük modeller değil, daha akıllı geri alma ve daha fazla veri üzerinde, gerçek zamanlıdır.

Çok sayıda kuruluş, AI pilotlarından üretim ölçeğinde dağıtımlara geçişte mücadele ediyor. Pinecone bu boşluğu nasıl kapatıyor ve başarılı müşterilerinizden hangi en iyi uygulamaları gözlemlediniz?

Boşluk genellikle üç şeye indirgenir: performans (ve maliyet) ölçeğinde, güvenlik ve karmaşıklık. 10 milyon belgeyle çalışan bir demo, 10 milyar belgeyle çalışmaz. Bir şeyi bir saat çalıştırmak, hiç durma toleransı olmadan 24/7 çalıştırmakla aynı şey değildir. Bu nedenle, sunucusuz mimariğimiz, kurumsal sınıf özelliklerimiz ve kullanım kolaylığı üzerinde takıntılıyız.

En önemli şey, sadece başlamak. Müşterilerimiz, bize danışmadan yapabileceklerinin miktarı konusunda thường şaşırırlar. Bunu kasıtlı olarak böyle tasarladık, ancak onlara ihtiyacımız olduğunda her zaman yanlarında oluyoruz.

Kariyeriniz boyunca akademiden, büyük teknoloji araştırma (Yahoo, AWS) ve girişimciliğe geçiş yaptınız. Bu farklı ortamlar, Pinecone’u inşa etme yaklaşımınızı nasıl şekillendirdi?

Akademiden, ilk prensiplerden düşünmeyi, nasıl büyük çözümler tasarlayabileceğimi öğrendim. Yahoo ve AWS’de, mühendislerin inşa etmekten hoşlandığı basit veri platformları nasıl inşa edileceğini öğrendim.

Girişimcilik, en iyi teknolojinin yalnızca gerçek sorunları insanların gerçekten kullanabileceği şekilde çözdüğünde kazandığını öğretir.

Bu karışım, inşa ettiğimiz şey için çok önemlidir. Sadece araştırma makaleleri yazmıyoruz veya teknoloji için teknoloji inşa etmiyoruz. Her yenilik, geliştiricilerin hayatını kolaylaştırmalı ve kurumsal uygulamaları daha güçlü hale getirmelidir.

Bilgi arama ve AI’nin birleşmesi, hesaplamadaki en büyük değişimlerden biri gibi görünüyor. Beş yıl içinde nereye gideceğini düşünüyorsunuz ve Pinecone’un çalışması bu geleceği şekillendirmede nasıl yardımcı olacak?

Arama, konuşmaya dayalı ve bağlamsal hale geliyor. Beş yıl içinde, “arama” yapmayacaksınız – AI sistemleriyle, yalnızca sorgunuzun değil, amacınızın, bağlamsal geçmişinizin anlaşıldığı diyaloglar yapacaksınız. Her etkileşim, gerçek zamanlı olarak güncellenen büyük bilgi tabanları tarafından bilgilendirilecek.

Bu altyapıyı inşa ediyoruz. Vektör veritabanımız sadece başlangıç. Gördüğüm gelecek, her uygulamanın gömülü bağlamı olan, AI’nin uydurma yapmadığı, verilere dayandığı, arama ve bilme arasındaki sınırın kaybolduğu bir gelecek.

Baş Bilim İnsanı olarak, veri, modeller ve prototiplerle daha çok ilgileneceksiniz. Şu anda en çok hangi araştırma alanlarına dalma konusunda heyecanlanıyorsunuz?

Kısa-orta vadede, verimlilik ve kullanım kolaylığına daha derinlemesine dalıyorum. Vektör aramasını 10 kat daha hızlı yapabilir ve aynı zamanda 10 kat daha ucuz hale getirebilir miyiz? API’lerimizi bugün olduğundan 10 kat daha basit hale getirebilir miyiz? Bunlar zor sorunlar.

Uzun vadede, geri alma ve akıl yürütme arasındaki kesişme noktasına takıntılıyım. Sistemlerin yalnızca ilgili gerçekleri bulmakla kalmayıp, aralarında bulunan ilişkileri anlamasını ve bu bağlamı kullanarak bilgili AI ve daha güçlü ajanlar oluşturmasını nasıl sağlayabiliriz?

Son olarak, kişisel olarak: CEO rolünden geri adım atmanız, size en çok neyi heyecanlandırıyor ve Pinecone’un bir sonraki aşamasında hangi türden atılımları açığa çıkarmayı umuyorsunuz?

En mutlu olduğum zaman, kodun derinlerinde, araştırma ekibimizle çalışırken, “Bu gerçekten çalışıyor!” anlarını 02:00’de yaşıyorum.

Rüyam? Geri almayı o kadar iyi hale getirmek ki, görünmez hale gelsin. Geliştiricilerin, gömme veya dizin gibi şeyleri düşünmeden bağlamsal uygulamalar inşa edebilmesi ve sadece çalışması.

Biz, AI ve verilerin birleştiği muhteşem bir anda yaşıyoruz. Potansiyel sınırsız ve bu geleceği gerçekleştirmek için günlerimi geçiriyorum.

Harika bir röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular Pinecone adresini ziyaret edebilirler.