Julian LaNeve, Astronomer’ın CTO’su – Röportaj Serisi

Julian LaNeve, Apache Airflow ve modern veri düzenleme platformu olan Astronomer’in arkasındaki güç olan şirkette Baş Teknik Sorumlu (CTO) olarak görev yapmaktadır.

Julian, Astronomer’de ürün ve mühendislik konularıyla ilgilenmekte ve geliştirici deneyimine, veri gözlemlerine ve yapay zekaya odaklanmaktadır. Ayrıca, Airflow DAG’leri olarak dbt Core projelerini çalıştırmak için bir Airflow sağlayıcısı olan Cosmos kitabının yazarıdır.

Veri ve açık kaynak konularına karşı büyük bir tutkusu vardır ve boş zamanlarında hackathonlara katılır, yeni projeler geliştirir ve son veri trendlerini keşfeder.

Sizinle yazılım mühendisliği ile nasıl ilgilendiğinizi ve Astronomer’in CTO’su olmanızın hikayesini paylaşabilir misiniz?

Ortaokuldayken kodlamaya başladım. Bana göre mühendislik her zaman harika bir yaratıcı çıkış yolu olmuştur: Bir fikir üretebilirim ve necessary teknolojiyi kullanarak bir vizyona doğru ilerleyebilirim. Ancak mühendislikte bazı zaman geçirdikten sonra, daha fazlasını yapmak istedim. İşletmelerin nasıl yönetildiğini, ürünlerin nasıl satıldığını ve ekiplerin nasıl kurulduğunu öğrenmek istedim – ve hızlı bir şekilde öğrenmek istedim.

BCG’de yönetim danışmanlığında birkaç yıl çalıştım ve farklı endüstrilerde çeşitli projeler üzerinde çalıştım. Çok şey öğrendim, ancak sonunda ürünler geliştirmek ve daha uzun vadeli bir vizyona doğru çalışmak istediğim için Astronomer’in ürün yönetim ekibine katılmaya karar verdim.

Bir süre, müşterilerle birlikte çalışarak onların karşılaştıkları zorlukları anlamak ve ürünler ve özellikler tasarlamak için bir PM olarak çalıştım. Ardından, ürün gereksinimlerini aldım ve ürün veya özelliğin实际 olarak geliştirilmesi için mühendislik ekibiyle birlikte çalıştım. Astronomer’de daha büyük bir ürün seti üzerinde bunu yaptım ve sonunda CTO olarak görev yaptığım role ulaştım.

Airflow’i tanımayan kullanıcılar için, Airflow’in programlı olarak iş akışlarını oluşturmak, zamanlamak ve izlemek için ideal bir platform olmasını sağlayan özelliklerini açıklar mısınız?

Apache Airflow, toplu iş odaklı iş akışlarını geliştirmek, zamanlamak ve izlemek için açık kaynaklı bir platformdur. Airflow, modern bulut yerel veri platformlarının ayrılmaz bir parçası olan iş akışı yönetim yeteneklerini sağlar. İşlerin yürütülmesini otomatikleştirir, görevler arasındaki bağımlılıkları koordine eder ve organizasyonlara iş akışlarını izlemek ve yönetmek için merkezi bir kontrol noktası sağlar.

Veri platformu mimarları, Airflow’i kullanarak çeşitli sistemler arasında veri hareketini ve işlenmesini otomatikleştirebilir, karmaşık veri akışlarını yönetebilir ve esnek zamanlama, izleme ve uyarı özellikleri sunabilir. Tüm bu özellikler modern veri ekipleri için çok faydalıdır, ancak Airflow’i ideal bir platform yapan şey, açık kaynaklı bir proje olmasıdır – yani Airflow kullanıcıları ve katkıda bulunanları, platformun geliştirilmesini, sorunların çözülmesini ve en iyi uygulamaların paylaşılmasını sürekli olarak çalışmaktadır.

Airflow ayrıca, popüler veritabanları, uygulamalar ve araçlar ile çok sayıda bulut hizmetiyle entegrasyonlara sahiptir ve her ay daha fazlasını eklemektedir.

Astronomer, Airflow’i dahili süreçlerinde nasıl kullanmaktadır?

Çok fazla kullanıyoruz! Doğal olarak, kendi veri ekibimiz var ve onlar da Airflow’i iş ve müşterilerimize veri teslim etmek için kullanıyorlar. Onlar, Airflow etrafında bazı oldukça gelişmiş araçlar geliştirdiler ve bu, daha geniş platform üzerindeki özellik geliştirmesi için ilham kaynağı oldu.

Airflow’i geleneksel olmayan bazı kullanım durumları için de kullanıyoruz, ancak çok iyi performans gösteriyor. Örneğin, CRE ekibimiz, müşterilerimiz adına çalıştırdığımız yüzlerce Kubernetes kümesini ve binlerce Airflow dağıtımını izlemek için Airflow’i kullanıyor. Boru hatları sürekli olarak sorunlar için çalışıyor ve bir sorun fark edersek, müşterilerimiz adına proaktif destek biletleri açıyoruz.

Ben de kişisel kullanım durumları için Airflow’i kullandım. En sevdiğim (bugüne kadar) New York City’ye taşındığımda yaşandı. Eğer burada yaşamışsan, kiralık pazarının nasıl çılgın olduğunu bilirsin. Daireler, listelendikten birkaç saat içinde kiralanıyor. Ben ve oda arkadaşlarım, herkesin kabul ettiği bir kriter listesi oluşturduk (konum, oda sayısı, banyo sayısı vb.) ve ben, kriterlerimize uyan yeni listeleri her birkaç dakikada bir çekip, bana (Twilio’ya teşekkürler!) uyaran bir Airflow DAG geliştirdim. Şimdi yaşadığım daire, Airflow sayesinde bulundu!

Astronomer, Airflow’i temel alan modern bir veri düzenleme platformu olan Astro’yu tasarladı. Bu aracı kullanarak şirketlerin Airflow’i kolayca veri operasyonlarının merkezine yerleştirmelerini nasıl sağladıklarını paylaşabilir misiniz?

Astro, organizasyonlara ve daha spesifik olarak veri mühendislerine, veri bilimcilerine ve veri analistlerine, tüm veri akışları için tek bir platformda misyon kritik veri boru hatlarını oluşturmak, çalıştırmak ve büyütmek olanakları sağlar. Airflow’i yüksek düzeyde veri güvenliği ve koruması sunan yönetilen bir hizmettir ve şirketlerin dağıtımlarını ölçeklendirme ve kaynaklarını iş hedeflerine odaklanmaya yönelik olarak serbest bırakmalarına yardımcı olur.

Müşterilerimizden biri olan Anastasia, Astro’yu Airflow’i yönetmek için seçti çünkü kendi başına Airflow’i yönetmek için yeterli zamanı veya kaynağı yoktu. Astro, ekiplerin temel iş faaliyetlerine odaklanmasını sağlamak için arka planda çalışır.

Astro’nun temel bileşenlerinden biri esnek ölçeklenebilirliktir. Bu nedir ve bulut bilişim ortamları için neden önemlidir?

Bizim için bu, müşterilerimizin hesaplama taleplerini karşılamak için altyapımızı ölçeklendirebilme yeteneğimiz anlamına geliyor. Müşterilerimiz, büyük veri işleme, makine öğrenimi modeli eğitimi gibi yüksek hesaplama gerektiren çeşitli kullanım durumları için platformumuzu kullanıyor. Astronomer’in temel değer tekliflerinden biri, müşterilerin pipeline’lerini çalıştıran makineleri düşünmesine gerek olmamasıdır. Müşteriler, pipeline’lerini Astro’ya dağıtırlar ve bunların çalışmasını beklerler. Müşterilerimizin değişen taleplerini karşılamak için altyapımızı ölçeklendirmemize yardımcı olan bir dizi özellik ve sistem geliştirdik ve bunları gelecekte daha da geliştirmeye devam edeceğiz.

Astronomer ekibinin Apache Airflow için LLM-güçlü bir sohbet botu olan Ask-Astro’yu oluşturmanızdan sorumluydunuz. Ask-Astro ve onu güçlendiren LLM’ler hakkında bize bilgi verebilir misiniz?

Astronomer ekibimizde Airflow topluluğunun en bilgili üyelerinden bazıları var ve onların bilgilerini paylaşmasını kolaylaştırmak istedik. Bunu yapmak için, Andreessen Horowitz’in LLM Uygulamaları için Yeni Mimariyi referans olarak aldık ve en yaygın sistemleri, araçları ve tasarım kalıplarını gösterdik. Airflow de bu mimarinin merkezi bir rolü oynuyor. Ask Astro, tüm parçaları birleştirmeyi gösteren bir referans uygulamasıdır.

Ask Astro, sadece bir sohbet botundan daha fazlası. Astronomer ekibi, uygulamayı açık olarak geliştirmeye ve topluluğa institutional bilgi geliştirmek için zorluklar, fikirler ve çözümler hakkında düzenli olarak yazmaya karar verdi. Ekibin karşılaştığı en büyük zorluklar nelerdi?

En büyük zorluk, toplulukta net en iyi uygulamaların eksikliğiydi. “En son teknoloji” her hafta yeniden tanımlanıyordu, bu nedenle belirli sorunlara nasıl yaklaşılacağı anlaşılması zordu (belge alımı, model seçimi, çıktı doğruluğu ölçümü vb.). Bu, bizim için Ask Astro’yu açık olarak oluşturmanın ana sürücüsüydü. Farklı kullanım durumları için iyi çalışan LLM düzenleme uygulamaları için bir dizi uygulamayı belirlemek istedik, böylece müşterilerimiz ve topluluğumuz, LLM’leri ve üretken AI teknolojilerini benimsemeye hazır hissedebilsinler.

Bu, harika bir seçim oldu – araç kendisi çok fazla kullanım görüyor, LLM uygulamaları oluşturma hakkında several kamu konuşmaları yaptık ve seçili müşterilerle birlikte iç Ask Astro sürümlerini dağıtmaya bile başladık!

Sizin kişisel vizyonunuz, Airflow ve Astronomer’in geleceği hakkında nedir?

Ben Airflow ve Astronomer’in geleceğinden gerçekten heyecan duyuyorum. Airflow topluluğu sürekli büyümeye devam ediyor ve Astronomer olarak, gelişimini, desteğini ve ekipler ve bireyler arasında bağlantısını desteklemeye kararlıyız.

Veri odaklı içgörülerin artan talebi ve veri kaynaklarının artmasıyla, veri mühendislerinin zor bir işi var. Bu bireyleri ve ekipleri, karmaşık verileri ölçeklenebilir şekilde entegre etmek ve yönetmek için hafifletmek istiyoruz. Bugün, bu aynı zamanda AI benimsemesini ve uygulamasını desteklemek anlamına geliyor. 2023 yılında, diğer birçok şirket gibi, AI kullanımını müşterilerimiz için nasıl hızlandırabileceğimizi odaklandık. Astro platformumuz, AI dağıtımını hızlandırıyor, ML geliştirmesini basitleştiriyor ve sonraki nesil uygulamalar için gerekli güçlü hesaplama gücünü sağlıyor. AI, bu yıl için bizim için bir odak noktası olmaya devam edecek ve yeni teknolojiler ve çerçeveler ortaya çıktıkça müşterilerimizi desteklemeye devam edeceğiz.

Astronomer, harika bir yer ve kariyerini geliştirmek için de harika bir yer. Veri manzarası sürekli değişmeye devam ettikçe, burada çalışmak daha da heyecan verici hale geliyor. Burada harika bir ekip kuruyoruz ve birçok teknik zorluğu çözmek için çalışıyoruz. Ayrıca yakın zamanda merkezimizi New York City’ye taşıdık ve burada teknoloji topluluğunun bir part of the tech community that exists there and we’ll be better equipped to attract the best, most skilled talent in the industry. If you’re interested in joining the team to help us deliver the world’s data on time, reach out! Thank you for the great interview, readers who wish to learn more should visit Astronomer.