Julian LaNeve, CTO di Astronomer – Seri Wawancara

Julian LaNeve adalah Chief Technical Officer (CTO) di Astronomer, kekuatan di balik Apache Airflow dan orkestrasi data modern untuk memuat semua dari AI hingga analitik umum.

Julian melakukan produk dan teknik di Astronomer di mana ia fokus pada pengalaman pengembang, pengamatan data, dan AI. Ia juga penulis Cosmos, penyedia Airflow untuk menjalankan proyek dbt Core sebagai DAG Airflow.

Ia sangat bersemangat tentang semua hal yang terkait dengan data dan sumber terbuka karena ia menghabiskan waktu luangnya untuk hackathon, memprototipe proyek baru, dan menjelajahi yang terbaru dalam data.

Apakah Anda bisa berbagi cerita pribadi tentang bagaimana Anda terlibat dengan rekayasa perangkat lunak, dan bekerja sampai menjadi CTO di Astronomer?

Saya telah mengkode sejak saya di sekolah menengah. Bagi saya, teknik telah selalu menjadi sarana kreatif yang hebat: saya dapat menghasilkan ide dan menggunakan teknologi yang diperlukan untuk membangun menuju visi. Setelah menghabiskan beberapa waktu di teknik, bagaimanapun, saya ingin melakukan lebih banyak. Saya ingin memahami bagaimana bisnis dijalankan, bagaimana produk dijual dan bagaimana tim dibangun –– dan saya ingin belajar dengan cepat.

Saya menghabiskan beberapa tahun bekerja di manajemen konsultasi di BCG, di mana saya bekerja pada berbagai proyek di industri yang berbeda. Saya belajar banyak, tetapi akhirnya merindukan membangun produk dan bekerja menuju visi jangka panjang. Saya memutuskan untuk bergabung dengan tim manajemen produk Astronomer, di mana saya dapat bekerja dengan pelanggan dan membangun strategi (hal-hal yang saya nikmati dari konsultasi), tetapi juga dapat sangat terlibat dalam membangun produk dan bekerja dengan teknologi.

Untuk sementara waktu, saya bertindak sebagai hybrid PM/teknik –– saya bekerja dengan pelanggan untuk memahami tantangan yang mereka hadapi dan merancang produk dan fitur sebagai PM. Kemudian, saya mengambil persyaratan produk dan bekerja dengan tim teknik untuk membangun produk atau fitur. Seiring waktu, saya melakukan ini dengan sejumlah produk yang lebih besar di Astronomer, yang akhirnya mengarah ke peran CTO yang saya jalani sekarang.

Bagi pengguna yang tidak terbiasa dengan Airflow, apakah Anda bisa menjelaskan apa yang membuatnya menjadi platform ideal untuk mengarang, menjadwalkan, dan memantau alur kerja secara programatis?

Apache Airflow adalah platform sumber terbuka untuk mengembangkan, menjadwalkan, dan memantau alur kerja yang berorientasi pada batch. Airflow menyediakan kemampuan manajemen alur kerja yang integral bagi platform data cloud-native modern. Ini mengotomatisasi eksekusi pekerjaan, mengkoordinasikan ketergantungan antara tugas, dan memberikan organisasi titik kontrol sentral untuk memantau dan mengelola alur kerja.

Arsitek platform data menggunakan Airflow untuk mengotomatisasi pergerakan dan pemrosesan data melalui dan di seluruh sistem yang berbeda, mengelola alur data yang kompleks dan memberikan fleksibilitas penjadwalan, pemantauan, dan peringatan. Semua fitur ini sangat membantu bagi tim data modern, tetapi apa yang membuat Airflow menjadi platform ideal adalah bahwa ini adalah proyek sumber terbuka –– artinya ada komunitas pengguna dan kontributor Airflow yang terus bekerja untuk mengembangkan platform, memecahkan masalah, dan berbagi praktik terbaik.

Airflow juga memiliki banyak integrasi data dengan database, aplikasi, dan alat populer, serta puluhan layanan cloud — dan lebih banyak lagi ditambahkan setiap bulan.

Bagaimana Astronomer menggunakan Airflow untuk proses internal?

Kami menggunakan Airflow sangat banyak! Secara alami, kami memiliki tim data kami sendiri yang menggunakan Airflow untuk mengirimkan data ke bisnis dan pelanggan kami. Mereka memiliki beberapa alat yang sangat canggih yang mereka bangun di sekitar Airflow yang kami gunakan sebagai inspirasi untuk pengembangan fitur pada platform yang lebih luas.

Kami juga menggunakan Airflow untuk beberapa kasus penggunaan yang tidak biasa, tetapi ini berfungsi sangat baik. Misalnya, tim CRE kami menggunakan Airflow untuk memantau ratusan klaster Kubernetes dan ribuan penggunaan Airflow yang kami jalankan atas nama pelanggan kami. Pipa mereka berjalan terus untuk memeriksa masalah, dan jika kami melihat ada masalah, kami akan membuka tiket dukungan proaktif atas nama pelanggan kami.

Saya bahkan menggunakan Airflow untuk kasus penggunaan pribadi. Favorit saya (sampai saat ini) adalah ketika saya pindah ke New York City. Jika Anda pernah tinggal di sini, Anda akan tahu bahwa pasar sewa apartemen sangat gila. Apartemen disewakan dalam beberapa jam setelah mereka terdaftar. Saya dan teman sekamar saya memiliki daftar kriteria yang kami setujui (lokasi, jumlah kamar tidur, kamar mandi, dll), dan saya membangun DAG Airflow yang berjalan setiap beberapa menit, menarik daftar baru dari berbagai situs daftar apartemen, dan mengirimkan teks kepada saya (terima kasih Twilio!) setiap kali ada sesuatu yang baru yang sesuai dengan kriteria kami. Apartemen yang sekarang saya tempati ditemukan berkat Airflow!

Astronomer merancang Astro, platform orkestrasi data modern, didukung oleh Airflow. Apakah Anda bisa berbagi dengan kami bagaimana alat ini memungkinkan perusahaan untuk dengan mudah meletakkan Airflow di inti operasi data mereka?

Astro memungkinkan organisasi dan lebih khusus, insinyur data, ilmuwan data, dan analis data, untuk membangun, menjalankan, dan mengembangkan pipa data kritis mereka pada platform tunggal untuk semua alur data mereka. Ini adalah layanan Airflow yang dikelola yang menyediakan tingkat keamanan dan perlindungan data yang tinggi dan membantu perusahaan mengukur penggunaan dan membebaskan sumber daya untuk fokus pada tujuan bisnis mereka.

Salah satu pelanggan kami, Anastasia, sebuah perusahaan teknologi canggih, memilih Astro untuk mengelola Airflow karena mereka tidak memiliki cukup waktu atau sumber daya untuk memelihara Airflow sendiri. Astro bekerja di belakang layar sehingga tim dapat fokus pada kegiatan bisnis inti, bukan menghabiskan waktu pada kegiatan yang tidak berbeda seperti mengelola Airflow.

Salah satu komponen inti Astro adalah skalabilitas elastis, apakah Anda bisa mendefinisikan apa itu dan mengapa itu penting untuk lingkungan komputasi awan?

Bagi kami, ini berarti kemampuan kami untuk memenuhi permintaan komputasi pelanggan kami tanpa menjalankan banyak infrastruktur sepanjang waktu. Pelanggan kami menggunakan platform kami untuk berbagai kasus penggunaan, sebagian besar di antaranya memiliki persyaratan komputasi yang tinggi (melatih model machine learning, memproses data besar, dll). Salah satu nilai tambah Astronomer adalah bahwa, sebagai pelanggan, Anda tidak perlu memikirkan mesin yang menjalankan pipa Anda. Anda mengirimkan pipa Anda ke Astro, dan dapat mengharapkan bahwa mereka berfungsi. Kami telah membangun serangkaian fitur dan sistem yang membantu kami mengukur infrastruktur kami untuk memenuhi permintaan yang berubah dari pelanggan kami, dan ini adalah sesuatu yang kami senang untuk terus membangun di masa depan.

Anda bertanggung jawab atas tim Astronomer yang membangun Ask-Astro, chatbot LLM-powered untuk Apache Airflow. Apakah Anda bisa berbagi dengan kami detail tentang apa itu Ask-Astro dan LLM yang memungkinkannya?

Tim kami di Astronomer memiliki beberapa anggota komunitas Airflow yang paling berpengetahuan dan kami ingin membuatnya lebih mudah untuk berbagi pengetahuan mereka. Untuk itu, kami membuat implementasi referensi dari Arsitektur Muncul untuk Aplikasi LLM, yang menunjukkan sistem, alat, dan pola desain yang paling umum yang telah kami lihat digunakan oleh startup AI dan perusahaan teknologi canggih. Kami memulai dengan beberapa pendapat yang terinformasi tentang implementasi referensi ini dan Apache Airflow juga memainkan peran sentral dalam arsitektur. Ask Astro adalah referensi nyata untuk menunjukkan bagaimana menggabungkan semua potongan yang berbeda.

Ask Astro lebih dari sekadar chatbot lain. Tim Astronomer memilih untuk mengembangkan aplikasi secara terbuka dan secara teratur memposting tentang tantangan, ide, dan solusi untuk mengembangkan pengetahuan institusional atas nama komunitas. Apa saja tantangan terbesar yang dihadapi tim?

Tantangan terbesar adalah kurangnya praktik terbaik yang jelas di komunitas. Karena “keadaan seni” didefinisikan ulang setiap minggu, sulit untuk memahami bagaimana mendekati masalah tertentu (ingestasi dokumen, pemilihan model, pengukuran akurasi output, dll). Ini adalah penggerak kunci bagi kami untuk membangun Ask Astro secara terbuka. Kami ingin membangun serangkaian praktik untuk orkestrasi LLM yang bekerja dengan baik untuk berbagai kasus penggunaan sehingga pelanggan dan komunitas kami dapat merasa siap untuk mengadopsi teknologi AI dan LLM.

Ini terbukti menjadi pilihan yang hebat –– alat itu sendiri mendapatkan banyak penggunaan, kami telah memberikan beberapa pidato publik tentang bagaimana membangun aplikasi LLM, dan kami telah mulai bekerja dengan sekelompok pelanggan yang dipilih untuk menggelar versi internal Ask Astro!

Apakah visi pribadi Anda untuk masa depan Airflow dan Astronomer?

Saya sangat bersemangat tentang masa depan Airflow dan Astronomer. Komunitas Airflow terus tumbuh dan di Astronomer, kami berkomitmen untuk mendukung pengembangan, dukungan, dan koneksi di seluruh tim dan individu.

Dengan meningkatnya permintaan akan wawasan data yang didorong dan arus data yang masuk, insinyur data memiliki pekerjaan yang menantang. Kami ingin meringankan beban bagi individu dan tim ini dengan memberdayakan mereka untuk mengintegrasikan dan mengelola data yang kompleks secara besar-besaran. Hari ini, ini juga berarti mendukung adopsi AI. Pada tahun 2023, seperti banyak perusahaan lain, kami fokus pada bagaimana kami dapat mempercepat penggunaan AI untuk pelanggan kami. Platform kami, Astro, mempercepat penerapan AI, mempermudah pengembangan ML, dan menyediakan daya komput yang kuat yang diperlukan untuk aplikasi generasi berikutnya. AI akan terus menjadi fokus bagi kami tahun ini dan kami akan mendukung pelanggan kami saat teknologi dan kerangka kerja baru muncul.

Di samping itu, Astronomer adalah tempat yang hebat untuk bekerja dan tumbuh karier. Ketika lanskap data terus berkembang, bekerja di sini menjadi semakin menarik. Kami membangun tim yang hebat di sini dan memiliki banyak tantangan teknis untuk dipecahkan. Kami juga baru-baru ini memindahkan kantor pusat kami ke New York City di mana kami dapat menjadi bagian dari komunitas teknologi yang ada di sana dan kami akan lebih siap untuk menarik bakat terbaik, paling terampil di industri. Jika Anda tertarik untuk bergabung dengan tim untuk membantu kami mengirimkan data dunia tepat waktu, hubungi kami!

Terima kasih atas wawancara yang hebat, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Astronomer.