Julian LaNeve, CTO di Astronomer – Seri Wawancara

Julian LaNeve adalah Chief Technical Officer (CTO) di Ahli astronomi, kekuatan pendorong di balik Apache Airflow dan orkestrasi data modern untuk mendukung segalanya mulai dari AI hingga analisis umum.

Julian mengerjakan produk dan teknik di Astronomer dengan fokus pada pengalaman pengembang, observasi data, dan AI. Dia juga penulis kosmos, penyedia Airflow untuk menjalankan proyek dbt Core sebagai Airflow DAG.

Dia sangat menyukai segala hal yang berhubungan dengan data dan open source sambil menghabiskan waktu luangnya dengan melakukan hackathon, membuat prototipe proyek baru, dan menjelajahi data terbaru.

Bisakah Anda berbagi kisah pribadi tentang bagaimana Anda terlibat dalam rekayasa perangkat lunak, dan hingga menjadi CTO Astronomer?

Saya telah coding sejak saya masih di sekolah menengah. Bagi saya, teknik selalu menjadi saluran kreatif yang hebat: Saya dapat memunculkan ide dan menggunakan teknologi apa pun yang diperlukan untuk membangun visi. Namun, setelah menghabiskan beberapa waktu di bidang teknik, saya ingin berbuat lebih banyak. Saya ingin memahami cara bisnis dijalankan, cara produk dijual, dan cara tim dibangun –– dan saya ingin mempelajarinya dengan cepat.

Saya menghabiskan beberapa tahun bekerja di bidang konsultasi manajemen di BCG, tempat saya mengerjakan berbagai macam proyek di berbagai industri. Saya belajar banyak hal, namun akhirnya ketinggalan dalam membuat produk dan berupaya mencapai visi jangka panjang. Saya memutuskan untuk bergabung dengan tim manajemen produk Astronomer, di mana saya masih dapat bekerja dengan pelanggan dan membangun strategi (hal-hal yang saya nikmati dari konsultasi), namun juga dapat langsung mengembangkan produk sebenarnya dan bekerja dengan teknologi.

Untuk sementara, saya bertindak sebagai PM/insinyur hybrid –– Saya bekerja dengan pelanggan untuk memahami tantangan yang mereka hadapi dan merancang produk dan fitur sebagai PM. Kemudian, saya akan mempertimbangkan persyaratan produk dan bekerja dengan tim teknik untuk benar-benar membangun produk atau fitur tersebut. Seiring waktu, saya melakukan ini dengan rangkaian produk yang lebih besar di Astronomer, yang pada akhirnya mengarah pada peran CTO yang saya jalani sekarang.

Bagi pengguna yang belum terbiasa dengan Airflow, dapatkah Anda menjelaskan apa yang menjadikannya platform ideal untuk menulis, menjadwalkan, dan memantau alur kerja secara terprogram?

Aliran Udara Apache adalah platform sumber terbuka untuk mengembangkan, menjadwalkan, dan memantau alur kerja berorientasi batch. Airflow memberikan kemampuan manajemen alur kerja yang merupakan bagian integral dari platform data cloud-native modern. Ini mengotomatiskan pelaksanaan pekerjaan, mengoordinasikan ketergantungan antar tugas, dan memberi organisasi titik kendali pusat untuk memantau dan mengelola alur kerja.

Arsitek platform data memanfaatkan Airflow untuk mengotomatisasi pergerakan dan pemrosesan data melalui dan di seluruh sistem yang beragam, mengelola aliran data yang kompleks dan menyediakan penjadwalan, pemantauan, dan peringatan yang fleksibel. Semua fitur ini sangat membantu tim data modern, namun yang menjadikan Airflow sebagai platform yang ideal adalah proyek sumber terbuka –– yang berarti terdapat komunitas pengguna dan kontributor Airflow yang terus berupaya mengembangkan platform lebih lanjut, memecahkan masalah dan berbagi praktik terbaik.

Airflow juga memiliki banyak integrasi data dengan database, aplikasi, dan alat populer, serta lusinan layanan cloud — dan lebih banyak lagi yang ditambahkan setiap bulan.

Bagaimana Astronom menggunakan Aliran Udara untuk proses internal?

Kami banyak menggunakan Airflow! Tentu saja, kami memiliki tim data sendiri yang menggunakan Airflow untuk mengirimkan data ke bisnis dan pelanggan kami. Mereka memiliki beberapa peralatan yang cukup canggih yang mereka buat berdasarkan Airflow yang kami gunakan sebagai inspirasi untuk pengembangan fitur pada platform yang lebih luas.

Kami juga menggunakan Airflow untuk beberapa kasus penggunaan yang tidak biasa, tetapi kinerjanya sangat baik. Misalnya, tim CRE kami menggunakan Airflow untuk memantau ratusan cluster Kubernetes dan ribuan penerapan Airflow yang kami jalankan atas nama pelanggan kami. Saluran pipa mereka berjalan terus-menerus untuk memeriksa masalah, dan jika kami menemukannya, kami akan membuka tiket dukungan proaktif atas nama pelanggan kami.

Saya bahkan menggunakan Airflow untuk kasus penggunaan pribadi. Favorit saya (sampai saat ini) adalah ketika saya pindah ke New York City. Jika Anda pernah tinggal di sini, Anda pasti tahu pasar sewanya gila. Apartemen disewakan dalam waktu beberapa jam setelah terdaftar. Teman sekamar saya dan saya memiliki daftar kriteria yang kami sepakati (lokasi, jumlah kamar tidur, kamar mandi, dll), dan saya membuat DAG Aliran Udara yang berjalan setiap beberapa menit, menarik daftar baru dari berbagai situs daftar apartemen, dan mengirimi saya SMS ( terima kasih Twilio!) setiap kali ada sesuatu yang baru yang sesuai dengan kriteria kami. Apartemen yang saya tinggali sekarang ditemukan berkat Airflow!

Astronom merancang Astro, platform orkestrasi data modern, didukung oleh Airflow. Bisakah Anda berbagi dengan kami bagaimana alat ini memungkinkan perusahaan menempatkan Airflow dengan mudah sebagai inti operasi data mereka?

Astro memungkinkan organisasi dan lebih khusus lagi, insinyur data, ilmuwan data, dan analis data, untuk membangun, menjalankan, dan mengembangkan saluran data penting mereka pada satu platform untuk semua aliran data mereka. Ini adalah satu-satunya layanan Airflow terkelola yang memberikan keamanan dan perlindungan data tingkat tinggi serta membantu perusahaan meningkatkan penerapannya dan membebaskan sumber daya untuk fokus pada tujuan bisnis mereka secara menyeluruh.

Salah satu pelanggan kami, Anastasia, sebuah perusahaan teknologi mutakhir, memilih Astro untuk mengelola Airflow karena mereka tidak memiliki cukup waktu atau sumber daya untuk mengelola Airflow sendiri. Astro bekerja di bagian belakang sehingga tim dapat fokus pada aktivitas bisnis inti, daripada menghabiskan waktu pada aktivitas yang tidak terdiferensiasi seperti mengelola Airflow.

Salah satu komponen inti Astro adalah skalabilitas elastis. Dapatkah Anda menjelaskan apa itu skalabilitas elastis dan mengapa hal ini penting untuk lingkungan komputasi awan?

Bagi kami, ini berarti kemampuan kami untuk memenuhi permintaan komputasi pelanggan tanpa harus menjalankan banyak infrastruktur sepanjang waktu. Pelanggan kami menggunakan platform kami untuk berbagai kasus penggunaan, yang sebagian besar memiliki persyaratan komputasi yang tinggi (pelatihan Mesin belajar model, pemrosesan data besar, dll). Salah satu proposisi nilai inti Astronomer adalah, sebagai pelanggan, Anda tidak perlu memikirkan mesin yang menjalankan saluran pipa Anda. Anda menyebarkan saluran pipa Anda ke Astro, dan berharap saluran tersebut berfungsi. Kami telah membangun serangkaian fitur dan sistem yang membantu meningkatkan infrastruktur kami untuk memenuhi permintaan pelanggan yang terus berubah, dan ini adalah sesuatu yang ingin terus kami kembangkan di masa depan.

Anda bertanggung jawab atas tim Astronom yang membangun Ask-Astro, chatbot bertenaga LLM untuk Apache Airflow. Bisakah Anda berbagi dengan kami detail tentang Ask-Astro dan LLM yang mendukungnya?

Tim kami di Astronomer memiliki beberapa anggota komunitas Airflow yang paling berpengetahuan dan kami ingin mempermudah berbagi pengetahuan mereka. Untuk melakukan hal tersebut, kami membuat implementasi referensi dari Emerging Architectures for LLM Applications karya Andreessen Horowitz, yang menunjukkan sistem, alat, dan pola desain paling umum yang pernah digunakan oleh startup AI dan perusahaan teknologi canggih. Kami memulai dengan beberapa opini tentang implementasi referensi ini dan Apache Airflow juga memainkan peran sentral dalam arsitektur. Ask Astro adalah referensi kehidupan nyata yang menunjukkan cara merekatkan semua bagian menjadi satu.

Ask Astro lebih dari sekadar chatbot. Tim Astronom memilih untuk mengembangkan aplikasi secara terbuka dan rutin memposting tentang tantangan, ide, dan solusi guna mengembangkan pengetahuan institusional atas nama komunitas. Apa saja tantangan terbesar yang dihadapi tim?

Tantangan terbesarnya adalah kurangnya praktik terbaik yang jelas di masyarakat. Karena “canggih” didefinisikan ulang setiap minggu, sulit untuk memahami cara menangani masalah tertentu (penyerapan dokumen, pemilihan model, pengukuran akurasi keluaran, dll). Ini adalah pendorong utama yang harus kami bangun Tanya Astro di tempat terbuka. Kami ingin menetapkan serangkaian praktik orkestrasi LLM yang berfungsi dengan baik untuk berbagai kasus penggunaan sehingga pelanggan dan komunitas kami dapat merasa siap untuk mengadopsi LLM dan teknologi AI generatif.

Ini terbukti menjadi pilihan yang bagus –– alat itu sendiri banyak digunakan, kami telah memberikan beberapa diskusi publik tentang cara membangun aplikasi LLM, dan kami bahkan mulai bekerja dengan sekelompok pelanggan terpilih untuk meluncurkan versi internal dari Tanya Astro!

 Apa visi pribadi Anda untuk masa depan Airflow dan Astronomer?

Saya sangat bersemangat dengan masa depan Airflow dan Astronomer. Komunitas Airflow terus berkembang dan di Astronomer, kami berkomitmen untuk mendorong pengembangan, dukungan, dan koneksi antar tim dan individu.

Dengan meningkatnya permintaan akan wawasan berbasis data dan masuknya sumber data, para insinyur data mempunyai pekerjaan yang menantang. Kami ingin meringankan beban individu dan tim ini dengan memberdayakan mereka untuk mengintegrasikan dan mengelola data kompleks dalam skala besar. Saat ini, hal ini juga berarti mendukung adopsi dan implementasi AI. Pada tahun 2023, seperti banyak perusahaan lainnya, kami berfokus pada bagaimana kami dapat mempercepat penggunaan AI bagi pelanggan kami. Platform kami, Astro, mempercepat penerapan AI, menyederhanakan pengembangan ML, dan menyediakan daya komputasi tangguh yang diperlukan untuk aplikasi generasi berikutnya. AI akan terus menjadi fokus kami tahun ini dan kami akan mendukung pelanggan kami seiring dengan munculnya teknologi dan kerangka kerja baru.

Selain itu, Astronom adalah tempat yang bagus untuk bekerja dan mengembangkan karier. Seiring dengan terus berkembangnya lanskap data, bekerja di sini menjadi semakin menarik. Kami sedang membangun tim yang hebat di sini dan memiliki banyak tantangan teknis yang harus diselesaikan. Kami juga baru-baru ini memindahkan kantor pusat kami ke New York City agar kami dapat menjadi bagian lebih besar dari komunitas teknologi yang ada di sana dan kami akan lebih siap untuk menarik talenta terbaik dan paling terampil di industri ini. Jika Anda tertarik bergabung dengan tim untuk membantu kami mengirimkan data dunia tepat waktu, hubungi kami!

Terima kasih atas wawancaranya yang luar biasa, pembaca yang ingin belajar lebih banyak harus berkunjung Ahli astronomi.