Julian LaNeve, CTO tại Astronomer – Loạt Phỏng Vấn

Julian LaNeve là Giám đốc Kỹ thuật (CTO) tại Astronomer, lực lượng thúc đẩy Apache Airflow và điều phối dữ liệu hiện đại để cung cấp mọi thứ từ AI đến phân tích chung.

Julian làm việc về sản phẩm và kỹ thuật tại Astronomer, nơi ông tập trung vào trải nghiệm của nhà phát triển, khả năng quan sát dữ liệu và AI. Ông cũng là tác giả của Cosmos, một nhà cung cấp Airflow để chạy các dự án dbt Core dưới dạng Airflow DAG.

Ông đam mê mọi thứ liên quan đến dữ liệu và mã nguồn mở vì ông dành thời gian rảnh rỗi để tham gia các cuộc thi hackathon, xây dựng các dự án mới và khám phá những điều mới nhất về dữ liệu.

Bạn có thể chia sẻ câu chuyện cá nhân về cách bạn trở thành kỹ sư phần mềm và làm việc lên vị trí CTO của Astronomer không?

Tôi đã bắt đầu lập trình từ khi còn ở trường trung học. Đối với tôi, kỹ thuật luôn là một cách thể hiện sự sáng tạo: tôi có thể nghĩ ra một ý tưởng và sử dụng bất kỳ công nghệ nào cần thiết để xây dựng nó. Sau khi dành một chút thời gian trong kỹ thuật, tuy nhiên, tôi muốn làm được nhiều hơn. Tôi muốn hiểu cách các doanh nghiệp được vận hành, cách bán sản phẩm và cách xây dựng đội ngũ –– và tôi muốn học hỏi nhanh chóng.

Tôi đã dành một vài năm làm việc trong lĩnh vực tư vấn quản lý tại BCG, nơi tôi đã làm việc trên nhiều dự án khác nhau trong các ngành công nghiệp khác nhau. Tôi đã học được rất nhiều, nhưng cuối cùng lại nhớ việc xây dựng sản phẩm và làm việc hướng tới tầm nhìn dài hạn. Tôi quyết định tham gia đội ngũ quản lý sản phẩm của Astronomer, nơi tôi có thể làm việc với khách hàng và xây dựng chiến lược (những điều tôi thích từ tư vấn), nhưng cũng có thể trực tiếp xây dựng sản phẩm và làm việc với công nghệ.

Trong một thời gian, tôi đã đóng vai trò là một nhà quản lý sản phẩm / kỹ sư hỗn hợp –– tôi đã làm việc với khách hàng để hiểu các thách thức họ đang đối mặt và thiết kế sản phẩm và tính năng như một nhà quản lý sản phẩm. Sau đó, tôi đã lấy các yêu cầu sản phẩm và làm việc với đội ngũ kỹ thuật để xây dựng sản phẩm hoặc tính năng đó. Theo thời gian, tôi đã làm điều này với một tập hợp lớn hơn các sản phẩm tại Astronomer, điều này cuối cùng đã dẫn đến vị trí CTO mà tôi đang nắm giữ.

Đối với người dùng không quen thuộc với Airflow, bạn có thể giải thích những gì làm cho nó trở thành nền tảng lý tưởng để tạo, lên lịch và theo dõi các quy trình một cách lập trình không?

Apache Airflow là một nền tảng mã nguồn mở để phát triển, lên lịch và theo dõi các quy trình định hướng batch. Airflow cung cấp các khả năng quản lý quy trình cần thiết cho các nền tảng dữ liệu đám mây hiện đại. Nó tự động hóa việc thực hiện các công việc, phối hợp các依赖 giữa các nhiệm vụ và cung cấp cho các tổ chức một điểm kiểm soát trung tâm để theo dõi và quản lý các quy trình.

Các kiến trúc sư nền tảng dữ liệu tận dụng Airflow để tự động hóa việc di chuyển và xử lý dữ liệu qua và giữa các hệ thống đa dạng, quản lý các luồng dữ liệu phức tạp và cung cấp khả năng lên lịch, theo dõi và cảnh báo linh hoạt. Tất cả các tính năng này đều rất hữu ích cho các đội ngũ dữ liệu hiện đại, nhưng điều làm cho Airflow trở thành nền tảng lý tưởng là nó là một dự án mã nguồn mở –– có nghĩa là có một cộng đồng người dùng và đóng góp Airflow luôn làm việc để phát triển nền tảng, giải quyết vấn đề và chia sẻ các phương pháp hay nhất.

Airflow cũng có nhiều tích hợp dữ liệu với các cơ sở dữ liệu, ứng dụng và công cụ phổ biến, cũng như hàng chục dịch vụ đám mây — và nhiều hơn nữa được thêm vào mỗi tháng.

Astronomer sử dụng Airflow cho các quy trình nội bộ như thế nào?

Chúng tôi sử dụng Airflow rất nhiều! Tự nhiên, chúng tôi có một đội ngũ dữ liệu riêng của mình sử dụng Airflow để cung cấp dữ liệu cho doanh nghiệp và khách hàng của chúng tôi. Họ đã xây dựng một số công cụ khá phức tạp xung quanh Airflow mà chúng tôi đã sử dụng làm nguồn cảm hứng cho việc phát triển tính năng trên nền tảng rộng lớn hơn.

Chúng tôi cũng sử dụng Airflow cho một số trường hợp sử dụng không truyền thống, nhưng nó hoạt động rất tốt. Ví dụ, đội ngũ CRE của chúng tôi sử dụng Airflow để theo dõi hàng trăm cụm Kubernetes và hàng nghìn triển khai Airflow mà chúng tôi chạy thay mặt cho khách hàng của mình. Các đường ống của họ chạy liên tục để kiểm tra các vấn đề, và nếu chúng tôi nhận thấy bất kỳ vấn đề nào, chúng tôi sẽ mở các vé hỗ trợ chủ động thay mặt cho khách hàng của mình.

Tôi thậm chí đã sử dụng Airflow cho các trường hợp sử dụng cá nhân. Trường hợp yêu thích nhất của tôi (cho đến nay) là khi tôi chuyển đến Thành phố New York. Nếu bạn đã từng sống ở đây, bạn sẽ biết thị trường cho thuê căn hộ ở đây là điên rồ. Các căn hộ được cho thuê trong vài giờ sau khi chúng được niêm yết. Các đồng nghiệp và tôi đã có một danh sách các tiêu chí mà tất cả chúng tôi đều đồng ý (vị trí, số phòng, phòng tắm, v.v.), và tôi đã xây dựng một DAG Airflow chạy mỗi vài phút, kéo các danh sách mới từ các trang web niêm yết căn hộ khác nhau và gửi tin nhắn cho tôi (cảm ơn Twilio!) mỗi khi có điều gì mới phù hợp với các tiêu chí của chúng tôi. Căn hộ mà tôi đang sống hiện nay đã được tìm thấy nhờ Airflow!

Astronomer đã thiết kế Astro, một nền tảng điều phối dữ liệu hiện đại, được cung cấp bởi Airflow. Bạn có thể chia sẻ với chúng tôi cách công cụ này cho phép các công ty dễ dàng đặt Airflow vào trung tâm của các hoạt động dữ liệu của họ không?

Astro cho phép các tổ chức và cụ thể hơn, các kỹ sư dữ liệu, nhà khoa học dữ liệu và nhà phân tích dữ liệu, xây dựng, chạy và phát triển các đường ống dữ liệu quan trọng của họ trên một nền tảng duy nhất cho tất cả các luồng dữ liệu của họ. Đây là dịch vụ Airflow được quản lý duy nhất cung cấp mức độ bảo mật và bảo vệ dữ liệu cao và giúp các công ty mở rộng các triển khai của họ và giải phóng tài nguyên để tập trung vào các mục tiêu kinh doanh tổng thể của họ.

Một trong những khách hàng của chúng tôi, Anastasia, một công ty công nghệ tiên tiến, đã chọn Astro để quản lý Airflow vì họ không có đủ thời gian hoặc tài nguyên để duy trì Airflow trên riêng của họ. Astro hoạt động trên máy chủ để các đội ngũ có thể tập trung vào các hoạt động kinh doanh cốt lõi, thay vì dành thời gian cho các hoạt động không phân biệt như quản lý Airflow.

Một trong những thành phần cốt lõi của Astro là khả năng mở rộng đàn hồi, bạn có thể định nghĩa nó là gì và tại sao nó lại quan trọng cho các môi trường đám mây không?

Đối với chúng tôi, điều này chỉ đơn giản là khả năng đáp ứng nhu cầu tính toán của khách hàng của chúng tôi mà không cần chạy một lượng lớn cơ sở hạ tầng mọi lúc. Khách hàng của chúng tôi sử dụng nền tảng của chúng tôi cho nhiều trường hợp sử dụng khác nhau, hầu hết trong số đó có yêu cầu tính toán cao (huấn luyện mô hình học máy, xử lý dữ liệu lớn, v.v.). Một trong những giá trị cốt lõi của Astronomer là khách hàng của chúng tôi không cần phải suy nghĩ về các máy tính chạy các đường ống của họ. Họ triển khai các đường ống của mình lên Astro và có thể mong đợi rằng chúng hoạt động. Chúng tôi đã xây dựng một tập hợp các tính năng và hệ thống giúp mở rộng cơ sở hạ tầng của chúng tôi để đáp ứng nhu cầu thay đổi của khách hàng của chúng tôi, và đó là điều chúng tôi hào hứng khi tiếp tục xây dựng trong tương lai.

Bạn đã chịu trách nhiệm cho việc xây dựng Ask-Astro, trình diễn LLM-powered cho Apache Airflow. Bạn có thể chia sẻ với chúng tôi chi tiết về Ask-Astro và các LLMs cung cấp năng lượng cho nó không?

Đội ngũ của chúng tôi tại Astronomer có một số thành viên cộng đồng Airflow có kiến thức nhất và chúng tôi muốn làm cho nó dễ dàng hơn để chia sẻ kiến thức của họ. Để làm điều đó, chúng tôi đã tạo một bản triển khai tham chiếu của Kiến trúc nổi bật cho các ứng dụng LLM của Andreessen Horowitz, cho thấy các hệ thống, công cụ và mẫu thiết kế phổ biến nhất mà họ đã thấy được sử dụng bởi các công ty khởi nghiệp AI và các công ty công nghệ tinh vi. Chúng tôi đã bắt đầu với một số ý kiến về bản triển khai tham chiếu này và Apache Airflow cũng đóng một vai trò trung tâm trong kiến trúc. Ask Astro là một tham chiếu thực tế để chỉ ra cách gắn tất cả các mảnh khác nhau lại với nhau.

Ask Astro không chỉ là một trình diễn khác. Đội ngũ Astronomer đã chọn phát triển ứng dụng này một cách cởi mở và thường xuyên đăng về các thách thức, ý tưởng và giải pháp để phát triển kiến thức thể chế cho cộng đồng. Những thách thức lớn nhất mà đội ngũ đã gặp phải là gì?

Thách thức lớn nhất là thiếu các phương pháp hay nhất rõ ràng trong cộng đồng. Bởi vì “trạng thái của nghệ thuật” được định nghĩa lại mỗi tuần, nên rất khó để hiểu cách tiếp cận các vấn đề nhất định (tiêu thụ tài liệu, chọn mô hình, đo lường độ chính xác đầu ra, v.v.). Đây là một yếu tố chính cho chúng tôi khi xây dựng Ask Astro một cách cởi mở. Chúng tôi muốn thiết lập một tập hợp các phương pháp cho việc điều phối LLM mà hoạt động tốt cho các trường hợp sử dụng khác nhau để khách hàng và cộng đồng của chúng tôi có thể cảm thấy được chuẩn bị tốt để áp dụng LLM và công nghệ AI tạo sinh.

Điều này đã chứng minh là một lựa chọn tuyệt vời –– công cụ này nhận được rất nhiều sử dụng, chúng tôi đã đưa ra một số bài nói công khai về cách xây dựng các ứng dụng LLM và chúng tôi thậm chí đã bắt đầu làm việc với một nhóm khách hàng được chọn để triển khai các phiên bản nội bộ của Ask Astro!

Tầm nhìn cá nhân của bạn cho tương lai của Airflow và Astronomer là gì?

Tôi thực sự hào hứng về tương lai của cả Airflow và Astronomer. Cộng đồng Airflow tiếp tục phát triển và tại Astronomer, chúng tôi cam kết thúc đẩy sự phát triển, hỗ trợ và kết nối của nó trên các đội ngũ và cá nhân.

Với nhu cầu ngày càng tăng về các thông tin chi tiết dựa trên dữ liệu và sự gia tăng của các nguồn dữ liệu, các kỹ sư dữ liệu có một công việc đầy thách thức. Chúng tôi muốn giảm bớt gánh nặng cho những cá nhân và đội ngũ này bằng cách trao quyền cho họ để tích hợp và quản lý dữ liệu phức tạp theo quy mô. Hiện tại, điều này cũng có nghĩa là hỗ trợ việc áp dụng và triển khai AI. Trong năm 2023, như nhiều công ty khác, chúng tôi đã tập trung vào cách chúng tôi có thể tăng tốc việc sử dụng AI cho khách hàng của mình. Nền tảng của chúng tôi, Astro, tăng tốc triển khai AI, tối ưu hóa phát triển ML và cung cấp năng lực tính toán mạnh mẽ cần thiết cho các ứng dụng thế hệ tiếp theo. AI sẽ tiếp tục là một trọng tâm cho chúng tôi trong năm nay và chúng tôi sẽ hỗ trợ khách hàng của mình khi các công nghệ và khuôn khổ mới xuất hiện.

Ngoài ra, Astronomer là một nơi tuyệt vời để làm việc và phát triển sự nghiệp. Khi cảnh quan dữ liệu tiếp tục phát triển, làm việc ở đây trở nên thú vị hơn. Chúng tôi đang xây dựng một đội ngũ tuyệt vời ở đây và có rất nhiều thách thức kỹ thuật để giải quyết. Chúng tôi cũng vừa chuyển trụ sở chính của mình đến Thành phố New York, nơi chúng tôi có thể trở thành một phần của cộng đồng công nghệ tồn tại ở đó và chúng tôi sẽ được trang bị tốt hơn để thu hút những người có kỹ năng và tài năng hàng đầu trong ngành. Nếu bạn quan tâm đến việc tham gia đội ngũ của chúng tôi để giúp chúng tôi cung cấp dữ liệu của thế giới đúng hạn, hãy liên hệ với chúng tôi!

Cảm ơn bạn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập Astronomer.