줄리안 라네브, 아스트로노머의 CTO – 인터뷰 시리즈

줄리안 라네브는 아스트로노머(Astronomer)의 최고 기술 책임자(CTO)로, 아파치 에어플로우(Apache Airflow)와 현대적인 데이터 오케스트레이션을 구동하는 핵심 플랫폼입니다.

줄리안은 아스트로노머에서 제품과 엔지니어링을 담당하며 개발자 경험, 데이터 관찰 가능성, AI에 중점을 두고 있습니다. 그는 또한 코스모스(Cosmos)의 저자로, dbt Core 프로젝트를 에어플로우 DAG로 실행하는 에어플로우 제공자입니다.

그는 모든 데이터와 오픈 소스에 대해 열정적으로 생각하며, 해커톤, 새로운 프로젝트의 프로토 타이핑, 최신 데이터 기술을 탐구하는 것을 좋아합니다.

소프트웨어 엔지니어링에 참여하기까지의 개인적인 이야기를 공유해 주시겠습니까? 그리고 아스트로노머의 CTO가 되기까지의 과정은 어떠했습니까?

중학교 시절부터 코딩을 시작했습니다. 저에게 엔지니어링은 항상 창의적인 출구였습니다. 아이디어를 생각해내고 기술을 사용하여 비전을 구축할 수 있습니다. 엔지니어링을 하면서 비즈니스 운영, 제품 판매, 팀 구성을 배우고 싶었습니다. 그래서 빠르게 배울 수 있는 방법을 찾았습니다.

BCG에서 경영 컨설팅을 몇 년간 하면서 다양한 산업의 프로젝트에 참여했습니다. 많은 것을 배웠지만, 제품을 구축하고 장기적인 비전을 향해努力하는 것을 그리워했습니다. 그래서 아스트로노머의 제품 관리 팀에 합류하여 고객과 협력하고 전략을 수립했습니다. 또한 제품과 기능을 실제로 구축하고 기술을 사용하여 작업할 수 있었습니다.

일시적으로 하이브리드 PM/엔지니어로 활동했습니다. 고객과 협력하여 도전을 이해하고 제품과 기능을 설계했습니다. 그리고 제품 요구 사항을 엔지니어링 팀과 협력하여 제품과 기능을 구축했습니다. 아스트로노머의 여러 제품에서 이 작업을 수행했습니다. 이것이 현재의 CTO 역할로 이어졌습니다.

에어플로우에 익숙하지 않은 사용자를 위해, 프로그램으로 워크플로우를 작성, 예약, 모니터링하는 이상적인 플랫폼이 되는 에어플로우의 특징을 설명해 주시겠습니까?

아파치 에어플로우는 배치 지향 워크플로우를 개발, 예약, 모니터링하는 오픈 소스 플랫폼입니다. 에어플로우는 현대적인 클라우드 네이티브 데이터 플랫폼의 핵심인 워크플로우 관리 기능을 제공합니다. 작업의 실행을 자동화하고, 작업 간의 의존성을 조정하며, 워크플로우를 모니터링하고 관리하는 중앙 지점을 제공합니다.

데이터 플랫폼 아키텍트는 다양한 시스템을 통해 데이터를 이동하고 처리하는 것을 자동화하고, 복잡한 데이터 흐름을 관리하며, 유연한 예약, 모니터링, 경고를 제공합니다. 이러한 기능은 모두 현대적인 데이터 팀에게 매우 유용합니다. 에어플로우가 이상적인 플랫폼인 이유는 오픈 소스 프로젝트이기 때문입니다. 즉, 에어플로우 사용자와 기여자가不断으로 플랫폼을 개발하고, 문제를 해결하며, 최선의 관행을 공유합니다.

에어플로우는 또한 인기 있는 데이터베이스, 애플리케이션, 도구 및 클라우드 서비스와의 많은 데이터 통합을 제공합니다.

아스트로노머는 내부 프로세스에서 에어플로우를 어떻게 사용합니까?

에어플로우를 많이 사용합니다! 자연스럽게 데이터 팀이 에어플로우를 사용하여 비즈니스와 고객에게 데이터를 제공합니다. 그들은 에어플로우를 중심으로 일부 복잡한 툴링을 구축했으며, 이것은 플랫폼의 기능 개발에 영감을 주었습니다.

또한 에어플로우를 전통적인 사용 사례에 사용합니다. 예를 들어, CRE 팀은 고객을 대신하여 실행하는 수백 개의 쿠버네티스 클러스터와 수천 개의 에어플로우 배포를 모니터링하는 데 에어플로우를 사용합니다. 파이프라인은 지속적으로 문제를 확인하고, 문제가 발생하면 고객을 대신하여 사전 지원 티켓을 엽니다.

개인적으로도 에어플로우를 사용했습니다. 가장 좋아하는 예는 뉴욕시로 이사할 때였습니다. 에어플로우 DAG를 작성하여 몇 분마다 새로운 목록을 가져오고, 기준에 맞는 목록이 있으면 문자 메시지를 보냈습니다. 현재 살고 있는 아파트는 에어플로우 덕분에 찾을 수 있었습니다!

아스트로노머는 에어플로우를 기반으로 하는 현대적인 데이터 오케스트레이션 플랫폼인 아스트로(Astro)를 설계했습니다. 이 툴이 어떻게 회사가 에어플로우를 데이터 운영의 핵심으로 쉽게 위치시키도록 도와주는지 설명해 주시겠습니까?

아스트로는 조직과 데이터 엔지니어, 데이터 과학자, 데이터 분석가를 위해 모든 데이터 흐름에 대해 미션 크리티컬 데이터 파이프라인을 구축, 실행, 성장시키는 단일 플랫폼을 제공합니다. 이는 높은 수준의 데이터 보안과 보호를 제공하는 유일한 관리형 에어플로우 서비스로, 회사가 배포를 확장하고 자원을 비즈니스 목표에 집중할 수 있도록 도와줍니다.

한 고객사인 아나스타시아(Anastasia)는 에어플로우를 관리하기 위해 충분한 시간이나 자원이 없어서 아스트로를 선택했습니다. 아스트로는 백엔드에서 작동하여 팀이 핵심 비즈니스 활동에 집중할 수 있도록 합니다.

아스트로의 핵심 구성 요소 중 하나인 탄력적인 확장성은 무엇이며, 클라우드 컴퓨팅 환경에서 왜 중요한가요?

고객의 컴퓨팅需求을 충족하기 위해 인프라를 실행하는 것을 의미합니다. 고객은 다양한 사용 사례에 대해我们的 플랫폼을 사용하며, 대부분이 높은 컴퓨팅 요구를 가지고 있습니다(기계 학습 모델 훈련, 빅 데이터 처리 등). 아스트로노머의 핵심 가치 중 하나는 고객이 파이프라인을 배포하면 작동한다는 것을 기대할 수 있다는 것입니다. 우리는 고객의 요구에 따라 인프라를 확장하는 기능과 시스템을 구축했습니다.

아스트로노머 팀이 아파치 에어플로우를 위한 LLM 기반 챗봇인 아스크 아스트로(Ask Astro)를 구축하는 데 책임이 있었는데, 아스크 아스트로와 이를 구동하는 LLM에 대해 자세히 설명해 주시겠습니까?

아스트로노머 팀은 에어플로우 커뮤니티에서 가장 지식이 풍부한 멤버 중 일부를 보유하고 있으며, 지식을 더 쉽게 공유하기 위해 아스크 아스트로를 만들었습니다. 이를 위해 안드레센 호로위츠(Andreessen Horowitz)의 새로운 아키텍처를 참조 구현으로 만들었습니다. 아스크 아스트로는 이 아키텍처를 실제로 보여주는 참조입니다.

아스크 아스트로는 단순한 챗봇이 아닙니다. 아스트로노머 팀은 개발 과정을 공개하고, 도전, 아이디어, 솔루션에 대해 정기적으로 게시하여 커뮤니티를 위해 기관 지식을 개발했습니다. 팀이 직면한 가장 큰 도전은 무엇이었나요?

커뮤니티에서 명확한 최선의 관행이 부족했습니다. “최근 기술”이 매주 재정의되면서 특정 문제에 접근하는 방법을 이해하기가 어려웠습니다(문서 摂取, 모델 선택, 출력 정확도 측정 등). 이것이 우리가 아스크 아스트로를 공개적으로 구축하기로 결정한 주요 이유입니다. 우리는 다양한 사용 사례에 적합한 LLM 오케스트레이션에 대한 일련의 관행을 설정하고자 했습니다.

훌륭한 선택이었습니다. 도구 자체는 많은 사용을 보이고, 우리는 LLM 애플리케이션을 구축하는 방법에 대해 여러 공개 강의를 진행했으며, 일부 고객과 함께 내부 버전의 아스크 아스트로를 론칭하기 시작했습니다.

에어플로우와 아스트로노머의 미래에 대한 개인적인 비전은 무엇입니까?

에어플로우와 아스트로노머의 미래에 대해 매우 흥奋합니다. 에어플로우 커뮤니티는 계속 성장하고 있으며, 아스트로노머는 개발, 지원, 커뮤니케이션을 촉진하기 위해 헌신하고 있습니다.

데이터 기반 인사이트의需求이 증가하고, 데이터 소스가 많아지면서 데이터 엔지니어의 일이 어려워졌습니다. 우리는 이러한 개인과 팀의 부담을 줄이고, 복잡한 데이터를 대규모로 통합하고 관리할 수 있도록 지원하고자 합니다. 현재도 AI 채택과 구현을 지원하고 있습니다. 아스트로노머의 플랫폼인 아스트로는 AI 배포를 가속화하고, 기계 학습 개발을 간소화하며, 차세대 애플리케이션에 필요한 강력한 컴퓨팅 파워를 제공합니다. AI는 향후에도 우리의重点이 될 것입니다.

또한 아스트로노머는 훌륭한 직장이며, 데이터 풍경이 계속 진화함에 따라 여기서 일하는 것이 더욱 흥奋합니다. 우리는 훌륭한 팀을 구축하고 있으며, 기술적인 도전을 해결해야 합니다. 최근에 본사를 뉴욕시로 이전하여 기술 커뮤니티의 일부가 되고, 산업에서 가장熟練한 인재를吸引할 수 있게 되었습니다. 우리 팀에 합류하여 세계의 데이터를 시간에 맞춰 전달하는 데 도움을 주고 싶다면, 연락해 주세요!

감사합니다. 더 많은 정보를 원하는 독자는 아스트로노머를 방문하세요.