ジュリアン・ラネーヴ、AstronomerのCTO – インタビュー・シリーズ

ジュリアン ラネーヴは、Astronomerのチーフテクニカルオフィサー（CTO）です。Astronomerは、Apache Airflowとモダンなデータ・オーケストレーションを駆動する力であり、AIから一般的な分析まで、すべての分野で活用されています。

ジュリアンは、Astronomerで製品とエンジニアリングを担当し、開発者エクスペリエンス、データの観測可能性、AIに焦点を当てています。また、Cosmosの著者でもあり、Cosmosは、dbt CoreプロジェクトをAirflow DAGとして実行するためのAirflowプロバイダーです。

彼は、すべてのデータとオープンソースに情熱を持ち、空き時間にハッカソンを行ったり、新しいプロジェクトをプロトタイプ化したり、最新のデータを探索したりしています。

あなたのソフトウェアエンジニアリングに関わる個人的なストーリーを共有してください。AstronomerのCTOになった経緯を教えてください。

私は中学校の頃からコーディングを始めました。私にとって、エンジニアリングは常に素晴らしい創造的な出口でした。私はアイデアを思いつき、必要な技術を使用してビジョンに向かって構築することができます。エンジニアリングに時間を費やした後、私はもっと何かをしたいと思いました。私はビジネスがどのように運営されるか、製品がどのように販売されるか、チームがどのように構築されるかを理解したいと思いました。私はそれらを早く学びたいと思いました。

私はBCGでマネジメントコンサルティングに従事し、さまざまな業界のさまざまなプロジェクトに取り組みました。私は多くを学びましたが、最終的に製品を構築し、長期的なビジョンに向かって取り組むことを懐かしむようになりました。私はAstronomerの製品マネジメントチームに参加し、顧客と取り組み、戦略を立てることができました。私は製品と技術を直接構築することもできました。

しばらくの間、私はハイブリッドPM/エンジニアとして働き、顧客と協力して課題を理解し、製品と機能を設計しました。次に、私は製品要件を取り上げ、エンジニアリングチームと協力して製品や機能を実際に構築しました。時間の経過とともに、私はAstronomerのさまざまな製品でこれを行い、最終的に現在のCTOの役割につきました。

Airflowに不慣れなユーザー向けに、Airflowがワークフローをプログラムで作成、スケジュール、監視するための理想的なプラットフォームである理由を説明してください。

Apache Airflowは、バッチ指向のワークフローを開発、スケジュール、監視するためのオープンソースプラットフォームです。Airflowは、モダンなクラウドネイティブデータプラットフォームに不可欠なワークフローマネジメント機能を提供します。Airflowはジョブの実行を自動化し、タスク間の依存関係を調整し、組織にワークフローの監視と管理のための中央的な管理ポイントを提供します。

データプラットフォームアーキテクトは、Airflowを使用して、さまざまなシステムを横断してデータを移動および処理するワークフローを自動化し、複雑なデータフローを管理し、柔軟なスケジューリング、監視、警告を提供します。すべてこれらの機能は、モダンなデータチームにとって非常に役立つものですが、Airflowが理想的なプラットフォームである理由は、オープンソースプロジェクトであることです。つまり、Airflowユーザーとコントリビューターが常にプラットフォームを開発し、問題を解決し、ベストプラクティスを共有するためのコミュニティがあります。

Airflowは、人気のあるデータベース、アプリケーション、ツール、およびクラウドサービスとの多数のデータ統合を提供し、毎月さらに多くの統合が追加されています。

Astronomerは内部プロセスでAirflowをどのように使用していますか。

私たちはAirflowを大量に使用しています。自然なことですが、私たちにもデータチームがあり、Airflowを使用してビジネスと顧客にデータを提供しています。彼らはAirflowを使用して構築したツールが非常に洗練されており、私たちもプラットフォームの機能開発のインスピレーションとして使用しています。

また、Airflowを使用して、非常に非伝統的なユースケースを実現しています。たとえば、CREチームはAirflowを使用して、顧客のために実行している数百のKubernetesクラスターと数千のAirflowデプロイメントを監視しています。彼らのパイプラインは常に問題をチェックするために実行されており、問題が見つかると、顧客のために事前にサポートチケットを開きます。

私はAirflowを使用して、個人的なユースケースも実現しています。私の好きな例は、ニューヨーク市に引っ越したときでした。ニューヨーク市の賃貸市場は非常に激しいです。アパートは数時間以内にレンタルされます。私のルームメイトと私は、ロケーション、ベッドルームの数、バスルームの数など、すべてが合意した基準リストを持っていました。私は、Airflow DAGを構築し、数分ごとに新しいリストをアパートリストサイトから取得し、基準に合ったものが見つかると、テキストで通知するようにしました。現在住んでいるアパートは、Airflowのおかげで見つけることができました。

Astronomerは、Astroを設計しました。これは、Airflowを動かすモダンなデータオーケストレーションプラットフォームです。Astroが企業にAirflowを簡単にデータ運用の中心に配置できるようにする方法について、詳しく教えてください。

Astroは、組織、特にデータエンジニア、データサイエンティスト、データアナリストが、すべてのデータフローに対してミッションクリティカルなデータパイプラインを構築、実行、成長させるための単一のプラットフォームを提供します。Astroは、管理されたAirflowサービスであり、高レベルのデータセキュリティと保護を提供し、企業がデプロイをスケーリングし、リソースを解放して、ビジネス目標に集中できるようにします。

私たちの顧客である、Anastasiaは、最先端のテクノロジー企業で、Airflowを管理するためにAstroを選択しました。彼らは、Airflowを自分で管理するための時間やリソースが不足していたからです。Astroは、チームがコアビジネス活動に集中できるように、バックエンドで動作します。

Astroのコアコンポーネントの1つは、エラスティックスケーラビリティです。エラスティックスケーラビリティとは何ですか、それがクラウドコンピューティング環境で重要な理由を教えてください。

私たちにとって、エラスティックスケーラビリティとは、インフラストラクチャを常に実行することなく、顧客のコンピューティング要件を満たす能力です。私たちの顧客は、多くの場合、高コンピューティング要件（機械学習モデルのトレーニング、ビッグデータの処理など）を持つさまざまなユースケースで私たちのプラットフォームを使用します。Astronomerの価値提案の1つは、顧客がパイプラインをAstroにデプロイし、動作することを期待できることです。私たちは、顧客の需要に応じてインフラストラクチャをスケーリングするための機能とシステムを構築しました。これは、私たちが今後も構築し続けるものです。

あなたは、AstronomerチームがAsk-Astro、Apache Airflow用のLLMパワードチャットボットを構築する責任を負っていました。Ask-Astroとそれを動かすLLMについて詳しく教えてください。

私たちのチームには、Airflowコミュニティで最も知識のあるメンバーがいます。彼らの知識を共有しやすくしたいと思い、Andreessen HorowitzのLLMアプリケーションの新興アーキテクチャのリファレンス実装を作成しました。これは、AIスタートアップと先進的なテクノロジー企業によって使用されている最も一般的なシステム、ツール、設計パターンを示しています。私たちは、Airflowもこのアーキテクチャの重要な役割を果たしています。Ask Astroは、すべてのさまざまなピースをどのように組み合わせるかを示す、実際のリファレンスです。

Ask Astroは、単なるチャットボット以上のものです。Astronomerチームは、チャレンジ、アイデア、ソリューションについて定期的に投稿することで、コミュニティのために機関知識を開発することを選択しました。チームが直面した最大の課題は何でしたか。

最大の課題は、コミュニティ内での明確なベストプラクティスの欠如でした。ステートオブザアートが毎週再定義されるため、特定の問題（ドキュメントの取り込み、モデル選択、出力精度の測定など）にどのように取り組むかを理解することは難しかったです。これは、私たちがAsk Astroをオープンで構築することを決めた主な理由でした。私たちは、さまざまなユースケースでうまく機能するLLMオーケストレーションのための実践セットを確立したいと思いました。そうすれば、顧客とコミュニティがLLMとジェネレーティブAIテクノロジーを採用する準備ができていると感じることができるようになります。

これは、実証済みの選択でした。ツール自体は大量の使用量があり、LLMアプリケーションの構築方法について公開での発表を行い、選択した顧客と共同でAsk Astroの内部バージョンをロールアウトすることにも取り組んでいます。

あなたの個人的なビジョンは、AirflowとAstronomerの将来についてどうなりますか。

私は、AirflowとAstronomerの将来について非常に楽観的です。Airflowコミュニティは続々と成長しています。Astronomerでは、開発、サポート、チームや個人の間のつながりを促進することに尽力しています。

データドリブンの洞察の需要が高まり、データソースが増えているため、データエンジニアの仕事は難しいものになっています。私たちは、データを大規模に統合および管理する能力を提供することで、データエンジニアやチームの負担を軽減したいと思います。現在、AIの採用と実装もサポートしています。2023年は、他の多くの企業と同様に、顧客のAIの採用をどのように加速できるかを検討しました。私たちのプラットフォームであるAstroは、AIのデプロイを加速し、MLの開発を簡素化し、次世代アプリケーションに必要な堅牢なコンピューティングパワーを提供します。AIは、今後も私たちにとって重要な焦点となります。新しいテクノロジーとフレームワークが登場するにつれて、顧客をサポートし続けます。

さらに、Astronomerは素晴らしい職場であり、キャリアを築くための理想的な場所です。データランドスケープが進化を続けるにつれて、ここで働くことはますます刺激的になります。私たちは、ここで素晴らしいチームを構築しています。多くの技術的な課題を解決する必要があります。また、最近、ニューヨーク市に本社を移しました。ここで、テクノロジー業界の一部となり、業界で最も熟練した人材を引き付けることができます。もし、あなたがチームに参加して、世界のデータを時間通りに提供するのを助けることに興味がある場合は、ご連絡ください。

素晴らしいインタビュー、ありがとうございました。詳しく知りたい読者は、Astronomerを訪問してください。