Julian LaNeve，Astronomer 首席技术官 – 访谈系列

朱利安 拉尼夫 是首席技术官 (CTO) 天文学家，Apache Airflow 和现代数据编排背后的驱动力，为从人工智能到一般分析的一切提供支持。

Julian 在 Astronomer 从事产品和工程工作，专注于开发人员体验、数据可观测性和人工智能。他也是 宇宙，一个 Airflow 提供程序，用于将 dbt Core 项目作为 Airflow DAG 运行。

他对数据和开源的所有事物充满热情，因为他将业余时间花在参加黑客马拉松、制作新项目原型以及探索最新数据上。

您能否分享一下您如何涉足软件工程并成为 Astronomer 首席技术官的个人故事？

我从中学起就开始写代码了。对我来说，工程一直是一个很好的创意渠道：我可以提出一个想法并使用任何必要的技术来实现愿景。然而，在工程领域度过了一段时间后，我想做更多。我想了解企业如何运营、产品如何销售以及团队如何组建——而且我想快速学习。

我在 BCG 从事管理咨询工作了几年，参与了不同行业的各种项目。我学到了很多东西，但最终错过了构建产品和努力实现长期愿景的机会。我决定加入 Astronomer 的产品管理团队，在那里我仍然可以与客户合作并制定策略（这是我从咨询中享受到的事情），但也可以亲自构建实际产品并使用技术。

有一段时间，我担任混合产品经理/工程师——我将与客户合作，了解他们面临的挑战，并作为产品经理设计产品和功能。然后，我会根据产品需求并与工程团队合作来实际构建产品或功能。随着时间的推移，我在 Astronomer 开发了更多的产品，最终成为了我现在担任的首席技术官。

对于不熟悉 Airflow 的用户，您能否解释一下是什么让它成为以编程方式创作、安排和监控工作流程的理想平台？

阿帕奇气流 是一个用于开发、调度和监控面向批处理的工作流程的开源平台。 Airflow 提供了现代云原生数据平台不可或缺的工作流程管理功能。它自动执行作业，协调任务之间的依赖关系，并为组织提供监控和管理工作流程的中心控制点。

数据平台架构师利用 Airflow 在不同系统之间自动移动和处理数据，管理复杂的数据流并提供灵活的调度、监控和警报。所有这些功能对于现代数据团队都非常有帮助，但 Airflow 成为理想平台的原因在于它是一个开源项目，这意味着有一个由 Airflow 用户和贡献者组成的社区，他们不断努力进一步开发该平台，解决问题并分享最佳实践。

Airflow 还与流行的数据库、应用程序和工具以及数十种云服务进行了许多数据集成，并且每个月都会添加更多服务。

Astronomer 如何使用 Airflow 进行内部流程？

我们大量使用 Airflow！当然，我们有自己的数据团队，使用 Airflow 向企业和客户提供数据。他们有一些围绕 Airflow 构建的非常复杂的工具，我们将其用作更广泛平台上功能开发的灵感。

我们还将 Airflow 用于一些非常非传统的用例，但它的性能非常好。例如，我们的 CRE 团队使用 Airflow 来监控我们代表客户运行的数百个 Kubernetes 集群和数千个 Airflow 部署。他们的管道不断运行以检查问题，如果我们发现任何问题，我们将代表客户开立主动支持票证。

我什至将 Airflow 用于个人用例。我最喜欢的（迄今为止）是我搬到纽约市的时候。如果您曾经住过这里，您就会知道租赁市场非常疯狂。公寓在挂牌后数小时内即可出租。我和我的室友制定了一份我们都同意的标准清单（位置、卧室数量、浴室等），我构建了一个每隔几分钟运行一次的 Airflow DAG，从各个公寓列表网站中提取新列表，然后给我发短信（感谢 Twilio！）每次都有符合我们标准的新内容。感谢 Airflow 找到了我现在住的公寓！

天文学家设计的 天文，一个由 Airflow 提供支持的现代数据编排平台。您能否与我们分享一下该工具如何帮助公司轻松地将 Airflow 置于其数据运营的核心？

Astro 使组织，更具体地说，数据工程师、数据科学家和数据分析师能够在单一平台上针对所有数据流构建、运行和扩展其任务关键型数据管道。它是唯一可提供高水平数据安全和保护并帮助公司扩展部署并释放资源以专注于其总体业务目标的托管 Airflow 服务。

我们的一位客户， 阿纳斯塔西娅一家尖端科技公司选择 Astro 来管理 Airflow，因为他们没有足够的时间或资源来自行维护 Airflow。 Astro 在后端工作，因此团队可以专注于核心业务活动，而不是将时间花在管理 Airflow 等无差异的活动上。

Astro 的核心组件之一是弹性可扩展性，您能否定义一下这是什么以及为什么它对于云计算环境很重要？

对我们来说，这意味着我们有能力满足客户的计算需求，而无需一直运行大量基础设施。我们的客户将我们的平台用于各种用例，其中大多数具有很高的计算要求（培训 机器学习 模型、处理大数据等）。天文学家的核心价值主张之一是，作为客户，您不必考虑运行管道的机器。您将管道部署到 Astro，并且可以期望它们正常工作。我们构建了一套功能和系统，有助于扩展我们的基础设施，以满足客户不断变化的需求，我们很高兴在未来继续发展。

您负责 Astronomer 团队构建 Ask-Astro，这是一个由 LLM 驱动的 Apache Airflow 聊天机器人。您能否与我们分享一下什么是 Ask-Astro 以及支持它的法学硕士的详细信息？

我们的 Astronomer 团队拥有一些知识最丰富的 Airflow 社区成员，我们希望更轻松地分享他们的知识。为此，我们创建了 Andreessen Horowitz 的法学硕士应用新兴架构的参考实现，其中展示了人工智能初创公司和尖端科技公司使用的最常见的系统、工具和设计模式。我们首先对此参考实现提出了一些明智的意见，Apache Airflow 在该架构中也发挥着核心作用。 Ask Astro 是一个现实生活中的参考，展示了如何将所有不同的部分粘合在一起。

Ask Astro 不仅仅是另一个聊天机器人。天文学家团队选择公开开发该应用程序，并定期发布有关挑战、想法和解决方案的信息，以便代表社区发展机构知识。团队面临的最大挑战是什么？

最大的挑战是社区缺乏明确的最佳实践。由于“最先进的技术”每周都会被重新定义，因此很难理解如何解决某些问题（文档摄取、模型选择、输出精度测量等）。这是我们构建的关键驱动力 询问阿斯特罗 在公开场合。我们希望建立一套适用于各种用例的 LLM 编排实践，以便我们的客户和社区能够为采用 LLM 和生成式 AI 技术做好充分准备。

事实证明这是一个不错的选择——该工具本身得到了大量的使用，我们已经就如何构建 LLM 应用程序进行了多次公开演讲，我们甚至开始与选定的一组客户合作推出内部版本询问Astro！

 您对 Airflow 和 Astronomer 的未来有何个人愿景？

我对 Airflow 和 Astronomer 的未来感到非常兴奋。 Airflow 社区不断发展，在 Astronomer，我们致力于促进其发展、支持以及团队和个人之间的联系。

随着对数据驱动洞察的需求不断增加以及数据源的涌入，数据工程师的工作充满挑战。我们希望通过让这些个人和团队能够大规模集成和管理复杂数据来减轻他们的负担。如今，这也意味着支持人工智能的采用和实施。 2023 年，与许多其他公司一样，我们专注于如何加速客户对人工智能的使用。我们的 Astro 平台可加速 AI 部署、简化 ML 开发，并提供下一代应用程序所需的强大计算能力。人工智能将继续成为我们今年的重点，随着新技术和框架的出现，我们将支持我们的客户。

此外，天文学家还是一个工作和发展职业的好地方。随着数据领域的不断发展，在这里工作变得越来越令人兴奋。我们正在组建一支优秀的团队，并且有许多技术挑战需要解决。我们最近还将总部迁至纽约市，在那里我们可以成为那里技术社区的更大一部分，并且我们将有更好的能力吸引业内最优秀、最熟练的人才。如果您有兴趣加入团队来帮助我们按时提供全球数据，请联系我们！

感谢您的精彩采访，想要了解更多信息的读者可以访问 天文学家.