朱利安·拉内夫，Astronomer 首席技术官 – 采访系列

朱利安 拉内夫 是 Astronomer 的首席技术官（CTO），Astronomer 是 Apache Airflow 和现代数据编排的驱动力，用于支持从 AI 到一般分析的所有内容。

朱利安 在 Astronomer 负责产品和工程工作，他专注于开发者体验、数据可观察性和 AI。他也是 Cosmos 的作者，Cosmos 是一个用于运行 dbt Core 项目作为 Airflow DAG 的 Airflow 提供程序。

他对所有与数据和开源相关的事情充满热情，因为他在空闲时间喜欢参加黑客马拉松、原型设计新项目和探索最新的数据技术。

您能否分享您个人经历，讲述您如何参与软件工程，并一步步成为 Astronomer 的 CTO？

我从中学开始就编写代码。对于我来说，工程一直是一个很好的创造性出口：我可以想出一个想法，并使用必要的技术来实现它。然而，在工程领域工作了一段时间后，我想做更多的事情。我想了解企业如何运营，产品如何销售，团队如何组建——我想快速学习。

我在 BCG 工作了几年，做管理咨询，我参与了不同行业的各种项目。我学到了很多东西，但最终还是想念构建产品和朝着长期愿景努力的工作。我决定加入 Astronomer 的产品管理团队，在那里我可以继续与客户合作，建立策略（我喜欢咨询的部分），同时也可以亲自参与产品的开发和技术工作。

有一段时间，我同时担任产品经理和工程师——我会与客户合作，了解他们面临的挑战，并设计产品和功能。然后，我会将产品需求交给工程团队来实现。随着时间的推移，我在 Astronomer 的多个产品上重复这一过程，最终导致我现在担任的 CTO 职位。

对于不熟悉 Airflow 的用户，您能解释一下什么使得 Airflow 成为编写、安排和监控工作流的理想平台吗？

Apache Airflow 是一个开源平台，用于开发、安排和监控批处理工作流。Airflow 提供了现代云原生数据平台所需的工作流管理功能。它自动执行作业，协调任务之间的依赖关系，并为组织提供了一个集中点来监控和管理工作流。

数据平台架构师使用 Airflow 来自动化数据在不同系统之间的移动和处理，管理复杂的数据流，并提供灵活的调度、监控和警报。所有这些功能对于现代数据团队来说都是非常有用的，但使得 Airflow 成为理想平台的原因是它是一个开源项目——这意味着有一个 Airflow 用户和贡献者社区不断地开发、解决问题和分享最佳实践。

Airflow 还与流行的数据库、应用程序和工具以及数十种云服务有着广泛的集成——每个月都有更多的集成被添加。

Astronomer 如何使用 Airflow 进行内部流程？

我们大量使用 Airflow！自然，我们有自己的数据团队，他们使用 Airflow 将数据交付给业务和客户。他们围绕 Airflow 建立了一些相当复杂的工具，我们将其作为灵感来开发平台上的功能。

我们还将 Airflow 用于一些非常非传统的用例，但它的性能非常好。例如，我们的 CRE 团队使用 Airflow 来监控我们为客户运行的数百个 Kubernetes 集群和数千个 Airflow 部署。他们的管道不断运行以检查问题，如果我们注意到任何问题，我们将在客户的 behalf 上打开主动支持票。

我甚至将 Airflow 用于个人用例。到目前为止，我最喜欢的例子是当我搬到纽约市时。如果你曾经在这里生活过，你就会知道租赁市场是疯狂的。公寓在几小时内就会被租出。我的室友和我有一个我们都同意的标准清单（位置、卧室数量、浴室数量等），我构建了一个每隔几分钟运行、从各种公寓列表网站提取新列表并在找到符合我们标准的新列表时通过短信通知我的 Airflow DAG。现在我住的公寓就是通过 Airflow 找到的！

Astronomer 设计了 Astro，一个现代数据编排平台， 由 Airflow 提供支持。您能否与我们分享这个工具如何使公司能够轻松地将 Airflow 放在其数据操作的核心？

Astro 允许组织，特别是数据工程师、数据科学家和数据分析师，在一个平台上构建、运行和扩展其关键数据管道，以满足所有数据流的需求。它是唯一提供高级别数据安全和保护的托管 Airflow 服务，帮助公司扩大其部署并释放资源以专注于其整体业务目标。

我们的客户之一，Anastasia，是一家尖端技术公司，他们选择 Astro 来管理 Airflow，因为他们没有足够的时间或资源来自己维护 Airflow。Astro 在后台工作，因此团队可以专注于核心业务活动，而不是花费时间在管理 Airflow 这样的非差异化活动上。

Astro 的核心组件之一是弹性伸缩，您能否定义什么是弹性伸缩以及为什么它对云计算环境很重要？

对于我们来说，这只意味着我们能够满足客户的计算需求，而无需一直运行大量基础设施。我们的客户使用我们的平台进行各种用例，其中大多数都具有高计算需求（训练机器学习模型、处理大数据等）。Astronomer 的一个核心价值主张是，作为客户，您不必考虑运行管道的机器。您将管道部署到 Astro，并可以期望它们正常工作。我们已经建立了一套功能和系统来帮助我们扩展基础设施以满足客户不断变化的需求，这是我们未来继续开发的重点。

您负责 Astronomer 团队构建 Ask-Astro，这是一个用于 Apache Airflow 的 LLM 驱动的聊天机器人。您能否与我们分享 Ask-Astro 的细节以及驱动它的 LLM？

我们的团队在 Astronomer 拥有最具知识的 Airflow 社区成员，我们希望使他们的知识更容易分享。为此，我们创建了 Andreessen Horowitz 的新兴架构的参考实现，用于 LLM 应用程序，该实现展示了 AI 初创公司和复杂技术公司中最常用的系统、工具和设计模式。我们从一些关于该参考实现的见解开始，Apache Airflow 在该架构中扮演着核心角色。Ask Astro 是一个现实生活中的参考，展示了如何将所有不同部分粘合在一起。

Ask Astro 不仅仅是一个聊天机器人。Astronomer 团队选择在开发应用程序时公开并定期发布关于挑战、想法和解决方案的帖子，以便为社区开发机构知识。团队面临的最大挑战是什么？

最大的挑战是社区中缺乏明确的最佳实践。由于“最先进的技术”每周都会被重新定义，因此很难理解如何解决某些问题（文档摄取、模型选择、输出准确性测量等）。这是我们决定公开构建 Ask Astro 的一个关键驱动因素。我们希望为 LLM 编排建立一套适用于各种用例的实践，因此我们的客户和社区可以感到有准备来采用 LLM 和生成式 AI 技术。

这已经被证明是一个伟大的选择——工具本身得到了大量使用，我们已经就如何构建 LLM 应用程序发表了几次公开演讲，我们甚至已经开始与一小部分客户合作，以推出 Ask Astro 的内部版本！

您对 Airflow 和 Astronomer 的未来有什么个人愿景？

我对 Airflow 和 Astronomer 的未来感到非常兴奋。Airflow 社区继续增长，而 Astronomer 致力于促进其发展、支持和跨团队和个人之间的连接。

由于对数据驱动的洞察的需求日益增长以及数据源的涌入，数据工程师的工作变得越来越具有挑战性。我们希望通过赋予他们在大规模集成和管理复杂数据的能力来减轻这些个人的和团队的负担。今天，这也意味着支持 AI 的采用和实施。在 2023 年，我们与许多其他公司一样，专注于如何加速我们的客户的 AI 使用。我们的平台 Astro 加速了 AI 部署，简化了机器学习开发，并为下一代应用程序提供了强大的计算能力。AI 将继续成为我们今年的重点，我们将支持我们的客户，因为新的技术和框架不断涌现。

此外，Astronomer 是一个很好的工作和职业发展的地方。随着数据格局的不断演变，在这里工作变得更加令人兴奋。我们正在这里建立一个伟大的团队，并且有很多技术挑战需要解决。我们最近将总部搬到了纽约市，在那里我们可以成为 部分的技术社区，并且我们将更好地吸引行业中最优秀、最有技能的人才。如果您有兴趣加入团队帮助我们按时交付世界的数据，请联系我们！

感谢您这次精彩的采访，希望了解更多的读者可以访问 Astronomer。