Julian LaNeve, CTO bei Astronomer – Interview-Serie

Julian LaNeve ist der Chief Technical Officer (CTO) bei Astronomer, der treibende Kraft hinter Apache Airflow und moderner Datenorchestrierung, um alles von künstlicher Intelligenz bis hin zu allgemeiner Datenanalyse zu ermöglichen.

Julian ist bei Astronomer für Produkt- und Ingenieurentwicklung verantwortlich, wo er sich auf die Erfahrung der Entwickler, die Beobachtbarkeit von Daten und künstliche Intelligenz konzentriert. Er ist auch der Autor von Cosmos, einem Airflow-Provider für die Ausführung von dbt Core-Projekten als Airflow-DAGs.

Er ist leidenschaftlich an allem interessiert, was mit Daten und Open-Source-Software zu tun hat, und verbringt seine Freizeit damit, an Hackathons teilzunehmen, neue Projekte zu prototypen und die neuesten Entwicklungen im Bereich der Daten zu erkunden.

Könnten Sie Ihre persönliche Geschichte erzählen, wie Sie in die Softwareentwicklung involviert wurden und wie Sie es geschafft haben, CTO von Astronomer zu werden?

Ich habe seit der Mittelschule programmiert. Für mich ist die Ingenieurentwicklung immer ein großartiger kreativer Ausdruck gewesen: Ich kann eine Idee haben und mit jeder notwendigen Technologie umsetzen, um ein Ziel zu erreichen. Nachdem ich jedoch einige Zeit in der Ingenieurentwicklung verbracht hatte, wollte ich mehr tun. Ich wollte verstehen, wie Unternehmen geführt werden, wie Produkte verkauft und wie Teams aufgebaut werden – und ich wollte schnell lernen.

Ich habe einige Jahre bei BCG als Management-Berater gearbeitet, wo ich an einer Vielzahl von Projekten in verschiedenen Branchen gearbeitet habe. Ich habe viel gelernt, aber letztendlich vermisste ich die Entwicklung von Produkten und die Arbeit an langfristigen Visionen. Ich entschied mich, dem Produktmanagement-Team von Astronomer beizutreten, wo ich mit Kunden zusammenarbeiten und Strategien entwickeln konnte (die Dinge, die ich aus der Beratung genossen habe), aber auch sehr hands-on an der Entwicklung von Produkten und Technologien arbeiten konnte.

Ich habe für eine Weile als Hybrid-PM/Ingenieur gearbeitet – ich habe mit Kunden zusammengearbeitet, um ihre Herausforderungen zu verstehen und Produkte und Funktionen zu entwerfen. Dann habe ich die Produktanforderungen genommen und mit dem Ingenieurenteam zusammengearbeitet, um das Produkt oder die Funktion tatsächlich umzusetzen. Mit der Zeit habe ich dies mit einer größeren Anzahl von Produkten bei Astronomer getan, was letztendlich zur CTO-Position führte, die ich jetzt innehalte.

Für Benutzer, die mit Airflow nicht vertraut sind, können Sie erklären, was Airflow zu einer idealen Plattform für die programmatische Erstellung, Planung und Überwachung von Workflows macht?

Apache Airflow ist eine Open-Source-Plattform für die Entwicklung, Planung und Überwachung von batch-orientierten Workflows. Airflow bietet die Workflow-Management-Funktionen, die für moderne cloud-native Datenplattformen unerlässlich sind. Es automatisiert die Ausführung von Jobs, koordiniert Abhängigkeiten zwischen Aufgaben und bietet Organisationen einen zentralen Punkt für die Überwachung und Verwaltung von Workflows.

Datenplattform-Architekten nutzen Airflow, um die Bewegung und Verarbeitung von Daten durch und zwischen verschiedenen Systemen zu automatisieren, komplexe Datenflüsse zu verwalten und flexible Planung, Überwachung und Alarmierung zu bieten. All diese Funktionen sind für moderne Datenteams sehr hilfreich, aber was Airflow zu einer idealen Plattform macht, ist, dass es ein Open-Source-Projekt ist – was bedeutet, dass es eine Gemeinschaft von Airflow-Benutzern und -Mitwirkenden gibt, die ständig daran arbeiten, die Plattform weiterzuentwickeln, Probleme zu lösen und Best Practices zu teilen.

Airflow hat auch viele Datenintegrationen mit beliebten Datenbanken, Anwendungen und Tools sowie Dutzenden von Cloud-Diensten – und jeden Monat werden noch mehr hinzugefügt.

Wie nutzt Astronomer Airflow für interne Prozesse?

Wir nutzen Airflow sehr viel! Natürlich haben wir unser eigenes Datenteam, das Airflow nutzt, um Daten an das Unternehmen und unsere Kunden zu liefern. Sie haben einige sehr fortschrittliche Tools entwickelt, die sie um Airflow herum aufgebaut haben, die uns als Inspiration für die Entwicklung von Funktionen auf der breiteren Plattform gedient haben.

Wir nutzen Airflow auch für einige sehr unkonventionelle Anwendungsfälle, aber es funktioniert sehr gut. Zum Beispiel nutzt unser CRE-Team Airflow, um die Hunderte von Kubernetes-Clustern und Tausende von Airflow-Deployments zu überwachen, die wir im Auftrag unserer Kunden ausführen. Ihre Pipelines laufen ständig, um nach Problemen zu suchen, und wenn wir welche bemerken, öffnen wir proaktive Support-Tickets im Auftrag unserer Kunden.

Ich habe Airflow sogar für persönliche Anwendungsfälle genutzt. Mein Lieblingsbeispiel (bis heute) war, als ich nach New York City zog. Wenn Sie hier schon einmal gewohnt haben, wissen Sie, dass der Wohnungsmarkt verrückt ist. Wohnungen werden innerhalb von Stunden nach ihrer Auflistung vermietet. Meine Mitbewohner und ich hatten eine Liste von Kriterien, auf die wir uns geeinigt hatten (Lage, Anzahl der Schlafzimmer, Badezimmer usw.), und ich baute ein Airflow-DAG, das alle paar Minuten lief, neue Auflistungen von verschiedenen Wohnungsbörsen abrufte und mir eine SMS schickte (vielen Dank an Twilio!), sobald es etwas Neues gab, das unseren Kriterien entsprach. Die Wohnung, in der ich jetzt wohne, wurde dank Airflow gefunden!

Astronomer hat Astro entwickelt, eine moderne Datenorchestrierungsplattform, die von Airflow angetrieben wird. Können Sie uns erzählen, wie dieses Tool es Unternehmen ermöglicht, Airflow leicht in ihre Datenoperationen zu integrieren?

Astro ermöglicht es Organisationen und insbesondere Dateningenieuren, Datenwissenschaftlern und Datenanalysten, ihre kritischen Datenpipelines auf einer einzigen Plattform für alle ihre Datenflüsse aufzubauen, auszuführen und zu erweitern. Es ist der einzige verwaltete Airflow-Service, der hohe Sicherheits- und Schutzniveaus bietet und Unternehmen hilft, ihre Deployments zu skalieren und Ressourcen freizumachen, um sich auf ihre übergeordneten Geschäftsziele zu konzentrieren.

Einer unserer Kunden, Anastasia, ein Unternehmen für Spitzenleistungstechnologie, wählte Astro, um Airflow zu verwalten, weil sie nicht genug Zeit oder Ressourcen hatten, um Airflow selbst zu verwalten. Astro arbeitet im Hintergrund, damit Teams sich auf ihre Kerngeschäftsaktivitäten konzentrieren können, anstatt Zeit mit nicht differenzierten Aktivitäten wie der Verwaltung von Airflow zu verbringen.

Eines der Kernkomponenten von Astro ist die elastische Skalierbarkeit. Können Sie definieren, was das ist und warum es für Cloud-Computing-Umgebungen wichtig ist?

Für uns bedeutet das einfach unsere Fähigkeit, die Rechenanforderungen unserer Kunden zu erfüllen, ohne ständig eine Menge Infrastruktur zu betreiben. Unsere Kunden nutzen unsere Plattform für eine Vielzahl von Anwendungsfällen, die meisten davon haben hohe Rechenanforderungen (Trainieren von Machine-Learning-Modellen, Verarbeiten von Big Data usw.). Einer der Kernwerte von Astronomer ist, dass der Kunde nicht über die Maschinen nachdenken muss, die seine Pipelines ausführen. Der Kunde deployt seine Pipelines auf Astro und kann erwarten, dass sie funktionieren. Wir haben eine Reihe von Funktionen und Systemen entwickelt, die uns helfen, unsere Infrastruktur zu skalieren, um den wechselnden Anforderungen unserer Kunden gerecht zu werden, und das ist etwas, woran wir weiterarbeiten werden.

Sie waren verantwortlich für das Astronomer-Team, das Ask-Astro entwickelt hat, einen LLM-gesteuerten Chatbot für Apache Airflow. Können Sie uns Details über Ask-Astro und die LLMs, die es antreibt, erzählen?

Unser Team bei Astronomer hat einige der erfahrensten Airflow-Community-Mitglieder und wir wollten es einfacher machen, ihr Wissen zu teilen. Dazu haben wir eine Referenzimplementierung von Andreessen Horowitz’ Emerging Architectures for LLM Applications erstellt, die die gängigsten Systeme, Tools und Designmuster zeigt, die sie bei AI-Startups und fortschrittlichen Technologieunternehmen gesehen haben. Wir haben mit einigen fundierten Meinungen über diese Referenzimplementierung begonnen und Apache Airflow spielt auch eine zentrale Rolle in der Architektur. Ask Astro ist ein reales Beispiel, um zu zeigen, wie man alle verschiedenen Teile zusammenfügt.

Ask Astro ist mehr als nur ein weiterer Chatbot. Das Astronomer-Team entschied sich, die Anwendung offen zu entwickeln und regelmäßig über Herausforderungen, Ideen und Lösungen zu schreiben, um institutionelles Wissen im Namen der Community zu entwickeln. Welche waren einige der größten Herausforderungen, denen sich das Team gegenübersah?

Die größte Herausforderung war das Fehlen klarer Best Practices in der Community. Da der “Stand der Technik” jede Woche neu definiert wurde, war es schwierig zu verstehen, wie man bestimmte Probleme angehen sollte (Dokumentenimport, Modellauswahl, Ausgabegenauigkeitsmessung usw.). Dies war ein wichtiger Treiber für uns, um Ask Astro offen zu entwickeln. Wir wollten eine Reihe von Praktiken für LLM-Orchestrierung etablieren, die für verschiedene Anwendungsfälle gut funktionieren, damit unsere Kunden und die Community sich gut vorbereitet fühlen, um LLMs und generative KI-Technologien zu adoptieren.

Es hat sich als großartige Entscheidung erwiesen – das Tool selbst wird sehr häufig genutzt, wir haben mehrere öffentliche Vorträge darüber gehalten, wie man LLM-Anwendungen aufbaut, und wir haben sogar begonnen, mit einer ausgewählten Gruppe von Kunden zusammenzuarbeiten, um interne Versionen von Ask Astro auszurollen!

Was ist Ihre persönliche Vision für die Zukunft von Airflow und Astronomer?

Ich bin sehr aufgeregt über die Zukunft von Airflow und Astronomer. Die Airflow-Community wächst weiter und bei Astronomer sind wir bestrebt, ihre Entwicklung, Unterstützung und Vernetzung zwischen Teams und Einzelpersonen zu fördern.

Angesichts der zunehmenden Nachfrage nach datengesteuerten Erkenntnissen und des Zustroms von Datenquellen haben Dateningenieure eine schwierige Aufgabe. Wir möchten diese Last für diese Personen und Teams erleichtern, indem wir sie in die Lage versetzen, komplexe Daten auf großen Mengen zu integrieren und zu verwalten. Heute bedeutet dies auch, die Unterstützung der Einführung von künstlicher Intelligenz. Im Jahr 2023 haben wir uns wie viele andere Unternehmen auf die Beschleunigung der KI-Nutzung für unsere Kunden konzentriert. Unsere Plattform, Astro, beschleunigt die KI-Implementierung, strafft die ML-Entwicklung und bietet die robuste Rechenleistung, die für nächste Generationen von Anwendungen erforderlich ist. KI wird auch in diesem Jahr ein Schwerpunkt für uns sein und wir werden unsere Kunden unterstützen, wenn neue Technologien und Frameworks entstehen.

Zusätzlich ist Astronomer ein großartiger Ort, um zu arbeiten und eine Karriere aufzubauen. Da die Datenszene weiterhin evolviert, wird es hier immer aufregender. Wir bauen ein großartiges Team auf und haben viele technische Herausforderungen zu lösen. Wir haben kürzlich unseren Hauptsitz nach New York City verlegt, wo wir ein Teil der Tech-Community werden können, die dort existiert, und besser in der Lage sein werden, die besten, fähigsten Talente in der Branche anzuziehen. Wenn Sie daran interessiert sind, unserem Team beizutreten, um uns zu helfen, die Welt der Daten rechtzeitig zu liefern, zögern Sie nicht, uns zu kontaktieren!

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Astronomer besuchen.