Julian LaNeve, CTO chez Astronomer – Série d'interviews

julien LaNève est le directeur technique (CTO) de L'astronome ;, la force motrice d'Apache Airflow et de l'orchestration moderne des données pour tout alimenter, de l'IA à l'analyse générale.

Julian travaille sur les produits et l'ingénierie chez Astronomer, où il se concentre sur l'expérience des développeurs, l'observabilité des données et l'IA. Il est également l'auteur de Cosmos, un fournisseur Airflow pour exécuter des projets dbt Core en tant que DAG Airflow.

Il est passionné par tout ce qui concerne les données et l'open source et passe son temps libre à participer à des hackathons, à prototyper de nouveaux projets et à explorer les dernières données en matière de données.

Pourriez-vous partager votre histoire personnelle sur la façon dont vous êtes devenu impliqué dans le génie logiciel et avez progressé jusqu'à devenir CTO d'Astronomer ?

Je code depuis que je suis au collège. Pour moi, l'ingénierie a toujours été un formidable débouché créatif : je peux avoir une idée et utiliser toute technologie nécessaire pour construire une vision. Après avoir passé du temps dans l’ingénierie, j’ai voulu faire plus. Je voulais comprendre comment les entreprises sont gérées, comment les produits sont vendus et comment les équipes sont constituées –– et je voulais apprendre rapidement.

J'ai passé quelques années à travailler dans le conseil en management au BCG, où j'ai travaillé sur une grande variété de projets dans différents secteurs. J'ai beaucoup appris, mais j'ai finalement manqué de créer des produits et de travailler sur une vision à plus long terme. J'ai décidé de rejoindre l'équipe de gestion de produits d'Astronomer, où je pouvais toujours travailler avec les clients et élaborer des stratégies (ce que j'ai apprécié en matière de conseil), mais je pouvais également me familiariser avec la création du produit lui-même et travailler avec la technologie.

Pendant un certain temps, j'ai agi en tant que PM/ingénieur hybride : je travaillais avec les clients pour comprendre les défis auxquels ils étaient confrontés et concevoir des produits et des fonctionnalités en tant que PM. Ensuite, je prendrais les exigences du produit et travaillerais avec l'équipe d'ingénierie pour créer le produit ou la fonctionnalité. Au fil du temps, j'ai fait cela avec un ensemble plus large de produits chez Astronomer, ce qui a finalement conduit au rôle de CTO que j'occupe actuellement.

Pour les utilisateurs qui ne sont pas familiers avec Airflow, pouvez-vous expliquer ce qui en fait la plate-forme idéale pour créer, planifier et surveiller des flux de travail par programmation ?

Flux d'air Apache est une plateforme open source pour développer, planifier et surveiller des flux de travail orientés lots. Airflow fournit les capacités de gestion des flux de travail qui font partie intégrante des plates-formes de données cloud natives modernes. Il automatise l'exécution des tâches, coordonne les dépendances entre les tâches et offre aux organisations un point de contrôle central pour surveiller et gérer les flux de travail.

Les architectes de plates-formes de données exploitent Airflow pour automatiser le mouvement et le traitement des données à travers divers systèmes, en gérant des flux de données complexes et en fournissant une planification, une surveillance et des alertes flexibles. Toutes ces fonctionnalités sont extrêmement utiles pour les équipes de données modernes, mais ce qui fait d'Airflow la plate-forme idéale, c'est qu'il s'agit d'un projet open source –– ce qui signifie qu'il existe une communauté d'utilisateurs et de contributeurs d'Airflow qui travaillent constamment au développement ultérieur de la plate-forme. résoudre des problèmes et partager les meilleures pratiques.

Airflow propose également de nombreuses intégrations de données avec des bases de données, des applications et des outils populaires, ainsi que des dizaines de services cloud – et d'autres sont ajoutés chaque mois.

Comment Astronomer utilise-t-il Airflow pour les processus internes ?

Nous utilisons énormément Airflow ! Naturellement, nous disposons de notre propre équipe de données qui utilise Airflow pour fournir des données à l'entreprise et à nos clients. Ils ont construit des outils assez sophistiqués autour d'Airflow que nous avons utilisés comme source d'inspiration pour le développement de fonctionnalités sur la plate-forme plus large.

Nous utilisons également Airflow pour certains cas d'utilisation assez peu traditionnels, mais il fonctionne très bien. Par exemple, notre équipe CRE utilise Airflow pour surveiller les centaines de clusters Kubernetes et les milliers de déploiements Airflow que nous exécutons pour le compte de nos clients. Leurs pipelines fonctionnent en permanence pour vérifier les problèmes, et si nous en remarquons, nous ouvrirons des tickets d'assistance proactifs au nom de nos clients.

J'ai même utilisé Airflow pour des cas d'utilisation personnelle. Mon préféré (à ce jour) était lorsque je déménageais à New York. Si vous avez déjà vécu ici, vous savez que le marché locatif est fou. Les appartements sont loués quelques heures après leur inscription. Mes colocataires et moi avions une liste de critères sur lesquels nous étions tous d'accord (emplacement, nombre de chambres, salles de bains, etc.), et j'ai construit un DAG Airflow qui s'exécutait toutes les quelques minutes, extrait de nouvelles annonces de divers sites d'annonces d'appartements et m'envoyais des SMS ( merci Twilio !) à chaque fois il y avait quelque chose de nouveau qui correspondait à nos critères. L'appartement dans lequel je vis actuellement a été trouvé grâce à Airflow !

Conçu par un astronome Astro, une plateforme moderne d'orchestration de données, optimisée par Airflow. Pouvez-vous nous expliquer comment cet outil permet aux entreprises de placer facilement Airflow au cœur de leurs opérations de données ?

Astro permet aux organisations, et plus particulièrement aux ingénieurs de données, aux data scientists et aux analystes de données, de créer, d'exécuter et de développer leurs pipelines de données critiques sur une plate-forme unique pour tous leurs flux de données. Il s'agit du seul service Airflow géré qui offre des niveaux élevés de sécurité et de protection des données et aide les entreprises à faire évoluer leurs déploiements et à libérer des ressources pour se concentrer sur leurs objectifs commerciaux globaux.

Un de nos clients, Anastasia, une entreprise technologique de pointe, a choisi Astro pour gérer Airflow car elle ne disposait pas de suffisamment de temps ou de ressources pour maintenir Airflow par elle-même. Astro travaille sur le back-end afin que les équipes puissent se concentrer sur les activités principales de l'entreprise, plutôt que de consacrer du temps à des activités indifférenciées comme la gestion d'Airflow.

L'un des composants essentiels d'Astro est l'évolutivité élastique. Pouvez-vous définir ce que c'est et pourquoi c'est important pour les environnements de cloud computing ?

Pour nous, cela signifie simplement notre capacité à répondre aux demandes de calcul de nos clients sans avoir à gérer une tonne d'infrastructures en permanence. Nos clients utilisent notre plateforme pour une grande variété de cas d'usage, dont la majorité ont des exigences de calcul élevées (formation de modèles de machine learning, traitement de big data, etc.). L'une des principales propositions de valeur d'Astronomer est qu'en tant que client, vous n'avez pas à penser aux machines qui font fonctionner vos pipelines. Vous déployez vos pipelines sur Astro et pouvez vous attendre à ce qu'ils fonctionnent. Nous avons créé un ensemble de fonctionnalités et de systèmes qui nous aident à faire évoluer notre infrastructure pour répondre aux demandes changeantes de nos clients, et c'est quelque chose que nous sommes ravis de continuer à développer à l'avenir.

Vous étiez responsable de la création de l'équipe Astronomer Ask-Astro, le chatbot propulsé par LLM pour Apache Airflow. Pouvez-vous partager avec nous des détails sur ce qu'est Ask-Astro et les LLM qui l'alimentent ?

Notre équipe chez Astronomer compte certains des membres de la communauté Airflow les plus compétents et nous voulions faciliter le partage de leurs connaissances. Pour ce faire, nous avons créé une implémentation de référence des architectures émergentes pour les applications LLM d'Andreessen Horowitz, qui montre les systèmes, outils et modèles de conception les plus courants qu'ils ont vus utilisés par les startups d'IA et les entreprises technologiques sophistiquées. Nous avons commencé avec quelques avis éclairés sur cette implémentation de référence et Apache Airflow joue également un rôle central dans l'architecture. Ask Astro est une référence réelle pour montrer comment coller toutes les différentes pièces ensemble.

Ask Astro est plus qu'un simple chatbot. L'équipe Astronomer a choisi de développer l'application de manière ouverte et de publier régulièrement des défis, des idées et des solutions afin de développer les connaissances institutionnelles au nom de la communauté. Quels ont été les plus grands défis auxquels l’équipe a été confrontée ?

Le plus grand défi était le manque de bonnes pratiques claires au sein de la communauté. Parce que « l’état de l’art » était redéfini chaque semaine, il était difficile de comprendre comment aborder certains problèmes (ingestion de documents, sélection de modèles, mesure de la précision des résultats, etc.). Cela a été un facteur clé pour nous de construire Demandez à Astro à l'air libre. Nous souhaitions établir un ensemble de pratiques pour l'orchestration LLM qui fonctionnent bien pour divers cas d'utilisation afin que nos clients et notre communauté puissent se sentir bien préparés à adopter les LLM et les technologies d'IA générative.

Il s'est avéré être un excellent choix : l'outil lui-même est très utilisé, nous avons donné plusieurs conférences publiques sur la façon de créer des applications LLM et nous avons même commencé à travailler avec un groupe sélectionné de clients pour déployer des versions internes. de Demandez à Astro!

 Quelle est votre vision personnelle de l’avenir d’Airflow et d’Astronomer ?

Je suis vraiment enthousiasmé par l’avenir d’Airflow et d’Astronomer. La communauté Airflow continue de croître et chez Astronomer, nous nous engageons à favoriser son développement, son soutien et sa connexion entre les équipes et les individus.

Avec la demande croissante d’informations basées sur les données et l’afflux de sources de données, les ingénieurs de données ont un travail difficile. Nous souhaitons alléger la charge de ces individus et de ces équipes en leur permettant d'intégrer et de gérer des données complexes à grande échelle. Aujourd’hui, cela signifie également soutenir l’adoption et la mise en œuvre de l’IA. En 2023, comme beaucoup d’autres entreprises, nous nous sommes concentrés sur la manière dont nous pouvons accélérer l’utilisation de l’IA pour nos clients. Notre plateforme, Astro, accélère le déploiement de l'IA, rationalise le développement du ML et fournit la puissance de calcul robuste nécessaire aux applications de nouvelle génération. L'IA continuera d'être une priorité pour nous cette année et nous soutiendrons nos clients à mesure que de nouvelles technologies et de nouveaux cadres émergent.

De plus, Astronomer est un endroit idéal pour travailler et développer une carrière. À mesure que le paysage des données continue d’évoluer, travailler ici devient de plus en plus passionnant. Nous construisons une grande équipe ici et avons de nombreux défis techniques à résoudre. Nous avons également récemment déménagé notre siège social à New York, où nous pouvons devenir une partie encore plus importante de la communauté technologique qui existe là-bas et nous serons mieux équipés pour attirer les talents les meilleurs et les plus qualifiés du secteur. Si vous souhaitez rejoindre l'équipe pour nous aider à fournir les données mondiales à temps, contactez-nous !

Merci pour cette excellente interview, les lecteurs qui souhaitent en savoir plus devraient visiter L'astronome ;.