Ο Julian LaNeve, CTO στην Astronomer – Σειρά Συνεντεύξεων

Julian LaNeve είναι ο Chief Technical Officer (CTO) στην Astronomer, η κινητήρια δύναμη πίσω από το Apache Airflow και τη σύγχρονη ορχήστρα δεδομένων για να τροφοδοτήσει όλα, από το AI έως τις γενικές αναλύσεις.

Ο Julian ασχολείται με προϊόντα και μηχανική στην Astronomer, όπου επικεντρώνεται στην εμπειρία του développer, την παρατηρησιμότητα δεδομένων και το AI. Είναι επίσης ο συγγραφέας του Cosmos, ενός παρόχου Airflow για την εκτέλεση έργων dbt Core ως Airflow DAGs.

Είναι παθιασμένος με όλα τα δεδομένα και το ανοιχτό λογισμικό, καθώς περνά το ελεύθερο χρόνο του σε hackathons, πρωτοτυπώντας νέα έργα και εξερευνώντας τα τελευταία δεδομένα.

Μπορείτε να μοιραστείτε την προσωπική σας ιστορία για το πώς συμμετείχατε στη μηχανική λογισμικού και εργαστήκατε μέχρι να γίνετε CTO της Astronomer;

Έχω κωδικοποιήσει από τότε που ήμουν στο γυμνάσιο. Για μένα, η μηχανική έχει πάντα ήταν μια μεγάλη δημιουργική έξοδος: Μπορώ να σκεφτώ μια ιδέα και να χρησιμοποιήσω οποιαδήποτε τεχνολογία είναι απαραίτητη για να χτίσω προς μια όραση. Μετά από κάποιο χρόνο στη μηχανική, όμως, ήθελα να κάνω περισσότερα. Ήθελα να κατανοήσω πώς λειτουργούν οι επιχειρήσεις, πώς πωλούνται τα προϊόντα και πώς χτίζονται οι ομάδες – και ήθελα να μάθω γρήγορα.

Πέρασα κάποια χρόνια εργαζόμενος στη διαχείριση συμβουλευτικών έργων στο BCG, όπου εργάστηκα σε eine ποικιλία έργων σε διαφορετικά βιομηχανικά τομείς. Μάθησα πολύ, αλλά τελικά έλειψα την κατασκευή προϊόντων και την εργασία προς μια μακροπρόθεσμη όραση. Αποφάσισα να ενταχθώ στην ομάδα διαχείρισης προϊόντων της Astronomer, όπου θα μπορούσα να εργαστώ με πελάτες και να χτίσω στρατηγικές (τα πράγματα που απολάμβανα από τη συμβουλευτική), αλλά θα μπορούσα επίσης να ασχοληθώ πολύ με την κατασκευή του πραγματικού προϊόντος και την εργασία με τεχνολογία.

Για κάποιο χρόνο, ενήργησα ως υβριδικός PM/μηχανικός – θα εργαζόμουν με πελάτες για να κατανοήσω τις προκλήσεις που αντιμετωπίζουν και θα σχεδιάζω προϊόντα και χαρακτηριστικά ως PM. Στη συνέχεια, θα πήρα τις απαιτήσεις του προϊόντος και θα εργαζόμουν με την ομάδα μηχανικής για να χτίσω πραγματικά το προϊόν ή το χαρακτηριστικό. Με τον καιρό, το έκανα αυτό με ένα μεγαλύτερο σύνολο προϊόντων στην Astronomer, το οποίο τελικά οδήγησε στο ρόλο του CTO που είμαι τώρα.

Για τους χρήστες που δεν είναι εξοικειωμένοι με το Airflow, μπορείτε να εξηγήσετε τι το κάνει το ιδανικό πλαίσιο για να γράψουν προγραμματιστικά, να προγραμματίσουν και να παρακολουθήσουν ροές εργασιών;

Apache Airflow είναι ένα ανοιχτό πλαίσιο για την ανάπτυξη, προγραμματισμό και παρακολούθηση ροών εργασιών. Το Airflow παρέχει τις ικανότητες διαχείρισης ροής εργασιών που είναι ουσιαστικές για σύγχρονες cloud-γενικές πλατφόρμες δεδομένων. Αυτοματοποιεί την εκτέλεση εργασιών, συντονίζει τις εξαρτήσεις μεταξύ εργασιών και δίνει στις οργανώσεις ένα κεντρικό σημείο ελέγχου για την παρακολούθηση και τη διαχείριση ροών εργασιών.

Οι αρχιτέκτονες πλατφόρμας δεδομένων χρησιμοποιούν το Airflow για να αυτοματοποιήσουν την κίνηση και την επεξεργασία δεδομένων μέσω και μεταξύ διαφορετικών συστημάτων, διαχειριζόμενοι σύνθετες ροές δεδομένων και παρέχοντας ευέλικτη προγραμματισμό, παρακολούθηση και ειδοποίηση. Όλα αυτά τα χαρακτηριστικά είναι εξαιρετικά χρήσιμα για σύγχρονες ομάδες δεδομένων, αλλά αυτό που κάνει το Airflow το ιδανικό πλαίσιο είναι ότι είναι ένα ανοιχτό έργο – που σημαίνει ότι υπάρχει μια κοινότητα χρηστών και συντελεστών του Airflow που εργάζονται συνεχώς για να αναπτύξουν το πλαίσιο, να λύσουν προβλήματα και να μοιραστούν τις καλύτερες πρακτικές.

Το Airflow έχει επίσης πολλές ολοκληρώσεις δεδομένων με δημοφιλείς βάσεις δεδομένων, εφαρμογές και εργαλεία, καθώς και δεκάδες cloud υπηρεσίες — και περισσότερες προστίθενται κάθε μήνα.

Πώς χρησιμοποιεί η Astronomer το Airflow για εσωτερικές διαδικασίες;

Χρησιμοποιούμε το Airflow πολύ! Φυσικά, έχουμε τη δική μας ομάδα δεδομένων που χρησιμοποιεί το Airflow για να παραδώσει δεδομένα στην επιχείρηση και τους πελάτες μας. Έχουν κάποιο εξαιρετικά σύνθετο εργαλείο που έχουν χτίσει γύρω από το Airflow, το οποίο έχουμε χρησιμοποιήσει ως έμπνευση για την ανάπτυξη χαρακτηριστικών στο ευρύτερο πλαίσιο.

Χρησιμοποιούμε επίσης το Airflow για κάποια μη παραδοσιακά χρήση. Για παράδειγμα, η ομάδα CRE μας χρησιμοποιεί το Airflow για να παρακολουθήσει τις εκατοντάδες cluster Kubernetes και τις χιλιάδες αναπτύξεις Airflow που τρέχουμε για λογαριασμό των πελατών μας. Οι διαδικασίες τους τρέχουν συνεχώς για να ελέγξουν για προβλήματα, και αν παρατηρήσουμε κάποια, θα ανοίξουμε προληπτικά εισιτήρια υποστήριξης για λογαριασμό των πελατών μας.

Έχω ακόμη χρησιμοποιήσει το Airflow για προσωπικές χρήσεις. Η αγαπημένη μου (μέχρι τώρα) ήταν όταν μετακόμιζα στη Νέα Υόρκη. Αν έχετε ζήσει εδώ, θα γνωρίζετε ότι η αγορά ενοικίασης είναι τρελή. Τα διαμερίσματα ενοικιάζονται μέσα σε quelques ώρες από τότε που δημοσιεύονται. Οι συνεργάτες μου και εγώ είχαμε μια λίστα κριτηρίων που συμφωνήσαμε όλοι (τοποθεσία, αριθμός δωματίων, μπάνιου, κ.λπ.), και χτίστηκα ένα Airflow DAG που τρέχει κάθε λίγα λεπτά, έπαιρνε νέα listings από διάφορους ιστότοπους λίστας διαμερισμάτων και μου στέλνει μήνυμα (ευχαριστώ Twilio!) κάθε φορά που υπήρχε κάτι νέο που ταιριάζει με τα κριτήριά μας. Το διαμέρισμα που ζω τώρα βρέθηκε χάρη στο Airflow!

Η Astronomer σχεδίασε το Astro, một σύγχρονη πλατφόρμα ορχήστρας δεδομένων, που τροφοδοτείται από το Airflow. Μπορείτε να μοιραστείτε μαζί μας πώς αυτό το εργαλείο επιτρέπει στις εταιρείες να τοποθετήσουν εύκολα το Airflow στο κέντρο των επιχειρηματικών τους λειτουργιών;

Το Astro επιτρέπει στις οργανώσεις και πιο συγκεκριμένα, στους μηχανικούς δεδομένων, τους επιστήμονες δεδομένων και τους αναλυτές δεδομένων, να χτίσουν, να εκτελέσουν και να αναπτύξουν τις κρίσιμες ροές εργασιών τους σε μια seule πλατφόρμα για όλες τις ροές δεδομένων τους. Είναι η μόνη διαχειριζόμενη υπηρεσία Airflow που παρέχει υψηλά επίπεδα ασφάλειας και προστασίας δεδομένων και βοηθά τις εταιρείες να κλιμακωθούν τις αναπτύξεις τους και να απελευθερώσουν πόρους για να εστιάσουν στις επιχειρηματικές τους στόχους.

Ένας από τους πελάτες μας, Anastasia, μια εταιρεία τεχνολογίας, επέλεξε το Astro για να διαχειριστεί το Airflow επειδή δεν είχε αρκετό χρόνο ή πόρους για να διατηρήσει το Airflow μόνη της. Το Astro λειτουργεί στο παρασκήνιο, ώστε οι ομάδες να μπορούν να εστιάσουν στις βασικές επιχειρηματικές δραστηριότητες, αντί να ξοδεύουν χρόνο σε μη διαφοροποιημένες δραστηριότητες όπως η διαχείριση του Airflow.

Ένα από τα βασικά στοιχεία του Astro είναι η ελαστική κλιμάκωση, μπορείτε να ορίσετε τι είναι αυτό και γιατί είναι σημαντικό για cloud computing περιβάλλοντα;

Για εμάς, αυτό σημαίνει einfach την ικανότητά μας να ικανοποιούμε τις απαιτήσεις υπολογισμού των πελατών μας χωρίς να τρέχουμε πολλή υποδομή όλη την ώρα. Οι πελάτες μας χρησιμοποιούν την πλατφόρμα μας για eine ποικιλία χρήσεων, οι περισσότερες από τις οποίες έχουν υψηλές απαιτήσεις υπολογισμού (εκπαίδευση μοντέλων μηχανικής μάθησης, επεξεργασία μεγάλων δεδομένων, κ.λπ.). Ένα από τα βασικά πλεονεκτήματα της Astronomer είναι ότι, ως πελάτης, δεν πρέπει να σκέφτεστε τις μηχανές που τρέχουν τις ροές εργασιών σας. Αναπτύσσετε τις ροές εργασιών σας στο Astro, και μπορείτε να περιμένετε ότι θα λειτουργήσουν. Έχουμε χτίσει ένα σύνολο χαρακτηριστικών και συστημάτων που βοηθούν να κλιμακωθεί η υποδομή μας για να ικανοποιήσουμε τις μεταβαλλόμενες απαιτήσεις των πελατών μας, και είναι κάτι που είμαστε ενθουσιασμένοι να συνεχίσουμε να χτίζουμε στο μέλλον.

Ήσατε υπεύθυνος για την ομάδα της Astronomer να χτίσει το Ask-Astro, το LLM-ενεργοποιημένο chatbot για το Apache Airflow. Μπορείτε να μοιραστείτε μαζί μας λεπτομέρειες για το τι είναι το Ask-Astro και τα LLMs που το τροφοδοτούν;

Η ομάδα μας στην Astronomer έχει κάποια από τα πιο γνώστες μέλη της κοινότητας Airflow και θέλαμε να κάνουμε πιο εύκολο να μοιραστούμε τις γνώσεις τους. Για να το κάνουμε αυτό, δημιουργήσαμε μια αναφορά υλοποίησης των Emerging Architectures για LLM Applications, που δείχνει τα πιο συνηθισμένα συστήματα, εργαλεία και σχέδια που έχουμε δει να χρησιμοποιούνται από startups AI και εξειδικευμένες τεχνολογικές εταιρείες. Ξεκινήσαμε με κάποιες ενημερωμένες γνώσεις για αυτή την αναφορά υλοποίησης και το Apache Airflow παίζει επίσης einen κεντρικό ρόλο στη αρχιτεκτονική. Το Ask Astro είναι μια πραγματική αναφορά για να δείξουμε πώς να κολλήσετε όλα τα διάφορα κομμάτια μαζί.

Το Ask Astro είναι περισσότερο από ένα απλό chatbot. Η ομάδα της Astronomer επέλεξε να αναπτύξει την εφαρμογή ανοιχτά και να δημοσιεύει τακτικά για προκλήσεις, ιδέες και λύσεις για να αναπτύξει θεσμική γνώση για λογαριασμό της κοινότητας. Ποίες ήταν κάποιες από τις μεγαλύτερες προκλήσεις που αντιμετώπισε η ομάδα;

Η μεγαλύτερη πρόκληση ήταν η έλλειψη σαφών besten πρακτικών στην κοινότητα. Επειδή το “state of the art” αναδιοργανώθηκε κάθε εβδομάδα, ήταν δύσκολο να κατανοήσουμε πώς να αντιμετωπίσουμε κάποια προβλήματα (καταναλωτική εισαγωγή, επιλογή μοντέλου, μέτρηση ακρίβειας εξόδου, κ.λπ.). Αυτό ήταν ένας κεντρικός οδηγός για εμάς να χτίσουμε το Ask Astro ανοιχτά. Θέλαμε να καθορίσουμε ένα σύνολο πρακτικών για την ορχήστρα LLM που λειτουργούν καλά για διάφορες χρήσεις, ώστε οι πελάτες και η κοινότητά μας να μπορούν να αισθανθούν καλά προετοιμασμένοι για να υιοθετήσουν LLMs και γεννητικές τεχνολογίες AI.

Έχει αποδειχθεί μια εξαιρετική επιλογή – το εργαλείο λαμβάνει πολλή χρήση, έχουμε δώσει πολλές δημόσιες ομιλίες για το πώς να χτίσετε εφαρμογές LLM και έχουμε ακόμη αρχίσει να εργαζόμαστε με μια επιλεγμένη ομάδα πελατών για να αναπτύξουμε εσωτερικές εκδόσεις του Ask Astro!

Τι είναι η προσωπική σας όραση για το μέλλον του Airflow και της Astronomer;

Είμαι πραγματικά ενθουσιασμένος για το μέλλον και του Airflow και της Astronomer. Η κοινότητα του Airflow συνεχίζει να μεγαλώνει και στην Astronomer, είμαστε αφοσιωμένοι να αναπτύξουμε την ανάπτυξη, την υποστήριξη και τη σύνδεση μεταξύ ομάδων και ατόμων.

Με την αυξανόμενη ζήτηση για δεδομένα-οδηγούμενες ενημερώσεις και την εισροή δεδομένων, οι μηχανικοί δεδομένων έχουν μια δύσκολη δουλειά. Θέλουμε να ελαφρύνουμε το φορτίο για αυτά τα άτομα και τις ομάδες, ενδυναμώνοντάς τους να ολοκληρώσουν και να διαχειριστούν σύνθετα δεδομένα σε κλίμακα. Σήμερα, αυτό σημαίνει επίσης την υποστήριξη της υιοθέτησης και της υλοποίησης του AI. Το 2023, όπως και πολλές άλλες εταιρείες, επικεντρωθήκαμε σε το πώς μπορούμε να επιταχύνουμε την υιοθέτηση του AI για τους πελάτες μας. Η πλατφόρμα μας, Astro, επιταχύνει την ανάπτυξη του AI, ροών ML και παρέχει την ισχυρή υπολογιστική δύναμη που χρειάζεται για τις επόμενες εφαρμογές. Το AI θα συνεχίσει να είναι ένας στόχος για εμάς αυτό το έτος και θα υποστηρίξουμε τους πελάτες μας καθώς νέες τεχνολογίες και πλαίσια εμφανίζονται.

Επιπλέον, η Astronomer είναι ένας εξαιρετικός χώρος για να εργαστείτε και να αναπτύξετε την καριέρα σας. Όσο συνεχίζει να εξελίσσεται το τοπίο δεδομένων, η εργασία εδώ γίνεται όλο και πιο ενδιαφέρουσα. Χτίζουμε μια εξαιρετική ομάδα εδώ και έχουμε πολλά τεχνικά προβλήματα να λύσουμε. Έχουμε επίσης μετακινήσει την έδρα μας στη Νέα Υόρκη, όπου μπορούμε να γίνουμε ακόμη πιο μέρος της τεχνολογικής κοινότητας που υπάρχει εκεί και θα είμαστε καλύτερα εξοπλισμένοι για να προσελκύσουμε τους καλύτερους, τους πιο εξειδικευμένους ταλέντες στην βιομηχανία. Αν ενδιαφέρεστε να ενταχθείτε στην ομάδα για να μας βοηθήσετε να παραδώσουμε τα δεδομένα του κόσμου εγκαίρως, επικοινωνήστε μαζί μας!

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες που θέλουν να μάθουν περισσότερα πρέπει να επισκεφθούν την Astronomer.