จูเลียน LaNeve, CTO ที่ Astronomer – สัมภาษณ์ซีรีส์

จูเลียน LaNeve เป็น Chief Technical Officer (CTO) ที่ Astronomer ซึ่งเป็นพลังหลักที่อยู่เบื้องหลัง Apache Airflow และการดูแลข้อมูลสมัยใหม่เพื่อขับเคลื่อนทุกอย่างตั้งแต่ AI ถึงการวิเคราะห์ข้อมูลทั่วไป

จูเลียนทำผลิตภัณฑ์และวิศวกรรมที่ Astronomer โดยมุ่งเน้นไปที่ประสบการณ์ของผู้พัฒนา การสังเกตการณ์ข้อมูล และ AI เขายังเป็นผู้เขียน Cosmos ซึ่งเป็นผู้ให้บริการ Airflow สำหรับการทำงาน dbt Core โครงการเป็น Airflow DAGs

เขามีความหลงใหลในเรื่องข้อมูลและโอเพ่นซอร์ส เนื่องจากเขาใช้เวลาว่างในการเข้าร่วมการแข่งขันฮักกาธอน การสร้างโปรเจ็กต์ใหม่ๆ และสำรวจสิ่งใหม่ๆ ในด้านข้อมูล

คุณสามารถแบ่งปันเรื่องราวส่วนตัวของคุณเกี่ยวกับวิธีที่คุณเข้ามาเกี่ยวข้องกับการพัฒนาซอฟต์แวร์ และทำงานให้ถึงจุดเป็น CTO ของ Astronomer ได้หรือไม่?

ฉันเริ่มเขียนโค้ดตั้งแต่ฉันยังอยู่ในโรงเรียนมัธยม สำหรับฉัน การพัฒนาซอฟต์แวร์เป็นช่องทางสร้างสรรค์ที่ดีเสมอ ฉันสามารถคิดค้นความคิดและใช้เทคโนโลยีที่จำเป็นในการสร้างสิ่งที่ฉันต้องการ หลังจากใช้เวลาในการพัฒนาซอฟต์แวร์ ฉันต้องการทำมากกว่านั้น ฉันต้องการเข้าใจว่าธุรกิจดำเนินงานอย่างไร ผลิตภัณฑ์ขายอย่างไร และทีมงานสร้างขึ้นอย่างไร และฉันต้องการเรียนรู้อย่างรวดเร็ว

ฉันใช้เวลาหลายปีในการทำงานด้านการให้คำปรึกษาทางธุรกิจที่ BCG โดยทำงานในโครงการต่างๆ ในอุตสาหกรรมที่หลากหลาย ฉันเรียนรู้มากมาย แต่สุดท้ายก็พลาดการสร้างผลิตภัณฑ์และทำงานต่อวิสัยทัศน์ระยะยาว ฉันตัดสินใจเข้าร่วมทีมการจัดการผลิตภัณฑ์ของ Astronomer โดยที่ฉันสามารถทำงานกับลูกค้าและสร้างกลยุทธ์ (สิ่งที่ฉันชอบจากงานให้คำปรึกษา) แต่ยังสามารถมีส่วนร่วมในการสร้างผลิตภัณฑ์และทำงานกับเทคโนโลยีได้

ในช่วงเวลาหนึ่ง ฉันทำหน้าที่เป็น PM/วิศวกรผสมผสาน ฉันทำงานกับลูกค้าเพื่อทำความเข้าใจความท้าทายที่พวกเขาเผชิญและออกแบบผลิตภัณฑ์และคุณสมบัติเป็น PM จากนั้น ฉันจะนำข้อกำหนดผลิตภัณฑ์ไปทำงานกับทีมวิศวกรรมเพื่อสร้างผลิตภัณฑ์หรือคุณสมบัตินั้น เมื่อเวลาผ่านไป ฉันทำสิ่งนี้กับผลิตภัณฑ์หลายๆ ชิ้นที่ Astronomer ซึ่งนำไปสู่ตำแหน่ง CTO ที่ฉันอยู่ในปัจจุบัน

สำหรับผู้ใช้ที่ไม่คุ้นเคยกับ Airflow คุณสามารถอธิบายได้ว่าอะไรที่ทำให้ Airflow เป็นแพลตฟอร์มที่เหมาะสมสำหรับการเขียนโปรแกรม การจัดตาราง และการตรวจสอบ 워์กโฟลว์?

Apache Airflow เป็นแพลตฟอร์มโอเพ่นซอร์สสำหรับการพัฒนา การจัดตาราง และการตรวจสอบ 워์กโฟลว์ที่มีลักษณะเป็นแบตช์ Airflow มีคุณสมบัติในการจัดการ 워์กโฟลว์ที่สำคัญสำหรับแพลตฟอร์มข้อมูลคลาวด์สมัยใหม่ มันทำให้การทำงานอัตโนมัติของงาน การประสานงานความสัมพันธ์ระหว่างงาน และให้องค์กรจุดควบคุมกลางสำหรับการตรวจสอบและจัดการ 워์กโฟลว์

สถาปนิกแพลตฟอร์มข้อมูลใช้ Airflow เพื่อทำให้การย้ายและประมวลผลข้อมูลอัตโนมัติผ่านระบบต่างๆ และจัดการการไหลข้อมูลที่ซับซ้อน รวมทั้งให้การนัดหมายที่ยืดหยุ่น การตรวจสอบ และการเตือน สิ่งเหล่านี้มีประโยชน์มากสำหรับทีมข้อมูลสมัยใหม่ แต่สิ่งที่ทำให้ Airflow เป็นแพลตฟอร์มที่เหมาะสมที่สุดคือเป็นโครงการโอเพ่นซอร์ส ซึ่งหมายความว่ามุมชนผู้ใช้และผู้ร่วมให้ข้อมูล Airflow ที่ทำงานอย่างต่อเนื่องเพื่อพัฒนาแพลตฟอร์มแก้ปัญหา และแบ่งปันแนวทางปฏิบัติที่ดีที่สุด

Airflow ยังมีการผสานรวมข้อมูลกับฐานข้อมูล แอปพลิเคชัน และเครื่องมือที่ได้รับความนิยม รวมทั้งบริการคลาวด์หลายสิบบริการ — และมีการเพิ่มบริการใหม่ๆ ทุกเดือน

Astronomer ใช้ Airflow สำหรับกระบวนการภายในอย่างไร?

เรใช้ Airflow มาก! โดยธรรมชาติแล้ว เรามีทีมข้อมูลที่ใช้ Airflow เพื่อส่งมอบข้อมูลให้กับธุรกิจและลูกค้าของเรา พวกเขามีเครื่องมือที่ซับซ้อนซึ่งพวกเขาได้สร้างขึ้นรอบๆ Airflow ซึ่งเราได้ใช้เป็นแรงบันดาลใจสำหรับการพัฒนาผลิตภัณฑ์บนแพลตฟอร์มที่กว้างขึ้น

เรายังใช้ Airflow สำหรับการใช้งานที่ไม่ธรรมดา แต่ก็ทำงานได้ดี ตัวอย่างเช่น ทีม CRE ของเรามีการใช้ Airflow เพื่อตรวจสอบคลัสเตอร์ Kubernetes หลักร้อยและคลัสเตอร์ Airflow หลักพันๆ ที่เราวิ่งบน behalf ของลูกค้าของเรา ปั๊มของพวกเขาวิ่งตลอดเวลาเพื่อตรวจสอบปัญหา และหากเราสังเกตเห็นปัญหาใดๆ เราจะเปิดตั๋วสนับสนุนเชิงรุกแทนลูกค้าของเรา

ฉันเคยใช้ Airflow สำหรับการใช้งานส่วนตัวด้วย ตัวอย่างที่ฉันชอบที่สุดคือเมื่อฉันกำลังย้ายไปที่นิวยอร์กซิตี้ หากคุณเคยอาศัยอยู่ที่นี่ คุณจะรู้ว่าตลาดเช่าบ้านมันบ้าบิ่น บ้านเช่าจะถูกเช่าออกไปภายในไม่กี่ชั่วโมงหลังจากที่มันถูกจัดแสดง ฉันและเพื่อนร่วมห้องของฉันมีรายการสิ่งที่เราต้องการ (ที่ตั้ง ห้องนอน ห้องน้ำ ฯลฯ) และฉันสร้าง DAG ของ Airflow ที่วิ่งทุกๆ ไม่กี่นาที โดยดึงรายการสิ่งใหม่ๆ จากเว็บไซต์แสดงรายการสิ่งเช่า และส่ง SMS ให้ฉันทุกครั้งที่มีอะไรใหม่ที่ตรงกับเกณฑ์ของเรา บ้านที่ฉันอยู่ตอนนี้ถูกค้นพบด้วย Airflow!

Astronomer ได้ออกแบบ Astro ซึ่งเป็นแพลตฟอร์มการดูแลข้อมูลสมัยใหม่ ที่ขับเคลื่อนด้วย Airflow คุณสามารถแบ่งปันเรื่องราวเกี่ยวกับวิธีการที่เครื่องมือนี้ช่วยให้ธุรกิจสามารถวาง Airflow ไว้ที่ใจกลางการดำเนินงานข้อมูลของตนได้อย่างง่ายดาย?

Astro ช่วยให้องค์กรและทีมข้อมูลสามารถสร้าง วิ่ง และเติบโตการไหลข้อมูลที่สำคัญบนแพลตฟอร์มเดียวสำหรับทุกการไหลข้อมูล มันเป็นบริการ Airflow ที่จัดการแล้วที่ให้ความปลอดภัยและปกป้องข้อมูลในระดับสูง และช่วยให้ธุรกิจสามารถขยายการวางจำหน่ายและปลดปล่อยทรัพยากรเพื่อมุ่งเน้นไปที่เป้าหมายทางธุรกิจหลัก

ลูกค้าหนึ่งของเรา Anastasia บริษัทเทคโนโลยีที่มีการนำเสนอแนวคิดใหม่ๆ ได้เลือก Astro เพื่อจัดการ Airflow เนื่องจากพวกเขาไม่มีเวลาหรือทรัพยากรเพียงพอในการดูแล Airflow ด้วยตนเอง Astro ทำงานเบื้องหลังเพื่อให้ทีมสามารถมุ่งเน้นไปที่กิจกรรมหลักของธุรกิจแทนการใช้เวลาในการจัดการ Airflow

หนึ่งในส่วนประกอบหลักของ Astro คือความสามารถในการปรับขนาดได้อย่างยืดหยุ่น คุณสามารถอธิบายได้ว่าสิ่งนี้คืออะไร และเหตุใดจึงสำคัญสำหรับสภาพแวดล้อมการคำนวณคลาวด์?

สำหรับเรา สิ่งนี้หมายถึงความสามารถของเราในการตอบสนองความต้องการการคำนวณของลูกค้าโดยไม่ต้องใช้โครงสร้างพื้นฐานมากเกินไป ลูกค้าของเรามีการใช้แพลตฟอร์มของเราในกรณีการใช้งานที่หลากหลาย ซึ่งส่วนใหญ่ต้องการการคำนวณในระดับสูง (การฝึกโมเดลการเรียนรู้ของเครื่อง การประมวลผลข้อมูลขนาดใหญ่ ฯลฯ) หนึ่งในคุณค่าที่สำคัญของ Astronomer คือลูกค้าไม่ต้องคิดเกี่ยวกับเครื่องที่กำลังทำงานไหลข้อมูลของพวกเขา พวกเขาสามารถนำไหลข้อมูลไปวางบน Astro และคาดหวังว่ามันจะทำงานได้ เราได้สร้างคุณสมบัติและระบบที่ช่วยให้โครงสร้างพื้นฐานของเราขยายเพื่อตอบสนองความต้องการที่เปลี่ยนแปลงของลูกค้า และเป็นสิ่งที่เราตื่นเต้นที่จะพัฒนาต่อไปในอนาคต

คุณมีบทบาทในการสร้าง Ask-Astro ซึ่งเป็นแชทบอทที่มีพลังของ LLM สำหรับ Apache Airflow คุณสามารถแบ่งปันเรื่องราวเกี่ยวกับสิ่งที่ Ask-Astro คือและ LLM ที่ขับเคลื่อนมัน?

ทีมของเราที่ Astronomer มีสมาชิกที่มีความรู้มากที่สุดเกี่ยวกับชุมชน Airflow และเราต้องการทำให้ง่ายต่อการแบ่งปันความรู้ของพวกเขา เพื่อทำเช่นนั้น เราได้สร้างการนำไปใช้ของ Emerging Architectures สำหรับ LLM Applications ของ Andreessen Horowitz ซึ่งแสดงระบบ เครื่องมือ และรูปแบบการออกแบบที่พบบ่อยที่สุดซึ่งเราได้เห็นในการใช้งาน AI เริ่มต้นและบริษัทเทคโนโลยีที่ซับซ้อน เราเริ่มต้นด้วยความคิดเห็นที่มีข้อมูลเกี่ยวกับการนำไปใช้นี้ และ Apache Airflow ก็มีบทบาทสำคัญในโครงสร้างนี้ Ask Astro เป็นตัวอย่างการนำไปใช้จริงที่แสดงวิธีการเชื่อมต่อชิ้นส่วนที่หลากหลายเข้าด้วยกัน

Ask Astro มากกว่าแค่แชทบอทอีกตัวหนึ่ง ทีม Astronomer เลือกที่จะพัฒนาแอปพลิเคชันนี้ในแบบเปิดและโพสต์เกี่ยวกับความท้าทาย ความคิด และการแก้ปัญหาเพื่อสร้างความรู้เชิงสถาบันแทนชุมชน สิ่งที่ท้าทายที่สุดสำหรับทีมคืออะไร?

ความท้าทายที่ยิ่งใหญ่ที่สุดคือการขาดแนวปฏิบัติที่ชัดเจนในชุมชน เนื่องจาก “สถานะของศิลปะ” ถูกกำหนดใหม่ทุกสัปดาห์ จึงยากที่จะเข้าใจว่าจะเข้าใกล้ปัญหาเหล่านั้น (การดูดซับเอกสาร การเลือกแบบจำลอง การวัดความแม่นยำของเอาต์พุต ฯลฯ) สิ่งนี้เป็นตัวขับเคลื่อนหลักสำหรับเราในการสร้าง Ask Astro ในแบบเปิด เราต้องการสร้างชุดแนวปฏิบัติสำหรับการดูแล LLM ที่ทำงานได้ดีสำหรับการใช้งานต่างๆ เพื่อให้ลูกค้าและชุมชนของเรารู้สึกพร้อมที่จะนำเทคโนโลยี AI และ AI ที่สร้างสรรค์มาใช้

มันพิสูจน์แล้วว่าเป็นตัวเลือกที่ดี — เครื่องมือนี้ได้รับการใช้งานมาก เราได้ให้การบรรยายสาธารณะเกี่ยวกับวิธีการสร้างแอปพลิเคชัน LLM และเรายังเริ่มทำงานกับลูกค้าบางรายเพื่อนำออกใช้版本ภายในของ Ask Astro!

วิสัยทัศน์ส่วนตัวของคุณสำหรับอนาคตของ Airflow และ Astronomer คืออะไร?

ฉันรู้สึกตื่นเต้นมากเกี่ยวกับอนาคตของทั้ง Airflow และ Astronomer ชุมชน Airflow ยังคงเติบโต และที่ Astronomer เรามุ่งมั่นที่จะสนับสนุนการพัฒนา การสนับสนุน และการเชื่อมต่อระหว่างทีมและบุคคล

ด้วยความต้องการข้อมูลเชิงลึกที่ขับเคลื่อนด้วยข้อมูลที่เพิ่มขึ้นและแหล่งข้อมูลที่หลากหลาย วิศวกรข้อมูลมีงานที่ท้าทาย เราต้องการทำให้ภาระงานของบุคคลและทีมเหล่านี้เบาลงโดยการเพิ่มขีดความสามารถให้พวกเขาสามารถรวมและจัดการข้อมูลที่ซับซ้อนในระดับขนาดใหญ่ ในปัจจุบัน สิ่งนี้หมายถึงการสนับสนุนการนำ AI ไปใช้และการใช้งาน ในปี 2023 เช่นเดียวกับบริษัทอื่นๆ เรามุ่งเน้นไปที่วิธีการเร่งการนำ AI ไปใช้สำหรับลูกค้าของเรา แพลตฟอร์มของเรา Astro เร่งการวางจำหน่าย AI สตรีมไลน์การพัฒนา ML และให้พลังการคำนวณที่แข็งแกร่งที่จำเป็นสำหรับการใช้งานรุ่นต่อไป ในปีนี้ AI จะยังคงเป็นจุดสนใจหลักของเรา และเราจะสนับสนุนลูกค้าของเราขณะที่เทคโนโลยีและเฟรมเวิร์กใหม่ๆ ปรากฏขึ้น

นอกจากนี้ Astronomer ยังเป็นสถานที่ที่ดีในการทำงานและเติบโตในอาชีพ เมื่อภูมิทัศน์ข้อมูลดำเนินต่อไป เราที่นี่จะสร้างทีมที่ดีและมีบทบาททางเทคนิคที่ต้องแก้ไข เรายังได้ย้ายสำนักงานใหญ่ของเราไปที่นิวยอร์กซิตี้ โดยที่เราจะกลายเป็นส่วนหนึ่งของ Astronomer และเราจะเตรียมพร้อมที่จะดึงดูดผู้มีความสามารถที่ดีที่สุดในอุตสาหกรรม หากคุณสนใจที่จะเข้าร่วมทีมเพื่อช่วยให้เราส่งมอบข้อมูลของโลกตามเวลา คุณสามารถติดต่อเราได้!

ขอขอบคุณสำหรับการสัมภาษณ์ที่ดี ผู้อ่านสามารถเยี่ยมชม Astronomer เพื่อเรียนรู้เพิ่มเติม