Steven Hillion, Senior Vice President of Data und KI bei Astronomer – Interviewreihe

Steven Hillion ist Senior Vice President of Data und KI bei Astronomer, wo er seine umfassende akademische Ausbildung in Forschungsmathematik und über 15 Jahre Erfahrung in der Entwicklung von Machine-Learning-Plattformen in Silicon Valley nutzt. Bei Astronomer leitet er die Entwicklung von Apache Airflow-Funktionen, die speziell für ML- und KI-Teams konzipiert sind, und überwacht das interne Data-Science-Team. Unter seiner Führung hat Astronomer seine moderne Data-Orchestrierungsplattform weiterentwickelt und ihre Fähigkeiten bei der Datenverarbeitung erheblich verbessert, um eine Vielzahl von Datenquellen und Aufgaben durch Machine Learning zu unterstützen.

Können Sie uns ein wenig über Ihre Reise in Data Science und KI erzählen und wie diese Ihre Herangehensweise an die Leitung von Engineering- und Analytics-Teams geprägt hat?

Ich hatte einen Hintergrund in Forschungsmathematik an der Universität Berkeley, bevor ich in die Bay Area zog und als Ingenieur in einer Reihe von erfolgreichen Start-ups arbeitete. Ich war froh, die Politik und Bürokratie der akademischen Welt hinter mir zu lassen, aber ich merkte nach einigen Jahren, dass ich die Mathematik vermisste. Also wechselte ich in die Entwicklung von Plattformen für Machine Learning und Analytics, und das ist im Wesentlichen das, was ich seitdem mache.

Meine Ausbildung in reinen Mathematik hat dazu geführt, dass ich eine Vorliebe für das entwickelt habe, was Data Scientists als “Parsimonie” bezeichnen – das richtige Werkzeug für den Job und nichts mehr. Da Mathematiker tendenziell elegante Lösungen gegenüber komplexen Maschinen bevorzugen, habe ich immer versucht, Einfachheit zu betonen, wenn ich Machine Learning auf Geschäftsprobleme anwende. Deep Learning ist großartig für einige Anwendungen – große Sprachmodelle sind beispielsweise hervorragend für die Zusammenfassung von Dokumenten -, aber manchmal ist ein einfaches Regressionsmodell angemessener und einfacher zu erklären.

Es war faszinierend zu sehen, wie sich die Rolle des Data Scientists und des Software-Ingenieurs in den letzten zwanzig Jahren seit der Verbreitung von Machine Learning verändert hat. Da ich beide Hüte getragen habe, bin ich sehr bewusst über die Bedeutung des Software-Entwicklungslebenszyklus (insbesondere Automatisierung und Testing) in Machine-Learning-Projekten.

Was sind die größten Herausforderungen bei der Verarbeitung, Analyse und Bewegung unstrukturierter Daten für KI und große Sprachmodelle (LLMs)?

In der Welt von Generative KI ist Ihre Daten Ihr wertvollstes Gut. Die Modelle sind zunehmend kommodifiziert, also ist Ihre Differenzierung all das hart erkämpfte institutionelle Wissen, das in Ihren proprietären und kuratierten Datensätzen erfasst ist.

Die Bereitstellung der richtigen Daten zur richtigen Zeit stellt hohe Anforderungen an Ihre Datenpipelines – und das gilt für unstrukturierte Daten ebenso wie für strukturierte Daten oder sogar noch mehr. Oft müssen Sie Daten aus vielen verschiedenen Quellen in vielen verschiedenen Formaten einlesen. Sie benötigen Zugang zu einer Vielzahl von Methoden, um die Daten zu entpacken und für die Modellinferenz oder Modelltraining vorzubereiten. Sie müssen auch die Herkunft der Daten verstehen und wissen, wohin sie letztendlich gelangen, um “Ihre Arbeit zu zeigen”.

Wenn Sie dies nur gelegentlich tun, um ein Modell zu trainieren, ist das in Ordnung. Sie müssen es nicht unbedingt operationalisieren. Wenn Sie das Modell jedoch täglich verwenden, um Kundenstimmungen aus Online-Foren zu verstehen oder Rechnungen zusammenzufassen und zu routen, dann sieht es aus wie jeder andere operationale Datenpipeline, was bedeutet, dass Sie über Zuverlässigkeit und Reproduzierbarkeit nachdenken müssen. Oder wenn Sie das Modell regelmäßig feinjustieren, dann müssen Sie sich um die Überwachung der Genauigkeit und der Kosten kümmern.

Die gute Nachricht ist, dass Daten-Ingenieure eine großartige Plattform, Airflow, für die Verwaltung von Datenpipelines entwickelt haben, die bereits erfolgreich für die Verwaltung von Modell-Deployments und -Überwachung durch einige der weltweit fortschrittlichsten ML-Teams eingesetzt wurde. Also sind die Modelle vielleicht neu, aber die Orchestrierung ist es nicht.

Können Sie die Verwendung von synthetischen Daten zur Feinabstimmung kleinerer Modelle für die Genauigkeit erläutern? Wie unterscheidet sich dies vom Training größerer Modelle?

Es ist eine leistungsstarke Technik. Sie können die besten großen Sprachmodelle als eine Art Enkapsulierung dessen betrachten, was sie über die Welt gelernt haben, und sie können dies an kleinere Modelle weitergeben, indem sie synthetische Daten generieren. LLMs kapseln enorme Mengen an Wissen ein, das aus umfangreichen Trainings auf vielfältigen Datensätzen stammt. Diese Modelle können synthetische Daten generieren, die die Muster, Strukturen und Informationen erfassen, die sie gelernt haben. Diese synthetischen Daten können dann verwendet werden, um kleinere Modelle zu trainieren, wodurch effektiv ein Teil des Wissens von den größeren Modellen auf die kleineren übertragen wird. Dieser Prozess wird oft als “Wissensdestillation” bezeichnet und hilft bei der Erstellung effizienter, kleinerer Modelle, die dennoch gut auf bestimmte Aufgaben performen. Und mit synthetischen Daten können Sie auch Datenschutzprobleme vermeiden und Lücken in Trainingsdaten, die klein oder unvollständig sind, füllen.

Das kann hilfreich sein, um ein mehr domänen-spezifisches generatives KI-Modell zu trainieren und kann sogar effektiver sein als das Training eines “größeren” Modells mit einem höheren Maß an Kontrolle.

Data Scientists haben synthetische Daten bereits seit Langem generiert und Imputation ist so alt wie fehlerhafte Datensätze. Aber Sie mussten immer sehr vorsichtig sein, dass Sie keine Voreingenommenheiten einführten oder falsche Annahmen über die Verteilung der Daten trafen. Jetzt, da die Generierung von Daten so viel einfacher und leistungsstärker ist, müssen Sie noch vorsichtiger sein. Fehler können verstärkt werden.

Ein Mangel an Vielfalt in den generierten Daten kann zu “Modellkollaps” führen. Das Modell denkt, es macht seine Sache gut, aber das liegt daran, dass es nicht das gesamte Bild gesehen hat. Und im Allgemeinen ist ein Mangel an Vielfalt in den Trainingsdaten etwas, worauf Data-Teams immer achten sollten.

Auf einem grundlegenden Level, ob Sie synthetische Daten oder organische Daten verwenden, sind Abstammung und Qualität für die Feinabstimmung oder das Training jedes Modells von entscheidender Bedeutung. Wie wir wissen, sind Modelle nur so gut wie die Daten, auf denen sie trainiert werden. Während synthetische Daten ein großartiges Werkzeug sein können, um eine sensible Datenmenge darzustellen, ohne sie preiszugeben, oder Lücken in einer repräsentativen Datenmenge zu füllen, müssen Sie eine Papiertrail haben, die zeigt, woher die Daten stammen, und Sie müssen in der Lage sein, ihre Qualität nachzuweisen.

Welche innovativen Techniken setzt Ihr Team bei Astronomer ein, um die Effizienz und Zuverlässigkeit von Datenpipelines zu verbessern?

So viele! Astros vollständig verwaltete Airflow-Infrastruktur und der Astro-Hypervisor unterstützen dynamisches Skalieren und proaktives Monitoring durch erweiterte Gesundheitsmetriken. Dies stellt sicher, dass Ressourcen effizient genutzt werden und Systeme zu jedem Zeitpunkt zuverlässig sind. Astro bietet robuste datenzentrierte Alarmierung mit anpassbaren Benachrichtigungen, die über verschiedene Kanäle wie Slack und PagerDuty gesendet werden können. Dies stellt sicher, dass rechtzeitig eingegriffen wird, bevor Probleme eskalieren.

Datenvalidierungstests, Einheitstests und Datenqualitätsprüfungen spielen eine entscheidende Rolle bei der Gewährleistung der Zuverlässigkeit, Genauigkeit und Effizienz von Datenpipelines und letztendlich der Daten, die Ihr Geschäft antreiben. Diese Prüfungen stellen sicher, dass Sie, während Sie schnell Datenpipelines aufbauen, um Ihre Fristen einzuhalten, aktiv Fehler abfangen, die Entwicklungzeit verbessern und unvorhersehbare Fehler im Hintergrund reduzieren. Bei Astronomer haben wir Tools wie Astro CLI entwickelt, um die Funktionalität des Codes oder Integrationsschwierigkeiten in Ihrem Datenpipeline nahtlos zu überprüfen.

Wie sehen Sie die Entwicklung der Governance von generativer KI und welche Maßnahmen sollten ergriffen werden, um die Schaffung von mehr Werkzeugen zu unterstützen?

Governance ist unerlässlich, wenn die Anwendungen von generativer KI erfolgreich sein sollen. Es geht alles um Transparenz und Reproduzierbarkeit. Wissen Sie, wie Sie zu diesem Ergebnis gekommen sind, und von wo, und durch wen? Airflow selbst bietet bereits eine Möglichkeit, zu sehen, was einzelne Datenpipelines tun. Seine Benutzeroberfläche war einer der Gründe für seine schnelle Akzeptanz in den Anfängen, und bei Astronomer haben wir dies durch Sichtbarkeit über Teams und Deployments ergänzt. Wir bieten unseren Kunden auch Berichts-Dashboards, die umfassende Einblicke in die Plattformnutzung, Leistung und Kostenzuordnung für fundierte Entscheidungen bieten. Darüber hinaus ermöglicht die Astro-API Teams, ihre Airflow-Pipelines programmgesteuert zu deployen, zu automatisieren und zu verwalten, wodurch Risiken, die mit manuellen Prozessen verbunden sind, minimiert und ein reibungsloser Betrieb bei der Verwaltung mehrerer Airflow-Umgebungen sichergestellt wird. Abstammungsfunktionen sind in die Plattform integriert.

Das sind alle Schritte, um bei der Verwaltung von Daten-Governance zu helfen, und ich glaube, dass Unternehmen aller Größen die Bedeutung von Daten-Governance für das Vertrauen in KI-Anwendungen erkennen. Diese Anerkennung und Bewusstsein werden größtenteils die Nachfrage nach Daten-Governance-Tools antreiben, und ich erwarte, dass die Schaffung solcher Tools beschleunigt wird, wenn generative KI verbreitet wird. Aber sie müssen Teil des größeren Orchestrierungsstacks sein, und deshalb betrachten wir es als grundlegend für die Art und Weise, wie wir unsere Plattform aufbauen.

Können Sie Beispiele dafür nennen, wie Astronomers Lösungen die operative Effizienz und Produktivität für Kunden verbessert haben?

Generative KI-Prozesse umfassen komplexe und ressourcenintensive Aufgaben, die sorgfältig optimiert und wiederholt ausgeführt werden müssen. Astro, Astronomers verwaltete Apache Airflow-Plattform, bietet einen Rahmen im Zentrum des aufkommenden KI-App-Stacks, um diese Aufgaben zu vereinfachen und die Fähigkeit zu beschleunigen, schnell zu innovieren.

Indem generative KI-Aufgaben orchestriert werden, können Unternehmen sicherstellen, dass Rechenressourcen effizient genutzt und Workflows in Echtzeit optimiert und angepasst werden. Dies ist insbesondere in Umgebungen wichtig, in denen generative Modelle häufig aktualisiert oder auf Basis neuer Daten neu trainiert werden müssen.

Indem Teams Airflows Workflow-Management und Astronomers Deploy- und Skalierungsfunktionen nutzen, können sie weniger Zeit mit der Verwaltung von Infrastruktur verbringen und stattdessen ihre Aufmerksamkeit auf DatenTransformation und Modellentwicklung konzentrieren, was die Bereitstellung von Generative KI-Anwendungen beschleunigt und die Leistung verbessert.

Auf diese Weise hat Astronomers Astro-Plattform Kunden geholfen, die operative Effizienz von generativer KI in einer Vielzahl von Anwendungsfällen zu verbessern. Um einige zu nennen, gehören dazu E-Commerce-Produktentdeckung, Analyse des Risikos von Kundenabwanderung, Support-Automatisierung, Klassifizierung und Zusammenfassung von Rechtsdokumenten, Gewinnung von Produktinsights aus Kundenbewertungen und dynamische Cluster-Bereitstellung für die Bildgenerierung von Produkten.

Welche Rolle spielt Astronomer bei der Verbesserung der Leistung und Skalierbarkeit von KI- und ML-Anwendungen?

Skalierbarkeit ist eine große Herausforderung für Unternehmen, die in generative KI in 2024 investieren. Wenn man von einem Prototyp zu einer Produktionsumgebung übergeht, erwarten Benutzer, dass ihre generativen KI-Apps zuverlässig und leistungsfähig sind und dass die von ihnen produzierten Ausgaben vertrauenswürdig sind. Dies muss kosteneffizient geschehen und Unternehmen aller Größen müssen in der Lage sein, ihr Potenzial zu nutzen. Mit Astronomer können Aufgaben horizontal skaliert werden, um eine große Anzahl von Datenquellen dynamisch zu verarbeiten. Astro kann Deployments und die Cluster, auf denen sie gehostet werden, elastisch skalieren, und die Ausführung von Aufgaben basierend auf dedizierten Maschinenarten bietet eine höhere Zuverlässigkeit und einen effizienteren Einsatz von Rechenressourcen. Um den Teil des Puzzles der Kosteneffizienz zu lösen, bietet Astro Funktionen wie Skalierung auf Null und Hibernate, die helfen, spiralförmig ansteigende Kosten zu kontrollieren und Cloud-Ausgaben zu reduzieren. Wir bieten auch vollständige Transparenz über die Kosten der Plattform. Mein eigenes Data-Team generiert Berichte über den Verbrauch, die wir unseren Kunden täglich zur Verfügung stellen.

Welche zukünftigen Trends in KI und Data Science sind Sie aufgeregt und wie bereitet sich Astronomer darauf vor?

Erklärbares KI ist ein enorm wichtiges und faszinierendes Entwicklungsfeld. Es ist fast unheimlich, in die inneren Abläufe sehr großer Modelle hineinzuschauen. Und ich bin auch daran interessiert, zu sehen, wie die Community mit den Umweltauswirkungen des Modelltrainings und -Feinabstimmens umgeht. Bei Astronomer aktualisieren wir unser Registry ständig mit den neuesten Integrationen, damit Data- und ML-Teams problemlos mit den besten Modell-Diensten und den effizientesten Rechenplattformen verbinden können, ohne viel Aufwand.

Wie sehen Sie die Integration von fortschrittlichen KI-Tools wie LLMs mit traditionellen Datenmanagementsystemen in den nächsten Jahren?

Wir haben kürzlich gesehen, wie Databricks und Snowflake Ankündigungen darüber gemacht haben, wie sie die Nutzung und Entwicklung von LLMs innerhalb ihrer Plattformen integrieren. Andere DBMS und ML-Plattformen werden dies auch tun. Es ist großartig zu sehen, dass Daten-Ingenieure so einfachen Zugang zu solch leistungsstarken Methoden haben, direkt aus der Kommandozeile oder der SQL-Prompt.

Ich bin besonders daran interessiert, wie relationale Datenbanken Machine Learning integrieren. Ich warte immer darauf, dass ML-Methoden in den SQL-Standard aufgenommen werden, aber aus irgendeinem Grund haben sich die beiden Disziplinen nie wirklich verstanden. Vielleicht ist es diesmal anders.

Ich bin sehr aufgeregt über die Zukunft von großen Sprachmodellen, um die Arbeit von Daten-Ingenieuren zu unterstützen. Zunächst einmal waren LLMs bereits sehr erfolgreich bei der Code-Generierung, obwohl frühe Bemühungen, Data Scientists mit AI-getriebenen Vorschlägen zu versorgen, gemischt waren: Hex ist beispielsweise großartig, während Snowflake bisher uninspirierend ist. Aber es gibt ein enormes Potenzial, die Natur der Arbeit für Data-Teams zu verändern, viel mehr als für Entwickler. Warum? Für Software-Ingenieure ist der Prompt ein Funktionsname oder die Dokumentation, aber für Daten-Ingenieure gibt es auch die Daten. Es gibt einfach so viel Kontext, mit dem Modelle arbeiten können, um nützliche und genaue Vorschläge zu machen.

Welchen Rat würden Sie angehenden Data Scientists und KI-Ingenieuren geben, die einen Einfluss in der Branche ausüben möchten?

Lernen Sie durch Tun. Es ist unglaublich einfach, Anwendungen zu bauen und sie mit künstlicher Intelligenz zu erweitern. Also bauen Sie etwas Cooles und schicken Sie es an einen Freund eines Freundes, der in einem Unternehmen arbeitet, das Sie bewundern. Oder schicken Sie es an mich, und ich verspreche, dass ich es mir ansehe!

Der Trick ist, etwas zu finden, das Sie leidenschaftlich interessiert, und eine gute Quelle von damit verbundenen Daten zu finden. Ein Freund von mir hat eine faszinierende Analyse von ungewöhnlichen Baseball-Saisons seit dem 19. Jahrhundert durchgeführt und Geschichten entdeckt, die einen Film verdienen. Und einige von Astronomers Ingenieuren haben sich kürzlich am Wochenende getroffen, um eine Plattform für self-healing Datenpipelines zu bauen. Ich kann mir nicht vorstellen, dass man so etwas vor einigen Jahren versucht hätte, aber mit nur wenigen Tagen Aufwand haben wir Cohere’s Hackathon gewonnen und die Grundlage für eine wichtige neue Funktion in unserer Plattform geschaffen.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Astronomer besuchen.