Ο Shahar Azulay, Διευθύνων Σύμβουλος και Συνιδρυτής της groundcover

Ο Shahar Azulay, Διευθύνων Σύμβουλος και συνιδρυτής της groundcover είναι ένας ηγέτης έρευνας και ανάπτυξης. Ο Shahar φέρνει εμπειρία στον κόσμο της κυβερνοασφάλειας και του machine learning, έχοντας εργαστεί ως ηγέτης σε εταιρείες όπως η Apple (AAPL ), η DayTwo και η Cymotive Technologies. Ο Shahar πέρασε πολλά χρόνια στο τμήμα Κυβερνοασφάλειας του Γραφείου του Ισραηλινού Πρωθυπουργού και κατέχει τρία πτυχία στις Φυσικές Επιστήμες, την Ηλεκτρολογία και την Επιστήμη των Υπολογιστών από το Τεχνολογικό Ινστιτούτο του Ισραήλ καθώς και το Πανεπιστήμιο του Τελ Αβίβ. Ο Shahar επιδιώκει να χρησιμοποιήσει τις τεχνολογικές γνώσεις από αυτό το πλούσιο υπόβαθρο και να τις φέρει στην σημερινή cloud-native πεδίο μάχης με την πιο οξεία και καινοτόμο μορφή, για να κάνει τον κόσμο της ανάπτυξης μια καλύτερη θέση.

Η groundcover είναι μια cloud-γενική πλατφόρμα παρατηρητηρίου σχεδιασμένη για να δώσει στις ομάδες μηχανικής πλήρη, πραγματική ορατότητα στα συστήματά τους χωρίς τη σύνθετη ή το κόστος των παραδοσιακών εργαλείων παρακολούθησης. Χτισμένη με την τεχνολογία eBPF, συλλέγει και συσχετίζει καταγραφές, μετρικές, ιχνηλάσεις και συμβάντα σε cloud-γενικά και Kubernetes περιβάλλοντα χωρίς αλλαγές κώδικα, επιτρέποντας ταχύτερη ανάλυση αιτίας και σαφέστερη ορατότητα του συστήματος. Η πλατφόρμα τονίζει την προβλέψιμη τιμολόγηση, την ευέλικτη ανάπτυξη που διατηρεί τα δεδομένα στον πελάτη και την ολοκληρωμένη παρατηρητηρίου που καλύπτει την υποδομή, τις εφαρμογές και τις σύγχρονες AI-κίνητες εργασίες.

Βλέποντας πίσω στο ταξίδι σας – από την ηγεσία των ομάδων έρευνας και ανάπτυξης κυβερνοασφάλειας στο Γραφείο του Ισραηλινού Πρωθυπουργού έως τη διαχείριση πρωτοβουλιών ML στην Apple – ποίες εμπειρίες σας οδήγησαν τελικά στην ίδρυση της groundcover και πότε αναγνώρισα το κενό στην παρατηρητηρίου για σύγχρονα AI συστήματα;

Η ώθηση για την ίδρυση της groundcover ήρθε από την εποχή μου στην Apple και την DayTwo. Ακόμη και με τεράστια προϋπολογισμό, byliśmy παγιδευμένοι μεταξύ της πληρωμής μιας τύχης για να καταγράψουμε τα πάντα ή της δειγματοληψίας και του τυφλού πτήματος. Τότε, ψάχναμε για μια τεχνολογία που θα λύσει αυτό το πρόβλημα. Μόλις συναντήσαμε τον Extended Berkeley Packet Filter (eBPF), ήταν σαφές ότι θα αλλάξει τα πάντα. Ο eBPF μας επιτρέπει να δούμε όλα όσα συμβαίνουν στο πυρήνα χωρίς να βασίζουμε την εφαρμογή. Δεν μπορούσα να καταλάβω γιατί τα εργαλεία παρατηρητηρίου δεν επωφελήθηκαν από αυτό.

Πώς η προϋπόβαθρος σας στην κυβερνοασφάλεια, τα ενσωματωμένα συστήματα και την έρευνα και ανάπτυξη ML επηρέασαν την οπτική πίσω από την groundcover και ποίες πρώτες προκλήσεις αντιμετωπίσατε στη δημιουργία μιας εταιρείας που επικεντρώνεται στην παρατηρητηρίου για LLM-κίνητες και agent-κίνητες εφαρμογές;

Η προϋπόβαθρός μου στην κυβερνοασφάλεια διαμόρφωσε το DNA της εταιρείας. Στο κόσμο της πληροφόρησης, υποθέτουμε ότι δεν ελέγχουμε την εφαρμογή. Αυτή η προσέγγιση είναι ο λόγος για τον οποίο η groundcover δεν απαιτεί οργάνωση. Ξέρω από την εμπειρία μου ότι η ζήτηση από τους développers να τροποποιήσουν τον κώδικα είναι ο ταχύτερος τρόπος για να μπλοκάρει την υιοθέτηση.

Πώς ορίζετε την παρατηρητηρίου LLM και τι την κάνει διαφορετική από την παραδοσιακή παρακολούθηση ή την παρακολούθηση ML;

Η παρατηρητηρίου LLM είναι η πρακτική της οργάνωσης και παρακολούθησης συστημάτων παραγωγής που χρησιμοποιούν μεγάλες γλωσσικές μοντέλα, ώστε να μπορείτε να καταγράψετε το πλήρες контέκστ κάθε inference: την πρόκληση, το контέκστ, την ολοκλήρωση, τη χρήση token, την καθυστέρηση, τα λάθη, τα μεταδεδομένα μοντέλου και ιδανικά τα σημάδια质量 ή τα σήματα πολιτικής.

Ποίες προκλήσεις εισάγουν οι LLM-κίνητες εφαρμογές που κάνουν τα παραδοσιακά εργαλεία παρατηρητηρίου ανεπαρκή;

LLM-κίνητα συστήματα εισάγουν αρκετές προκλήσεις που εκθέτουν τα όρια των παραδοσιακών εργαλείων:

• Σύνθετες, πολλαπλές εργασίες – Μεταπήραμε από απλές “κλήση μοντέλου, λήψη απάντησης” ροές σε multi-στροφικές agents, πολλαπλές διαδικασίες, ανάκτηση-ενισχυμένη γενετική και εργαλείο-χρήση. Μια σιωπηλή αποτυχία σε οποιοδήποτε από αυτά τα βήματα, όπως η ανάκτηση, η εμπλουτισμένη, η ενσωμάτωση, η εργαλειο-κλήση ή η κλήση μοντέλου, μπορεί να σπάσει όλη την εμπειρία. Η παραδοσιακή παρακολούθηση συνήθως δεν σας δίνει μια πλήρη, ιχνηλατική εικόνα αυτών των αλυσίδων με προκλήσεις και απαντήσεις.

Τα συστήματα που λειτουργούν με LLM εισάγουν πολλές προκλήσεις που εκθέτουν τα όρια των παραδοσιακών εργαλείων:

Όλα αυτά σημαίνουν ότι τα συστήματα LLM απαιτούν παρατηρησιμότητα που να γνωρίζει την τεχνητή νοημοσύνη, να είναι πλούσια σε περιβάλλον και πολύ λιγότερο εξαρτώμενα από χειροκίνητα όργανα από ό,τι τα εργαλεία που χρησιμοποιούν οι περισσότερες ομάδες σήμερα.

Ποια σήματα ή μετρήσεις είναι πιο σημαντικά για την κατανόηση της απόδοσης και της ποιότητας των συστημάτων LLM, συμπεριλαμβανομένου του λανθάνοντος χρόνου, της χρήσης διακριτικού και της συμπεριφοράς προτροπής/απόκρισης;

Υπάρχουν μερικές κατηγορίες σημάτων που έχουν μεγάλη σημασία στην πράξη:

Καθυστέρηση και απόδοση

Χρήση διακριτικών και οδηγοί κόστους

Συμπεριφορά άμεσης και απόκρισης

Αξιοπιστία και λάθη

Κλασικό infra πλαίσιο

Όταν μπορείτε να δείτε όλα αυτά σε ένα μέρος, η παρατηρησιμότητα LLM μετακινείται από το “Ξέρω ότι κάτι είναι αργό ή ακριβό” στο “Ξέρω ακριβώς ποιο μοντέλο, μοτίβο άμεσης εξυπηρέτησης και υπηρεσία είναι υπεύθυνα και γιατί”.

Πώς μπορεί η παρατηρησιμότητα να βοηθήσει τις ομάδες να εντοπίσουν σιωπηλές αστοχίες, όπως άμεση μετατόπιση, παραισθήσεις ή σταδιακή υποβάθμιση της ποιότητας παραγωγής;

Οι σιωπηλές αστοχίες στα συστήματα LLM συμβαίνουν συνήθως όταν όλα φαίνονται «πράσινα» σε επίπεδο υποδομής, αλλά η πραγματική συμπεριφορά παρασύρεται. Η παρατηρησιμότητα βοηθάει με διάφορους τρόπους:

Επειδή το επίπεδο παρατηρησιμότητας έχει πρόσβαση τόσο στα σήματα ειδικά για την τεχνητή νοημοσύνη όσο και στα κλασικά αρχεία καταγραφής, μετρήσεις και ίχνη, γίνεται ένα φυσικό μέρος για την αντιμετώπιση προβλημάτων που διαφορετικά θα υποβάθμιζε αθόρυβα την εμπειρία του χρήστη.

Πώς υποστηρίζει η προσέγγιση του groundcover τη διάγνωση απρόβλεπτου λανθάνοντος χρόνου ή απροσδόκητης συμπεριφοράς σε ροές εργασίας παράγοντα πολλαπλών βημάτων και κλήσεις εργαλείων;

Το groundcover ακολουθεί μια προσέγγιση σχεδιασμένη για σύγχρονα συστήματα AI. Χρησιμοποιούμε έναν αισθητήρα που βασίζεται σε eBPF σε επίπεδο πυρήνα για να παρατηρούμε την κίνηση σε μικροϋπηρεσίες χωρίς αλλαγές ή ανακατανομές κώδικα. Μόλις εισάγετε μια ροή εργασίας LLM, μπορούμε να ανακαλύψουμε αυτόματα αυτές τις κλήσεις. Εάν ξεκινήσετε να χρησιμοποιείτε ένα νέο μοντέλο όπως το Anthropic, το OpenAI ή το Bedrock αύριο, το groundcover καταγράφει αυτόματα αυτήν την κίνηση. Αυτό σας δίνει:

Επειδή τα πάντα συλλέγονται στην άκρη από το eBPF και αποθηκεύονται στο δικό σας σύννεφο, έχετε αυτήν την προβολή υψηλής ευκρίνειας χωρίς να προσθέτετε όργανα σε κάθε κλήση αντιπροσώπου ή εργαλείου.

Ποιοι κίνδυνοι ασφάλειας δεδομένων και συμμόρφωσης βλέπετε να εμφανίζονται στις αναπτύξεις LLM και πώς μπορεί η παρατηρησιμότητα να βοηθήσει στη μείωση αυτών των κινδύνων;

Οι αναπτύξεις LLM ενέχουν μερικούς μοναδικούς κινδύνους δεδομένων:

Η αρχιτεκτονική του groundcover έχει σχεδιαστεί για να αντιμετωπίζει ακριβώς αυτές τις ανησυχίες:

Με άλλα λόγια, η παρατηρησιμότητα γίνεται όχι μόνο εργαλείο αξιοπιστίας και κόστους, αλλά και βασικό σημείο ελέγχου για το απόρρητο, την παραμονή δεδομένων και τη συμμόρφωση.

Καθώς οι οργανισμοί κλιμακώνονται από μια ενσωμάτωση LLM σε πολλές υπηρεσίες που λειτουργούν με τεχνητή νοημοσύνη, ποιες λειτουργικές προκλήσεις τείνουν να εμφανίζονται γύρω από την ορατότητα, την αξιοπιστία και το κόστος;

Η πρώτη ενοποίηση είναι συνήθως ένα μεμονωμένο μοντέλο σε μια ενιαία ροή εργασίας. Σε αυτό το στάδιο, τα πράγματα είναι διαχειρίσιμα. Μόλις οι ομάδες δουν αξία, η χρήση εκρήγνυται και εμφανίζονται αρκετές προκλήσεις:

Το groundcover τα αντιμετωπίζει ανακαλύπτοντας αυτόματα την κυκλοφορία τεχνητής νοημοσύνης και στη συνέχεια δίνοντάς σας:

Αυτό καθιστά πολύ πιο εύκολη την κλιμάκωση από «ένα δροσερό χαρακτηριστικό AI» σε «Το AI είναι συνυφασμένο σε δεκάδες κρίσιμες υπηρεσίες» χωρίς να χάνεται ο έλεγχος.

Κοιτάζοντας το μέλλον, πώς αναμένετε να εξελιχθεί η παρατηρησιμότητα του LLM τα επόμενα πέντε χρόνια καθώς επιταχύνονται η τεχνητή νοημοσύνη, η ενορχήστρωση πολλαπλών μοντέλων και οι ρυθμιστικές πιέσεις;

Είμαστε ακόμα στις πρώτες μέρες. Μέσα στα επόμενα πέντε χρόνια, περιμένω μερικές μεγάλες αλλαγές:

Εν ολίγοις, η παρατηρησιμότητα LLM θα εξελιχθεί από «ωραίο να έχουμε πίνακες εργαλείων για την τεχνητή νοημοσύνη» στο κεντρικό νευρικό σύστημα που συνδέει την αξιοπιστία, τον έλεγχο του κόστους, τη διακυβέρνηση δεδομένων και την ποιότητα των προϊόντων σε όλα όσα κάνει ένας οργανισμός με την τεχνητή νοημοσύνη.

Σας ευχαριστούμε για την υπέροχη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να το επισκεφτούν groundcover.