Ζουζάνα Σταμιρόφσκα, Συνιδρύτρια και Διευθύντρια της Pathway – Σειρά Συνεντεύξεων

Ζουζάνα Σταμιρόφσκα, Συνιδρύτρια και Διευθύντρια της Pathway, είναι μια ερευνήτρια που έχει γίνει κατασκευαστής και έχει εργαστεί στο παρελθόν σε φαινόμενα που εμφανίζονται και την εξέλιξη μεγάλων δικτύων. Τα έργα της έχουν αναγνωριστεί από την Αμερικανική Εθνική Ακαδημία Επιστημών και κατέχει διδακτορικό τίτλο στη Συμπλεγμένη Συστήματα. Η Ζουζάνα, μαζί με τον Τεχνικό Διευθυντή Jan Chorowski και τον Επιστημονικό Διευθυντή Adrian Kosowski, ηγείται μιας ομάδας που έχει ήδη κατασκευάσει ανοιχτά εργαλεία AI με περισσότερες από 62.000 αστέρια στο GitHub.

Pathway ανασχηματίζει τον τρόπο με τον οποίο τα μοντέλα AI σκέφτονται, με στόχο να δημιουργήσει συστήματα που λειτουργούν συνεχώς και προσαρμόζονται αντί να λειτουργούν σε dávες. Πίσω από τις κulis, τα εργαλεία και η αρχιτεκτονική της επιτρέπουν στα μοντέλα να επεξεργάζονται, να μαθαίνουν και να εξελίσσονται σε πραγματικό χρόνο. Η εταιρεία έχει προσελκύσει την υποστήριξη από διακεκριμένα ονόματα όπως ο Lukasz Kaiser (συνεφευρέτης των Transformers) και εξέχουσες εταιρείες κεφαλαίου.

Τι σας ώθησε να ξεκινήσετε την Pathway, και πώς η προηγούμενη εμπειρία σας στα συμπλεγμένα συστήματα, τη θεωρία παιγνίων και τα φαινόμενα που εμφανίζονται επηρέασαν την οπτική και την τεχνική κατεύθυνση της εταιρείας;

Θέλαμε να δημιουργήσουμε AI που σκέφτεται και προσαρμόζεται όπως οι άνθρωποι. Καταλάβαμε ότι αυτό σημαίνει AI συστήματα (μοντέλα Deep Learning ή πipelines Machine Learning που κατασκευάζονται από ένα μεγαλύτερο αριθμό τοιχοπλημάτων) που θα είναι ικανά να μαθαίνουν συνεχώς με βάση τα δεδομένα του περιβάλλοντος, να γίνονται καλύτερα με την εμπειρία, και đôi και να “διορθώνουν” τις προηγούμενες απόψεις τους για τον κόσμο. Πραγματικά, είχαμε αρκετή κάλυψη στο θέμα του “μηχανικού unlearning”. Επάνω από τα μοντέλα, τέτοια συστήματα χρειάζονταν ένα ολόκληρο επίπεδο μηχανικής, για να συλλάβουν τα δεδομένα στην πηγή και να τα τροφοδοτήσουν αμέσως στα δυναμικά συστήματα.

Όταν ξεκινήσατε την εταιρεία το 2020, ποίες ήταν οι πρώτες σας υποθέσεις σχετικά με το τι θα πρέπει να κάνουν διαφορετικά τα μελλοντικά συστήματα AI, και πώς έχουν εξελιχθεί αυτές οι απόψεις;

Είχαμε μια ισχυρή πεποίθηση από την αρχή ότι τα AI πρέπει να είναι ζωντανά, προσαρμόσιμα και ενταγμένα σε μεγάλης κλίμακας διαδικασίες. Θα πρέπει να μαθαίνουν trực tiếp από την πηγή, με τα πιο ακατέργαστα δεδομένα δυνατά.

Μπορείτε να μας οδηγήσετε μέσα από την αρχιτεκτονική “μετά-Transformer” που εισαγάγετε και πώς διαφέρει από τα τρέχοντα συστήματα που βασίζονται σε Transformers;

Η νέα μας αρχιτεκτονική, που ονομάζεται Baby Dragon Hatchling (BDH), συνδέει επίσημα τον τρόπο με τον οποίο οι Transformers επεξεργάζονται πληροφορίες με τον τρόπο που αναδύεται η συλλογιστική στον εγκέφαλο. Το BDH λειτουργεί σαν φυσικό σύστημα: ένα υπολογιστικό μοντέλο παρόμοιο με τον εγκέφαλο, στο οποίο οι νευρώνες συνεργάζονται για να ανακαλύψουν το επόμενο πιο σχετικό γεγονός. Η συλλογιστική με βάση τα συμφραζόμενα δεν περιορίζεται από τεχνικούς περιορισμούς, όπως το σταθερό μήκος συμφραζομένων του Transformer, αλλά κλιμακώνεται με τον αριθμό των νευρώνων του μοντέλου.

Σε πιο τεχνικούς όρους, σε αντίθεση με τον Transformer, το BDH χρησιμοποιεί γραμμική προσοχή, αραιά διανύσματα key-query και δεν επιβάλλει όριο στο μέγεθος του παραθύρου συμφραζομένων.

Αυτή η προσέγγιση ανοίγει τον δρόμο για συστήματα που μαθαίνουν ενώ εκτελούν εργασίες, διατηρούν μεγάλες αλυσίδες συλλογιστικής και προσαρμόζονται συνεχώς μέσα στο εκάστοτε πλαίσιο.

Βασικό χαρακτηριστικό του συστήματος είναι η τοπικότητα: τα σημαντικά δεδομένα βρίσκονται δίπλα στα σημεία όπου υποβάλλονται σε επεξεργασία. Έτσι ελαχιστοποιείται η επικοινωνία και εξαλείφεται ένα από τα σημαντικότερα σημεία συμφόρησης των μοντέλων συλλογιστικής κατά την εξαγωγή συμπερασμάτων, το εύρος ζώνης μνήμης προς πυρήνα.

Πώς η προσέγγισή σας εμπνέεται από την ανθρώπινη σκέψη, ιδιαίτερα στην ενεργοποίηση της προσαρμογής και της συνεχούς μάθησης χωρίς επανεκπαίδευση;

BDH φέρνει την φυσική νοημοσύνη και την φυσική νοημοσύνη πιο κοντά.

Αυτή η αρχιτεκτονική εμπνέεται από τον τρόπο με τον οποίο οι νευρώνες και οι συνάψεις λειτουργούν στον εγκέφαλο. Χαρτογραφεί τις βιολογικές μηχανισμούς προσοχής στο υπολογιστικό concept της προσοχής στη μηχανική μάθηση, δημιουργώντας μια κλιμακωτή γέφυρα μεταξύ των Transformers και του εγκεφάλου.

Το BDH φέρνει την προσοχή κοντά στις παραμέτρους του μοντέλου, παρουσιάζοντάς τες ως δύο όψεις της ίδιας δυναμικής ενός συστήματος παρόμοιου με τον εγκέφαλο. Η προσοχή αλλάζει γρήγορα καθώς γίνονται γνωστά νέα γεγονότα κατά τη συλλογιστική, ενώ οι παράμετροι αλλάζουν πιο αργά καθώς το σύστημα μεταβάλλει τις μακροπρόθεσμες συνήθειές του. Αυτό προσεγγίζει περισσότερο τον τρόπο με τον οποίο πιστεύουμε ότι συλλογίζεται ο εγκέφαλος.

Θεωρούμε το BDH ορόσημο για τον σχεδιασμό συστημάτων AI που συλλογίζονται κατά τη διάρκεια μιας εργασίας, βελτιώνονται με την εμπειρία και προσαρμόζονται χωρίς επανεκπαίδευση — ιδιότητες που συνδέουμε με την ανθρώπινη συλλογιστική.

Μία από τις προκλήσεις της AI είναι η ισορροπία μεταξύ σταθερότητας και προσαρμοστικότητας. Πώς διασφαλίζετε ότι τα συστήματα μπορούν να μαθαίνουν σε πραγματικό χρόνο χωρίς να χάνουν προηγούμενη γνώση;

Το BDH βασίζεται στη δομή χωρίς χαρακτηριστική κλίμακα και στις τοπικές καταστάσεις νευρώνων για να διατηρεί τη συλλογιστική σε μεγάλους χρονικούς ορίζοντες, εξισορροπώντας τη σταθερότητα με την ικανότητα ενσωμάτωσης νέας γνώσης και παρατηρήσεων. Αυτή η φυσική ισορροπία είναι εύκολο να εξαχθεί και να παρακολουθηθεί σε όλη τη διάρκεια ζωής του μοντέλου.

Με το BDH τοποθετούμε τη συλλογιστική στον πυρήνα της νοημοσύνης. Η εργασία μας προωθεί μια υπόθεση για τον ρόλο της γνώσης στα μεγάλα γλωσσικά μοντέλα: δεν αφορά τόσο το τι είναι «αληθινό», όσο το τι είναι «χρήσιμο» σε ένα δεδομένο πλαίσιο για την εξέλιξη μιας αλυσίδας συλλογιστικής. Όταν η γνώση εντάσσεται σε συμφραζόμενα, δεν υπάρχει αντίφαση ανάμεσα στους νόμους της φύσης και σε ένα παραμύθι με νεράιδες και μαγεία. Ομοίως, ένα μοντέλο μπορεί να εξετάζει διαφορετικές προβλέψεις με περισσότερο ή λιγότερο αισιόδοξες παραδοχές στην ίδια αλυσίδα σκέψης.

Τα μοντέλα που βασίζονται στο BDH αποκτούν νέα γεγονότα κατά τη διάρκεια της ζωής τους με τρόπο ενταγμένο στα συμφραζόμενα και μπορούν έτσι να αυτοδιορθώνονται. Παρέχοντας ευανάγνωστα στατιστικά δραστηριότητας νευρώνων και λεπτομερή έλεγχο της μεταφοράς γνώσης από το πλαίσιο στις παραμέτρους, η αρχιτεκτονική μειώνει τον κίνδυνο να επανεμφανιστούν παρωχημένα συμφραζόμενα σε ακατάλληλη στιγμή.

Ποιοι είναι οι τεχνικοί συμβιβασμοί κατά την κατασκευή μιας μηχανής επεξεργασίας ζωντανών δεδομένων που μπορεί να υποστηρίξει αυτές τις δυνατότητες σε μεγάλη κλίμακα;

Η επιχειρηματική προσφορά της Pathway βασίζεται στην ταχύτερη μηχανή επεξεργασίας δεδομένων της αγοράς. Αυτή η μηχανή επιτρέπει τη διαχείριση εισόδων σε πραγματικό χρόνο και την αντίδραση σε νέες πληροφορίες με χαμηλή καθυστέρηση. Με την πρόοδο του BDH, η προσαρμοστικότητα σε πραγματικό χρόνο επεκτείνεται μέχρι τα θεμελιώδη μοντέλα AI των εγκαταστάσεων. Στόχος μας στις αναπτύξεις μεγάλης κλίμακας είναι η μετάβαση από τη στατική βελτιστοποίηση σε υποδομή ικανή να υποστηρίζει συλλογιστική μεγάλου χρονικού ορίζοντα.

Τι είναι τα πιο πειστικά παραδείγματα που απαιτούν πραγματικά αυτό το επόμενο στάδιο της AI, και όπου τα τρέχοντα συστήματα που βασίζονται σε Transformers αποτυγχάνουν;

Πολλές καινοτομίες έχουν επεκτείνει τη λειτουργικότητα της γεννητικής AI για να προσαρμοστεί γρήγορα σε neue πληροφορίες και να βασιστεί βαθιά στην “ώρα στην εργασία”, αλλά τίποτα ακόμη δεν έχει μπορέσει να αντικαταστήσει την πρόσληψη ενός εξαιρετικά ταλαντούχου ατόμου.

Η πολύ γρήγορη και απλή απάντηση είναι ότι μιλάμε για οποιαδήποτε εργασία που απαιτεί περισσότερο από 2 ώρες και 17 λεπτά συνεχούς εργασίας από ένα ανθρώπινο εκπαιδευμένο άτομο. Αυτό είναι το τρέχον όριο του GPT5 σύμφωνα με το METER.

Έχουμε έχουν εξαιρετικές συζητήσεις με συνεργάτες σχεδιασμού στην επιχείρηση που απαιτούν βαθιά προσωποποίηση, μοντέλα που μαθαίνουν στην εργασία από σπάνια δεδομένα, και την ασφάλεια της ανάπτυξης.

BDH κάνει σχετικά εύκολο για μια επιχείρηση να αντιμετωπίσει πολύ σύνθετες διαδικασίες όπως:

• Κλείσιμο ενός trimester για μια δημόσια εταιρεία
• Δυναμική γεννήτρια της επόμενης καλύτερης σειράς ενεργειών σε υψηλού κινδύνου περιβάλλοντα είναι εξαιρετικά σχετική τόσο στις πωλήσεις όσο και στην άμυνα.
• Διαχείριση επενδύσεων

Το ΝΑΤΟ χρησιμοποιεί ήδη την τεχνολογία της Pathway για την επεξεργασία ζωντανών στρατιωτικών και κοινωνικών δεδομένων, επιτρέποντας τον σχεδιασμό συστημάτων που προσαρμόζονται καθώς εξελίσσονται οι καταστάσεις. Η La Poste χρησιμοποιεί την τεχνολογία Live AI της Pathway για τη δυναμική διαχείριση των λειτουργιών της σε πραγματικό χρόνο. Κλάδοι όπως ο χρηματοοικονομικός και η υγειονομική περίθαλψη, όπου τα δεδομένα είναι σπάνια ή ευαίσθητα, μπορούν να επωφεληθούν από μοντέλα που απαιτούν λιγότερα δεδομένα αλλά παρέχουν βαθύτερες γνώσεις και πιο αξιόπιστες κρίσεις.

Μπορείτε να μοιραστείτε παραδείγματα του πώς οργανισμοί όπως το ΝΑΤΟ, η La Poste ή η Formula 1 έχουν εφαρμόσει την τεχνολογία σας και την επίδραση που έχει;

Το ΝΑΤΟ, η La Poste και οι ομάδες της Formula 1 είναι ήδη πρώτοι χρήστες της τεχνολογίας της Pathway.

Η Pathway προσφέρει στο ΝΑΤΟ ρομποτική και καινοτόμο τεχνολογία επεξεργασίας δεδομένων για να ξεκλειδώσει νέες ικανότητες για κρίσιμες χρήσεις σε κλίμακα. Με το λειτουργικό μας δείγμα, το Reinforcement Enablement Simulation Tool (REST), δημιουργήσαμε την γωνία για την περαιτέρω ανάπτυξη AI-υποστηριζόμενων λύσεων για το ΝΑΤΟ. Χρησιμοποιώντας την Pathway για να συνδέσει ανοιχτά δεδομένα, έχει επιταχύνει την συνειδητοποίηση της κατάστασης και την έχει οδηγήσει στο απαραίτητο επίπεδο που το ΝΑΤΟ χρειαζόταν για να λειτουργήσει επιτυχώς στη δεκαετία του 2020.

Η La Poste χρησιμοποιεί την Pathway για τη βελτίωση των διαδικασιών που σχετίζονται με τις μονάδες μεταφοράς. Με το Framework της Pathway, η La Poste προβλέπει τις λειτουργίες της αυτόματα σε πραγματικό χρόνο και γεννάει ζωντανή ποιοτική ανάλυση των λειτουργιών μεταφοράς. Με την Pathway, η εταιρεία έχει μπορέσει να βελτιώσει δυναμικά τις λογιστικές της, να μειώσει τους χρόνους παράδοσης, να μειώσει τους χρόνους επεξεργασίας / χρόνους οδηγίας, και να αυξήσει την αξιοπιστία. Επιπλέον, έχει επιτύχει σημαντικές μειώσεις στα λειτουργικά κόστη (50% μείωση στο TCO σε ορισμένες περιπτώσεις).

Η ομάδα της Formula 1 χρησιμοποιεί την Pathway για να προσαρμόσει την στρατηγική της υπό συνθήκες υψηλού πιέσεων και σε πραγματικό χρόνο. Η εταιρεία ήθελε μια πλατφόρμα για τους τελικούς χρήστες να δημιουργήσουν User-Defined Functions (UDFs) ανεξάρτητα, και να τροφοδοτήσουν διάφορες επιχειρηματικές ανάγκες από e-sports / sim-racing, μέχρι τα αυτοκίνητα και το ράλι. Το Framework Live Data της Pathway επιτρέπει προηγμένες μετασχηματίσεις δεδομένων στην ομάδα της Formula 1 με την χαμηλότερη καθυστέρηση (90 φορές ταχύτερη επεξεργασία δεδομένων από πριν).

Τι είναι τα μεγαλύτερα εμπόδια για την ανάπτυξη προσαρμόσιμων συστημάτων σε βιομηχανίες όπως η υγεία ή η άμυνα, και πώς τα αντιμετωπίζετε;

Από τον σχεδιασμό, τα τρέχοντα LLM δημιουργούν περιεχόμενο που είναι «νέο» χωρίς καμία πραγματική κρίση – ονομάστε το «γενιά» της γενετικής AI. Πολλές βιομηχανίες με υψηλή ρύθμιση χρειάζονται διακυβέρνηση εξ ορισμού και διστάζουν να αναπτύξουν επιχειρηματικές διαδικασίες που βασίζονται στην AI χωρίς επαναληψιμότητα, εμπιστοσύνη και παρατηρησιμότητα. Κατά ειρωνικό τρόπο, για να αναπτύξουν AI, αυτές οι επιχειρήσεις συχνά «περιορίζουν» τη λειτουργικότητα και εισάγουν πρόσθετη πολυπλοκότητα για να διευκολύνουν τη συμμόρφωση με τους κανονισμούς.

Εκ σχεδιασμού, το BDH επιτρέπει σε μια επιχείρηση να παρατηρεί και να προσαρμόζεται σε ό,τι συμβαίνει μέσα στο μοντέλο. Αυτή η παρατηρησιμότητα σε μεγάλα χρονικά διαστήματα «σκέψης» δίνει στην επιχείρηση την αυτοπεποίθηση να αντιμετωπίσει μεγαλύτερες, πιο σύνθετες επιχειρηματικές διαδικασίες. Το BDH είναι, εκ σχεδιασμού, τόσο παρατηρήσιμο όσο και χρονικά ευαίσθητο. Δεν χρειάζεται το τέλειο, τεράστιο σύνολο δεδομένων για να μάθει, δεν χρειάζεται εξαιρετικά μεγάλα παράθυρα πλαισίου ή λογική για να είναι παρατηρήσιμο.

Τι ηθικές σκέψεις ή προφυλάξεις είναι απαραίτητες καθώς τα συστήματα AI αρχίζουν να μαθαίνουν και να προσαρμόζονται σε πραγματικό χρόνο;

Συστήματα που μαθαίνουν με την εμπειρία στην πραγματικότητα έχουν καλύτερες ευκαιρίες να είναι ασφαλή από τα τρέχοντα, Transformer-βασισμένα. Ένα στοιχείο αυτού είναι το γεγονός ότι με τη συνεχή μάθηση έχουν μια ευκαιρία να αυτο-διορθώσουν και να ενημερώσουν τις προηγούμενες απόψεις τους αν ήταν λάθος.

Για να εξασφαλίσουμε την ασφάλεια τέτοιων συστημάτων, πρέπει να λαμβάνουν ανατροφοδότηση με το χρόνο. Αυτό σημαίνει ότι πρέπει να συνεχίσουμε να τα τροφοδοτούμε με νέα δεδομένα, και πιθανώς να εξασφαλίσουμε ανατροφοδοτικές βρόχους για να κατανοήσουν τις επιπτώσεις της δικής τους λειτουργίας. Αυτό είναι κοντά στη Reinforcement Learning.

Δεύτερον, ένα μοντέλο που βασίζεται στο BDH προσφέρει ερμηνευσιμότητα που κάνει ευκολότερο να κατανοηθεί πώς λειτουργεί, δίνοντας στους ανθρώπους καλύτερη έλεγχο πάνω τους.

Τι θα χρειαζόταν για ένα “μετά-Transformer” παράδειγμα να γίνει κυρίαρχο σε ολόκληρη την κοινότητα AI;

Ένα μοντέλο που είναι εξαιρετικά χρήσιμο και έχει σημαντικά χαμηλότερα κόστη συναγωγής ενώ είναι ταχύτερο. Πιστεύουμε ότι υπάρχει ένα εμπορικό κέρδος να επιτευχθεί, ιδιαίτερα στην επιχείρηση.

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν Pathway.