Kirill Solodskih, Συνιδρυτής και Διευθύνων Σύμβουλος της TheStage AI – Σειρά Συνεντεύξεων

Kirill Solodskih, PhD, είναι ο Συνιδρυτής και Διευθύνων Σύμβουλος της TheStage AI, καθώς και ένας έμπειρος ερευνητής και επιχειρηματίας στο χώρο του AI με πάνω από μια δεκαετία εμπειρίας στην βελτιστοποίηση νευρωνικών δικτύων για πραγματικές επιχειρηματικές εφαρμογές. Το 2024, συνίδρυσε την TheStage AI, η οποία εξασφάλισε 4,5 εκατομμύρια δολάρια για να αυτοματοποιήσει πλήρως την επιτάχυνση των νευρωνικών δικτύων σε οποιαδήποτε πλατφόρμα υλικού.

Προηγουμένως, ως Ηγέτης Ομάδας στην Huawei, ο Kirill ηγήθηκε της επιτάχυνσης των εφαρμογών κάμερας AI για τους Qualcomm (QCOM ) NPUs, συμβάλλοντας στην απόδοση των smartphones P50 και P60 και κερδίζοντας πολλά πατέντα για τις καινοτομίες του. Η έρευνά του έχει παρουσιαστεί σε κορυφαίες конференσίες όπως το CVPR και το ECCV, όπου έλαβε βραβεία και αναγνώριση από την βιομηχανία. Επίσης, διοργανώνει ένα ποντίκι για την βελτιστοποίηση και την ερμηνεία του AI.

Τι σας ενέπνευσε να συνιδρύσετε την TheStage AI, και πώς μεταπηδάτε από την ακαδημία και την έρευνα στην αντιμετώπιση της βελτιστοποίησης της ερμηνείας ως ιδρυτής εταιρείας;

Οι βάσεις για αυτό που τελικά έγινε η TheStage AI ξεκίνησαν με τη δουλειά μου στην Huawei, όπου ήμουν βαθιά στην αυτοματοποίηση των αναπτύξεων και την βελτιστοποίηση των νευρωνικών δικτύων. Αυτές οι πρωτοβουλίες έγιναν οι βάσεις για κάποιες από τις πρωτοποριακές καινοτομίες μας, και εκεί είδα τη πραγματική πρόκληση. Η εκπαίδευση ενός μοντέλου είναι μια cosa, αλλά να το κάνεις να τρέχει αποτελεσματικά στον πραγματικό κόσμο και να το κάνεις προσβάσιμο στους χρήστες είναι άλλη μια. Η ανάπτυξη είναι το μπουκάλι που κρατά πίσω πολλές καλές ιδέες από το να ζήσουν. Για να κάνεις κάτι τόσο εύκολο στη χρήση όσο το ChatGPT, υπάρχουν πολλά πίσω προκλήματα που εμπλέκονται. Από τεχνική άποψη, η βελτιστοποίηση των νευρωνικών δικτύων είναι για την ελαχιστοποίηση των παραμέτρων ενώ διατηρείται η απόδοση υψηλή. Είναι ένα δύσκολο μαθηματικό πρόβλημα με πολλό χώρο για καινοτομία.

Η χειροκίνητη βελτιστοποίηση της ερμηνείας έχει υπάρξει για πολύ καιρό ένα μπουκάλι σε AI. Μπορείτε να εξηγήσετε πώς η TheStage AI αυτοματοποιεί αυτή τη διαδικασία και γιατί είναι ένα παιχνίδι-αλλάξτε;

Η TheStage AI αντιμετωπίζει ένα σημαντικό μπουκάλι στο AI: την χειροκίνητη συμπίεση και επιτάχυνση των νευρωνικών δικτύων. Τα νευρωνικά δίκτυα έχουν δισεκατομμύρια παράμετρους, και το να καταλάβεις ποιες να αφαιρέσεις για καλύτερη απόδοση είναι σχεδόν αδύνατο με το χέρι. Η ANNA (Αυτόματη Ανάλυση Νευρωνικών Δικτύων) αυτοματοποιεί αυτή τη διαδικασία, αναγνωρίζοντας ποιες στρώσεις να εξαιρεθούν από την βελτιστοποίηση, παρόμοια με το πώς η συμπίεση ZIP ήταν πρώτα αυτοματοποιημένη.

Αυτό αλλάζει το παιχνίδι με το να κάνει την υιοθέτηση του AI γρηγορότερη και πιο προσιτή. Αντί να βασίζεστε σε ακριβές χειροκίνητες διαδικασίες, οι νεοφυείς εταιρείες μπορούν να βελτιστοποιήσουν μοντέλα αυτόματα. Η τεχνολογία δίνει στις επιχειρήσεις μια σαφή άποψη της απόδοσης και του κόστους, εξασφαλίζοντας την αποτελεσματικότητα και την κλιμακωσιμότητα χωρίς τυχαίες υποθέσεις.

Η TheStage AI ισχυρίζεται ότι μειώνει το κόστος της ερμηνείας έως και 5 φορές — τι κάνει την τεχνολογία βελτιστοποίησής σας τόσο αποτελεσματική σε σύγκριση με τις παραδοσιακές μεθόδους;

Η TheStage AI μειώνει το κόστος της έξοδου έως και 5 φορές με μια προσέγγιση βελτιστοποίησης που πηγαίνει πέρα από τις παραδοσιακές μεθόδους. Αντί να εφαρμόσετε τον ίδιο αλγόριθμο σε όλο το νευρωνικό δίκτυο, η ANNA το διασπάει σε μικρότερες στρώσεις και αποφασίζει ποιον αλγόριθμο να εφαρμόσει για κάθε μέρος για να παραδώσει την επιθυμητή συμπίεση ενώ μεγιστοποιεί την ποιότητα του μοντέλου. Συνδυάζοντας έξυπνες μαθηματικές εύρητες με αποτελεσματικές προσεγγίσεις, η προσέγγισή μας είναι υψηλά κλιμακωτή και κάνει την υιοθέτηση του AI πιο εύκολη για επιχειρήσεις όλων των μεγεθών. Επίσης, ενσωματώνουμε ευέλικτες ρυθμίσεις compiler για να βελτιστοποιήσουμε δίκτυα για συγκεκριμένο υλικό όπως iPhones ή NVIDIA GPUs. Αυτό μας δίνει περισσότερο έλεγχο για να ρυθμίσουμε την απόδοση, αυξάνοντας την ταχύτητα χωρίς να χάνουμε ποιότητα.

Πώς συγκρίνεται η επιτάχυνση της ερμηνείας της TheStage AI με τον εγγενή compiler του PyTorch, και ποια είναι τα πλεονεκτήματα που προσφέρει στους développers του AI;

Η TheStage AI επιταχύνει την έξοδο πολύ πέρα από τον εγγενή compiler του PyTorch. Το PyTorch χρησιμοποιεί μια μέθοδο “just-in-time” συλλογής, η οποία συλλογεί το μοντέλο κάθε φορά που το τρέχει. Αυτό οδηγεί σε μακρές φορές εκκίνησης, đôiες φορές που λαμβάνουν λεπτά ή ακόμη και περισσότερο. Σε κλιμακωτά περιβάλλοντα, αυτό μπορεί να δημιουργήσει ανεπάρκειες, ιδιαίτερα όταν νέοι GPU χρειάζονται να φέρουν online για να χειριστούν την αυξημένη φόρτωση του χρήστη, προκαλώντας καθυστερήσεις που επηρεάζουν την εμπειρία του χρήστη.

Αντίθετα, η TheStage AI επιτρέπει τα μοντέλα να είναι προ-συναρμολογημένα, ώστε όταν ένα μοντέλο είναι έτοιμο, μπορεί να αναπτυχθεί αμέσως. Αυτό οδηγεί σε γρηγορότερες αναπτύξεις, βελτιωμένη αποτελεσματικότητα της υπηρεσίας και οικονομίες. Οι développers μπορούν να αναπτύξουν και να κλιμακώσουν μοντέλα AI γρηγορότερα, χωρίς τα μπουκάλια της παραδοσιακής συλλογής, καθιστώντας το πιο αποτελεσματικό και ανταποκρίνεται σε υψηλές περιπτώσεις χρήσης.

Μπορείτε να μοιραστείτε περισσότερα για το QLIP toolkit της TheStage AI και πώς ενισχύει την απόδοση του μοντέλου ενώ διατηρεί την ποιότητα;

Το QLIP, το toolkit της TheStage AI, είναι μια βιβλιοθήκη Python που παρέχει ένα απαραίτητο σύνολο πρωτογενών για τη γρήγορη κατασκευή νέων αλγορίθμων βελτιστοποίησης προσαρμοσμένων σε διαφορετικό υλικό, όπως GPUs και NPUs. Το toolkit περιλαμβάνει στοιχεία όπως ποσοτικοποίηση, κλάδεμα, προδιαγραφή, συλλογή και εξυπηρέτηση, όλα κρίσιμα για την ανάπτυξη αποτελεσματικών και κλιμακωτών συστημάτων AI.

Τι διακρίνει το QLIP είναι η ευελιξία του. Επιτρέπει στους μηχανικούς AI να προτυποποιούν και να υλοποιούν νέους αλγορίθμους με μόνο λίγες γραμμές κώδικα. Για παράδειγμα, μια πρόσφατη εργασία AI για δίκτυα νευρώνων ποσοτικοποίησης μπορεί να μετατραπεί σε einen εργασιακό αλγόριθμο χρησιμοποιώντας τις πρωτογενείς του QLIP σε λίγα λεπτά. Αυτό κάνει εύκολη την ενσωμάτωση των τελευταίων ερευνών στα μοντέλα τους χωρίς να κρατιούνται πίσω από σκληρά πλαίσια.

Αντίθετα με τις παραδοσιακές ανοιχτές πηγές που σας περιορίζουν σε einen σταθερό σύνολο αλγορίθμων, το QLIP επιτρέπει σε οποιονδήποτε να προσθέσει νέες τεχνικές βελτιστοποίησης. Αυτή η προσαρμοστικότητα βοηθά τις ομάδες να παραμείνουν μπροστά από το γρήγορο εξελισσόμενο τοπίο του AI, βελτιώνοντας την απόδοση ενώ εξασφαλίζει ευελιξία για μελλοντικές καινοτομίες.

Έχετε συνεισφέρει σε πλαισιαία ποσοτικοποίησης AI που χρησιμοποιούνται στις κάμερες P50 και P60 της Huawei. Πώς αυτή η εμπειρία σχήμασε την προσέγγισή σας στην βελτιστοποίηση του AI;

Η εμπειρία μου εργαζόμενος σε πλαισιαία ποσοτικοποίησης AI για τις κάμερες P50 και P60 της Huawei μου έδωσε πολύτιμες γνώσεις για το πώς η βελτιστοποίηση μπορεί να ροηματοποιηθεί και να κλιμακωθεί. Όταν ξεκίνησα με το PyTorch, η εργασία με το πλήρες γράφο εκτέλεσης των νευρωνικών δικτύων ήταν σκληρή, και οι αλγόριθμοι ποσοτικοποίησης έπρεπε να υλοποιηθούν χειροκίνητα, στρώση προς στρώση. Στην Huawei, έχτισα ένα πλαισιο που αυτοματοποιούσε τη διαδικασία. Απλά εισαγάγατε το μοντέλο, και θα δημιουργούσε αυτόματα τον κώδικα για την ποσοτικοποίηση, εξαλείφοντας τη χειροκίνητη εργασία.

Αυτό με οδήγησε να καταλάβω ότι η αυτοματοποίηση στη βελτιστοποίηση του AI είναι για την ενεργοποίηση της ταχύτητας χωρίς να θυσιάζεται η ποιότητα. Ένας από τους αλγορίθμους που ανέπτυξα και κατοχύρωσα έγινε απαραίτητος για την Huawei, ιδιαίτερα όταν έπρεπε να μεταφερθούν από τους επεξεργαστές Kirin στους Qualcomm λόγω των κυρώσεων. Μου επέτρεψε στην ομάδα να προσαρμόσει γρήγορα τα νευρωνικά δίκτυα στην αρχιτεκτονική των Qualcomm χωρίς να χάσει απόδοση ή ακρίβεια.

Βελτιστοποιώντας και αυτοματοποιώντας τη διαδικασία, μειώσαμε τον χρόνο ανάπτυξης από πάνω από ένα χρόνο σε μόνο quelques μήνες. Αυτό είχε τεράστια επίδραση σε ένα προϊόν που χρησιμοποιείται από εκατομμύρια και σχήμασε την προσέγγισή μου στη βελτιστοποίηση, επικεντρωμένη στην ταχύτητα, την αποτελεσματικότητα και την ελάχιστη απώλεια ποιότητας. Αυτή είναι η στάση που φέρνω στην ANNA σήμερα.

Η έρευνά σας έχει παρουσιαστεί στο CVPR και ECCV — ποια είναι κάποια από τα κλειδιά прорывτικά σημεία στη βελτιστοποίηση του AI που είστε πιο περήφανος;

Όταν με ρωτούν για τις επιτεύξεις μου στη βελτιστοποίηση του AI, πάντα σκέφτομαι πίσω στη δουλειά μας που επιλέχθηκε για μια προφορική παρουσίαση στο CVPR 2023. Το να επιλεγεί για μια προφορική παρουσίαση σε μια τέτοια конференσία είναι σπάνιο, καθώς μόνο 12 εργασίες επιλέγονται. Αυτό προστίθεται στο γεγονός ότι το Γεννητικό AI συνήθως κυριαρχεί στο προσκήνιο, και η εργασία μας πήρε μια διαφορετική προσέγγιση, επικεντρωμένη στη μαθηματική πλευρά, ιδιαίτερα την ανάλυση και τη συμπίεση των νευρωνικών δικτύων.

Αναπτύξαμε μια μέθοδο που μας βοήθησε να καταλάβουμε πόσες παράμετρους ένα νευρωνικό δίκτυο χρειάζεται πραγματικά για να λειτουργήσει αποτελεσματικά. Εφαρμόζοντας τεχνικές από την αναλυτική και μεταφέροντας από μια διακριτή σε μια συνεχής μορφή, μπόρεσα να επιτύχω καλά αποτελέσματα συμπίεσης ενώ διατηρούσα την ικανότητα να ενσωματώνω αυτές τις αλλαγές πίσω στο μοντέλο. Η εργασία επίσης εισήγαγε beberapa νέους αλγορίθμους που δεν είχαν χρησιμοποιηθεί από την κοινότητα και βρήκαν περαιτέρω εφαρμογή.

Αυτή ήταν μια από τις πρώτες εργασίες μου στο χώρο του AI, και ήταν το αποτέλεσμα της συλλογικής προσπάθειας της ομάδας μας, συμπεριλαμβανομένων των συνιδρυτών μου. Ήταν ένα σημαντικό ορόσημο για όλους μας.

Μπορείτε να εξηγήσετε πώς λειτουργούν τα Ολοκληρωμένα Νευρωνικά Δίκτυα (INNs) και γιατί είναι μια σημαντική καινοτομία στη βαθιά μάθηση;

Τα παραδοσιακά νευρωνικά δίκτυα χρησιμοποιούν σταθερές πίνακες, παρόμοιες με πίνακες Excel, όπου το μέγεθος και οι παράμετροι προκαθορίζονται. Τα INNs, ωστόσο, περιγράφουν δίκτυα ως συνεχείς συναρτήσεις, προσφέροντας πολύ περισσότερη ευελιξία. Σκεφτείτε το σαν ένα πατάκι με βελόνες σε διαφορετικά ύψη, και αυτό αντιπροσωπεύει τη συνεχή κυματική.

Τι κάνει τα INNs ενθουσιώδη είναι η ικανότητά τους να “συμπιέζουν” ή “διαστέλλουν” δυναμικά με βάση τους διαθέσιμους πόρους, παρόμοια με το πώς ένα αναλογικό σήμα ψηφιοποιείται σε ήχο. Μπορείτε να συρρικνώσετε το δίκτυο χωρίς να θυσιάσετε την ποιότητα, και όταν χρειάζεται, να το επαναφέρετε χωρίς να ξαναεκπαιδεύσετε.

Δοκιμάσαμε αυτό, και ενώ οι παραδοσιακές μεθόδους συμπίεσης οδηγούν σε σημαντική απώλεια ποιότητας, τα INNs διατηρούν μια ποιότητα κοντά στην αρχική ακόμη και υπό ακραία συμπίεση. Τα μαθηματικά πίσω από αυτό είναι πιο μη συμβατικά για την κοινότητα του AI, αλλά η πραγματική αξία βρίσκεται στην ικανότητά τους να παραδώσουν στερεά, πρακτικά αποτελέσματα με ελάχιστη προσπάθεια.

Η TheStage AI έχει εργαστεί σε αλγόριθμους κβαντικής αναλογίας — πώς βλέπετε την κβαντική υπολογιστική να παίζει ένα ρόλο στη βελτιστοποίηση του AI στο κοντινό μέλλον;

Όταν πρόκειται για κβαντική υπολογιστική και τον ρόλο της στη βελτιστοποίηση του AI, το κλειδί είναι ότι τα κβαντικά συστήματα προσφέρουν μια完全 διαφορετική προσέγγιση για την επίλυση προβλημάτων όπως η βελτιστοποίηση. Ενώ δεν εφευρέσαμε τους αλγορίθμους κβαντικής αναλογίας από την αρχή, εταιρείες όπως η D-Wave παρέχουν βιβλιοθήκες Python για την κατασκευή κβαντικών αλγορίθμων ειδικά για διακριτά προβλήματα βελτιστοποίησης, τα οποία είναι ιδανικά για κβαντικούς υπολογιστές.

Η ιδέα εδώ είναι ότι δεν φορτώνουμε直接 ένα νευρωνικό δίκτυο σε einen κβαντικό υπολογιστή. Αυτό δεν είναι δυνατό με την τρέχουσα αρχιτεκτονική. Αντίθετα, προσεγγίζουμε πώς τα νευρωνικά δίκτυα συμπεριφέρονται υπό διαφορετικά είδη υποβάθμισης, κάνωντας τα να ταιριάζουν σε ένα σύστημα που ένας κβαντικός chíπ μπορεί να επεξεργαστεί.

Στο μέλλον, τα κβαντικά συστήματα θα μπορούσαν να κλιμακώσουν και να βελτιστοποιήσουν δίκτυα με μια ακρίβεια που τα παραδοσιακά συστήματα αγωνίζονται να ταιριάσουν. Το πλεονέκτημα των κβαντικών συστημάτων έγκειται στην ενσωματωμένη παράλληλη επεξεργασία, κάτι που τα κλασικά συστήματα μπορούν μόνο να προσομοιώσουν χρησιμοποιώντας πρόσθετους πόρους. Αυτό σημαίνει ότι η κβαντική υπολογιστική θα μπορούσε να επιταχύνει σημαντικά τη διαδικασία βελτιστοποίησης, ιδιαίτερα καθώς καταλαβαίνουμε πώς να μοντελοποιήσουμε μεγαλύτερα και πιο σύνθετα δίκτυα αποτελεσματικά.

Η πραγματική δυνατότητα έρχεται από τη χρήση της κβαντικής υπολογιστικής για την επίλυση τεράστιων, περίπλοκων προβλημάτων βελτιστοποίησης και την κατάτμηση των παραμέτρων σε μικρότερες, πιο διαχειρίσιμες ομάδες. Με τεχνολογίες όπως η κβαντική και η οπτική υπολογιστική, υπάρχουν τεράστιες δυνατότητες για την βελτιστοποίηση του AI που πηγαίνουν πολύ πέρα από αυτό που η παραδοσιακή υπολογιστική μπορεί να προσφέρει.

Τι είναι η μακροπρόθεσμη ορασή σας για την TheStage AI; Πού βλέπετε την βελτιστοποίηση της ερμηνείας να πηγαίνει στα επόμενα 5-10 χρόνια;

Σε μακροπρόθεσμο ορίζοντα, η TheStage AI στοχεύει να γίνει ένα Παγκόσμιο Κέντρο Μοντέλων όπου ο καθένας μπορεί να έχει πρόσβαση σε ένα βελτιστοποιημένο νευρωνικό δίκτυο με τις επιθυμητές ιδιότητες, είτε για ένα smartphone είτε για οποιαδήποτε άλλη συσκευή. Ο στόχος είναι να προσφέρουμε μια εμπειρία drag-and-drop, όπου οι χρήστες εισάγουν τις παραμέτρους τους και το σύστημα δημιουργεί αυτόματα το δίκτυο. Αν το δίκτυο δεν υπάρχει ήδη, θα δημιουργηθεί αυτόματα χρησιμοποιώντας την ANNA.

Ο στόχος μας είναι να κάνουμε τα νευρωνικά δίκτυα να τρέχουν直接 στις συσκευές των χρηστών, μειώνοντας το κόστος κατά 20 έως 30 φορές. Στο μέλλον, αυτό θα μπορούσε几乎 να εξαφανίσει完全 το κόστος, καθώς η συσκευή του χρήστη θα χειρίζεται την επεξεργασία αντί να βασίζεται σε διακομιστές cloud. Αυτό, σε συνδυασμό με τις προόδους στη συμπίεση μοντέλων και την επιτάχυνση του υλικού, θα μπορούσε να κάνει την ανάπτυξη του AI σημαντικά πιο αποτελεσματική.

Σχεδιάζουμε επίσης να ενσωματώσουμε την τεχνολογία μας με λύσεις υλικού, όπως αισθητήρες, chíps και ρομποτική, για εφαρμογές σε τομείς όπως η αυτόνομη οδήγηση και η ρομποτική. Για παράδειγμα, στοχεύουμε να χτίσουμε κάμερες AI που μπορούν να λειτουργούν σε οποιοδήποτε περιβάλλον, είτε στο διάστημα είτε υπό ακραίες συνθήκες όπως το σκότος ή η σκόνη. Αυτό θα κάνει το AI να χρησιμοποιείται σε ένα ευρύ φάσμα εφαρμογών και θα μας επιτρέψει να δημιουργήσουμε προσαρμοσμένες λύσεις για συγκεκριμένο υλικό και περιπτώσεις χρήσης.

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν την TheStage AI.