Avi Baum, CTO στην Hailo – Σειρά Συνεντεύξεων

Avi Baum, CTO στην Hailo, ηγείται της τεχνολογικής οράματος και της καινοτομίας προϊόντων της εταιρείας. Προηγουμένως, υπηρέτησε ως CTO για ασύρματη συνδεσιμότητα στην Texas Instruments (TXN ), οδηγώντας στρατηγικές για συνδεδεμένα MCUs σε αγορές IoT και IIoT, και κατέχει ανώτερες αρχιτεκτονικές και ηγετικές θέσεις στις Ισραηλινές Αμυντικές Δυνάμεις.

Hailo είναι μια ισραηλινή εταιρεία AI-chip που ειδικεύεται σε υψηλής απόδοσης, χαμηλής κατανάλωσης ενέργειας edge AI processors για εφαρμογές όπως αυτόνομες οχήματα, έξυπνες κάμερες και ρομποτική, υποστηριζόμενη από ένα ολοκληρωμένο λογισμικό και παγκόσμιο σύστημα εταίρων.

Μπορείτε να μοιραστείτε τι σας οδήγησε αρχικά στο πεδίο της edge AI και πώς οι πρώτες εμπειρίες σας στη μηχανική σας διαμόρφωσαν τη σκέψη σας σχετικά με το σχεδιασμό του processor;

Η καριέρα μου με οδήγησε σε περιοχές αναδυόμενων αγορών. Κατά τη διάρκεια της θητείας μου στην TI (Texas Instruments), einem ηγέτη ημιαγωγών με μακρά ιστορία, είχα την ευκαιρία να ηγηθώ του σχεδιασμού συστήματος και αρχιτεκτονικής, επικεφαλής του τμήματος ορισμού προϊόντων και αργότερα ως CTO αυτού του τμήματος. Αυτό με οδήγησε να εξερευνώ συνεχώς τις αναδυόμενες τεχνολογίες που είναι πιθανό να διαμορφώσουν το «δεν-τόσο-μακρινό» μέλλον.

Όταν ιδρύσαμε την Hailo το 2017, ήταν σαφές ότι η AI, η οποία είχε αρχίσει να ευδοκιμεί στο cloud, είχε επίσης το δυναμικό να γίνει μια ενεργοποιητική τεχνολογία για edge συσκευές. Έτσι, ορίσαμε πορεία και ξεκινήσαμε αυτό το ταξίδι.

Όπως η γεννητική AI επεκτείνεται στην edge, γιατί το TOPS—tera operations per second—δεν είναι πλέον ένα επαρκές μέτρο για την αξιολόγηση της απόδοσης του processor;

Το TOPS έχει υπάρξει το go-to μέτρο για την αξιολόγηση του AI hardware, αλλά στην εποχή της γεννητικής AI στην edge, δεν είναι πλέον επαρκές. Η φύση των κλασικών μοντέλων είναι να μεταφράσουν πολλά δεδομένα σε σημαντικές ενημερώσεις, οπότε η ποσότητα υπολογισμού που χρειάζεται για την επεξεργασία των εισερχόμενων δεδομένων αυξάνεται με την ποσότητα δεδομένων που πρέπει να επεξεργαστούν. Τα μοντέλα για αυτές τις εργασίες είναι συνήθως μικρότερα σε μέγεθος από την ποσότητα δεδομένων που επεξεργάζονται, καθιστώντας την επιβάρυνση της ζώνης που οφείλεται στην πρόσβαση των παραμέτρων του μοντέλου σχετικά αμελητέα.

Τα γεννητικά μοντέλα, ωστόσο, είναι αξιοσημείωτα μεγαλύτερα – στο domaine των δισεκατομμυρίων παραμέτρων, και σε αυτές τις περιπτώσεις, η ζώνη μνήμης γίνεται ένας σημαντικός παράγοντας.

Αντί να εστιάζουμε μόνο στο TOPS, είναι κρίσιμο να αξιολογήσουμε πώς ένας processor ισορροπεί τον υπολογισμό και τη μνήμη υπό πραγματικές συνθήκες. Δεν είναι για το να κυνηγήσουμε τον υψηλότερο αριθμό, αλλά για να ρυθμίσουμε την αρχιτεκτονική στο workload που πρέπει να χειριστεί.

Γιατί η ζώνη μνήμης γίνεται τώρα ένα πιο κρίσιμο εμπόδιο παρά ο υπολογισμός στην edge AI workloads, ιδιαίτερα για LLMs και VLMs;

Για τις edge AI workloads, ιδιαίτερα αυτές που αφορούν LLMs ή VLMs, η ζώνη μνήμης γίνεται γρήγορα το πρωτεύον εμπόδιο. Τα μοντέλα αυτά τυπικά κυμαίνονται από 0,5 έως 8 δισεκατομμύρια παραμέτρους, υπερβαίνοντας τη χωρητικότητα της μνήμης του chip και απαιτώντας πρόσβαση σε εξωτερική μνήμη όπως η DRAM. Αυτό αυξάνει δραματικά την ζήτηση για ζώνη μνήμης. Για παράδειγμα, ένα μοντέλο 1B-παραμέτρων μπορεί να παραδώσει μέχρι ~40 tokens ανά δευτερόλεπτο υπό ιδανικές συνθήκες με μια τυπική LPDDR4X διεπαφή, αλλά η διατήρηση αυτής της ταχύτητας με ένα μοντέλο 4B απαιτεί πάνω από τέσσερις φορές αυτή τη ζώνη. Χωρίς αυτή, η απόδοση υποφέρει, όχι λόγω περιορισμένου υπολογισμού, αλλά γιατί ο processor δεν μπορεί να ταΐσει τα δεδομένα αρκετά γρήγορα. Αυτή η ανισορροπία μεταξύ υπολογισμού και μνήμης είναι ένας από τους πιο πιεστικούς προκλήσεις στην ανάπτυξη της γεννητικής AI στην edge. Αυτό είναι περαιτέρω ενισχυμένο σε αρχιτεκτονικές που υπολογίζουν στρώμα προς στρώμα, όπου τα ενδιάμεσα αποτελέσματα αυξάνουν επίσης την κυκλοφορία μνήμης και επιβαρύνουν περαιτέρω τη ζώνη.

Πώς πρέπει οι ομάδες προϊόντων να ξανασκέφτουν την στρατηγική τους για την αξιολόγηση όταν σχεδιάζουν για πραγματικές edge εφαρμογές;

Οι ομάδες προϊόντων πρέπει να απομακρύνθούν από την εξάρτηση από ένα μόνο μέτρο απόδοσης όπως το TOPS και να υιοθετήσουν μια στρατηγική αξιολόγησης που αντανακλά τις πραγματικότητες της edge ανάπτυξης. Αυτό ξεκινά με την κατανόηση της συγκεκριμένης περίπτωσης χρήσης, του πραγματικού workload που ο processor πρέπει να χειριστεί, και την ταυτοποίηση του «εργαζόμενου σημείου»: το σημείο τομής των περιορισμών ισχύος, κόστους και καθυστέρησης. Από εκεί, είναι για την αξιολόγηση του πώς ο υπολογισμός και η μνήμη αλληλεπιδρούν υπό αυτές τις συνθήκες. Ένας processor με υψηλό TOPS δεν θα παραδώσει αν η ζώνη μνήμης είναι περιορισμένη, και περισσότερη μνήμη δεν θα βοηθήσει αν η χωρητικότητα υπολογισμού είναι ανεπαρκής.

Οι ομάδες πρέπει να αξιολογήσουν εάν ο processor μπορεί να διατηρήσει την απόδοση σε εργασίες όπως η αντίληψη, η ενίσχυση και η γεννητική εργασία, καθεμία με πολύ διαφορετικές απαιτήσεις. Ο στόχος δεν είναι να βελτιστοποιήσει για τα υψηλότερα specs, αλλά να διασφαλίσει μια ισορροπημένη απόδοση σε όλο το φάσμα των αναμενόμενων περιπτώσεων χρήσης σε πραγματικές περιβάλλοντες.

Αυτή είναι μια φυσική μετατόπιση από «στεγνά» μέτρα σε πιο περίπλοκες προσεγγίσεις που αντανακλούν πώς οι πλατφόρμες χρησιμοποιούνται και πώς αξιολογούνται – παρόμοια με αυτό που συνέβη με άλλες αρχιτεκτονικές που έγιναν mainstream (π.χ. SPEC, Coremark, 3DMark, κ.λπ.).

Πώς οι περιορισμοί ισχύος και κόστους επηρεάζουν τις αρχιτεκτονικές αποφάσεις πίσω από τους processors της Hailo, ιδιαίτερα για καταναλωτικές edge συσκευές;

Η ισχύς και το κόστος είναι δύο από τους πιο καθοριστικούς περιορισμούς κατά το σχεδιασμό AI processors για edge συσκευές, ιδιαίτερα σε καταναλωτικά προϊόντα. Σε συμπαγείς συσκευές όπως αισθητήρες IoT ή έξυπνοι οικιακοί βοηθοί, οι προϋπολογισμοί ισχύος είναι στενοί, και δεν υπάρχει ενεργό ψύξη, οπότε η ενεργειακή αποδοτικότητα γίνεται κρίσιμη. Κάθε πρόσθετος υπολογισμός ή μνήμη προστίθεται στην κατανάλωση ισχύος και τη θερμότητα, που επηρεάζει απευθείας την ευχρηστία και τη διάρκεια ζωής της μπαταρίας.

Το κόστος είναι εξίσου επικριτικό. Τα καταναλωτικά προϊόντα πρέπει να παραμείνουν εντός ανταγωνιστικών σημείων τιμής, που σημαίνει ότι ο processor μπορεί να περιλαμβάνει μόνο τόσο TOPS και μνήμη πριν γίνει οικονομικά μη βιώσιμο. Αυτοί οι περιορισμοί επιβάλλουν σκληρές αρχιτεκτονικές συμβιβασμούς. Στην Hailo, προτεραιοποιούμε σχεδιασμούς που παραδίδουν την σωστή ισορροπία υπολογισμού και μνήμης για να ικανοποιήσουν τις πραγματικές ανάγκες εφαρμογών εντός ενός στενού φακέλου ισχύος και κόστους, διασφαλίζοντας ότι η edge AI γίνεται βιώσιμη, αποδοτική και κλιμακωτή σε ένα ευρύ φάσμα καταναλωτικών προϊόντων.

Μπορείτε να μας οδηγήσετε πώς ορίζετε ένα «εργαζόμενο σημείο» για μια εφαρμογή και γιατί αυτό έχει τόσο μεγάλη σημασία στην ανάπτυξη edge AI;

Η ορισμός του «εργαζόμενου σημείου» είναι ένας από τους πιο σημαντικούς βηματισμούς κατά το σχεδιασμό ενός συστήματος. Αναφέρεται στο σημείο τομής των περιορισμών ισχύος, κόστους και καθυστέρησης που διαμορφώνουν τι είναι πραγματικά επιτεύξιμο σε μια συγκεκριμένη ανάπτυξη. Αντιθέτως με το cloud, όπου μπορείτε να ρίχνετε περισσότερο υπολογισμό ή μνήμη σε ένα πρόβλημα, οι edge συσκευές λειτουργούν εντός ενός σταθερού φακέλου. Αυτό σημαίνει ότι πρέπει να κάνετε σκόπιμους συμβιβασμούς με βάση τις πραγματικές απαιτήσεις της εφαρμογής. Για παράδειγμα, ένας αισθητήρας IoT μπορεί να προτεραιοποιήσει την ενεργειακή αποδοτικότητα πάνω από την сыρή απόδοση, ενώ ένα αυτόνομο σύστημα μπορεί να απαιτήσει υπερχαμη καθυστέρηση ανεξάρτητα από την κατανάλωση ισχύος. Μόλις οριστεί το εργαζόμενο σημείο, μπορείτε να αξιολογήσετε εάν ο processor έχει τη σωστή ισορροπία υπολογισμού και μνήμης για να ικανοποιήσει αυτή τη ανάγκη. Δεν είναι για το να μεγιστοποιήσετε τα specs σε κάθε κατεύθυνση, αλλά για να διασφαλίσετε μια σταθερή, αξιόπιστη απόδοση στις πραγματικές συνθήκες που η εφαρμογή θα αντιμετωπίσει.

Γενικά, το εργαζόμενο σημείο είναι εκεί που θέλετε τα βασικά δείκτες απόδοσης να είναι στο βέλτιστο. Η αποτυχία να το κάνετε αυτό μπορεί να οδηγήσει σε μια υποβέλτιστη λειτουργία υπό τις περισσότερες τυπικές περιπτώσεις χρήσης της πλατφόρμας.

Ως ένα απλό παράδειγμα, μπορείτε να κάνετε ένα σύστημα ανάλυσης AI εξαιρετικά αποτελεσματικό όταν η είσοδος είναι σε πολύ υψηλή ανάλυση, αλλά αν αυτό είναι αναπτυγμένο σε συστήματα που δεν φτάνουν ποτέ σε αυτή την ανάλυση, αυτή η βελτιστοποίηση είναι άσχετη.

Με βίντεο, ήχο και γλώσσα συχνά αναμιγνυόμενα σε σύγχρονα προϊόντα, πώς προσεγγίζετε την βελτιστοποίηση σε πολυμορφικά μοντέλα;

Τα πολυμορφικά μοντέλα απαιτούν μια προσεκτική ισορροπία υπολογισμού και μνήμης. Κάθε modality στρεσάρει το σύστημα διαφορετικά: το βίντεο είναι υπολογιστικά εντατικό λόγω υψηλής ανάλυσης και ρυθμών καρέ, ενώ η γλώσσα και ο ήχος είναι πιο συμπαγείς αλλά τοποθετούν nặngότερες απαιτήσεις στη ζώνη μνήμης. Σε εφαρμογές όπως η επεξεργασία οράματος-γλώσσας, αυτή η διάσπαση γίνεται σαφής (αν και αυτό δεν είναι μια εγγύηση αλλά μια τυπική περίπτωση): η επεξεργασία βίντεο ωθεί τον υπολογισμό, ενώ το μοντέλο γλώσσας μπορεί να χτυπήσει γρήγορα τα εμπόδια μνήμης.

Προσεγγίζουμε την βελτιστοποίηση κοιτάζοντας πώς αυτές οι εργασίες αλληλεπιδρούν κατά μήκος του pipeline και διασφαλίζοντας ότι ο processor είναι αρχιτεκτονικά υποστηριγμένος για να τις υποστηρίξει ταυτόχρονα, χωρίς να αφήσει μια modality να επηρεάσει την απόδοση της άλλης.

Πώς η αύξηση του μεγέθους του μοντέλου στην edge περιπλέκει την καθυστέρηση και την κατανάλωση ισχύος, και ποιο ρόλο παίζει η αρχιτεκτονική του συστήματος στην επίλυση αυτού του προβλήματος;

Όπως το μέγεθος του μοντέλου αυξάνεται στην edge, η καθυστέρηση και η κατανάλωση ισχύος γίνονται πιο δύσκολο να διαχειριστούν. Μεγαλύτερα μοντέλα εξαρτώνται περισσότερο από την εξωτερική μνήμη, που αυξάνει και την ενεργειακή κατανάλωση και την καθυστέρηση, ιδιαίτερα όταν η ζώνη μνήμης γίνεται εμπόδιο. Για παράδειγμα, η κλιμάκωση από ένα μοντέλο 1B-παραμέτρων σε ένα 4B-παραμέτρων μοντέλο θα απαιτήσει πάνω από τέσσερις φορές τη ζώνη για να διατηρήσει την ίδια απόδοση – αλλά στην πράξη, η απόδοση δεν κλιμακώνεται γραμμικά λόγω περιορισμών ζώνης και συστήματος.

Δεν είναι μόνο για το να έχεις υψηλό TOPS ή μεγάλη μνήμη, αλλά για το πώς αυτά τα στοιχεία αλληλεπιδρούν. Μια ισορροπημένη σχεδίαση διασφαλίζει ότι ο υπολογισμός, η μνήμη και η ζώνη εργάζονται μαζί αποτελεσματικά, αποτρέποντας ένα ресурс να περιορίζει όλο το σύστημα.

Πώς σχεδιάζει η Hailo για την μελλοντική ασφάλεια – δεδομένου του πόσο γρήγορα εξελίσσονται τα μοντέλα AI, οι εργασίες και οι απαιτήσεις ανάπτυξης;

Η μελλοντική ασφάλεια στην edge AI σημαίνει σχεδιασμό processors που μπορούν να χειριστούν ένα ευρύ φάσμα εξελισσόμενων εργασιών. Στην Hailo, εστιάζουμε σε ισορροπημένες αρχιτεκτονικές που δεν είναι προσαρμοσμένες σε μια εργασία, αλλά μπορούν να υποστηρίξουν όλα, από τις αισθήσεις λειτουργίες όπως η ανίχνευση αντικειμένων έως τα γεννητικά μοντέλα όπως τα VLMs. Κάθε τύπος εργασίας στρεσάρει τον υπολογισμό και τη μνήμη διαφορετικά, οπότε σχεδιάζουμε για ευελιξία, αποφεύγοντας εμπόδια όταν μεταβαίνουμε μεταξύ τους. Επίσης, λαμβάνουμε υπόψη τους πραγματικούς περιορισμούς ισχύος, κόστους και καθυστέρησης σε εφαρμογές. Με την προτεραιότητα της ποικιλίας εργασιών και της ισορροπίας πόρων, στοχεύουμε να υποστηρίξουμε την επόμενη γενιά edge AI αναπτύξεων σε καταναλωτικές και βιομηχανικές περιπτώσεις χρήσης.

Ωστόσο, ένα μέγεθος δεν μπορεί να ταιριάξει όλα, και το χαρτοφυλάκιο στοχεύει σε ορισμένες διευθυνσιοδοτούμενες εφαρμογές και προσπαθεί να ταιριάξει εντός του διαθέσιμου προϋπολογισμού, π.χ. ισχύος, φόρμας και αυτό ορίζει ένα «εργαζόμενο σημείο».

Τι ρόλο παίζει το οικοσύστημα των dévelopτερ στην μεγιστοποίηση της αξίας ενός processor, και πώς διασφαλίζετε ότι οι ομάδες μπορούν να κάνουν πλήρη χρήση των ικανοτήτων της Hailo;

Ως ένα προγραμματιζόμενο όργανο, είναι απαραίτητο να υπάρχει ένα εύχρηστο περιβάλλον για τους dévelopτερ να ασκήσουν το δυναμικό του processor, να συντομεύσουν τον δρόμο προς την ανάπτυξη και να ενεργοποιήσουν νέες περιπτώσεις χρήσης. Παρέχοντας ένα καλά υποστηριζόμενο περιβάλλον γύρω από τους processors μας, βοηθάμε τις ομάδες να φέρουν εφαρμογές AI στην ζωή σε ένα φάσμα περιπτώσεων χρήσης.

Τι συμβουλή θα δίνατε σε μηχανικούς ή CTOs που επιλέγουν τον πρώτο τους AI επιταχυντής για ένα επόμενο προϊόν που κατασκευάζεται σήμερα;

Με τις ώριμες συνθήκες, πιστεύω ότι υπάρχει πολύ καινοτομικό δυναμικό, επιτρέποντας μας να μεταφράσουμε την φαντασία σε πραγματικά προϊόντα. Σε ένα γρήγορα μεταβαλλόμενο περιβάλλον, η επιλογή ενός επιταχυντή που επιτρέπει einen γρήγορο κύκλο concept-to-deployment είναι κρίσιμη.

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν την Hailo.