Λουδοβίκος Λαρζούλ, Ιδρυτής και Διευθύνων Σύμβουλος της Mipsology – Σειρά Συνεντεύξεων

Ο Λουδοβίκος Λαρζούλ είναι ο ιδρυτής και διευθύνων σύμβουλος της Mipsology, μιας πρωτοποριακής εταιρείας που επικεντρώνεται στην επιτάχυνση της βαθιάς μάθησης. Έχουν αναπτύξει τεχνολογία για την επιτάχυνση των υπολογισμών των νευρωνικών δικτύων και την απόκρυψη του υλικού επιταχυντή από τους χρήστες του AI. Το Zebra της Mipsology είναι ο πρώτος εμπορικός επιταχυντής που ενσωματώνει τέτοια τεχνολογία για να παρέχει υψηλή απόδοση και ευκολία χρήσης.

Τι σας ενέπνευσε να ασχοληθείτε με το AI και τους μικροεπεξεργαστές;

Δούλεψα στη σχεδίαση ενός ειδικού τύπου υπερυπολογιστή για περίπου 20 χρόνια με την προηγούμενη εταιρεία μου EVE, πριν την αγοράσει η Synopsys το 2012. Αυτοί οι υπολογιστές, επίσης γνωστοί ως ASIC emulators, χρησιμοποιούνται από πολλές εταιρείες που σχεδιάζουν ASIC σε όλο τον κόσμο. Απολάυσα πολύ την πολυπλοκότητα και την ποικιλία αυτού του έργου. Για να επιτύχετε, πρέπει να (α) κατανοήσετε την ηλεκτρονική, το λογισμικό, τους σύνθετους αλγορίθμους, τον τρόπο με τον οποίο οι άνθρωποι σχεδιάζουν chips και τον τρόπο με τον οποίο να βεβαιωθείτε ότι λειτουργούν σωστά, την αρχιτεκτονική των chip, την ενέργεια και άλλα sâuστόχαστα τεχνολογικά θέματα, (β) να προβλέψετε σωστά τις ανάγκες των πελατών σας μερικά χρόνια вперед, (γ) να καινοτομείτε συνεχώς και (δ) ως μια εταιρεία, να νικήσετε την ανταγωνιστική εταιρεία με πολύ λιγότερους πόρους. Μετά από 20 χρόνια επιτυχίας, αναζητούσα μια νέα πρόκληση. Αυτή ήταν η στιγμή που το AI είχε αρχίσει να επιστρέφει στο προσκήνιο. Το AlexNet είχε κάνει ένα großen βήμα στην κατανόηση των εικόνων (και κοιτάζοντας πίσω, ήταν ακόμη στην παιδική του ηλικία). Η βαθιά μάθηση ήταν καινούργια αλλά υποσχόμενη (Ποιος θυμάται όταν χρειαζόταν ημέρες για να ληφθεί ένα αποτέλεσμα σε ένα απλό δίκτυο;). Βρήκα ότι khá «διασκεδαστικό», αλλά αναγνώρισα ότι υπήρχαν πολλά προβλήματα.

Τι ήταν η έμπνευση πίσω από την εκκίνηση της Mipsology;

Δεν ξέρω αν θα χρησιμοποιούσα τη λέξη «έμπνευση». Ήταν αρχικά περισσότερο σαν: «Μπορούμε να κάνουμε κάτι που θα ήταν διαφορετικό και καλύτερο;» Ξεκίνησε με υποθέσεις για το τι θα ήθελαν οι άνθρωποι του AI και να κάνουν, και τα επόμενα χρόνια passé αναζητώντας καλύτερες λύσεις με βάση αυτά. Νομίζω ότι περισσότερο από έμπνευση, θα έλεγα ότι οι άνθρωποι με τους οποίους δουλεύω θέλουν να είναι οι καλύτεροι στο τι δημιουργούν, με μια θετική στάση ανταγωνισμού. Αυτό δημιουργεί μια ισχυρή ομάδα που μπορεί να λύσει προβλήματα που άλλες ομάδες αποτυγχάνουν να λύσουν επαρκώς.

Η Mipsology χρησιμοποιεί πλακέτες FPGA αντί για GPU. Μπορείτε να περιγράψετε τι είναι τα FPGA;

Τα FPGA είναι ηλεκτρονικές συνιστώσες που μπορούν να προγραμματιστούν στο επίπεδο του υλικού. Μπορείτε να τα φανταστείτε σαν ένα σετ Lego — quelques εκατομμύρια από αυτά. Κάθε μικρό μπλοκ εκτελεί μια απλή λειτουργία όπως τη διατήρηση μιας τιμής ή πιο σύνθετες λειτουργίες όπως η πρόσθεση. Ομαδοποιώντας όλα αυτά τα μπλοκ, είναι δυνατό να δημιουργηθεί μια συγκεκριμένη συμπεριφορά μετά την κατασκευή του chip. Αυτό είναι το αντίθετο των GPU και几乎 όλων των άλλων chip, που σχεδιάζονται για μια συγκεκριμένη λειτουργία και δεν μπορούν να αλλάξουν μετά.

Ορισμένα, όπως τα CPU και τα GPU, μπορούν να προγραμματιστούν, αλλά δεν είναι τόσο παράλληλα όπως τα FPGA. Σε οποιοδήποτε δεδομένο χρονικό σημείο, ένα FPGA εκτελεί quelques εκατομμύρια απλές λειτουργίες. Και αυτό μπορεί να συμβεί έξι έως επτά εκατομμύρια φορές το δευτερόλεπτο. Επειδή είναι προγραμματιζόμενα, αυτό που κάνουν μπορεί να αλλάξει σε οποιοδήποτε χρόνο για να προσαρμοστεί σε διαφορετικά προβλήματα, οπότε η εξαιρετική υπολογιστική ισχύς μπορεί να είναι αποτελεσματική. Τα FPGA είναι ήδη几乎 παντού, συμπεριλαμβανομένων των σταθμών βάσης των κινητών τηλεφώνων, δικτύων, δορυφόρων, αυτοκινήτων, κ.λπ. Οι άνθρωποι δεν τα γνωρίζουν καλά, όμως, επειδή δεν είναι τόσο ορατά όπως ένα CPU όπως αυτό στο laptop σας.

Τι κάνει αυτές τις πλακέτες FPGA την υπεροχή λύση σε σχέση με τις πιο δημοφιλείς GPU;

Τα FPGA είναι υπεροχή σε πολλά аспектs. Ας επικεντρωθούμε σε quelques σημαντικά από αυτά.

Τα GPU σχεδιάζονται για την απόδοση εικόνων, κυρίως για παιχνίδια. Βρέθηκαν να ταιριάζουν καλά με ορισμένους υπολογισμούς στο AI λόγω της ομοιότητας των λειτουργιών. Nhưng παραμένουν πρωτίστως αφιερωμένα στα παιχνίδια, το οποίο σημαίνει ότι έρχονται με περιορισμούς που δεν ταιριάζουν καλά με τα νευρωνικά δίκτυα.

Η προγραμματισμός τους είναι επίσης περιορισμένος στις οδηγίες που αποφασίστηκαν δύο ή τρία χρόνια πριν από την κυκλοφορία τους. Το πρόβλημα είναι ότι τα νευρωνικά δίκτυα προχωρούν πιο γρήγορα από το σχεδιασμό των ASIC, και τα GPU είναι ASIC. Οπότε, είναι σαν να προβλέψετε το μέλλον: δεν είναι απλό να είστε σωστοί. Μπορείτε να δείτε τάσεις, αλλά τα λεπτά είναι αυτά που πραγματικά επηρεάζουν τα αποτελέσματα, όπως η απόδοση. Σε αντίθεση, επειδή τα FPGA είναι προγραμματιζόμενα στο επίπεδο του υλικού, μπορούμε να κρατήσουμε πιο εύκολα το ρυθμό της πρόοδου του AI. Αυτό μας επιτρέπει να παρέχουμε ένα καλύτερο προϊόν με υψηλότερη απόδοση και να ικανοποιούμε τις ανάγκες του πελάτη χωρίς να χρειαζόμαστε να περιμένουμε την επόμενη γενιά του silicon.

Επιπλέον, τα GPU σχεδιάζονται να είναι καταναλωτικά προϊόντα. Η διάρκεια ζωής τους είναι εσκεμμένα σύντομη, επειδή οι εταιρείες που σχεδιάζουν τα GPU θέλουν να πουλήσουν νέα σε quelques χρόνια στους gamers. Αυτό δεν λειτουργεί καλά σε ηλεκτρονικά συστήματα που χρειάζονται να είναι αξιόπιστα για πολλά χρόνια. Τα FPGA σχεδιάζονται να είναι robust και να χρησιμοποιούνται 24/7 για πολλά χρόνια.

Άλλες γνωστές πλεονεκτήματα των FPGA περιλαμβάνουν:

• Υπάρχουν πολλές επιλογές που μπορούν να ταιριάζουν σε συγκεκριμένες περιοχές όπως δίκτυα ή επεξεργασία βίντεο
• Λειτουργούν τόσο σε κέντρα δεδομένων όσο και στο Edge ή σε ενσωματωμένα
• Δεν απαιτούν ειδικό ψύξη (πολύ λιγότερο νερό ψύξη όπως τα μεγάλα GPU)

Ένα σημαντικό μειονέκτημα είναι ότι τα FPGA είναι δύσκολα να προγραμματιστούν. Απαιτεί ειδικές γνώσεις.尽管 οι εταιρείες που πωλούν FPGA έχουν καταβάλει μεγάλη προσπάθεια για να γεφυρώσουν το χάσμα της πολυπλοκότητας, δεν είναι ακόμη τόσο απλό όσο ένα CPU. Στην πραγματικότητα, τα GPU δεν είναι απλά. Αλλά το λογισμικό που κρύβει την προγραμματισμό τους για το AI κάνει αυτή τη γνώση απαραίτητη. Αυτό είναι το πρόβλημα που η Mipsology είναι η πρώτη που λύνει: αφαιρώντας την ανάγκη για προγραμματισμό ή γνώση του FPGA για την υπολογιστική του AI.

Υπάρχουν κάποια τρέχοντα περιορισμοί στις πλακέτες FPGA;

Ορισμένες πλακέτες FPGA είναι σαν ορισμένες πλακέτες GPU. Μπορούν να συνδεθούν σε μια υπολογιστή slot PCIe. Ένα καλά γνωστό πλεονέκτημα, εκτός από τη διάρκεια ζωής που ανέφερα πριν, είναι ότι η κατανάλωση ενέργειας είναι συνήθως χαμηλότερη από τα GPU. Ένα άλλο λιγότερο γνωστό είναι ότι υπάρχει μεγαλύτερη επιλογή πλακετών FPGA από πλακέτες GPU. Υπάρχουν περισσότερα FPGA για περισσότερες αγορές, το οποίο οδηγεί σε περισσότερες πλακέτες που ταιριάζουν σε διαφορετικές περιοχές των αγορών. Αυτό απλά σημαίνει ότι υπάρχουν περισσότερες δυνατότητες για υπολογισμό νευρωνικών δικτύων παντού με χαμηλότερο κόστος. Τα GPU είναι πιο περιορισμένα: ταιριάζουν σε κέντρα δεδομένων, αλλά όχι πολύ altro.

Το Zebra της Mipsology είναι ο πρώτος εμπορικός επιταχυντής που ενσωματώνει πλακέτες FPGA για να παρέχει υψηλή απόδοση και ευκολία χρήσης. Μπορείτε να περιγράψετε τι είναι το Zebra;

Για εκείνους που είναι εξοικειωμένοι με το AI και τα GPU, η πιο εύκολη περιγραφή είναι ότι το Zebra είναι στο FPGA αυτό που είναι το Cuda/CuDNN στο GPU. Είναι ένα λογισμικό stack που κρύβει完全 το FPGA πίσω από συνήθεις πλαίσια όπως PyTorch ή TensorFlow. Στόχο μας είναι κυρίως η επιτάχυνση για εικόνες και βίντεο. Το Zebra ξεκινά με ένα νευρωνικό δίκτυο που εκπαιδεύτηκε συνήθως σε floating point, και χωρίς καμία χειροκίνητη προσπάθεια ή ιδιοκτησιακό εργαλείο, το κάνει να τρέχει σε οποιαδήποτε πλακέτα με βάση το FPGA. Είναι τόσο απλό όσο: συνδέστε την πλακέτα FPGA, φορτώστε τον οδηγό, πηγαίνετε στο περιβάλλον Zebra και εκκινήστε την ίδια εφαρμογή επιτάχυνσης όπως αυτή που τρέχει σε CPU ή GPU. Έχουμε τη δική μας quantization που διατηρεί την ακρίβεια, και η απόδοση είναι έξω από το κουτί. Δεν υπάρχει ιδιοκτησιακό εργαλείο που ο χρήστης πρέπει να μάθει, και δεν χρειάζεται ώρες μηχανικής για να πάρει υψηλή απόδοση ή χαμηλή καθυστέρηση. Αυτό σημαίνει απλά γρήγορες μεταβάσεις, που μειώνουν επίσης το κόστος και τον χρόνο στην αγορά.

Ποια είναι τα διαφορετικά είδη εφαρμογών που το Zebra είναι καλύτερα σχεδιασμένο για;

Το Zebra είναι ένας πολύ γενικός επιταχυντής, οπότε μπορεί να επιταχύνει τον υπολογισμό για οποιαδήποτε εφαρμογή που χρειάζεται να υπολογίσει νευρωνικά δίκτυα, με έμφαση στις εικόνες και τα βίντεο επειδή οι υπολογιστικές ανάγκες είναι μεγαλύτερες για αυτό το είδος δεδομένων. Έχουμε αιτήματα από πολύ διαφορετικές αγορές, αλλά είναι όλες παρόμοιες όταν πρόκειται για τον υπολογισμό των νευρωνικών δικτύων. Όλες τυπικά απαιτούν ταξινόμηση, διαχωρισμό, υπερ-ανάλυση, σώμα θέσης, κ.λπ.

Καθώς το Zebra τρέχει πάνω από τα FPGA, οποιαδήποτε πλακέτα μπορεί να χρησιμοποιηθεί. Ορισμένες έχουν υψηλή απόδοση και χρησιμοποιούνται συνήθως σε κέντρα δεδομένων. Άλλες είναι πιο κατάλληλες για χρήση στο Edge ή σε ενσωματωμένα. Η όρασή μας είναι ότι, αν ένα FPGA μπορεί να ταιριάζει, οι χρήστες μπορούν να χρησιμοποιήσουν το Zebra για να επιταχύνουν τους υπολογισμούς των νευρωνικών δικτύων τους αμέσως. Και αν χρησιμοποιούνται GPU ή CPU, το Zebra μπορεί να τα αντικαταστήσει και να μειώσει το κόστος της υποδομής του AI. Οι περισσότερες εταιρείες με τις οποίες μιλάμε έχουν παρόμοια προβλήματα: θα μπορούσαν να αναπτύξουν περισσότερες εφαρμογές AI, αλλά το κόστος τους περιορίζει.

Για μια εταιρεία που θέλει να χρησιμοποιήσει το Zebra, τι είναι η διαδικασία;

Απλά ενημερώστε μας στο support@mipsology.com και θα σας ξεκινήσουμε.

Υπάρχει κάτι άλλο που θα ήθελε να μοιραστεί για τη Mipsology;

Είμαστε πολύ ενθαρρυμένοι από τις αντιδράσεις που λαμβάνουμε από την κοινότητα του AI για τη λύση Zebra. Συγκεκριμένα, μας λένε ότι αυτό είναι πιθανότατα ο καλύτερος επιταχυντής στην αγορά. Μετά από vài μήνες, συνεχίζουμε να προσθέτουμε σε μια αυξανόμενη οικοσύστημα ενδιαφερομένων εταίρων, συμπεριλαμβανομένων των Xilinx, Dell, Western Digital (WDC ), Avnet, TUL και Advantech, για να αναφέρω quelques-ους.

Απλά απολάυσα να μαθαίνω για αυτή την πρωτοποριακή τεχνολογία. Οι αναγνώστες που θέλουν να μάθουν περισσότερα πρέπει να επισκεφθούν Mipsology.

https://www.youtube.com/watch?v=sIBEg_eGU8g