Ο Jason Knight είναι συνιδρυτής και Αντιπρόεδρος του ML στο OctoAI – Σειρά Συνεντεύξεων

Ο Jason Knight είναι συνιδρυτής και Αντιπρόεδρος του Machine Learning στο OctoAI, η πλατφόρμα που παρέχει ένα πλήρες στακ για τους κατασκευαστές εφαρμογών να εκτελούν, να调节 και να κλιμακώνουν τις εφαρμογές τους AI στο cloud ή σε τοπικό περιβάλλον.

Το OctoAI δημιουργήθηκε από το Πανεπιστήμιο του Ουάσινγκτον από τους αρχικούς δημιουργούς του Apache TVM, einem ανοικτού κώδικα για τη μεταφέρσιμότητα και την απόδοση του ML. Το TVM επιτρέπει στα μοντέλα ML να εκτελούνται αποτελεσματικά σε οποιοδήποτε υλικό backend και έχει γίνει γρήγορα ένα κρίσιμο μέρος της αρχιτεκτονικής των δημοφιλών καταναλωτικών συσκευών όπως η Amazon Alexa.

Μπορείτε να μοιραστείτε την έμπνευση πίσω από την ίδρυση του OctoAI και το βασικό πρόβλημα που επιδιώχθηκε να λυθεί;

Το AI έχει παραδοσιακά sido ένα σύνθετο πεδίο που είναι προσβάσιμο μόνο σε εκείνους που είναι άνετοι με τις μαθηματικές και τις υψηλές επιδόσεις υπολογιστών που απαιτούνται για να δημιουργηθεί κάτι με αυτό. Αλλά το AI ξεκλειδώνει τις τελικές διεπαφές υπολογιστή, αυτές του κειμένου, της φωνής και της εικόνας που προγραμματίζονται από παραδείγματα και ανατροφοδότηση, και φέρνει την πλήρη δύναμη του υπολογιστή σε όλους τους ανθρώπους στη Γη. Πριν από το AI, μόνο οι προγραμματιστές μπορούσαν να κάνουν τους υπολογιστές να κάνουν αυτό που ήθελαν γράφοντας αρχαϊκά κείμενα προγραμματισμού.

Το OctoAI δημιουργήθηκε για να επιταχύνει τον δρόμο μας προς αυτή τη πραγματικότητα, ώστε περισσότεροι άνθρωποι να μπορούν να χρησιμοποιήσουν και να ωφεληθούν από το AI. Και οι άνθρωποι, με τη σειρά τους, μπορούν να χρησιμοποιήσουν το AI για να δημιουργήσουν ακόμη περισσότερα οφέλη, επιταχύνοντας τις επιστήμες, την ιατρική, την τέχνη και άλλα.

Σκεφτόμενος την εμπειρία σας στην Intel (INTC ), πώς οι προηγούμενες σας θέσεις σας προέταξαν για την共同 ίδρυση και ηγεσία της ανάπτυξης στο OctoAI;

Η Intel και τα startups του AI hardware και biotech πριν από αυτό μου έδωσαν την προοπτική να δω πόσο δύσκολο είναι το AI ακόμη και για τις πιο εξειδικευμένες τεχνολογικές εταιρείες, και πόσο πολύτιμο μπορεί να είναι για εκείνους που έχουν καταφέρει να το χρησιμοποιήσουν. Και βλέποντας ότι ο χάσμα μεταξύ εκείνων που ωφελούνται από το AI σε σύγκριση με εκείνους που δεν το έχουν ακόμη είναι κυρίως ένα πρόβλημα υποδομής, υπολογιστών και besten πρακτικών – όχι μαγία.

Τι διαφοροποιεί το OctoStack από άλλες λύσεις ανάπτυξης AI που υπάρχουν στην αγορά σήμερα;

Το OctoStack είναι το πρώτο πλήρες τεχνολογικό στακ που σχεδιάστηκε ειδικά για την εξυπηρέτηση μοντέλων γενετικού AIどこδήποτε. Προσφέρει μια πλατφόρμα παραγωγής που παρέχει高度.optimized inference, προσαρμογή μοντέλων και διαχείριση περιουσιακών στοιχείων σε κλίμακα επιχείρησης.

Το OctoStack επιτρέπει στις οργανώσεις να επιτύχουν αυτονομία AI, εκτελώντας οποιοδήποτε μοντέλο στο προτιμώμενο περιβάλλον με πλήρη έλεγχο над δεδομένα, μοντέλα και υλικό. Επίσης, προσφέρει ακαταμάχητη απόδοση και οικονομική αποτελεσματικότητα, με εξοικονόμηση μέχρι 12X σε σύγκριση με άλλες λύσεις όπως το GPT-4.

Μπορείτε να εξηγήσετε τα πλεονεκτήματα της ανάπτυξης μοντέλων AI σε ένα ιδιωτικό περιβάλλον χρησιμοποιώντας το OctoStack;

Τα μοντέλα αυτά дняς είναι πανταχού παρόντα, αλλά η συναρμολόγηση της σωστής υποδομής για να εκτελεστούν αυτά τα μοντέλα και να εφαρμοστούν με τα δικά σας δεδομένα είναι εκεί που αρχίζει πραγματικά να γυρίζει το εchner του επιχειρηματικού αξίας. Χρησιμοποιώντας αυτά τα μοντέλα στα πιο ευαίσθητα δεδομένα σας και μετά μετατρέποντάς τα σε ενημερώσεις, καλύτερη μηχανική προώθησης, RAG pipelines και fine-tuning είναι εκεί που μπορείτε να πάρειτε την περισσότερη αξία από το γενετικό AI. Αλλά είναι ακόμη δύσκολο για όλες τις εταιρείες, εκτός από τις πιο εξειδικευμένες, να το κάνουν αυτό μόνο τους, όπου μια λύση like το OctoStack μπορεί να σας επιταχύνει και να φέρει τις καλύτερες πρακτικές μαζί σε ένα σημείο για τους praktikous σας.

Η ανάπτυξη μοντέλων AI σε ένα ιδιωτικό περιβάλλον χρησιμοποιώντας το OctoStack προσφέρει πολλά πλεονεκτήματα, συμπεριλαμβανομένης της βελτιωμένης ασφάλειας και του ελέγχου над δεδομένα και μοντέλα. Οι πελάτες μπορούν να εκτελέσουν εφαρμογές γενετικού AI μέσα στα δικά τους VPCs ή σε τοπικό περιβάλλον, εξασφαλίζοντας ότι τα δεδομένα τους παραμένουν ασφαλή και μέσα στο επιλεγμένο περιβάλλον. Αυτή η προσέγγιση προσφέρει επίσης στις επιχειρήσεις την ευελιξία να εκτελέσουν οποιοδήποτε μοντέλο, είτε ανοικτού κώδικα, είτε προσαρμοσμένο, είτε ιδιόκτητο, ενώ ωφελούνται από μειώσεις κόστους και βελτιώσεις της απόδοσης.

Ποια προκλήματα αντιμετωπίσατε στην βελτιστοποίηση του OctoStack για την υποστήριξη ενός ευρέος φάσματος υλικού και πώς αυτά τα προκλήματα επιλύθηκαν;

Η βελτιστοποίηση του OctoStack για την υποστήριξη ενός ευρέος φάσματος υλικού απαιτούσε τη διασφάλιση της συμβατότητας και της απόδοσης σε διάφορα συσκευές, όπως NVIDIA (NVDA ) και AMD GPUs και AWS Inferentia. Το OctoAI επιλύθηκε αυτά τα προκλήματα χρησιμοποιώντας την sâu AI συστήματος εμπειρογνωμοσύνη, που αναπτύχθηκε μέσω ετών έρευνας και ανάπτυξης, για να δημιουργήσει μια πλατφόρμα που συνεχώς ενημερώνεται και υποστηρίζει πρόσθετα τύποι υλικού, περιπτώσεις χρήσης GenAI και besten πρακτικών. Αυτό επιτρέπει στο OctoAI να προσφέρει ηγετική απόδοση και οικονομική αποτελεσματικότητα.

Επιπλέον, η λήψη των τελευταίων ικανοτήτων στο γενετικό AI, όπως η multi-μορφικότητα, η κλήση λειτουργίας, η αυστηρή JSON σχήματος, η αποτελεσματική φाइन-τουνिंγκ και άλλα, στα χέρια των εσωτερικών développers σας θα επιταχύνει το σημείο αφίξεως του AI σας.

Το OctoAI έχει μια πλούσια ιστορία στη χρήση του Apache TVM. Πώς έχει επηρεάσει η πλατφόρμα σας από αυτή τη δομή;

Δημιουργήσαμε το Apache TVM για να κάνουμε εύκολη τη γραφή αποτελεσματικών βιβλιοθηκών AI για GPUs και accelerators για τους εξειδικευμένους développers. Το κάναμε αυτό γιατί η λήψη της μεγαλύτερης απόδοσης από το υλικό GPU και accelerator ήταν κρίσιμο για την ενημέρωση του AI τότε, όπως και τώρα.

Έχουμε από τότε χρησιμοποιήσει την ίδια στάση και εμπειρογνωμοσύνη για το整λό στακ Gen AI για να προσφέρουμε αυτοματοποίηση για ένα ευρύτερο σύνολο développers.

Μπορείτε να συζητήσετε οποιαδήποτε σημαντικά βελτιώσεις της απόδοσης που προσφέρει το OctoStack, όπως η 10x βελτίωση της απόδοσης σε μεγάλης κλίμακας αναπτύξεις;

Το OctoStack προσφέρει σημαντικές βελτιώσεις της απόδοσης, συμπεριλαμβανομένων μέχρι 12X εξοικονόμησης σε σύγκριση με άλλα μοντέλα όπως το GPT-4, χωρίς να θυσιάσει την ταχύτητα ή την ποιότητα. Επίσης, προσφέρει 4X καλύτερη χρήση GPU και 50% μείωση των λειτουργικών κοστών, επιτρέποντας στις οργανώσεις να εκτελούν μεγάλης κλίμακας αναπτύξεις αποτελεσματικά και οικονομικά.

Μπορείτε να μοιραστείτε κάποιες αξιοσημείωτες περιπτώσεις χρήσης όπου το OctoStack έχει βελτιώσει σημαντικά την ανάπτυξη AI για τους πελάτες σας;

Μια αξιοσημείωτη περίπτωση χρήσης είναι η Apate.ai, μια παγκόσμια υπηρεσία που καταπολεμά τις τηλεφωνικές απάτες χρησιμοποιώντας γενετικό AI. Η Apate.ai χρησιμοποίησε το OctoStack για να εκτελέσει αποτελεσματικά το σύνολο των μοντέλων γλώσσας σε πολλαπλά γεωγραφικά, ωφελούμενη από την ευελιξία, την κλίμακα και την ασφάλεια του OctoStack. Αυτή η ανάπτυξη επέτρεψε στην Apate.ai να προσφέρει προσαρμοσμένα μοντέλα που υποστηρίζουν πολλαπλά γλωσσικά και περιφερειακά ιδιώματα, ικανοποιώντας τις απαιτήσεις απόδοσης και ασφάλειας.

Επιπλέον, εξυπηρετούμε εκατοντάδες fine-tunes για τον πελάτη μας OpenPipe. Αν αυτοί οι πελάτες είχαν να ξεκινήσουν αφιερωμένα instances για κάθε一个 από αυτά, οι περιπτώσεις χρήσης των πελατών τους θα ήταν αδιανόητες, καθώς αυξάνονται και εξελίσσονται τις περιπτώσεις χρήσης τους και συνεχώς επανα-εκπαιδεύουν τις παραμετρικές τους fine-tunes για μέγιστη ποιότητα εξόδου σε οικονομικά βιώσιμες τιμές.

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα μπορούν να επισκεφθούν το OctoAI.