Backboard.io Παρουσιάζει Πλαίσιο Υποδομής AI Εστιασμένο στη Αποδοτικότητα, τον Ελεγχο Επιχειρήσεων και την Αυτόνομη Εγκατάσταση

Καθώς οι οργανισμοί αγωνίζονται για την υιοθέτηση της τεχνητής νοημοσύνης, η συζήτηση έχει μετατοπιστεί ολοένα και περισσότερο από την απόδοση του μοντέλου σε ένα πιο πρακτικό ερώτημα: πώς μπορούν οι επιχειρήσεις να εκτελέσουν την τεχνητή νοημοσύνη με χαμηλότερο κόστος ενώ διατηρούν τον έλεγχο των δεδομένων τους; Η Ottawa-based Backboard.io πιστεύει ότι η απάντηση δεν βρίσκεται σε μεγαλύτερες GPU κλάστερ, αλλά στο να κάνει την υπάρχουσα υποδομή τεχνητής νοημοσύνης σημαντικά πιο αποτελεσματική.

Στην Ημέρα του Καναδά, η εταιρεία παρουσίασε τέσσερις σημαντικές τεχνολογίες που καλύπτουν την συμπίεση μοντέλων, την ανάπτυξη λογισμικού με τη βοήθεια της τεχνητής νοημοσύνης, την πρόσβαση σε πολλαπλά μοντέλα τεχνητής νοημοσύνης και τη μακροπρόθεσμη μνήμη της τεχνητής νοημοσύνης. Αν και η ανακοίνωση υπογραμμίζει τις καναδικές ρίζες της εταιρείας, η ευρύτερη ιστορία είναι για την υποδομή που σχεδιάστηκε για τις επιχειρήσεις που θέλουν να μειώσουν το κόστος της τεχνητής νοημοσύνης ενώ διατηρούν τις ευαίσθητες εργασίες μέσα στα δικά τους περιβάλλοντα.

Κάντε τις Υπάρχουσες GPUs να Πηγαίνουν Πιο Μακριά

Πιθανώς η πιο τεχνικά σημαντική ανακοίνωση είναι η BackboardQuant (BBQ), μια τεχνολογία συμπίεσης μοντέλων που η εταιρεία λέει ότι μπορεί να μειώσει το μέγεθος των μοντέλων τεχνητής νοημοσύνης μέχρι και 70% ενώ διατηρεί σχεδόν ταυτόσητη ποιότητα εξόδου.

Η συμπίεση μοντέλων έχει γίνει ένα ολοένα και πιο σημαντικό πεδίο έρευνας της τεχνητής νοημοσύνης καθώς οι οργανισμοί αγωνίζονται με το αυξανόμενο κόστος της εύρεσης. Τα μικρότερα μοντέλα καταναλώνουν λιγότερη μνήμη, απαιτούν λιγότερες υλικές πόρους και μπορούν συχνά να εκτελεστούν γρηγορότερα, επιτρέποντας στις οργανώσεις να αναπτύξουν προηγμένα μοντέλα χωρίς να επεκτείνουν συνεχώς την ικανότητα των GPU.

Σύμφωνα με την Backboard.io, τα εσωτερικά τεστ δείχνουν ότι το BBQ μπορεί να προσφέρει μέχρι 2,7 φορές ταχύτερη εύρεση, επιτρέποντας σε μια seule GPU να εκτελέσει εργασίες που θα μπορούσαν να απαιτήσουν πολλαπλά επιταχυντές. Αντί να αντικαταστήσουν τα υπάρχοντα μοντέλα, η τεχνολογία σχεδιάστηκε για να τα βελτιώσει για αναπτύξεις παραγωγής.

Ανταγωνιζόμενοι στην Ανάπτυξη Λογισμικού με τη Βοήθεια της Τεχνητής Νοημοσύνης

Η εταιρεία παρουσίασε επίσης το Backboard Studio, μια πλατφόρμα κωδικοποίησης AI που στοχεύει κατ’ ευθείαν σε одну από τις πιο ανταγωνιστικές αγορές της τεχνητής νοημοσύνης.

Αντί να αναπτύξει το δικό της μοντέλο γλώσσας, η Backboard ακολουθεί μια διαφορετική αρχιτεκτονική προσέγγιση. Η πλατφόρμα βρίσκεται πάνω από τα υπάρχοντα μοντέλα ενώ προσπαθεί να βελτιώσει την αποδοτικότητα μέσω της διοργάνωσης, της διαχείρισης του контекστ, των αναδρομικών ροών εργασίας και της βελτιστοποίησης των token. Οι développers μπορούν να επιλέξουν από τα leading εμπορικά μοντέλα ή τις ανοιχτές εναλλακτικές ενώ η πλατφόρμα διαχειρίζεται το контεκστ του έργου, την εκτέλεση της ροής εργασίας και την παραγωγή κώδικα προσανατολισμένου στην παραγωγή.

Η Backboard ισχυρίζεται ότι η πλατφόρμα επιτυγχάνει αποτελέσματα που ανταγωνίζονται τους leading βοηθούς κωδικοποίησης ενώ μειώνει τη χρήση token μέχρι και 30%, μια ολοένα και πιο σημαντική σκέψη καθώς οι επιχειρήσεις προσπαθούν να διαχειριστούν το λειτουργικό κόστος της τεχνητής νοημοσύνης.

Η εταιρεία τονίζει επίσης την ευελιξία της εγκατάστασης επιχείρησης. Το Backboard Studio μπορεί να λειτουργήσει είτε ως υπηρεσία cloud είτε μέσα στο δικό του περιβάλλον της οργάνωσης, επιτρέποντας τον ιδιωτικό κώδικα να παραμείνει μέσα στα εταιρικά περιβάλλοντα αντί να μεταδοθεί σε τρίτους παρόχους AI.

Nash Συνδυάζει Χιλιάδες Μοντέλα AI

Ένα τρίτο συστατικό της ανακοίνωσης είναι το Nash, μια ενοποιημένη εφαρμογή chat που παρέχει πρόσβαση σε χιλιάδες μοντέλα κειμένου και εικόνας AI μέσω μιας đơnικής διεπαφής.

Η концепτός απευθύνεται σε μια αυξανόμενη ανησυχία επιχείρησης γνωστή ως “σκιώδης AI”, όπου οι υπαλλήλοι υιοθετούν ανεξάρτητα εργαλεία AI καταναλωτών έξω από τα εγκεκριμένα εταιρικά συστήματα. Αντί να προσπαθήσουν να μπλοκάρουν τη χρήση της AI, η Backboard θέτει το Nash ως μια κεντρική πλατφόρμα που παρέχει στις οργανώσεις πρόσβαση σε ένα ευρύ φάσμα μοντέλων ενώ διατηρεί την κυριαρχία над τα δεδομένα των χρηστών και την εταιρική μνήμη.

Η υποκείμενη υποδομή υποστηρίζει επίσης Bring Your Own Key (BYOK), την προσαρμοστική διαχείριση του контεκστ και τη διαδρομή σε χιλιάδες διαθέσιμα μοντέλα μέσω μιας đơnικής πλατφόρμας.

Θεώρηση της Μνήμης ως Υποδομής AI

Ένας από τους ορισμούς τεχνικών εστίασης της Backboard από την έναρξή της ήταν η μόνιμη μνήμη AI.

Τα μεγάλα μοντέλα γλώσσας παραμένουν ουσιαστικά αμνησιακά, που σημαίνει ότι οι συνομιλίες, οι προτιμήσεις και η ιστορικό контεκστ συνήθως εξαφανίζονται trừ khi οι développers χτίσουν πρόσθετη υποδομή γύρω από αυτά. Η Backboard έχει θέσει τον εαυτό της ως một αφοσιωμένη στιβάδα μνήμης που λειτουργεί σε διαφορετικά μοντέλα και εφαρμογές AI αντί να κλειδώνει τους χρήστες σε ένα單ο οικοσύστημα.

Η εταιρεία λέει ότι το σύστημα μνήμης της目前 κατατάσσεται πρώτο και στις δύο LoCoMo και LongMemEval benchmarks, δύο ευρέως αναφοράς αξιολογήσεις που μετρούν την απόδοση της μακροπρόθεσμης μνήμης και της μόνιμης μνήμης. Νωρίτερα αυτό το έτος, η Backboard περιέγραψε τη μνήμη ως θεμελιώδη υποδομή αντί για απλά ένα χαρακτηριστικό που προστέθηκε στα υπάρχοντα μοντέλα.

Αυτή η αρχιτεκτονική επιτρέπει στις οργανώσεις να διατηρούν την ιστορία του χρήστη, τις προτιμήσεις και τις γνώσεις του контεκστ ακόμη και όταν αλλάζουν μεταξύ διαφορετικών μοντέλων γλώσσας.

AI που Παραμένει Μέσα στα Σύνορα της Επιχείρησης

Σε όλες τις τέσσερις ανακοινώσεις, μια συνεχής φιλοσοφία σχεδιασμού εμφανίζεται: οι επιχειρήσεις θέλουν ολοένα και περισσότερο συστήματα AI που λειτουργούν υπό τον δικό τους έλεγχο.

Η πλατφόρμα της Backboard μπορεί να εγκατασταθεί μέσα στο ιδιωτικό cloud του πελάτη, επιτρέποντας στις οργανώσεις να διατηρούν την ιδιοκτησία των δεδομένων τους ενώ χρησιμοποιούν σύγχρονες ικανότητες AI. Αυτή η προσέγγιση είναι ιδιαίτερα σχετική για τις βιομηχανίες που χειρίζονται ευαίσθητες πληροφορίες, συμπεριλαμβανομένης της υγείας, των χρηματοοικονομικών υπηρεσιών, της κυβέρνησης και της κρίσιμης υποδομής, όπου οι ρυθμιστικές απαιτήσεις συχνά περιορίζουν τη χρήση εξωτερικά φιλοξενούμενων υπηρεσιών AI.

Αντί να πλαισιώνουν την κυριαρχία αποκλειστικά ως εθνικό ζήτημα, η αρχιτεκτονική της εταιρείας εστιάζει στον έλεγχο της επιχείρησης – διατηρώντας τα μοντέλα, τη μνήμη και τα δεδομένα της εφαρμογής μέσα στα περιβάλλοντα που διαχειρίζονται οι πελάτες.

Μια Αυξανόμενη Καναδική Ιστορία Υποδομής AI

Αν και μεγάλο μέρος της παγκόσμιας συζήτησης της AI παραμένει κεντρισμένο στις εταιρείες μοντέλων της Silicon Valley, η Backboard αντιπροσωπεύει μια άλλη κατηγορία εταιρειών AI που κερδίζουν ορμή: οι οικοδομικοί της υποδομής που εστιάζουν στο να κάνουν τα υπάρχοντα μοντέλα πιο πρακτικά για περιβάλλοντα παραγωγής.

Ιδρυθείσα από τον Rob Imbeault, προηγουμένως συνιδρυτής της καναδικής εταιρείας λογισμικού αλυσίδας προμήθειας Assent, η Backboard έχει εστιάσει στην βελτίωση της οικονομίας και των λειτουργικών χαρακτηριστικών της επιχειρηματικής AI αντί να ανταγωνίζεται για την κατασκευή του επόμενου μοντέλου γλώσσας. Νωρίτερα αυτό το έτος, η εταιρεία raised了一轮 προ-σπόρος χρηματοδότησης για να συνεχίσει την ανάπτυξη της πλατφόρμας υποδομής AI.

Καθώς η επιχειρηματική AI ωριμάζει, οι τεχνολογίες που μειώνουν το κόστος της εύρεσης, βελτιώνουν τη μνήμη, απλοποιούν την ανάπτυξη πολλαπλών μοντέλων και ενεργοποιούν τα αυτο-φιλοξενούμενα περιβάλλοντα AI μπορεί να γίνουν ολοένα και πιο σημαντικές παράλληλα με τις προόδους στην ικανότητα του μοντέλου. Οι τελευταίες κυκλοφορίες της Backboard αντανακλούν αυτήν την ευρύτερη μετατόπιση – από την κατασκευή μεγαλύτερων μοντέλων στην κατασκευή υποδομής που βοηθά τις οργανώσεις να εξάγουν περισσότερη αξία από τα μοντέλα που ήδη χρησιμοποιούν.