Η Pathway Ανταποκρίνεται σε Νέα Χρηματοδότηση με Αξιολόγηση 500 Εκατ. Δολαρίων για την Κλιμάκωση του Μετα-Transformer AI

Η εταιρεία έρευνας AI Pathway έχει εξασφαλίσει πρόσθετη χρηματοδότηση με αξιολόγηση 500 εκατ. δολαρίων, αυξάνοντας τη συνολική χρηματοδότηση σπόρων σε 30 εκατ. δολάρια, καθώς προετοιμάζεται να κλιμακώσει μια νέα γενιά μοντέλων που βασίζονται στην αρχιτεκτονική post-Transformer.

Η χρηματοδότηση περιλαμβάνει τη συμμετοχή των Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital και WS Investment Co., το τμήμα επενδύσεων της Wilson Sonsini, μαζί με τον Jonathan Frankle, Επικεφαλής Επιστημονικό Στέλεχος AI της Databricks. Η Pathway ανέφερε ότι ένα μεγάλο μέρος της νέας χρηματοδότησης θα κατευθυνθεί στην επέκταση της ικανότητας υπολογισμού, συμπεριλαμβανομένων των συστημάτων NVIDIA GB300.

Η επένδυση συνοδεύεται από νέα αποτελέσματα για το μοντέλο BDH-CQ της Pathway, δίνοντας στη χρηματοδότηση ένα πιο συγκεκριμένο τεχνικό υπόβαθρο από την αυξανόμενη τάση της κατασκευής μεγαλύτερων μοντέλων θεμελιώδους. Η Pathway αναφέρει ότι το μοντέλο BDH-CQ των 150 εκατ. παραμέτρων πέτυχε 29,5% στο δημόσιο σύνολο αξιολόγησης ARC-AGI-1 με υπολογισμένο κόστος εύρεσης περίπου 0,0007 δολάρια ανά εργασία.

Η Χρηματοδότηση Έρχεται ως Η Pathway Ποντάρει Ενάντια στην Κλιμάκωση με Βία

Μέρος του τρέχοντος αγώνα για τα μοντέλα του μετώπου έχει επικεντρωθεί στην κλίμακα: μεγαλύτερα cluster, περισσότερα δεδομένα εκπαίδευσης, περισσότερες παραμέτρους και αυξανόμενη ποσότητα υπολογισμού κατά την εκτέλεση. Η Pathway ακολουθεί μια διαφορετική προσέγγιση, υποστηρίζοντας ότι κάποια από τα προβλήματα κόστους και μνήμης της βιομηχανίας είναι αρχιτεκτονικά και όχι προβλήματα που μπορούν να λυθούν απεριόριστα με την προσθήκη περισσότερου υπολογισμού.

Αυτή η θέση βρίσκεται στο κέντρο της αρχιτεκτονικής BDH, ή Dragon Hatchling. Η Pathway περιγράφει το BDH ως μια αρχιτεκτονική post-Transformer που προορίζεται να συνδυάσει τη λογική, τη μνήμη και την προσαρμογή μέσα στο μοντέλο selbst, αντί να βασίζεται κυρίως σε một επεκτεινόμενη παράθυρο περιεχομένου ή εξωτερικά συστήματα μνήμης.

Η αρχιτεκτονική βασίζεται σε ιδέες που περιλαμβάνουν την καθαρή κατάσταση, τη σπάνια δραστηριότητα, τις τοπικές αλληλεπιδράσεις και τη συνεχή προσαρμογή. Η Pathway περιγράφει το σχέδιο ως βιολογικά εμπνευσμένο και όχι ως μια προσπάθεια να αναπαράγει ακριβώς τον τρόπο με τον οποίο λειτουργεί ο εγκέφαλος.

Η νέα χρηματοδότηση δίνει στην εταιρεία πρόσθετους πόρους για να δοκιμάσει αν αυτές οι ιδιότητες συνεχίζουν να ισχύουν καθώς τα μοντέλα BDH γίνονται σημαντικά μεγαλύτερα.

Η Pathway προσθέτει επίσης τον Adam Kurzrok ως Διευθυντή Προϊόντων. Ο Kurzrok υπηρέτησε προηγουμένως ως Διευθυντής Προϊόντων για το Gemini στη Google DeepMind και θα ηγηθεί της κατεύθυνσης του προϊόντος για τη συσκευασία, την αξιολόγηση και την ανάπτυξη μοντέλων που βασίζονται στο BDH.

Η εταιρεία formalizes επίσης μια συμβουλευτική ομάδα που περιλαμβάνει τον Łukasz Kaiser, συν-εφευρέτη του Transformer, τον Frankle, τον καθηγητή Martín Farach-Colton του NYU και τον οικονομολόγο Jacques Attali.

Τι Κάνει το BDH-CQ Διαφορετικό

Το BDH-CQ είναι μια επέκταση της ευρύτερης αρχιτεκτονικής BDH που σχεδιάστηκε γύρω από την εκμάθηση σε контέκστ και τη συνεχή λογική με Latent.

Αντί να απαιτείται από το μοντέλο να εκφράσει μεγάλο μέρος της ενδιάμεσης λογικής ως γεννημένο κείμενο, το BDH-CQ εκτελεί επαναλαμβανόμενη υπολογισμό μέσα σε ένα συνεχές Latent χώρο εργασίας. Τα παραδείγματα που παρέχονται κατά την εύρεση ενημερώνουν μια συνεχή κατάσταση μνήμης, μετά την οποία το σύστημα εργάζεται μέσα από το νέο πρόβλημα εσωτερικά πριν από την αποκωδικοποίηση της απάντησής του. Οι παραμέτρους του μοντέλου παραμένουν σταθερές κατά τη διάρκεια αυτής της διαδικασίας.

Αυτό έχει σημασία επειδή η λογική με βάση το token μπορεί να γίνει ακριβή καθώς οι ιχνηλόγοι λογικής μεγαλώνουν. Σε συμβατικές προσεγγίσεις αλυσίδας σκέψης, τα ενδιάμεσα βήματα παράγονται tuần tự και στη συνέχεια τροφοδοτούνται ξανά σε μεταγενέστερα στάδια της διαδικασίας λογικής.

Το BDH-CQ σχεδιάζεται για να διατηρεί περισσότερη από αυτήν την υπολογιστική διαδικασία μέσα στην εσωτερική του κατάσταση, αντί να μεταφράζει συνεχώς τα ενδιάμεσα βήματα λογικής σε γλώσσα.

Η διάκριση δεν σημαίνει ότι η γλώσσα-βασισμένη λογική είναι απαραιτήτως ξεπερασμένη. Αντίθετα, η Pathway δοκιμάζει αν κάποια φορτία εργασίας λογικής μπορούν να χειριστούν πιο αποτελεσματικά χωρίς να απαιτούν κάθε ενδιάμεσο βήμα υπολογισμού να σειριοποιηθεί ως κείμενο.

Τα Αποτελέσματα ARC-AGI Τοποθετούν την Αποτελεσματικότητα Κόστους στο Κέντρο

Το πιο αξιοσημείωτο αποτέλεσμα που συνοδεύει τη χρηματοδότηση προέρχεται από το ARC-AGI-1, ένα benchmark που σχεδιάστηκε για να δοκιμάσει αν τα συστήματα AI μπορούν να συναγάγουν μετασχηματισμούς από ένα μικρό αριθμό παραδειγμάτων και να εφαρμόσουν αυτές τις κανόνες σε μη είδη εισόδου.

Το μοντέλο BDH-CQ των 150 εκατ. παραμέτρων της Pathway πέτυχε 29,5% στο δημόσιο σύνολο αξιολόγησης ARC-AGI-1.

Η τεχνική αξιολόγηση εκτιμά ότι κάθε εργασία απαιτούσε περίπου 0,85 δευτερόλεπτα χρόνου GPU H200, που αντιστοιχεί σε ένα υπολογισμένο κόστος περίπου 0,0007 δολαρίων ανά εργασία, όταν υποθέτουμε ότι το κόστος του H200 είναι 3 δολάρια ανά ώρα GPU.

Η Pathway υποστηρίζει ότι αυτό τοποθετεί το BDH-CQ πέρα από το προηγουμένως αναφερθέν Pareto μέτωπο κόστους-ακρίβειας για το ARC-AGI-1.

Η σημασία δεν είναι ότι το σύστημα 150 εκατ. παραμέτρων έχει τώρα το υψηλότερο απόλυτο σκορ ARC. Κάποια μεγαλύτερα συστήματα λογικής σκοράρουν υψηλότερα. Αντίθετα, η Pathway εστιάζει σε πόση απόδοση λογικής μπορεί να παραχθεί για κάθε δολάριο δαπάνης εύρεσης.

Αυτό μπορεί να γίνει ολοένα και πιο σημαντικό καθώς οι επιχειρήσεις μεταφέρουν τα συστήματα AI από περιστασιακές αλληλεπιδράσεις chatbot προς πράκτορες και άλλα συστήματα που μπορεί να εκτελούν μεγάλους αριθμούς εργασιών λογικής συνεχώς.

Τα Τεχνικά Αποτελέσματα Δείχνουν επίσης Πού το BDH-CQ Ποντάρει

Η ευρύτερη αξιολόγηση παρουσιάζει μια πιο νουανσική εικόνα από τον τίτλο του benchmark.

Στο ConceptARC, που διαχωρίζει προβλήματα λογικής σε διαφορετικές концептуαλικές κατηγορίες, η απόδοση του BDH-CQ ποικίλλει σημαντικά. Έκανε ιδιαίτερα καλά σε beberapa εργασίες που αφορούσαν την επέκταση ορίων και τη διάκριση γεμισμένων από μη γεμισμένα περιοχών, ενώ οι περιοχές που αφορούσαν την αντιγραφή και τη σειρά αποδείχθηκαν πιο δύσκολες.

Ελεγχόμενοι πειραματισμοί παρήγαγαν ένα παρόμοιο μοτίβο.

Η προπαγάνδα και η αντιγραφή παρέμειναν ακριβείς καθώς αυτές οι λειτουργίες επεκτάθηκαν εντός των ελεγμένων περιοχών. Η απόδοση χειροτέρευσε σημαντικά καθώς οι σειρές αντιταγμένες έγιναν μακρύτερες. Τα συνδεδεμένα σχεσιακά προβλήματα έγιναν επίσης πιο δύσκολα όταν το απαιτούμενο βάθος εμβύθισης αυξήθηκε.

Οι ερευνητές βρήκαν επίσης ότι η παροχή παραδειγμάτων που ήταν πιο κοντά στη σύνθετη του στόχου προβλήματος μπορούσε να βελτιώσει σημαντικά την απόδοση σε ορισμένες περιπτώσεις, υποδηλώνοντας ότι μέρος του περιορισμού αφορά πόσο远 η система μπορεί να εξαγάγει από τα παραδείγματα που λαμβάνει.

Αυτές οι αδυναμίες έχουν σημασία επειδή το ARC-AGI παραμένει ένα εξειδικευμένο οπτικό benchmark λογικής. Η ισχυρή αποτελεσματικότητα κόστους στο ARC δεν αποδεικνύει ότι η ίδια αρχιτεκτονική μπορεί να ξεπεράσει τα γενικής χρήσης μοντέλα γλώσσας σε παραγωγικές εργασίες.

Αντίθετα, τα αποτελέσματα παρέχουν στοιχεία για μια στενότερη αλλά πιθανώς σημαντική ιδέα: οι σύνθετες ικανότητες λογικής μπορεί να μην απαιτούν πάντα τεράστιους αριθμούς παραμέτρων ή μακρές σειρές γεννημένων token λογικής.

Η Pathway Κτίζει Επίσης Υποδομή για Εchtzeit AI

Η εργασία της Pathway προηγήθηκε της προσπάθειάς της για τα μοντέλα post-Transformer. Παράλληλα με το BDH, η εταιρεία αναπτύσσει ένα πλαίσιο επεξεργασίας δεδομένων που στοχεύει στη ροή δεδομένων, την ανάλυση σε πραγματικό χρόνο, τις εφαρμογές μεγάλων μοντέλων γλώσσας και τη γεννήτρια με αναζήτηση.

Το πλαίσιο σχεδιάζεται για να βοηθήσει τα συστήματα AI να εργάζονται με πληροφορίες που αλλάζουν συνεχώς, αντί να βασίζονται αποκλειστικά σε στατικά σύνολα δεδομένων ή περιοδικά ξαναχτισμένα ευρετήρια.

Αυτή η υποδομή ταιριάζει στενά με την ευρύτερη κατεύθυνση έρευνας της Pathway. Η υπάρχουσα τεχνολογία της εστιάζει στην διατήρηση των εφαρμογών AI συγχρονισμένων με τις αλλαγμένες εξωτερικές δεδομένα, ενώ το BDH εξερευνά αν η μνήμη και η προσαρμογή μπορούν να γίνουν ολοένα και πιο ιδιότητες της αρχιτεκτονικής του μοντέλου.

Αυτό μπορεί να έχει σημασία για τους πράκτορες AI και άλλα συστήματα που χρειάζονται να διατηρήσουν κατάσταση ενώ αντιδρούν σε νέες πληροφορίες για εκτεταμένα χρονικά διαστήματα.

Τι Ερχεται Επόμενο για την Pathway

Η Pathway σκοπεύει να χρησιμοποιήσει τη νέα χρηματοδότηση για να αυξήσει την ικανότητα του μοντέλου και να εκπαιδεύσει πιο ευρείες ικανότητες συστήματα που βασίζονται στο BDH.

Το δρόμος της περιλαμβάνει μαθηματική λογική, ARC-AGI-2 και ARC-AGI-3, καθώς και την ανάπτυξη ενός μεγάλου μοντέλου γλώσσας που ενσωματώνει τη λογική με Latent.

Η εταιρεία αναφέρει ότι οι πρώτες πειραματικές δοκιμές προ-εκπαίδευσης σε κλίμακα από 1 δισεκατομμύριο έως 600 δισεκατομμύρια παραμέτρους έχουν δείξει συμπεριφορά κλίμακας Transformer ενώ διατηρούν χαρακτηριστικά που σχετίζονται με τη λογική με Latent της BDH.

Αυτό παραμένει μια πρώιμη ένδειξη και όχι απόδειξη ότι τα πλεονεκτήματα της αρχιτεκτονικής θα διαρκέσουν σε μεγάλα, γενικής χρήσης μοντέλα.

Η Pathway στοχεύει τελικά σε τομείς όπως οι χρηματοοικονομικές υπηρεσίες, η υγεία και η τεχνολογία, όπου η μνήμη, οι αλλαγμένες πληροφορίες και το κόστος εύρεσης θα μπορούσαν να γίνουν ιδιαίτερα σημαντικά καθώς τα συστήματα AI κινούνται προς μακροχρόνιες εργασίες.

Για τώρα, η αξιολόγηση των 500 εκατ. δολαρίων αντιπροσωπεύει một σημαντική στοίχημα σε μια εναλλακτική λύση στην κυρίαρχη στρατηγική κλιμάκωσης της βιομηχανίας. Ο πιο σημαντικός έλεγχος θα έρθει καθώς η Pathway μεταφέρει το BDH πέρα από τα σχετικά περιορισμένα προβλήματα λογικής και αποδεικνύει αν τα αρχιτεκτονικά πλεονεκτήματά του διαρκούν σε γλώσσα, μαθηματικά, πράκτορες και πραγματικές εφαρμογές.