Η TBC λανσάρει το Mischief, ένα μοντέλο βίντεο ΤΝ που βασίζεται σε νευρώνες και στο Wan 2.2

Η δημιουργία ενός σύντομου βίντεο με ΤΝ μπορεί να απαιτεί επανειλημμένες προσπάθειες και αναμονή μέχρι να προκύψει ένα αξιοποιήσιμο απόσπασμα. Η Biological Computing Co. (TBC) επιχειρεί να συντομεύσει αυτή τη διαδικασία αντλώντας έμπνευση από μια ασυνήθιστη πηγή: τις μετρήσεις ζωντανών νευρώνων.

Η εταιρεία λανσάρει το TBC Mischief, ένα μοντέλο μετατροπής εικόνας σε βίντεο που βασίζεται στο Wan 2.2, μέσω του fal.ai στις 30 Οκτωβρίου. Η TBC αναφέρει ότι η δική της εκδοχή παράγει βίντεο πέντε φορές ταχύτερα, με 80% χαμηλότερο κόστος από το βασικό μοντέλο, ενώ παράλληλα βελτιώνει την ποιότητα των αποτελεσμάτων. Πρόκειται για συγκρίσεις που αναφέρει η ίδια η εταιρεία· η ανακοίνωση δεν περιλαμβάνει ανεξάρτητη συγκριτική αξιολόγηση ούτε αρκετές λεπτομέρειες για τις δοκιμές, ώστε να διαπιστωθεί πώς θα ίσχυαν αυτά τα οφέλη σε διαφορετικά φόρτα εργασίας.

Η βασική διαφορά αφορά τον τρόπο με τον οποίο αξιοποιείται η βιολογία στο σύστημα. Το Mischief λειτουργεί ως λογισμικό σε συμβατικό υλικό ΤΝ. Οι πελάτες δεν στέλνουν προτροπές σε ζωντανά κύτταρα ούτε εγκαθιστούν βιολογικούς επεξεργαστές. Η TBC χρησιμοποιεί νευρωνική δραστηριότητα στην ερευνητική της διαδικασία και στη συνέχεια μετατρέπει όσα μαθαίνει σε λογισμικό που τροποποιεί ένα υπάρχον μοντέλο.

Τι προσφέρει το TBC Mischief

Σύμφωνα με την ανακοίνωση του λανσαρίσματος, το Mischief θα είναι διαθέσιμο μέσω του σημείου πρόσβασης μετατροπής εικόνας σε βίντεο του fal.ai, με δωρεάν πρόσβαση έως τις 2 Νοεμβρίου. Η ανακοινωθείσα τιμή είναι 0,02 $ ανά δευτερόλεπτο βίντεο που δημιουργείται. Με αυτή την τιμή, 100 αποσπάσματα διάρκειας πέντε δευτερολέπτων θα κόστιζαν 10 $, χωρίς να υπολογίζονται άλλα έξοδα της ροής εργασίας.

Η TBC αναφέρει επίσης ότι η Wonder Studios δοκίμασε το μοντέλο σε ροή εργασίας παραγωγής, δημιουργώντας 100 αποσπάσματα διάρκειας πέντε δευτερολέπτων σε περίπου έξι λεπτά. Πρόκειται για αναφερόμενο αποτέλεσμα μιας συνολικής παρτίδας και όχι για μέτρηση της καθυστέρησης που θα πρέπει να αναμένει κάθε μεμονωμένος χρήστης. Ο ταυτόχρονος φόρτος, η ανάλυση, οι ρυθμίσεις δειγματοληψίας και το υλικό εξυπηρέτησης μπορούν να επηρεάσουν τη σχέση ανάμεσα στη διεκπεραιωτική ικανότητα μιας παρτίδας και στον χρόνο που απαιτείται για ένα αίτημα.

Για τις δημιουργικές ομάδες, το πρακτικό ερώτημα είναι αν ένα ταχύτερο μοντέλο παράγει περισσότερο αξιοποιήσιμο υλικό βίντεο ανά δολάριο. Η χαμηλότερη τιμή δημιουργίας έχει μικρότερη σημασία αν μια λήψη απαιτεί πολλές επαναλήψεις, χάνει τη συνέχεια ή δεν ακολουθεί την εικόνα εισόδου. Επομένως, η αξιολόγηση του Mischief προϋποθέτει σύγκριση τόσο της ταχύτητας όσο και των επιτυχημένων αποτελεσμάτων υπό ισοδύναμες ρυθμίσεις.

Από τις νευρωνικές καταγραφές σε ένα επίπεδο λογισμικού

Στον ιστότοπο της TBC, η εταιρεία περιγράφει μια διαδικασία που περιλαμβάνει την κωδικοποίηση υπολογιστικών προκλήσεων σε ηλεκτρικά σήματα, τη μέτρηση της απόκρισης καλλιεργημένων νευρωνικών δικτύων και την εξαγωγή αρχών που μπορούν να υλοποιηθούν σε λογισμικό. Η εμπορική της προσέγγιση συνίσταται σε ένα επίπεδο μεταγενέστερης εκπαίδευσης γύρω από μπλοκ μετασχηματιστών διάχυσης, το οποίο, όπως αναφέρει, αυξάνει τον αριθμό παραμέτρων του βασικού μοντέλου κατά λιγότερο από 0,1%.

Αυτή η μικρή προσθήκη είναι σημαντική για την κεντρική ιδέα του προϊόντος: ένα υπάρχον μοντέλο μπορεί να δεχτεί μια στοχευμένη τροποποίηση χωρίς να αντικατασταθεί από ένα εντελώς νέο θεμελιώδες μοντέλο. Το βιολογικό στοιχείο αφορά την ανακάλυψη και την ανάπτυξη· το σύστημα συμπερασμού που προκύπτει παραμένει ψηφιακό.

Η τεχνική ανάρτηση για το Neural Dynamics Adapter της εταιρείας δίνει ένα πιο συγκεκριμένο παράδειγμα της προηγούμενης έρευνάς της. Σε εκείνη τη μελέτη, η TBC κατέγραψε καλλιεργημένη νευρωνική δραστηριότητα χρησιμοποιώντας συστοιχία υψηλής πυκνότητας με 4.096 ηλεκτρόδια, μετέτρεψε τις καταγραφές σε αριθμητικές αναπαραστάσεις και ενσωμάτωσε έναν ελαφρύ προσαρμογέα σε ένα μοντέλο διάχυσης. Η μελέτη χρησιμοποίησε το Oasis, ένα διαδραστικό μοντέλο βίντεο Minecraft, και όχι το μοντέλο Wan 2.2 στο οποίο βασίζεται το Mischief.

Αυτή η διάκριση έχει σημασία. Ένα ερευνητικό αποτέλεσμα σε ένα διαδραστικό περιβάλλον μπορεί να βοηθήσει στην εξήγηση μιας μεθόδου, χωρίς να αποδεικνύει την απόδοση ενός ξεχωριστού εμπορικού προϊόντος. Η ανάρτηση για τον προσαρμογέα περιγράφει επίσης περιορισμούς, όπως το στενό πεδίο δοκιμών και αποτελέσματα που διέφεραν ανάλογα με τις ρυθμίσεις αποθορυβοποίησης. Υποστηρίζει μια εύλογη κατεύθυνση για τη μηχανική ανάπτυξη, χωρίς όμως να αποδεικνύει τη δυνατότητα γενίκευσης σε ευρύτερο πεδίο.

Η βιολογία και η συμβατική βελτιστοποίηση μπορούν να λειτουργήσουν συνδυαστικά

Μια ξεχωριστή ανάρτηση της TBC, με τίτλο Μια αίσθηση χώρου και χρόνου, εξετάζει έναν ακόμη τρόπο μεταφοράς παρατηρήσεων από τη βιολογία στη δημιουργία βίντεο. Η ερευνητική αρχιτεκτονική συνδυάζει τοπική χωρική επεξεργασία με μια μικρή χρονική μνήμη, αξιοποιώντας νευρωνικές μετρήσεις για να καθοδηγήσει τον τρόπο με τον οποίο διατηρούνται οι πληροφορίες από καρέ σε καρέ.

Η ανάρτηση διευκρινίζει επίσης ότι οι βελτιώσεις στην ταχύτητα του συστήματος που τέθηκε σε λειτουργία συνδύασαν αλλαγές στο μοντέλο με βελτιστοποιήσεις στην εξυπηρέτηση. Σε αυτές περιλαμβάνονταν η αποθήκευση στην προσωρινή μνήμη πλαισίων που είχαν ήδη υποστεί επεξεργασία, η μείωση των υπολογισμών δειγματοληψίας και η αποτελεσματική εξυπηρέτηση πολλαπλών συνεδριών. Τα ευρήματα αφορούν ένα διαδραστικό σύστημα βίντεο βασισμένο στο Oasis και όχι μια άμεση συγκριτική αξιολόγηση του Mischief.

Αυτό προσφέρει χρήσιμο πλαίσιο για το λανσάρισμα: η βιολογική έρευνα μπορεί να συμβάλει στον σχεδιασμό μιας αρχιτεκτονικής μοντέλου, ενώ οι καθιερωμένες τεχνικές λογισμικού εξακολουθούν να ενισχύουν την αποδοτικότητα του τελικού συστήματος. Ο διαχωρισμός αυτών των συνεισφορών θα βοηθούσε τους προγραμματιστές να κατανοήσουν ποια οφέλη προέρχονται από το μοντέλο, ποια από τη στοίβα συμπερασμού και ποια εξαρτώνται από μια συγκεκριμένη εγκατάσταση.

Μια διαδρομή προς την υπάρχουσα υποδομή ΤΝ

Το Mischief ακολουθεί την ανακοίνωση της TBC τον Σεπτέμβριο για συνεργασία με την Amazon Web Services. Η ανακοίνωση περιέγραφε εργασίες που αφορούσαν το AWS Trainium και το Amazon SageMaker AI, καθώς και μια πορεία προς την εμπορική διάθεση του λογισμικού που προέρχεται από νευρώνες μέσω του AWS Marketplace. Η προηγούμενη συνεργασία αφορούσε τη μετατροπή κειμένου σε βίντεο· το λανσάρισμα του Mischief εστιάζει στην πρόσβαση για μετατροπή εικόνας σε βίντεο μέσω του fal.ai.

Η συνήθης στρατηγική είναι να ενσωματώνεται η έρευνα σε υποδομές που χρησιμοποιούν ήδη οι προγραμματιστές. Ένα μοντέλο προσβάσιμο μέσω API αξιολογείται ευκολότερα στο πλαίσιο μιας υπάρχουσας δημιουργικής ροής εργασίας απ’ ό,τι ένα σύστημα που απαιτεί μια νέα κατηγορία φυσικού εξοπλισμού. Παρέχει επίσης στους χρήστες μια πρακτική ευκαιρία να δοκιμάσουν τους ισχυρισμούς της εταιρείας με τις δικές τους εικόνες, προτροπές και κριτήρια αποδοχής.

Η TBC, με επικεφαλής τον διευθύνοντα σύμβουλο και συνιδρυτή Alex Ksendzovsky και τον διευθυντή λειτουργιών και συνιδρυτή Jon Pomeraniec, αναφέρει ότι διερευνά επίσης νεότερα μοντέλα βίντεο, γλωσσικά μοντέλα και τη φυσική τεχνητή νοημοσύνη. Πρόκειται για κατευθύνσεις ανάπτυξης και όχι για δυνατότητες που έχουν τεκμηριωθεί με αυτή την κυκλοφορία.

Τι θα έκανε την κυκλοφορία σημαντική

Τα πιο χρήσιμα επόμενα στοιχεία θα ήταν μια αναπαραγώγιμη σύγκριση με το Wan 2.2, με πανομοιότυπο εξοπλισμό και ανάλυση, δημοσιοποιημένες ρυθμίσεις δειγματοληψίας, χωριστές μετρήσεις καθυστέρησης και ρυθμαπόδοσης, καθώς και αξιολόγηση της ποιότητας σε ένα ευρύ σύνολο εισόδων. Θα χρειάζονταν επίσης μετρήσεις ενέργειας, ώστε να συνδεθεί το χαμηλότερο κόστος συμπερασμού με τους ισχυρισμούς περί υπολογιστικής αποδοτικότητας.

Η κυκλοφορία του Mischief μετατοπίζει την προσέγγιση της TBC από τις περιγραφές της έρευνας προς ένα εργαλείο που οι προγραμματιστές μπορούν πράγματι να δοκιμάσουν. Η μακροπρόθεσμη σημασία του θα εξαρτηθεί από το αν τα πλεονεκτήματά του διατηρούνται πέρα από επιλεγμένες επιδείξεις και σε διαφορετικά μοντέλα. Προς το παρόν, η συγκεκριμένη πρόταση είναι μια μικρή τροποποίηση λογισμικού, εμπνευσμένη από βιολογικά πειράματα, η οποία αποσκοπεί στο να καταστήσει οικονομικότερη τη χρήση ενός υπάρχοντος μοντέλου βίντεο.