Η Clairvoyance της Stardock προσθέτει το Hivemind για κοινή χρήση αδρανών GPU στην τοπική ΤΝ

Η Clairvoyance της Stardock προσθέτει έναν τρόπο ώστε οι ομάδες να αξιοποιούν τους αδρανείς υπολογιστές για την εκτέλεση συμπερασμών από μοντέλα ΤΝ. Ο διαχειριστής τοπικών μοντέλων Locama περιλαμβάνει το Hivemind, μια λειτουργία που κατανέμει τη διαθέσιμη υπολογιστική ισχύ για τοπική εκτέλεση συμπερασμών στους υπολογιστές μιας εταιρείας, καθώς και ένα σημείο αναφοράς που έχει σχεδιαστεί για να δείχνει πόσο καλά εκτελούν μοντέλα ΤΝ συγκεκριμένα συστήματα.

Η έκδοση της 5ης Νοεμβρίου παρουσιάζει την Clairvoyance 0.90 ως περιβάλλον επιφάνειας εργασίας για τον συνδυασμό τοπικών μοντέλων και μοντέλων νέφους. Το Locama διαχειρίζεται την εγκατάσταση, την εκτέλεση και τον συντονισμό τοπικών μοντέλων σε Windows, macOS και Linux· το Hivemind επεκτείνει αυτή την προσέγγιση, από έναν υπολογιστή στα διαθέσιμα μηχανήματα μιας ομάδας.

Η Stardock στοχεύει σε επαναλαμβανόμενες επιχειρηματικές εργασίες μεγάλου όγκου, σε τομείς όπως οι προμήθειες, οι εφοδιαστικές αλυσίδες, οι νομικές λειτουργίες και τα οικονομικά. Το επιχείρημά της είναι ότι ορισμένες από αυτές τις εργασίες μπορούν να εκτελούνται σε υλικό που διαθέτει ήδη ένας οργανισμός, μειώνοντας την ανάγκη να αποστέλλεται κάθε αίτημα σε υπηρεσία νέφους με χρέωση βάσει χρήσης.

Το Hivemind μετατρέπει τους αχρησιμοποίητους υπολογιστές σε κοινόχρηστη υπολογιστική ισχύ για εκτέλεση συμπερασμών

Το Hivemind επιτρέπει στα μέλη μιας ομάδας να εκτελούν εργασίες ΤΝ αξιοποιώντας τις αδρανείς GPU στους υπολογιστές της εταιρείας. Αυτό μπορεί να είναι ιδιαίτερα χρήσιμο εκτός του συνηθισμένου ωραρίου εργασίας, όταν οι υπολογιστές που μπορούν να εκτελέσουν τοπικά μοντέλα ενδέχεται διαφορετικά να μένουν αχρησιμοποίητοι.

«Οι περισσότερες επιχειρήσεις έχουν ισχυρούς υπολογιστές που μένουν αδρανείς κάθε βράδυ, και το Hivemind επιτρέπει να τους συνδέουν και να τους αξιοποιούν», δήλωσε ο Brad Wardell, διευθύνων σύμβουλος της Stardock Software.

Η τεχνική ορολογία της εταιρείας περιγράφει το Hivemind ως κοινόχρηστη τοπική εκτέλεση συμπερασμών μεταξύ ομότιμων συστημάτων. Ξεχωρίζει το Locama ως τον κεντρικό υπολογιστή εκτέλεσης συμπερασμών και αποδίδει σε ένα στοιχείο δρομολόγησης, με την ονομασία Concierge, την ευθύνη επιλογής μοντέλου και μηχανήματος για κάθε γύρο.

Αυτό αποτελεί σημαντική διάκριση από την υπόθεση ότι πολλοί υπολογιστές συνδυάζονται σε έναν μεγάλο επιταχυντή. Η κατανομή εργασιών στα διαθέσιμα μηχανήματα μπορεί να αυξήσει τη διαθέσιμη υπολογιστική ισχύ, αλλά η ανακοίνωση δεν διευκρινίζει αν υποστηρίζεται εκτέλεση με παραλληλισμό τενσόρων, αν συνδυάζεται η μνήμη GPU ή πώς θα κατανεμόταν ένα μοντέλο που είναι υπερβολικά μεγάλο για να εκτελεστεί σε έναν υπολογιστή μεταξύ ομότιμων συστημάτων.

Για μια ομάδα που αποφασίζει πού θα εκτελέσει μια εργασία, τα χρήσιμα ερωτήματα είναι αν το μοντέλο χωράει στο διαθέσιμο υλικό, αν παράγει αποδεκτά αποτελέσματα και αν η δρομολόγηση της εργασίας σε άλλον υπολογιστή προκαλεί μεγαλύτερη καθυστέρηση από το όφελος που προσφέρει. Η αξία του Hivemind θα εξαρτηθεί από αυτόν τον συνδυασμό και όχι μόνο από τη διαθεσιμότητα GPU.

Τοπικά μοντέλα και μοντέλα νέφους στον ίδιο χώρο εργασίας

Η Clairvoyance οργανώνει τους βοηθούς ΤΝ ως ονομαστικά μέλη προσωπικού, τα Staff, τα οποία εργάζονται με τα αρχεία του χρήστη και δημιουργούν έγγραφα και άλλα παραδοτέα. Η τεκμηρίωσή της περιγράφει πώς μπορούν να αντιστοιχιστούν διαφορετικοί πάροχοι ή τοπικά μοντέλα στα μέλη Staff, ώστε ένας χώρος εργασίας να συνδυάζει διαφορετικές υπολογιστικές επιλογές.

Η διάκριση μεταξύ αυτών των επιλογών έχει σημασία. Ένα τοπικό μοντέλο εκτελείται σε υλικό που ελέγχει ο χρήστης ή ο οργανισμός. Η σύνδεση με το εργαλείο ενός παρόχου νέφους παρέχει πρόσβαση μέσω του λογαριασμού και του συστήματος ελέγχου ταυτότητας του συγκεκριμένου παρόχου· η εγκατάσταση της Clairvoyance δεν παρέχει αυτομάτως απεριόριστη πρόσβαση σε κάθε εμπορικό μοντέλο που υποστηρίζει.

Η τεκμηρίωση επισημαίνει επίσης ότι οι δυνατότητες χρήσης εργαλείων διαφέρουν μεταξύ των τοπικών μοντέλων. Ένα μοντέλο που μπορεί να απαντά σε ερωτήσεις δεν είναι κατ’ ανάγκη σε θέση να εκτελέσει τη ροή εργασίας με δυνατότητες πρακτόρων ΤΝ που χρειάζεται μια ομάδα. Επομένως, η επιλογή ενός μικρότερου τοπικού μοντέλου είναι απόφαση που εξαρτάται από την εκάστοτε εργασία και λαμβάνει υπόψη τόσο τις δυνατότητες όσο και την ταχύτητα.

Έτσι, το προϊόν αποκτά έναν πρακτικό ρόλο ανάμεσα στον εργαζόμενο και τα υποκείμενα περιβάλλοντα εκτέλεσης μοντέλων. Αντί να χρησιμοποιεί το ίδιο σύστημα υποστήριξης για κάθε εργασία, το περιβάλλον μπορεί να υποστηρίζει διαφορετικές επιλογές ανάλογα με το είδος της εργασίας. Η ανακοίνωση δεν παρέχει ανεξάρτητες μετρήσεις για τη μείωση του κόστους υπηρεσιών νέφους από την ανάπτυξη του Hivemind.

Σημείο αναφοράς για το υλικό που διαθέτουν πραγματικά οι χρήστες

Το Locama περιλαμβάνει επίσης το σημείο αναφοράς Clairvoyance Local AI Benchmark. Η Stardock περιγράφει την κύρια μέτρησή του, την Model Speed, ως συνδυασμό του χρόνου που χρειάζεται ένα τοπικό μοντέλο για να επεξεργαστεί ένα αίτημα και να επιστρέψει ολοκληρωμένη απάντηση. Τα δημόσια αποτελέσματα είναι διαθέσιμα στη διεύθυνση clairvoyanceai.com/benchmark, ενώ οι χρήστες της έκδοσης Professional μπορούν να εκτελούν δοκιμές στο δικό τους υλικό.

Οι σημειώσεις έκδοσης του προϊόντος περιγράφουν μετρήσεις όπως την προεπεξεργασία εισόδου, την αποκωδικοποίηση, τον χρόνο έως το πρώτο διακριτικό και τη μνήμη, καθώς και ελέγχους προσανατολισμένους σε συγκεκριμένες εργασίες. Η προεπεξεργασία εισόδου αφορά την επεξεργασία μιας αρχικής προτροπής και του περιεχομένου που τη συνοδεύει· η αποκωδικοποίηση είναι η δημιουργία της απάντησης. Αυτά τα στάδια μπορούν να επιβαρύνουν το υλικό με διαφορετικούς τρόπους.

Ένα γρήγορο πρώτο διακριτικό μπορεί να κάνει μια διεπαφή να φαίνεται άμεση, ενώ ο συνολικός χρόνος ολοκλήρωσης έχει σημασία για μια μαζική εργασία ή μια μεγαλύτερη εργασία πράκτορα. Η προβολή αυτών των μετρήσεων καθιστά ένα σημείο αναφοράς πιο χρήσιμο από την απλή εξέταση μίας μόνο προδιαγραφής υλικού.

Η σελίδα αποτελεσμάτων αναφέρει ότι οι υποβολές προέρχονται από χρήστες της Clairvoyance και αντικατοπτρίζουν το υλικό και τις ρυθμίσεις τους. Έτσι, η βάση δεδομένων αποτελεί πηγή στοιχείων για συγκεκριμένες διαμορφώσεις και όχι μια ελεγχόμενη, ανεξάρτητη κατάταξη. Για ουσιαστικές συγκρίσεις πρέπει και πάλι να λαμβάνονται υπόψη το μοντέλο, η ακρίβεια, το περιβάλλον συμφραζομένων, η εργασία και το περιβάλλον εκτέλεσης που χρησιμοποιήθηκαν.

Η ενσωμάτωση της Qualcomm προσθέτει ακόμη μία επιλογή τοπικής υπολογιστικής ισχύος

Η συνεργασία του Clairvoyance με την Qualcomm ξεκίνησε πριν από αυτή την κυκλοφορία. Ένα άρθρο για προγραμματιστές της Qualcomm, με ημερομηνία 23 Σεπτεμβρίου, καταγράφει την ενσωμάτωση του GenieX, του περιβάλλοντος εκτέλεσης παραγωγικής ΤΝ της εταιρείας κατασκευής τσιπ, που λειτουργεί στη συσκευή, με τη μονάδα NPU Hexagon σε υπολογιστές της σειράς Snapdragon X.

Αυτή η ενσωμάτωση διευρύνει τις δυνατότητες τοπικής εκτέλεσης μοντέλων πέρα από τις συμβατικές κάρτες γραφικών για επιτραπέζιους υπολογιστές. Η Qualcomm περιγράφει την επιλογή μοντέλων και υπολογιστικών πόρων ανάλογα με τις απαιτήσεις κάθε εργασίας, με υποστήριξη τοπικών ροών εργασίας με πράκτορες ΤΝ. Ωστόσο, δεν τεκμηριώνει ότι κάθε τοπικό μοντέλο μπορεί να αντικαταστήσει ένα μοντέλο ΤΝ αιχμής στο νέφος για κάθε εργασία.

Η σημασία του για το Hivemind έγκειται στην ευρύτερη στρατηγική αξιοποίησης του υλικού: να μπορούν να χρησιμοποιούνται οι υπάρχοντες υπολογιστικοί πόροι μέσα από ένα ενιαίο λειτουργικό περιβάλλον. Διαφορετικά μηχανήματα μπορεί να προσφέρουν διαφορετικές δυνατότητες ως προς τη χωρητικότητα μοντέλων, το εύρος ζώνης και την επιτάχυνση, επομένως το λογισμικό πρέπει να αντιστοιχίζει κάθε εργασία στους διαθέσιμους πόρους.

Τιμολόγηση και οικονομικά οφέλη από την επαναχρησιμοποίηση του υλικού

Το Clairvoyance 0.90 κυκλοφορεί για Windows, macOS και Linux. Η σελίδα τιμολόγησης αναφέρει ένα δωρεάν επίπεδο για προσωπική και μη εμπορική χρήση, ενώ το Professional κοστίζει 20 $ τον μήνα και προσθέτει εμπορική άδεια χρήσης, Hivemind, δυνατότητες για ομάδες, συγχρονισμό στο νέφος και ένα πακέτο διακριτικών ΤΝ που περιλαμβάνεται. Το Enterprise αναφέρεται στα 100 $ ανά θέση χρήστη τον μήνα και περιλαμβάνει πρόσθετες λειτουργίες για οργανισμούς και συμφωνίες βάσει όγκου.

Η τοπική εκτέλεση μοντέλων μπορεί να μειώσει τις δαπάνες για υπηρεσίες νέφους που χρεώνονται βάσει χρήσης, αλλά εξακολουθεί να έχει κόστος: κατανάλωση ενέργειας, φθορά του υλικού, διαχείριση και κόστος ευκαιρίας από τη δέσμευση ενός μηχανήματος. Για τη σύγκριση του κόστους πρέπει επίσης να συνυπολογίζονται η ποιότητα των αποτελεσμάτων και τυχόν εργασία που απαιτείται για τον έλεγχο ή τη διόρθωσή τους.

Το στοίχημα της Stardock είναι ότι αρκετές επαναλαμβανόμενες εργασίες μπορούν να καλύψουν αυτές τις απαιτήσεις με υλικό που βρίσκεται ήδη κοντά. Το Hivemind δίνει στις ομάδες έναν τρόπο να διερευνήσουν αυτή την υπόθεση, ενώ η συγκριτική δοκιμή προσφέρει ένα σημείο εκκίνησης για να μετρηθεί ποια μοντέλα και μηχανήματα είναι κατάλληλα για κάθε εργασία.