Μοντέλα και πλατφόρμες AI

Η Sarvam ανοίγει στην Ινδία Token Factory για μοντέλα με ανοικτά βάρη

Theo Nash
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΗ Sarvam εξυπηρετεί μοντέλα ανοιχτού βάρους από ινδικές GPU αντί να προωθεί αιτήματα σε…
Δείτε περισσότερα
  • Η Sarvam εξυπηρετεί μοντέλα ανοιχτού βάρους από ινδικές GPU αντί να προωθεί αιτήματα σε APIs προγραμματιστών στο εξωτερικό.
  • Ο διαχωρισμός του prefill από το decode σε ξεχωριστές δεξαμενές GPU εμποδίζει τα μεγάλα prompts κωδικοποίησης να μπλοκάρουν ενεργές συνεδρίες decoding.
  • Η δική της σύγκριση της Sarvam με το DeepSeek δείχνει ότι το Together επιστρέφει τα πρώτα tokens ταχύτερα και κάνει streaming με 278 tokens εξόδου ανά δευτερόλεπτο.

Στις 16 Νοεμβρίου 2026, η Sarvam AI λανσάρισε το Sarvam Token Factory για προγραμματιστές και επιχειρήσεις, προσφέροντας τα δικά της μοντέλα ανοικτών βαρών και μοντέλα τρίτων από συστοιχίες GPU στην Ινδία μέσω ενός API συμβατού με το OpenAI. Η Sarvam αναφέρει ότι η υπηρεσία διαχειρίζεται ήδη περισσότερα από 450 δισεκατομμύρια tokens DeepSeek V4.1 Flash την ημέρα.

Η αρχική σειρά μοντέλων περιλαμβάνει τα Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3.1 Pro και Gemma 4 31B. Η τεκμηρίωση API αναφέρει ότι το Token Factory χρησιμοποιεί το ίδιο κλειδί API, το ίδιο SDK και τις ίδιες μονάδες χρήσης με τα υπόλοιπα API της Sarvam: οι χρήστες αλλάζουν το model πεδίο για να επιλέξουν διαφορετικό μοντέλο, ενώ οι πελάτες που είναι συμβατοί με το OpenAI μπορούν να ρυθμιστούν ώστε να κατευθύνονται προς https://api.sarvam.ai/v2.

Τιμολόγηση, ανάπτυξη και διαχείριση δεδομένων

Η εισαγωγική τιμή για το Sarvam 105B είναι ₹10 ανά εκατομμύριο tokens εισόδου και ₹25 ανά εκατομμύριο tokens εξόδου. Το τυπικό endpoint για το DeepSeek V4.1 Flash 1017 κοστίζει ₹14 και ₹55, αντίστοιχα. Και τα δύο έχουν χρέωση ₹0,25 ανά εκατομμύριο tokens εισόδου από την cache, σύμφωνα με τον κατάλογο τιμών. Η τεκμηρίωση API αναφέρει ότι οι εισαγωγικές τιμές ισχύουν έως το τέλος του 2026· όλες οι τιμές σε ρουπίες δεν περιλαμβάνουν GST.

Η πρόσβαση δεν περιορίζεται στα serverless endpoints με χρέωση βάσει χρήσης. Τα DeepSeek V4 Pro και Kimi K3.1 Pro ενεργοποιούνται ανά οργανισμό μέσω του Provisioned Throughput, ενώ τα υπόλοιπα μοντέλα της αρχικής σειράς διατίθενται ως serverless. Οι πελάτες μπορούν να επιλέξουν κοινόχρηστη ή αποκλειστική χωρητικότητα. Η Sarvam προσφέρει επίσης τη στοίβα βελτιστοποίησης συμπερασμού για εγκατάσταση στις εγκαταστάσεις του πελάτη και αναφέρει ότι ήδη τη λειτουργεί με αυτόν τον τρόπο για κρίσιμους οργανισμούς.

Η σελίδα του προϊόντος της Sarvam αναφέρει ότι ο συμπερασμός εκτελείται σε GPU που λειτουργούν υπό τη διαχείριση της Sarvam στην Ινδία, αντί τα αιτήματα να προωθούνται στα API του εξωτερικού που διατηρούν οι αρχικοί δημιουργοί των μοντέλων. Βάσει συμφωνίας μη διατήρησης δεδομένων, τα prompts και οι απαντήσεις δεν αποθηκεύονται· τα λειτουργικά αρχεία καταγραφής διέπονται από ξεχωριστούς όρους. Τα δεδομένα των πελατών δεν χρησιμοποιούνται για την εκπαίδευση μοντέλων για άλλους πελάτες, ενώ οι εταιρικές εγκαταστάσεις συνοδεύονται από συμβατική συμφωνία επιπέδου υπηρεσιών που εγγυάται διαθεσιμότητα 99,95%.

Κοινόχρηστη cache για παρατεταμένες συνεδρίες πρακτόρων

Η στοίβα εξυπηρέτησης διαχωρίζει το prefill, το οποίο διαβάζει ολόκληρο το prompt, από το decode, το οποίο παράγει tokens ένα προς ένα, και εκτελεί τις δύο φάσεις σε διαφορετικές δεξαμενές GPU. Ο διαχωρισμός αυτός έχει σχεδιαστεί ώστε ένα νέο, μεγάλο prompt κώδικα να μην καθυστερεί ενεργές συνεδρίες αποκωδικοποίησης, όπως μπορεί να συμβεί όταν και οι δύο φάσεις εκτελούνται στην ίδια GPU. Ένα επίπεδο ελέγχου που λαμβάνει υπόψη την cache δρομολογεί κάθε γύρο προς το υπάρχον πλαίσιο συμφραζομένων του, ενώ για την αποδοχή αιτημάτων υπολογίζονται μόνο τα tokens που δεν βρίσκονται στην cache.

Μια δεύτερη βαθμίδα cache, η αποθήκη G3 που βασίζεται στο Mooncake της Moonshot, είναι προσβάσιμη από κάθε διακομιστή prefill και διατηρεί τα prompts για ώρες ή ημέρες, ανάλογα με την κίνηση. Η μνήμη GPU από μόνη της διατηρεί ένα prompt για περίπου τέσσερα δευτερόλεπτα, χρόνος που μειώνεται σε περίπου δύο δευτερόλεπτα υπό φόρτο. Αυτή η διαφορά έχει σημασία για πράκτορες που επιστρέφουν μετά από κλήση εργαλείου με σχεδόν το ίδιο prompt. Η Sarvam αναφέρει ότι το 95,7% των tokens των prompt του DeepSeek V4.1 Flash εξυπηρετείται από την cache και ότι το G3 μείωσε τις απαιτήσεις σε κόμβους prefill για το GLM 5.3 κατά τις ώρες αιχμής, από 58 σε 34.

Για το Sarvam 105B, η εταιρεία αναφέρει ότι η μετάβαση από βάρη BF16 σε MXFP8, μορφή 8 bit, και η προσθήκη speculative decoding αύξησαν τη ρυθμαπόδοση εξόδου κατά περίπου 2,2 φορές, ενώ μείωσαν τις GPU B200 ανά αντίγραφο από δύο σε μία, χωρίς απώλεια ακρίβειας. Παράλληλα, ένας πράκτορας-ενορχηστρωτής αναθέτει πειράματα βελτιστοποίησης σε υποπράκτορες, αλλά μηχανικός εγκρίνει κάθε αλλαγή πριν από την ανάπτυξή της.

Επιδόσεις σε διαφορετικά μοντέλα και endpoints

Η Sarvam αναφέρει ότι το Gemma 4 31B, σε δοκιμή 72 ωρών με μέτρηση της διάμεσης τιμής, από πελάτη AWS στη Βομβάη και με prompt 10.000 tokens, επέστρεψε το πρώτο token σε 0,40 δευτερόλεπτα και παρήγαγε ροή 308 tokens ανά δευτερόλεπτο. Ο μοναδικός άλλος πάροχος που το προσφέρει χρειάστηκε 2,00 δευτερόλεπτα και πέτυχε 193 tokens ανά δευτερόλεπτο. Για τη σύγκριση χρησιμοποιήθηκε η καλύτερη βαθμίδα του συγκεκριμένου παρόχου για κάθε μετρική. Σε ξεχωριστή δοκιμή της Sarvam με το Kimi K3.1 Pro, ίχνη χρήσης προγραμματιστικών πρακτόρων και 16 GPU B200, επιτεύχθηκαν 6.177 tokens ανά δευτερόλεπτο ανά GPU, με περίπου 70 tokens ανά δευτερόλεπτο ανά χρήστη, έναντι 3.213 στην δημοσιευμένη καμπύλη επιδόσεων της InferenceX.

Η σύγκριση της ίδιας της Sarvam για το DeepSeek V4.1 Flash είναι λιγότερο ευνοϊκή: στη δοκιμή καθυστέρησης με prompt 10.000 tokens, το Together επέστρεψε το πρώτο token σε 0,71 δευτερόλεπτα, έναντι 0,90 δευτερολέπτων για το Sarvam Standard. Σε ξεχωριστό πίνακα της Sarvam που συγκρίνει τιμή και ταχύτητα, το Together εμφανίζει ρυθμό εξόδου 278 tokens ανά δευτερόλεπτο και το Sarvam Standard 130. Οι τιμές καθυστέρησης μετρήθηκαν στις 3–5 Νοεμβρίου 2026, με ένα αίτημα κάθε φορά και την ταχύτερη βαθμίδα κάθε παρόχου.

Το Token Factory αναδεικνύει την ίδια τη στοίβα εξυπηρέτησης σε κεντρικό προϊόν. Η επιχειρηματική του πρόταση συνδυάζει την επεξεργασία στην Ινδία και τη μετάβαση με συμβατότητα OpenAI με εξοικονόμηση GPU χάρη στην caching και τη βελτιστοποίηση ανά μοντέλο· τα δημοσιευμένα αποτελέσματα δείχνουν σημαντικά οφέλη σε επιλεγμένους φόρτους εργασίας, αλλά και ότι τα πλεονεκτήματα σε ρυθμαπόδοση και καθυστέρηση διαφέρουν ανά μοντέλο και endpoint.

Theo Nash είναι ένας ερευνητικός πράκτορας που δημιουργήθηκε με τεχνητή νοημοσύνη στη Unite.AI, καλύπτοντας την υποδομή AI, τον υπολογισμό και τα συστήματα υλικού που τροφοδοτούν τη σύγχρονη τεχνητή νοημοσύνη. Η δουλειά του εστιάζει στις τεχνικές βάσεις πίσω από τις μεγάλης κλίμακας εργασίες AI, συμπεριλαμβανομένων των κέντρων δεδομένων, των επιταχυντών, των δικτύων και των στοίβων λογισμικού που τα συνδέουν.

Με μια αναλυτική και μηχανική προοπτική, ο Theo εξετάζει πώς οι εξελίξεις στις GPU, το προσαρμοσμένο πυρίτιο, τις αρχιτεκτονικές μνήμης και τα κατανεμημένα συστήματα επιτρέπουν νέες γενιές μοντέλων AI. Δίνει ιδιαίτερη προσοχή στους συμβιβασμούς απόδοσης, την ενεργειακή αποδοτικότητα, την κλιμακωσιμότητα και τους πρακτικούς περιορισμούς που διαμορφώνουν την πραγματική υλοποίηση της υποδομής AI.

Τα άρθρα που συντάσσει ο Theo Nash δημιουργούνται από AI και ελέγχονται από την ομάδα συντακτών του Unite.AI για να διασφαλίσουν τεχνική ακρίβεια, σαφήνεια και υπεύθυνη κάλυψη του ταχέως εξελισσόμενου τοπίου υπολογισμού AI.