Η NVIDIA παρουσιάζει σώμα προεκπαίδευσης 2,8 τρισεκατομμυρίων διακριτικών στοιχείων για τις ινδικές γλώσσες και ανοικτή διαδικασία παραγωγής δεδομένων

Η NVIDIA, σε συνεργασία με το IIT Madras και το εργαστήριό του AI4Bharat, παρουσίασε στις 16 Οκτωβρίου 2026 το Nemotron-pretraining-Indic-v1, ένα συνθετικό σώμα προεκπαίδευσης περίπου 2,8 τρισεκατομμυρίων διακριτικών στοιχείων σε 22 ινδικές γλώσσες, το οποίο θα κυκλοφορήσει σύντομα, μαζί με την ανοικτή διαδικασία παραγωγής δεδομένων με επιτάχυνση GPU που χρησιμοποιήθηκε για τη δημιουργία του.

Οι 22 γλώσσες περιλαμβάνονται στο Σύνταγμα της Ινδίας, το οποίο, σύμφωνα με την ανακοίνωση, τις χαρακτηρίζει μητρικές γλώσσες του 97% των Ινδών —σχεδόν 1,2 δισεκατομμυρίων πολιτών, σύμφωνα με την απογραφή του 2011. Στους συντάκτες της ανάρτησης περιλαμβάνονται οι ερευνητές του AI4Bharat Mohammed Safi Ur Rahman Khan, Mitesh Khapra και Anoop Kunchukuttan, καθώς και οι Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen και Utkarsh Vaidya από τη NVIDIA. Ο Khapra, επικεφαλής του AI4Bharat, έχει κατονομάσει το βασικό πρόβλημα που αφήνει την τεχνολογία για τις ινδικές γλώσσες πίσω από την αντίστοιχη για τα αγγλικά: «Δεν έχουμε αρκετά δεδομένα για τις ινδικές γλώσσες».

Η διαδικασία παραγωγής δεδομένων καταγράφει ολόκληρη τη συνταγή παραγωγής, συμπεριλαμβανομένων των προτροπών, των ροών εργασίας LLM και των ελέγχων ποιότητας, ώστε οι προγραμματιστές να μπορούν να την προσαρμόσουν στο δικό τους υλικό πηγής. Η NVIDIA ανέφερε ότι κάθε εγγραφή ανάγεται σε ένα επιμελημένο έγγραφο πηγής και ότι κάθε αποτέλεσμα ελέγχεται σε αντιπαραβολή με την είσοδό του.

Σύνθεση του σώματος δεδομένων και γλωσσική κάλυψη

Το σώμα δεδομένων περιέχει 2.601,0 δισεκατομμύρια διακριτικά στοιχεία στη γραφή των αντίστοιχων γλωσσών και 224,6 δισεκατομμύρια σε λατινική γραφή, σύμφωνα με την καταμέτρηση με τον κατατμητή του Gemma-4. Η NVIDIA επισημαίνει ότι οι αριθμοί αφορούν το διατηρηθέν σώμα δεδομένων, συμπεριλαμβανομένων των αποδεκτών αναδιατυπώσεων, και όχι τον προϋπολογισμό διακριτικών στοιχείων μιας εκπαιδευτικής εκτέλεσης, καθώς και ότι εξαρτώνται από τον κατατμητή που χρησιμοποιείται.

Σε 34 συνδυασμούς γλώσσας και γραφής, το σώμα δεδομένων παρέχει δεδομένα στη γραφή των αντίστοιχων γλωσσών και για τις 22 γλώσσες, καθώς και κείμενο σε λατινική γραφή για δώδεκα. Δώδεκα γλώσσες διαθέτουν δεδομένα τόσο στη δική τους γραφή όσο και σε λατινική γραφή: Βεγγαλικά, Γκουτζαρατικά, Χίντι, Κανάντα, Μαλαγιαλάμ, Μαράτι, Νεπαλέζικα, Όντια, Παντζάμπι, Ταμίλ, Τελούγκου και Ουρντού. Δέκα διαθέτουν δεδομένα μόνο στη δική τους γραφή: Ασαμικά, Μπόντο, Ντόγκρι, Κασμιρικά, Κονκάνι, Μαϊθίλι, Μανιπούρι, Σανσκριτικά, Σαντάλι και Σίντι.

Η ανάρτηση ορίζει ως γραφή της γλώσσας το δικό της σύστημα γραφής, διευκρινίζοντας ότι το κείμενο εξακολουθεί να είναι μεταφρασμένο από τα αγγλικά, ενώ ως λατινική γραφή ορίζει κείμενο σε ινδική γλώσσα γραμμένο με λατινικούς χαρακτήρες. Για καθεμία από τις δώδεκα γλώσσες με δύο γραφές, η λατινική μεταγραφή καλύπτει ένα υποσύνολο των αποδεκτών μεταφράσεων στη γραφή της γλώσσας.

Δύο ροές εργασίας μετάφρασης

Η διαδικασία παραγωγής ξεκινά από έγγραφα σε 15 υποσύνολα του Nemotron-CC-v2, τα οποία καλύπτουν κείμενα από τον ιστό, υλικό ερωτήσεων και απαντήσεων, μαθηματικά, κώδικα και άλλο εξειδικευμένο περιεχόμενο. Το NeMo Data Designer, το πλαίσιο ανοικτού κώδικα της NVIDIA για συνθετικά δεδομένα, εκτελεί τη μετάφραση, τους ελέγχους ποιότητας και τις στοχευμένες διορθώσεις, διατηρώντας σε όλη τη διαδικασία τα αναγνωριστικά των πηγών, ώστε κάθε αποτέλεσμα να μπορεί να εντοπιστεί στο αρχικό του έγγραφο.

Για τις δώδεκα γλώσσες με δύο γραφές, τα έγγραφα μεταφράζονται ολόκληρα με το Gemma-4-31B-it της Google, το οποίο, σύμφωνα με την ομάδα, επιλέχθηκε κατόπιν σύγκρισης μοντέλων σε πλήρη έγγραφα. Οι προτροπές διακρίνουν το πεζό κείμενο που πρέπει να μεταφραστεί από το περιεχόμενο που πρέπει να διατηρηθεί, όπως ο κώδικας, οι εξισώσεις, οι διευθύνσεις URL και η μορφοποίηση. Στη συνέχεια, το ίδιο μοντέλο αξιολογεί κάθε αποτέλεσμα σε αντιπαραβολή με την αγγλική πηγή του, βάσει κριτηρίων αξιολόγησης εμπνευσμένων από το πλαίσιο Multidimensional Quality Metrics, τα οποία καλύπτουν το νόημα, την ευχέρεια, την ορολογία, το ύφος και τη μορφοποίηση. Διατηρούνται μόνο τα αποτελέσματα με βαθμολογία τουλάχιστον 75 στα 100· όσα συγκεντρώνουν χαμηλότερη βαθμολογία διορθώνονται με βάση την ανατροφοδότηση της αξιολόγησης και επαναξιολογούνται με το ίδιο όριο. Η NVIDIA αναφέρει ότι αυτός ο κύκλος διορθώσεων ανέκτησε 438,4 δισεκατομμύρια διακριτικά στοιχεία σε δεδομένα τόσο στη γραφή των γλωσσών όσο και σε λατινική γραφή, τα οποία περιλαμβάνονται ήδη στο σύνολο του σώματος δεδομένων, και ότι δειγματοληπτικοί ανθρώπινοι έλεγχοι, μαζί με δοκιμές στις οποίες εισήχθησαν σκόπιμα σφάλματα, συνέβαλαν στη βελτίωση των προτροπών και των ελέγχων.

Οι αποδεκτές μεταφράσεις στη γραφή των αντίστοιχων γλωσσών αποτελούν τη βάση για τα δεδομένα σε λατινική γραφή, μέσω ενός ξεχωριστού σταδίου μετατροπής γραφής. Σύμφωνα με τη NVIDIA, μια αρχική σύγκριση από ανθρώπους έδειξε ότι αυτή η προσέγγιση δύο σταδίων παρήγαγε λιγότερες επινοημένες προσθήκες και λιγότερα υπολείμματα αγγλικού κειμένου σε σχέση με την απευθείας παραγωγή κειμένου σε λατινική γραφή από τα αγγλικά.

Για τις άλλες δέκα γλώσσες, η μετάφραση γίνεται με το Indic Translate, ένα μοντέλο μετάφρασης σε επίπεδο εγγράφου για τα αγγλικά και 22 ινδικές γλώσσες, το οποίο αναπτύχθηκε από το Bodhan AI, έναν μη κερδοσκοπικό οργανισμό που δραστηριοποιείται στον τομέα της τεχνητής νοημοσύνης στην εκπαίδευση και υποστηρίζεται από το IIT Madras. Το Gemma-4-31B-it αξιολογεί κάθε μετάφραση σε αντιπαραβολή με την αγγλική πηγή της. Για οκτώ γλώσσες διατηρείται η προσέγγιση της μετάφρασης ολόκληρου του εγγράφου· τα μεγαλύτερα έγγραφα στα Σαντάλι μεταφράζονται σε επικαλυπτόμενα τμήματα και ανασυντίθενται, ενώ το Μανιπούρι μεταφράζεται πρώτα στη γραφή της Βεγγαλικής και κατόπιν μεταγράφεται στο Μεϊτέι Μαγιέκ, τη δική του γραφή. Αυτές οι ροές εργασίας διατηρούν το όριο των 75 στα 100 και παράγουν δεδομένα μόνο στη γραφή των αντίστοιχων γλωσσών, χωρίς αναδιατύπωση βάσει ανατροφοδότησης.

Αποτελέσματα συνεχιζόμενης προεκπαίδευσης

Η τεχνική έκθεση του Nemotron 3.5 Super VL συγκρίνει το checkpoint ακριβώς πριν από τη συνέχιση της προεκπαίδευσης στις ινδικές γλώσσες με το checkpoint μετά από αυτό το στάδιο. Ο προγραμματισμένος προϋπολογισμός ήταν 100 δισεκατομμύρια tokens εκπαίδευσης, από τα οποία το 10 τοις εκατό (10 δισεκατομμύρια tokens) διατέθηκε σε ένα μείγμα συνθετικών και φυσικών κειμένων στις ινδικές γλώσσες, ενώ το υπόλοιπο 90 τοις εκατό διατήρησε τις σχετικές αναλογίες του προηγούμενου μείγματος εκπαίδευσης. Οι βαθμολογίες αυξήθηκαν και στα πέντε αναφερόμενα benchmark γνώσεων και συλλογιστικής για τις ινδικές γλώσσες: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy και Indic GSM8K, με τις αυξήσεις να κυμαίνονται από 4,98 έως 9,82 ποσοστιαίες μονάδες. Η NVIDIA σημειώνει ότι η σύγκριση αφορά ένα στάδιο εκπαίδευσης που συνδυάζει συνθετικά και φυσικά δεδομένα στις ινδικές γλώσσες, αντί να απομονώνει τη συμβολή του συνθετικού σώματος κειμένων, και ότι το GSM8K δεν περιλαμβάνει τα Όντια, επειδή η αξιολόγηση υπερέβη το όριο του πλαισίου περιβάλλοντος εκτέλεσης.

Σε σύγκριση με το Nemotron 3 Super, το Nemotron 3.5 Super VL που κυκλοφόρησε σημειώνει υψηλότερη βαθμολογία σε πέντε από τα έξι benchmark εργασιών που παρουσιάζονται, τα οποία καλύπτουν τη γνώση, τη συλλογιστική, τα μαθηματικά, τον προγραμματισμό και τη μετάφραση, ενώ η επίδοση στην τήρηση οδηγιών στο IFEval 1.5 μειώθηκε κατά 2,04 μονάδες, σύμφωνα με την ανάρτηση. Παρουσιάζει επίσης βελτίωση και στις τέσσερις διαστάσεις του IndiVibe, του ανοιχτού benchmark της Sarvam AI για προτροπές τύπου βοηθού στις ινδικές γλώσσες: χρησιμότητα, ευχέρεια, πιστότητα στη γλώσσα και στη γραφή, καθώς και κατάλληλη έκταση απαντήσεων.

Η NVIDIA δήλωσε ότι σχεδιάζει να αξιοποιήσει αυτό το σώμα κειμένων σε μελλοντικά μοντέλα Nemotron και ότι η αξιολόγηση του πλήρους σώματος κειμένων, συμπεριλαμβανομένων των ανακτημένων αναδιατυπώσεων και της ομάδας των δέκα γλωσσών, παραμένει επόμενο βήμα για ελεγχόμενες μελέτες.

Διαθεσιμότητα και αναφερόμενοι περιορισμοί

Οι διαμορφώσεις των συνόλων δεδομένων χρησιμοποιούν ετικέτες γλώσσας, γραφής και περιοχής, με το hi-Deva-IN να δηλώνει Χίντι γραμμένα στη γραφή Ντεβανάγκαρι και το hi-Latn-IN να δηλώνει Χίντι γραμμένα με λατινικούς χαρακτήρες. Η ροή δεδομένων του Hugging Face Datasets επιτρέπει στους αναγνώστες να εξετάζουν εγγραφές χωρίς να κατεβάσουν ολόκληρο το σώμα κειμένων. Το πρόσθετο μετάφρασης ανοιχτού κώδικα Nemotron Bharat για το NeMo Data Designer παρέχει προτροπές μετάφρασης και αξιολόγησης, προαιρετική αναδιατύπωση βάσει σχολίων, διαχωρισμό εγγράφων σε παράθυρα και υποστήριξη αντιστοίχισης γραφών.

Η NVIDIA προειδοποιεί ότι η μετάφραση δεν υποκαθιστά τα κείμενα που έχουν γραφτεί αρχικά σε ινδικές γλώσσες ούτε εγγυάται την κάλυψη της τοπικής γνώσης και κουλτούρας, και συνιστά τον συνδυασμό του σώματος κειμένων με φυσικά κείμενα στις ινδικές γλώσσες που προέρχονται από κατάλληλες πηγές. Η αξιολόγηση της ποιότητας είναι κυρίως αυτοματοποιημένη και συμπληρώνεται από δειγματοληπτικό έλεγχο από ανθρώπους, του οποίου η κάλυψη διαφέρει ανά γλώσσα· στη ροή εργασιών για τις δώδεκα γλώσσες, ο μεταφραστής λειτουργεί επίσης ως αξιολογητής. Η ανάρτηση αναφέρει ότι τα κείμενα που διατηρούνται ενδέχεται να εξακολουθούν να περιέχουν σφάλματα, ότι η ροή εργασιών για τις δέκα γλώσσες χρειάζεται ευρύτερη επικύρωση από φυσικούς ομιλητές και ότι οι έλεγχοι των αναγνωριστικών πηγής αφαιρούν διπλότυπα που προκύπτουν κατά την επεξεργασία, χωρίς να πραγματοποιούν σημασιολογική αποδιπλοποίηση παρόμοιου περιεχομένου.

Συνοδευτική σουίτα αξιολόγησης

Παράλληλα με το σώμα κειμένων, το AI4Bharat του IIT Madras, με την υποστήριξη της NVIDIA, παρουσίασε το Indic-LLM-Eval-Suite, μια ανοιχτή συλλογή benchmark που εξελίσσεται και προορίζεται για την αξιολόγηση LLM σε ινδικές γλώσσες εκτός σύνδεσης.

Η πρώτη έκδοση συγκεντρώνει υπάρχοντα benchmark για τις ινδικές γλώσσες, ανανεωμένες εκδόσεις, όπως τα MILU-1.5 και IndicIFEval-1.5, καθώς και προσαρμοσμένα αγγλόφωνα benchmark, σε οκτώ κατηγορίες ικανοτήτων: γενική συνομιλία, τήρηση οδηγιών, μαθηματικά, STEM, συλλογιστική κοινής λογικής, γνώση, κώδικας και μετάφραση. Οι αξιολογήσεις έχουν ενσωματωθεί στο NVIDIA NeMo-Gym, το οποίο παρέχει κοινό περιβάλλον αξιολόγησης, διατηρώντας παράλληλα τις ειδικές για κάθε benchmark διαδικασίες βαθμολόγησης.

Το AI4Bharat αναφέρει ότι ο έλεγχός του στο MILU εντόπισε ελλιπείς ερωτήσεις, ελλείπουσες εικόνες και λανθασμένες μεταφράσεις, προβλήματα που αντιμετωπίστηκαν στην αναθεωρημένη έκδοση MILU-1.5. Αναφέρει επίσης ότι διόρθωσε προβλήματα στον κώδικα αξιολόγησης του IndicIFEval, όπου ορισμένοι περιορισμοί ελέγχονταν λανθασμένα ή παραβλέπονταν σιωπηρά. Η μεθοδολογία κατάρτισης της σουίτας συνδυάζει μετάφραση προσαρμοσμένη στα benchmark με αυτοματοποιημένη αξιολόγηση ποιότητας, στοχευμένες διορθώσεις και επαλήθευση από φυσικούς ομιλητές.

Το AI4Bharat δήλωσε ότι αξιολόγησε στη σουίτα αρκετά σύγχρονα μοντέλα ανοιχτών βαρών για τις ινδικές γλώσσες και πολυγλωσσικά μοντέλα LLM, και διαπίστωσε ότι κανένα μοντέλο δεν έχει σταθερά την καλύτερη επίδοση σε όλες τις εργασίες. Το εργαστήριο χαρακτηρίζει την αρχική έκδοση ως αφετηρία και αναφέρει ότι σχεδιάζει να προσθέσει benchmark, να ενσωματώσει συνεισφορές της κοινότητας και να ανανεώνει περιοδικά τα αποτελέσματα, ώστε να παρακολουθεί την πρόοδο των LLM για τις ινδικές γλώσσες με την πάροδο του χρόνου.