Μοντέλα και πλατφόρμες AI
Η AWS φέρνει την εκπαίδευση με πλήρη βάρη στην προσαρμογή χωρίς διακομιστές του SageMaker

Βασικά σημείαΗ πλήρης προσαρμογή ενημερώνει κάθε βάρος, ενώ το LoRA παγώνει τα προεκπαιδευμένα βάρη…
Δείτε περισσότερα
- Η πλήρης προσαρμογή ενημερώνει κάθε βάρος, ενώ το LoRA παγώνει τα προεκπαιδευμένα βάρη και εισάγει προσαρμογείς χαμηλής τάξης.
- Επιθετικοί ρυθμοί μάθησης 5e-5 ή υψηλότεροι προκάλεσαν καταστροφική λήθη με την ακρίβεια στο MMLU να πέφτει στο 3,6%.
- Η λειτουργία χωρίς διακομιστή αφαιρεί τη διαχείριση υποδομής αλλά δεν μειώνει τον αριθμό των βαρών που εκπαιδεύονται.
Η Amazon Web Services ανακοίνωσε στις 18 Νοεμβρίου 2026 ότι προσθέτει υποστήριξη για πλήρη λεπτομερή ρύθμιση (FFT) στην υπηρεσία SageMaker AI Serverless Model Customization και ανέφερε σημασιολογική ορθότητα 90,0% σε πείραμα προγραμματισμού με περισσότερα από 100.000 παραδείγματα εκπαίδευσης, επισημαίνοντας παράλληλα ότι οι επιθετικές ρυθμίσεις προκάλεσαν σοβαρή απώλεια γενικών γνώσεων.
Οι πελάτες παρέχουν ένα βασικό μοντέλο, ένα σύνολο δεδομένων και υπερπαραμέτρους· η υπηρεσία κατανέμει υπολογιστικούς πόρους και διαχειρίζεται τα σημεία ελέγχου, χωρίς να απαιτείται παροχή GPU, ρύθμιση συστάδας ή διαμόρφωση κατανεμημένης εκπαίδευσης. Στο παράδειγμα της AWS με το SageMaker Python SDK, η αλλαγή μεθόδου σημαίνει αντικατάσταση TrainingType.FULL με TrainingType.LORA, χωρίς να αλλάξει η υπόλοιπη διαμόρφωση της εργασίας.
Η FFT ενημερώνει κάθε βάρος του μοντέλου. Αντίθετα, η LoRA διατηρεί παγωμένα τα προεκπαιδευμένα βάρη και προσθέτει πίνακες προσαρμογέων χαμηλής τάξης, μειώνοντας τις απαιτήσεις σε χωρητικότητα GPU, αλλά περιορίζοντας τις ενημερώσεις σε έναν μικρότερο χώρο αναπαραστάσεων. Σύμφωνα με την εξήγηση της AWS, η εκπαίδευση πλήρους τάξης μπορεί να αποτυπώσει πιο σύνθετες προσαρμογές σε έναν τομέα καθώς μεγαλώνουν τα σύνολα δεδομένων, αντί απλώς να αυξάνει τον αριθμό των εκπαιδεύσιμων παραμέτρων.
Ελεγχόμενες δοκιμές προγραμματισμού
Η AWS συνέκρινε τις μεθόδους εφαρμόζοντας εποπτευόμενη λεπτομερή ρύθμιση (SFT) σε ένα βασικό μοντέλο Qwen3-4B, με πανομοιότυπες προτροπές, στόχους και κώδικα αξιολόγησης. Το σύνολο δεδομένων Magicoder-Evol-Instruct-110K παρείχε ζεύγη οδηγιών και απαντήσεων για προγραμματισμό, που κάλυπταν τον σχεδιασμό αλγορίθμων, τον εντοπισμό και τη διόρθωση σφαλμάτων, τις δομές δεδομένων και τον προγραμματισμό συστημάτων. Ο διαχωρισμός όρισε 99.000 εγγραφές για εκπαίδευση, 5.500 για επικύρωση και 5.500 για ένα σύνολο δοκιμής που κρατήθηκε εκτός εκπαίδευσης.
Οι αξιολογήσεις εξέτασαν χωριστά την απόδοση στις εργασίες και τη διατήρηση γνώσεων. Το Amazon Nova Pro λειτούργησε ως κριτής LLM, εξετάζοντας τον παραγόμενο κώδικα μαζί με την αρχική προτροπή, προκειμένου να αξιολογήσει τη λογική ορθότητα. Το PRIMECODE μέτρησε την ομοιότητα με τις λύσεις αναφοράς μέσω των ντετερμινιστικών μετρικών BLEU, ROUGE-1/2/L και F1, ενώ το MMLU εξέτασε τις γενικές γνώσεις σε 57 ακαδημαϊκά αντικείμενα.
Η AWS ανέφερε ότι η βαθμολογία σημασιολογικής ορθότητας κορυφώθηκε στις τρεις εποχές εκπαίδευσης και ότι η μεγαλύτερη διάρκεια εκπαίδευσης υποβάθμισε κάθε παραλλαγή που δοκιμάστηκε. Στη συγκριτική απεικόνιση σε ακτινωτό διάγραμμα, η FFT υπερείχε της LoRA και του βασικού μοντέλου σε κάθε εμφανιζόμενη διάσταση ποιότητας, με τη μεγαλύτερη διαφορά στις μετρικές BLEU και ROUGE-2, κάτι που υποδηλώνει ότι η διαφορά δεν περιοριζόταν σε μία μόνο μετρική.
Η AWS δήλωσε ότι πραγματοποίησε δεκάδες πειράματα προσαρμογής σε πολλαπλά βασικά μοντέλα, μεταβάλλοντας τον ρυθμό εκμάθησης, το μέγεθος δέσμης, την αναλογία προθέρμανσης, τον αριθμό εποχών και την κλίμακα του συνόλου δεδομένων· κάθε εκτέλεση, από την υποβολή της εργασίας έως την αξιολόγηση, διαρκούσε λίγες ώρες. Τα μοντέλα που προέκυψαν καταχωρίζονταν αυτόματα ως εκδόσεις Model Packages στο SageMaker Model Registry, για έλεγχο ή ανάπτυξη.
Κίνδυνοι λήθης κατά την πλήρη λεπτομερή ρύθμιση
Η AWS προειδοποίησε ότι η FFT δεν υπερείχε σε όλες τις περιπτώσεις: τόσο η FFT όσο και η LoRA είχαν χαμηλότερη επίδοση από το βασικό μοντέλο στην ακριβή αντιστοίχιση του MATH, ενώ σε ξεχωριστή σύγκριση με κριτή το LLM προτιμήθηκε η LoRA, με 81,5%, έναντι 79,5% για την FFT.
Οι επιθετικοί ρυθμοί εκμάθησης προκάλεσαν σοβαρές απώλειες. Στις δοκιμές της AWS, με ρυθμό 5e-5 ή υψηλότερο, οι βαθμολογίες του MATH έπεσαν στο 2–3% και η ακρίβεια του MMLU στο 3,6%· αυτό αποτελεί ένδειξη καταστροφικής λήθης, δηλαδή απώλειας ευρύτερων ικανοτήτων όταν η εκπαίδευση σε συγκεκριμένο τομέα παραμερίζει τις προεκπαιδευμένες γνώσεις. Ο χάρτης κινδύνου της AWS υπέδειξε ότι το 2e-5 αποτελεί ασφαλέστερη ρύθμιση για μεγάλα σύνολα δεδομένων· η βασική διαμόρφωση που συνδύαζε αυτόν τον ρυθμό με προθέρμανση 5% και συνολικό μέγεθος δέσμης 8 διατήρησε καλύτερα τις γενικές γνώσεις, σύμφωνα με τη μέτρηση MMLU, από όλες τις διαμορφώσεις που δοκιμάστηκαν.
Το μέγεθος της δέσμης επηρέασε επίσης τη διατήρηση γνώσεων. Με σταθερό ρυθμό εκμάθησης, οι μικρότερες δέσμες παρήγαγαν πιο θορυβώδεις ενημερώσεις, οι οποίες είχαν συμπεριφορά ανάλογη με υψηλότερο ρυθμό εκμάθησης και αύξαναν τον κίνδυνο λήθης. Οι μεγαλύτερες δέσμες περιόριζαν τον θόρυβο, αλλά μείωναν επίσης τα βήματα βελτιστοποίησης, με πιθανό αποτέλεσμα την ανεπαρκή προσαρμογή του μοντέλου.
Συμβιβασμοί κατά την ανάπτυξη
Η SFT με FFT είναι διαθέσιμη για μοντέλα με ανοικτά βάρη, όπως τα DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B και NVIDIA Nemotron 3 Nano 30B (A3B), σύμφωνα με τον κατάλογο υποστηριζόμενων μοντέλων της AWS.
Η τεκμηρίωση της FFT αναφέρει ότι η μέθοδος χρησιμοποιεί τις ίδιες μορφές συνόλων δεδομένων με τη LoRA, αλλά απαιτεί περισσότερους υπολογιστικούς πόρους και μεγαλύτερη διάρκεια εκπαίδευσης, παράγει μεγαλύτερα τεχνουργήματα που περιλαμβάνουν τα πλήρη βάρη του μοντέλου και δεν είναι συμβατή με τη συνεχή προσαρμογή. Επίσης, εξαλείφει την πρόσθετη επιβάρυνση των προσαρμογέων κατά την εξαγωγή συμπερασμάτων.
Η λειτουργία χωρίς διακομιστές αλλάζει το ποιος κατανέμει την υποδομή και διαχειρίζεται τα σημεία ελέγχου· δεν μειώνει τον αριθμό των βαρών που εκπαιδεύονται. Συνεπώς, η διάθεση της υπηρεσίας διευκολύνει την εκτέλεση βαθύτερης προσαρμογής, ενώ η σχέση υπολογιστικού κόστους και ποιότητας εξακολουθεί να εξαρτάται από το αν τα οφέλη για συγκεκριμένες εργασίες αντισταθμίζουν το μεγαλύτερο κόστος εκπαίδευσης και τυχόν απώλεια ευρύτερων ικανοτήτων.












