Η AWS προσθέτει διαμέριση GPU της NVIDIA στα τελικά σημεία συμπερασματολογίας του SageMaker

Η Amazon Web Services (AWS) ανακοίνωσε την υποστήριξη της NVIDIA Multi-Instance GPU για το Amazon SageMaker Inference στις 6 Νοεμβρίου 2026, επιτρέποντας σε πολλά μοντέλα, απομονωμένα σε επίπεδο υλικού, να μοιράζονται έναν επιταχυντή σε τελικά σημεία πραγματικού χρόνου, αντί να εκχωρείται ολόκληρη GPU σε κάθε ανάπτυξη.

Η λειτουργία αντιμετωπίζει δύο περιορισμούς της εκχώρησης ολόκληρης GPU. Ο αριθμός των επιταχυντών περιορίζει πόσα μοντέλα μπορεί να φιλοξενήσει μια παρουσία, ανεξάρτητα από το πόσο λίγη μνήμη ή υπολογιστική ισχύ χρησιμοποιεί κάθε μοντέλο, ενώ οι πελάτες που εξετάζουν το ενδεχόμενο χρήσης νεότερης GPU πρέπει να εκχωρήσουν ολόκληρη τη συσκευή. Αντίθετα, η Multi-Instance GPU (MIG) παρέχει σε κάθε διαμέρισμα σταθερό μερίδιο των υπολογιστικών μονάδων και αποκλειστικό τμήμα μνήμης, με απομόνωση που επιβάλλεται σε επίπεδο υλικού. Καθώς κάθε μοντέλο παραμένει φορτωμένο, η διάταξη αποφεύγει επίσης την καθυστέρηση που προκύπτει όταν ένα τελικό σημείο πολλαπλών μοντέλων φορτώνει ένα μοντέλο στην κοινόχρηστη συσκευή του για πρώτη χρήση.

Η διαμέριση περιορίζεται σε τελικά σημεία πραγματικού χρόνου που χρησιμοποιούν συστατικά συμπερασματολογίας, τη δομή του SageMaker για την ανάπτυξη πολλών μοντέλων σε ένα τελικό σημείο και τον καθορισμό της υπολογιστικής ισχύος που λαμβάνει το καθένα. Δεν είναι δυνατή η διαμέριση τελικών σημείων ενός μοντέλου, τελικών σημείων χωρίς διακομιστή και ετερογενών ομάδων παρουσιών. Οι ασύγχρονοι φόρτοι εργασίας δεν καλύπτονται επίσης από τη λειτουργία, καθώς οι ασύγχρονες κλήσεις δεν μπορούν να απευθυνθούν σε συστατικό συμπερασματολογίας.

Η Salesforce συνέβαλε στον καθορισμό των απαιτήσεων και στην επικύρωση της αρχικής υλοποίησης. Ο Richard Chang, αρχιτέκτονας μηχανικής λογισμικού στη Salesforce, δήλωσε ότι η εταιρεία αναμένει πως η MIG θα επιτρέψει την ασφαλή ενοποίηση φόρτων εργασίας, θα βελτιώσει την αξιοποίηση των GPU και θα μειώσει το κόστος συμπερασματολογίας, διατηρώντας παράλληλα προβλέψιμες επιδόσεις και απομόνωση. Η Salesforce ετοιμάζεται να επικυρώσει το λογισμικό με αντιπροσωπευτικούς φόρτους εργασίας παραγωγής, επομένως αυτά τα οφέλη αποτελούν προσδοκίες και όχι αποτελέσματα που έχουν καταγραφεί στην παραγωγή.

Δύο πεδία API ελέγχουν τη διαμέριση

Η τεκμηρίωση για προγραμματιστές του SageMaker AI ορίζει δύο προαιρετικά πεδία: AcceleratorPartitionLayouts δηλώνει τη διάταξη διαμέρισης σε μια παραλλαγή παραγωγής, και AcceleratorPartitionType επιλέγει το προφίλ που χρησιμοποιεί ένα συστατικό συμπερασματολογίας. Δεν προστίθενται νέες λειτουργίες API, τύποι πόρων ή ενέργειες του AWS Identity and Access Management, ενώ αν παραλειφθούν και τα δύο πεδία, η συμπεριφορά των υπαρχόντων τελικών σημείων παραμένει αμετάβλητη.

Η επιλεγμένη διάταξη εφαρμόζεται ομοιόμορφα σε κάθε επιταχυντή κάθε παρουσίας της παραλλαγής. Στο παράδειγμα της AWS, καθεμία από τις οκτώ A100 διαιρείται σε ένα ml.p4d.24xlarge σε mig-4g.20gb, mig-2g.10gb και mig-1g.5gb διαμερίσματα, δημιουργώντας συνολικά 24 διαμερίσματα στο τελικό σημείο. Κάθε αντίγραφο συστατικού συμπερασματολογίας καταλαμβάνει ένα από τα διαμερίσματα που έχει ζητήσει, ενώ InvokeEndpoint συνεχίζει να αναφέρεται στα μοντέλα με βάση το όνομα του συστατικού, χωρίς αναγνωριστικό διαμερίσματος. Η AWS ανέφερε ότι, στις δοκιμές της, η διαμέριση των επιταχυντών πρόσθεσε περίπου 17 δευτερόλεπτα στη διαδικασία προμήθειας.

Η απομόνωση καλύπτει την υπολογιστική ισχύ και τη μνήμη της GPU, όχι ολόκληρο τον κεντρικό υπολογιστή. Τα μοντέλα σε μία παρουσία εξακολουθούν να μοιράζονται την CPU του κεντρικού υπολογιστή, τη μνήμη του, τον αποθηκευτικό χώρο, το δίκτυο και τη δρομολόγηση του τελικού σημείου. Ένα συστατικό που ζητά προφίλ το οποίο δεν περιλαμβάνεται στη διάταξη απορρίπτεται αντί να του εκχωρηθεί ολόκληρη GPU. Για να αλλάξει η διάταξη ενός τελικού σημείου που βρίσκεται σε λειτουργία, απαιτείται νέο τελικό σημείο και μεταφορά της κίνησης· για να μετακινηθεί ένα συστατικό σε άλλο προφίλ, απαιτείται νέο συστατικό.

Η AWS δοκιμάζει ένα διαμέρισμα H100 έναντι μιας ολόκληρης A100

Η AWS συνέκρινε ένα mig-3g.40gb διαμέρισμα H100 με μία ολόκληρη A100-40GB, χρησιμοποιώντας το Llama-3.1-8B-Instruct σε τελικά σημεία πραγματικού χρόνου του SageMaker σε περιβάλλον παραγωγής. Και στις δύο περιπτώσεις χρησιμοποιήθηκαν ένα αντίγραφο του μοντέλου, πανομοιότυπα κοντέινερ, διακριτοποιητές και διαμορφώσεις πελάτη, ενώ το genai-bench δημιούργησε πέντε μοτίβα κίνησης με επίπεδα ταυτόχρονης εκτέλεσης από 2 έως 512. Ο οδηγός προφίλ της NVIDIA εκχωρεί στο προφίλ H100 που δοκιμάστηκε τρία από τα επτά μερίδια των πολυεπεξεργαστών ροής και τέσσερις από τις οκτώ μονάδες μνήμης. Οι δύο διαμορφώσεις έχουν συγκρίσιμη χωρητικότητα μνήμης, αλλά διαφορετική κατανομή υπολογιστικής ισχύος.

Συνολικά στις δοκιμές, η AWS ανέφερε ότι το διαμέρισμα H100 παρήγαγε 53% έως 89% περισσότερα διακριτικά εξόδου ανά δευτερόλεπτο στο επίπεδο φόρτου εργασίας όπου το οικονομικό όφελος ήταν μεγαλύτερο για κάθε σενάριο. Η καθυστέρηση μεταξύ διακριτικών ήταν χαμηλότερη κατά 8,9% έως 42,1%, ενώ ο χρόνος έως το πρώτο διακριτικό ήταν χαμηλότερος κατά 5,6% έως 47,5%. Στο υψηλότερο επίπεδο ταυτόχρονης εκτέλεσης, για φόρτους εργασίας 6.000 και 8.000 διακριτικών, η A100 δεν τήρησε την προθεσμία εξυπηρέτησης για το ένα τρίτο έως το ήμισυ των αιτημάτων, ενώ το διαμέρισμα δεν απέτυχε σε κανένα.

Η ανάλυση κόστους της AWS, η οποία παρουσιάστηκε ως σύγκριση ανά περίπτωση και όχι ως καθολικό συμπέρασμα, έδειξε ότι το κόστος ανά εκατομμύριο διακριτικά εξόδου ήταν χαμηλότερο κατά 18% έως 34% όταν η κίνηση ξεπερνούσε το σημείο ισορροπίας που εξαρτάται από τον εκάστοτε φόρτο εργασίας. Το σημείο αυτό επιτυγχανόταν σε επίπεδο ταυτόχρονης εκτέλεσης 64 για προτροπές 100 διακριτικών και 4 για προτροπές 8.000 διακριτικών. Κάτω από αυτό το όριο, η ολόκληρη A100 παρέμενε φθηνότερη, οπότε για φόρτους εργασίας με σύντομες εισόδους ή χαμηλό βαθμό ταυτόχρονης εκτέλεσης η παλαιότερη GPU χωρίς διαμέριση ενδέχεται να είναι καταλληλότερη. Για τη σύγκριση του κόστους ανά μονάδα, οι τιμές των παρουσιών κατ’ απαίτηση διαιρέθηκαν με τον αριθμό των μονάδων που δοκιμάστηκαν σε κάθε παρουσία.

Υποστηριζόμενο υλικό και λειτουργικοί περιορισμοί

Η αρχική διάθεση καλύπτει τέσσερις οικογένειες παρουσιών, με τον αριθμό και τα προφίλ των διαμερισμάτων να καθορίζονται από τον επιταχυντή:

Η διαμέριση GPU είναι διαθέσιμη στις περιοχές US East (N. Virginia), US East (Ohio), US West (Oregon), Asia Pacific (Singapore), Asia Pacific (Tokyo), Europe (Frankfurt) και Europe (Ireland), ανάλογα με τη διαθεσιμότητα στιγμιοτύπων στην εκάστοτε περιοχή και το όριο χρήσης endpoint. Καμία διαμέριση δεν εκτείνεται σε περισσότερους επιταχυντές, επομένως τα μοντέλα που απαιτούν ολόκληρη GPU ή πολλαπλές GPU εξακολουθούν να χρειάζονται ολόκληρες συσκευές.

Οι πελάτες εξακολουθούν να πληρώνουν για το πλήρες στιγμιότυπο GPU· η διαμέριση μπορεί να αυξήσει τη διαθέσιμη χωρητικότητα, αλλά δεν μειώνει την ωριαία τιμή του. Τα endpoints με διαμέριση και τα στοιχεία εξαγωγής συμπερασμάτων τους δεν δημοσιεύουν επίσης στο CloudWatch μετρικές χρήσης GPU, CPU ή μνήμης, αν και οι μετρικές κλήσεων και καθυστέρησης εξακολουθούν να είναι διαθέσιμες. Στο P4d, το mig-1g.10gb προφίλ απαιτεί το πρόγραμμα οδήγησης R525 της NVIDIA ή νεότερο, και η AWS συνιστά στους πελάτες να χρησιμοποιούν νεότερο AMI εξαγωγής συμπερασμάτων, καθώς η προεπιλεγμένη εικόνα δεν το περιλαμβάνει.

Για τον σχεδιασμό χωρητικότητας, η διάθεση χωρίζει κάθε υποστηριζόμενο επιταχυντή σε διάφορα σταθερά μεγέθη GPU, αλλά η πυκνότερη ανάπτυξη με απομόνωση σε επίπεδο υλικού συνεπάγεται χρέωση για ολόκληρο το στιγμιότυπο, διατάξεις που δεν μπορούν να τροποποιηθούν επιτόπου και περιορισμένα δεδομένα τηλεμετρίας για τη χρήση. Το σημείο αναφοράς της AWS δείχνει πόσο σημαντική είναι η μέτρηση της πραγματικής κίνησης: στις συγκεκριμένες δοκιμές, η διαμέριση H100 προσέφερε πλεονεκτήματα σε επιδόσεις και κόστος υπό συνθήκες αυξημένου φόρτου με μεγάλα συμφραζόμενα, ενώ τα αποτελέσματα του σημείου ισορροπίας έδειξαν ότι μια ολόκληρη A100 ήταν φθηνότερη για ελαφρύτερους φόρτους εργασίας.