Γιατί η Συσχετίση AI, Όχι η Εκπαίδευση, είναι η Επόμενη Μεγάλη Τεχνική Πρόκληση

Για την τελευταία δεκαετία, τοスポτ στις τεχνολογίες νοημοσύνης έχει καταληφθεί από την εκπαίδευση. Οι καινοτομίες έχουν προέλθει σε μεγάλο βαθμό από τεράστιους υπολογιστικούς кластер, μοντέλα με τρισεκατομμύρια παραμέτρους και τα δισεκατομμύρια δολάρια που έχουν διατεθεί για τη διδασκαλία συστημάτων να “σκέφτονται”. Έχουμε αντιμετωπίσουμε την ανάπτυξη AI κυρίως ως ένα έργο κατασκευής: την κατασκευή του ουρανοξύστη της νοημοσύνης. Αλλά τώρα που αυτός ο ουρανοξύστης έχει κατασκευαστεί, η πραγματική πρόκληση είναι να βρούμε τον τρόπο να διευκολύνουμε τους εκατομμύρια που πρέπει να ζουν και να λειτουργούν μέσα σε αυτό ταυτόχρονα. Αυτό μεταφέρει την εστίαση των ερευνητών και μηχανικών AI από την εκπαίδευση (την πράξη της δημιουργίας νοημοσύνης) στη συσχετίση (την πράξη της χρήσης της). Ενώ η εκπαίδευση είναι μια τεράστια, μονοφατική επένδυση κεφαλαίου (CapEx), η συσχετίση είναι μια συνεχής λειτουργική επένδυση (OpEx) που συνεχίζεται ατελείωτα. Όταν οι επιχειρήσεις αναπτύσσουν πράκτορες που εξυπηρετούν εκατομμύρια χρήστες καθ’ όλη τη διάρκεια της ημέρας, ανακαλύπτουν μια σκληρή πραγματικότητα: η συσχετίση δεν είναι απλά “εκπαίδευση σε αντίστροφη”. Είναι μια θεμελιωδώς διαφορετική και ίσως πιο δύσκολη τεχνική πρόκληση.

Γιατί τα Κόστη Συσχετίσεως Έχουν Μεγαλύτερη Σημασία Παρότι Πότε

Για να κατανοήσουμε την τεχνική πρόκληση, πρέπει πρώτα να κατανοήσουμε την υποκείμενη οικονομική απαιτούμενη. Στη φάση εκπαίδευσης, η αναποτελεσματικότητα είναι ανεκτή. Αν μια εκπαιδευτική διαδικασία διαρκεί τέσσερις εβδομάδες αντί τρεις, είναι ένα ελάττωμα. Στη συσχετίση, ωστόσο, η αναποτελεσματικότητα μπορεί να είναι καταστροφική για τις επιχειρήσεις. Για παράδειγμα, η εκπαίδευση ενός μοντέλου μετωπικής γραμμής μπορεί να κοστίσει 100 εκατομμύρια δολάρια. Αλλά η ανάπτυξη αυτού του μοντέλου για να απαντήσει σε 10 εκατομμύρια ερωτήσεις την ημέρα μπορεί να ξεπεράσει αυτό το κόστος σε λίγους μήνες αν δεν είναι βελτιστοποιημένο. Αυτός είναι ο λόγος για τον οποίο βλέπουμε μια μετατόπιση της αγοράς, με τις επενδύσεις συσχετίσεως προβλεπόμενες να ξεπεράσουν τις επενδύσεις εκπαίδευσης.

Για τους μηχανικούς, αυτό μεταφέρει τους στόχους. Δεν βελτιστοποιούμε πλέον για απόδοση (πόσο γρήγορα μπορώ να επεξεργαστώ αυτό το τεράστιο σύνολο δεδομένων;). Βελτιστοποιούμε για καθυστέρηση (πόσο γρήγορα μπορώ να επιστρέψω ένα単ικό token;) και ταυτόχρονη εκτέλεση (πόσοι χρήστες μπορώ να εξυπηρετήσω σε ένα GPU;). Η “βίαιη” προσέγγιση που κυριάρχησε στη φάση εκπαίδευσης με την απλή προσθήκη περισσότερων υπολογιστικών μονάδων δεν λειτουργεί εδώ. Δεν μπορείτε να ρίχνετε περισσότερα H100s σε ένα πρόβλημα καθυστέρησης αν το εμπόδιο είναι η μνήμη.

Το Τείχος Μνήμης: Το Πραγματικό Εμπόδιο

Η άγνωστη αλήθεια για τη συσχετίση των Μεγάλων Γλωσσικών Μοντέλων (LLM) είναι ότι σπάνια περιορίζεται από υπολογιστική ισχύ· περιορίζεται από τη μνήμη. Κατά τη διάρκεια της εκπαίδευσης, επεξεργαζόμαστε δεδομένα σε τεράστιες δόσεις, διατηρώντας τις υπολογιστικές μονάδες του GPU πλήρως απασχολημένες. Στη συσχετίση, ιδίως για εφαρμογές σε πραγματικό χρόνο όπως chatbots ή πράκτορες, οι αιτήσεις έρχονται διαδοχικά. Κάθε token που παράγεται απαιτεί το μοντέλο να φορτώσει τα δισεκατομμύρια παραμέτρους του από υψηλής ταχύτητας μνήμη (HBM) στο υπολογιστικό πυρήνα. Αυτό είναι το “Τείχος Μνήμης“. Είναι σαν να έχεις einen Ferrari κινητήρα (τον πυρήνα του GPU) που έχει κολλήσει σε拥塞 (την περιορισμένη μνήμη).
Αυτή η πρόκληση οδηγεί τις ομάδες μηχανικών να ξανασκέφτονται την αρχιτεκτονική του συστήματος μέχρι το επίπεδο του πυριτίου. Αυτός είναι ο λόγος για τον οποίο βλέπουμε την άνοδο των Linear Processing Units (LPUs) όπως αυτά της Groq, και των εξειδικευμένων Neural Processing Units (NPUs). Αυτά τα chips είναι σχεδιασμένα για να παρακάμψουν το εμπόδιο της HBM χρησιμοποιώντας τεράστιες ποσότητες on-chip SRAM, αντιμετωπίζοντας την πρόσβαση στη μνήμη ως μια συνεχής ροή δεδομένων και όχι ως μια απλή λειτουργία ανάκτησης. Για τον προγραμματιστή, αυτό σηματοδοτεί το τέλος της εποχής “προεπιλογή σε CUDA”. Πρέπει τώρα να γράφουμε κώδικα που είναι hardware-aware, κατανοώντας ακριβώς πώς τα δεδομένα κινούνται μέσα από το σύστημα.

Η Νέα Πρώτη Γραμμή της Αποδοτικότητας AI

Επειδή δεν μπορούμε πάντα να αλλάξουμε το hardware, η επερχόμενη πρώτη γραμμή της μηχανικής liegt στην βελτιστοποίηση του λογισμικού. Εδώ συμβαίνουν κάποιες από τις πιο καινοτόμες καινοτομίες. Βλέπουμε μια αναγέννηση των τεχνικών που αναedefinουν τον τρόπο με τον οποίο οι υπολογιστές εφαρμόζουν και εκτελούν νευρωνικά δίκτυα.

• Συνεχής Συσσωμάτωση: Η παραδοσιακή συσσωμάτωση περιμένει μέχρι να γεμίσει το “λεωφορείο” πριν αναχωρήσει, που εισάγει καθυστερήσεις. Συνεχής συσσωμάτωση (πρωτοπόρος από πλαίσια όπως vLLM) ενεργεί σαν ένα σύστημα μετρό, επιτρέποντας σε νέες αιτήσεις να ενταχθούν ή να εξαχθούν από το τρένο επεξεργασίας του GPU σε κάθε επανάληψη. Βελτιστοποιεί την απόδοση χωρίς να θυσιάζει την καθυστέρηση, λύνοντας ένα σύνθετο πρόβλημα προγραμματισμού που απαιτεί βαθιά εμπειρογνωσία σε επίπεδο λειτουργικού συστήματος.

• Εικαστική Αποκωδικοποίηση: Αυτή η τεχνική απασχολεί ένα μικρό, γρήγορο και φθηνό μοντέλο για να σχεδιάσει μια απάντηση, ενώ ένα μεγαλύτερο, πιο αργό και ικανότερο μοντέλο επιβεβαιώνει την απάντηση σε παράλληλο. Βασίζεται στο γεγονός ότι η επαλήθευση κειμένου είναι πολύ λιγότερο υπολογιστικά ακριβή από τη δημιουργία του.
• Διαχείριση Κρυφής Μνήμης KV: Σε μακρές συνομιλίες, η “ιστορία” (η κρυφή μνήμη Key-Value) αυξάνεται γρήγορα, καταναλώνοντας μεγάλες ποσότητες μνήμης GPU. Οι μηχανικοί εφαρμόζουν τώρα την “PagedAttention“, μια τεχνική που εμπνέεται από την εικονική μνήμη σε λειτουργικά συστήματα. Αυτή η τεχνική διασπά την μνήμη σε θραύσματα και τη διαχειρίζεται μη συνεχώς.

Η Συμπλεγματική Σύνθετη

Αν η τυπική συσχετίση είναι δύσκολη, η συσχετίση AI με Πράκτορες την κάνει εκθετικά πιο δύσκολη. Ένας τυπικός chatbot είναι ανώμαλος: Ο χρήστης ρωτάει, το AI απαντά, η διαδικασία τελειώνει. Ένας Πράκτορας AI, ωστόσο, έχει einen βρόχο. Σχεδιάζει, εκτελεί εργαλεία, παρατηρεί αποτελέσματα και επαναλαμβάνει. Από την πλευρά του μηχανικού, αυτό είναι ένα εφιάλτης. Αυτή η αρχιτεκτονική αλλαγή εισάγει αρκετές θεμελιώδεις προκλήσεις:

1. Διαχείριση Κατάστασης: Ο μηχανισμός συσχετίσεως πρέπει να διατηρεί την “κατάσταση” της διαδικασίας σκέψης του πράκτορα σε πολλαπλά βήματα, συχνά διαρκώντας λεπτά.
2. Απείρως Αναδρομικοί Βρόχοι: Αντίθετα με ένα προβλέψιμο προώθημα, ένας πράκτορας μπορεί να κολλήσει σε einen λογικό βρόχο. Η κατασκευή robustών “φρουρών” και “διακοπτών” για προβληματικό κώδικα είναι ένα νέο πεδίο.
3. Μεταβλητή Υπολογιστική Ισχύς: Μια αίτηση χρήστη μπορεί να ενεργοποιήσει μια seule κλήση συσχετίσεως, ενώ μια άλλη μπορεί να ενεργοποιήσει πενήντα. Η διαχείριση φορτίου και η αυτο-κλιμάκωση της υποδομής όταν κάθε αίτηση φέρει τέτοια ακραία μεταβλητότητα απαιτεί μια εντελώς νέα τάξη λογικής ορχήστρας.

Εστιάζουμε ουσιαστικά από την “υπηρεσία μοντέλων” στην “ορchestration γνωστικών αρχιτεκτονικών”.

Επrowadοντας το AI στις Καθημερινές Συσκευές

Τέλος, τα όρια της ενέργειας και της καθυστέρησης δικτύου θα μας αναγκάσουν αναπόφευκτα να φέρουμε τη συσχετίση στα άκρα. Δεν μπορούμε να περιμένουμε ότι κάθε έξυπνο λάμπα, αυτονομία οχήματος ή βιομηχανικός ρόβος θα στείλει τις αιτήσεις του μέσω ενός κέντρου δεδομένων. Η τεχνική πρόκληση εδώ είναι η συμπίεση. Πώς να τοποθετήσετε ένα μοντέλο που έμαθε από ολόκληρο το διαδίκτυο σε ένα chip μικρότερο από ένα νύχι, που τρέχει με μπαταρία;

Τεχνικές όπως η quantization (μείωση ακρίβειας από 16-bit σε 4-bit ή ακόμη και 1-bit) και η εξαγωγή μοντέλου (διδασκαλία ενός μικρού μοντέλου να μιμείται ένα μεγαλύτερο) γίνονται τυπική πρακτική. Αλλά η πραγματική πρόκληση είναι η ανάπτυξη αυτών των μοντέλων σε ένα κατακερματισμένο οικοσύστημα δισεκατομμυρίων συσκευών όπως Android, iOS, ενσωματωμένο Linux, προσαρμοσμένοι αισθητήρες, κάθε一个 με τις δικές του περιορισμούς υλικού. Είναι ο “εφιάλτης κατακερματισμού” της ανάπτυξης κινητών, πολλαπλασιασμένος με τη σύνθετη της νευρωνικών δικτύων.

Η Κύρια Γραμμή

Εισερχόμαστε στην εποχή “Ημέρα 2” της Γεννήτριας AI. Η Ημέρα 1 ήταν για να δείξουμε ότι η AI μπορεί να γράψει ποίηση. Η Ημέρα 2 είναι για την μηχανική, κάνωντας αυτή τη δυνατότητα πιο αξιόπιστη, προσιτή και πανταχού παρούσα. Οι μηχανικοί που θα ορίσουν την επόμενη δεκαετία δεν είναι απαραίτητα αυτοί που εφευρίσκουν νέα αρχιτεκτονικά μοντέλων. Είναι οι συστημικοί μηχανικοί, οι kernel hackers και οι αρχιτέκτονες υποδομής που μπορούν να βρουν τον τρόπο να εξυπηρετήσουν ένα δισεκατομμύριο tokens ανά δευτερόλεπτο χωρίς να λιώσουν το δίκτυο ηλεκτρικής ενέργειας ή να χρεώσουν την εταιρεία. Η συσχετίση AI δεν είναι πλέον απλά ένα λεπτό/runtime. Είναι το προϊόν. Και η βελτιστοποίηση της είναι η επόμενη μεγάλη τεχνική πρόκληση.