Όταν η IA Σκέφτεται Như Ανθρώποι: Εξερευνώντας τον Νου των LLMs και των Agents

Σήμερα, τα LLMs και agents μαθαίνουν, αναλύουν και λαμβάνουν αποφάσεις με τρόπους που μπορούν να θολώσουν τα όρια μεταξύ της αλγοριθμικής “σκέψης” τους και του ανθρώπινου νου. Οι προσεγγίσεις στις οποίες βασίζονται ήδη μιμούνται τις γνωστικές μας διαδικασίες, και η κλίμακα της εκπαίδευσής τους υπερβαίνει την ανθρώπινη εμπειρία κατά πολλά μέτρα. Αυτό ανακύπτει το ερώτημα: Δημιουργούμε ένα εργαλείο που επεκτείνει τις ικανότητές μας, ή δίνουμε ζωή σε einen νέο τύπο νου, των οποίων οι συνέπειες είναι ακόμη αδύνατο να προβλεφθούν;

Πώς σκέφτονται τα μοντέλα

Είναι σημαντικό να διακρίνουμε μεταξύ των εννοιών των LLMs και agents. Για να κάνουμε μια αναλογία με έναν υπολογιστή, ένα LLM μπορεί να συγκριθεί με ένα από τα συστατικά του, για παράδειγμα, την κεντρική μονάδα επεξεργασίας. Ένας agent, ωστόσο, είναι ολόκληρο το σύστημα, μια “μητρική πλακέτα” στην οποία συνδέονται διάφορα 모듈ια: μνήμη, γραφική κάρτα και δίκτυο. Παρόμοια, ένας agent είναι ένα σύνθετο σύστημα που μπορεί να ενσωματώσει ένα ή περισσότερα LLMs,補εμένα με μηχανισμούς λήψης αποφάσεων και εργαλεία για αλληλεπίδραση με το εξωτερικό περιβάλλον.

Αν εξετάσουμε τη δουλειά ενός μόνο LLM, όλα καταλήγουν σε αντιστοιχία προτύπων. Ωστόσο, όταν ένας agent συνδέει πολλά LLMs, μπορούμε να πούμε ότι “σκέφτεται”, αν και αυτή η διαδικασία είναι ακόμη βασισμένη σε πρότυπα. Ο agent κατασκευάζει τη λογική της αλληλεπίδρασης μεταξύ των μοντέλων: για παράδειγμα, ένα LLM αναλύει την εργασία, και με βάση αυτή την ανάλυση, ο agent καθορίζει ποια ενέργεια πρέπει να εκτελέσει ένα άλλο LLM.

Η ανθρώπινη σκέψη λειτουργεί με παρόμοιο τρόπο: βασίζουμε την συσσωρευμένη γνώση και τα πρότυπα, τα επιλέγουμε στο σωστό момент, τα επεξεργαζόμαστε και διαμορφώνουμε συμπεράσματα. Αυτή η διαδικασία ονομάζεται συλλογισμός.

Το ChatGPT, όπως και ένας άνθρωπος, έχει δύο τύπους μνήμης: βραχυπρόθεσμη και μακροπρόθεσμη. Η διαφορά είναι ότι στους ανθρώπους, η πρόσβαση σε αυτά τα επίπεδα μνήμης είναι πιο σύνθετη και όχι πάντα γραμμική.

Η βραχυπρόθεσμη μνήμη είναι η πληροφορία που εργαζόμαστε τώρα. Για ένα άτομο, μπορεί να είναι αυτό που είπες πέντε λεπτά πριν: μπορεί να το θυμάσαι ή όχι. Το GPT, ωστόσο, λαμβάνει υπόψη όλα τα στοιχεία εντός του “παραθύρου контекστα” – δεν μπορεί να παραβλέψει ή να αγνοήσει αυτά τα δεδομένα.

Η μακροπρόθεσμη μνήμη στους ανθρώπους αποτελείται από αναμνήσεις που δεν είναι πάντα ενεργές και μπορεί να εμφανιστούν μόνο με συγκεκριμένα ερεθίσματα: μια παιδική αναμνήση, ένα τραύμα, ή, για παράδειγμα, εργασία με έναν ψυχολόγο. Το GPT έχει μια παρόμοια λογική: δεν “θυμάται” πληροφορίες από μόνη της, trừ非 είναι ειδικά ενεργοποιημένες. Για παράδειγμα, μια οδηγία όπως “Μην με ρωτήσεις ξανά αυτή την ερώτηση” ή “Μίλα μου πάντα正式” μπορεί να αποθηκευτεί στη μακροπρόθεσμη μνήμη και να εφαρμοστεί κατά τη διάρκεια κάθε συνεδρίας.

Ένα άλλο παράδειγμα μακροπρόθεσμης μνήμης είναι τα αποθηκευμένα έγγραφα. Αν υποθέσουμε ότι ανεβάσατε στο GPT μια οδηγία για διεξαγωγή ερευνών marketing. Το μοντέλο μπορεί να την αποθηκεύσει στη μνήμη, αλλά αυτό δεν σημαίνει ότι θα αναφερθεί σε αυτό το έγγραφο με κάθε ερώτηση. Αν ρωτήσετε: “Μπορείς να φωτίσεις το Φεγγάρι;”, το GPT θα αγνοήσει την οδηγία. Αλλά αν η αίτηση περιέχει λέξεις-κλειδιά που ταιριάζουν με το κείμενο του εγγράφου, το μοντέλο μπορεί να “θυμηθεί” αυτό.

Αυτή η μηχανισμός εφαρμόζεται μέσω του RAG (Retrieval-Augmented Generation), μιας προσέγγισης όπου το μοντέλο αποκτά πρόσβαση σε αποθηκευμένες πληροφορίες που ενεργοποιούνται από σχετικές ενδείξεις μέσω διανυσματικών βάσεων δεδομένων.

Έτσι, μπορεί να πούμε ότι το μοντέλο έχει πραγματικά μνήμη, αλλά λειτουργεί σύμφωνα με μια διαφορετική, πιο τυποποιημένη λογική, που διαφέρει από την ανθρώπινη μνήμη.

Γιατί μια συνομιλία με την IA μερικές φορές φαίνεται θεραπευτική, και άλλες φορές κρύα και ρομποτική;

Τα σύγχρονα γλωσσικά μοντέλα είναι εξαιρετικά μεγάλα: αποθηκεύουν một τεράστια ποσότητα δεδομένων, γνώσεων και контекστα. Όλη αυτή η πληροφορία είναι οργανωμένη σε così λεγόμενα “κλάστερ”, θεματικές και σημασιολογικές περιοχές. Το μοντέλο εκπαιδεύτηκε σε διάφορες πηγές, από μυθιστορήματα και επιστημονικά άρθρα μέχρι σχόλια στο YouTube.

Όταν αλληλεπιδράτε με την IA, η ερώτησή σας (πρόμπτ) οδηγεί αποτελεσματικά το μοντέλο σε μια συγκεκριμένη περιοχή.

Για παράδειγμα, αν γράψετε: “Είσαι δικηγόρος ακινήτων στη Νέα Υόρκη με 20 χρόνια εμπειρίας, βοήθησέ με να αγοράσω ένα διαμέρισμα,” το μοντέλο ενεργοποιεί πολλά κλάστερ ταυτόχρονα: δικηγόρος → Νέα Υόρκη → ακίνητα. Ως αποτέλεσμα, λαμβάνετε μια συνεκτική, σχετική και ρεαλιστική απάντηση, σαν να συμβουλευόσαστε πραγματικά έναν έμπειρο επαγγελματία.

Αν η ερώτηση αφορά πιο προσωπικά ή φιλοσοφικά θέματα, όπως αυτοβελτίωση ή συναισθήματα, το μοντέλο “μετακινείται” σε άλλες περιοχές, όπως ψυχολογία, φιλοσοφία ή εσωτερική εργασία. Σε αυτή την περίπτωση, οι απαντήσεις του μπορεί να φανούν εκπληκτικά ανθρώπινες και ακόμη και θεραπευτικές.

Ωστόσο, με υπερβολικά γενικές ή ασαφείς εκφράσεις, το μοντέλο “χάνεται” στη δομή των κλαστέρ και δίνει μια προεπιλεγμένη απάντηση, формική, απομακρυσμένη και χωρίς συναισθηματικό τόνο.

Ο τρόπος και το βάθος της απάντησης της IA εξαρτώνται από το ποιο κλάστερ οδηγείτε με την ερώτησή σας.

Η φιλοσοφία της εκπαίδευσης μοντέλων και RLHF

Η τεχνητή νοημοσύνη έχει διαφορετικές προσεγγίσεις για την εκπαίδευση. Δεν είναι τόσο μια φιλοσοφία, αλλά μια στρατηγική.

Η κλασική επιλογή είναι η επιτηρημένη εκπαίδευση, όπου το μοντέλο λαμβάνει μια ερώτηση και τη σωστή απάντηση. Μαθαίνει παρατηρώντας τι θεωρείται σωστό και στη συνέχεια αναπαράγει παρόμοιες λύσεις στο μέλλον.

Μια άλλη προσέγγιση είναι η RLHF (Reinforcement Learning from Human Feedback). Αυτή είναι μια διαφορετική στρατηγική: το μοντέλο προσπαθεί κάτι, λαμβάνει μια “αμοιβή” για επιτυχημένες ενέργειες και điều chỉnhει τη συμπεριφορά του. Σταδιακά, αναπτύσσει μια αποτελεσματική στρατηγική.

Η RLHF μπορεί να συγκριθεί με τη διαδικασία μετατροπής πρώτης ύλης σε τελικό προϊόν. Για να δημιουργηθεί ένα μοντέλο που είναι εύχρηστο, απαιτείται một τεράστια ποσότητα εργασίας με ανθρώπινη ανατροφοδότηση.

Φανταστείτε ότι σας δείχνω ένα αντικείμενο χωρίς να το ονομάσω απευθείας. Εσείς διστάζετε: “Είναι μια θήκη τσιγάρων; Μια καρτποθήκη;” Σας δίνω μόνο ενδείξεις όπως: “Κοντά”, “Μακρυά”, “60% ναι.” Μετά από εκατοντάδες τέτοιες επαναλήψεις, догάτε: “Α, είναι μια πορτοφόλι.”

Τα LLMs εκπαιδεύονται με αυτόν τον τρόπο. Οι άνθρωποι, οι annotators και οι επαγγελματίες γενικά, αξιολογούν: αυτή η απάντηση είναι καλή, αυτή είναι κακή και αναθέτουν βαθμολογίες. Εταιρείες όπως η Keymakr, που ειδικεύονται στην उच्च-ποιοτικής ανανέωση δεδομένων και επικύρωση, παίζουν ένα κρίσιμο ρόλο σε αυτή τη διαδικασία. Η ανατροφοδότηση έρχεται επίσης από τους κοινούς χρήστες: likes, παραπονούμενα, και αντιδράσεις. Το μοντέλο ερμηνεύει αυτά τα σήματα, διαμορφώνοντας συμπεριφορικές τάσεις.

Πώς φαίνεται η εκπαίδευση μοντέλων στην πράξη

Ένα ζωντανό παράδειγμα είναι το πείραμα της OpenAI για την εκπαίδευση agents με τη χρήση ενισχυτικής μάθησης στο παιχνίδι “Κρύψου-Κρύψου”.

Δύο ομάδες συμμετείχαν σε αυτό: οι “αναζητητές” (κόκκινοι) και οι “κρυφοί” (μπλε). Οι κανόνες ήταν απλοί: αν ένας αναζητητής πιάσει έναν κρυφό, κερδίζει ένα σημείο, αν όχι, χάνει ένα. Αρχικά, οι agents είχαν μόνο βασικές φυσικές ικανότητες, τρέχοντας και πηδώντας, χωρίς προκαθορισμένες στρατηγικές.

Στην αρχή, οι αναζητητές ενεργούσαν χαотικά, και η σύλληψη των αντιπάλων συνέβαινε τυχαία. Αλλά μετά από εκατομμύρια επαναλήψεις, η συμπεριφορά τους εξελίχθηκε. Οι κρυφοί άρχισαν να χρησιμοποιούν τα περιβάλλοντα αντικείμενα για να μπλοκάρουν τις πόρτες και να χτίζουν εμπόδια. Αυτές οι ικανότητες εμφανίστηκαν χωρίς άμεση προγραμματισμό, καθαρά μέσω επαναλαμβανόμενων προσπαθειών και αμοιβών για επιτυχία.

Ως απάντηση, οι αναζητητές άρχισαν να χρησιμοποιούν το πήδημα, μια ικανότητα που ήταν διαθέσιμη από την αρχή αλλά προηγουμένως αγνοημένη. Μετά από μια σειρά αποτυχιών, η τυχαία χρήση του πηδήματος αποκάλυψε την τακτική της αξίας του. Τότε οι κρυφοί έκαναν την άμυνά τους πιο περίπλοκη, αφαιρώντας αντικείμενα από τη γραμμή όρασης των αναζητητών και χτίζοντας πιο ασφαλή καταφύγια.

Το πείραμα έδειξε ότι μέσω δισεκατομμυρίων κύκλων δοκιμής, σφάλματος, αμοιβών και ποινών, μπορεί να σχηματιστεί σύνθετη συνεργατική συμπεριφορά χωρίς παρέμβαση του προγραμματιστή. Επιπλέον, οι agents άρχισαν να ενεργούν συντονισμένα, ακόμη και αν δεν υπήρχε προγραμματισμένη επικοινωνία μεταξύ τους, απλά και μόνο γιατί η ομαδική εργασία αποδείχθηκε πιο αποτελεσματική.

Είναι το ίδιο με τα μεγάλα γλωσσικά μοντέλα. Είναι αδύνατο να γράψουμε όλα τα σενάρια: υπάρχουν πάρα πολλά σενάρια και πάρα πολλή μεταβλητότητα στον κόσμο.，因此, δεν διδάσκουμε το μοντέλο σταθερές κανόνες, διδάσκουμε το πώς να μαθαίνει.

Αυτή είναι η αξία της RLHF. Χωρίς αυτή, ένα LLM και agents παραμένουν απλά μια βιβλιοθήκη κειμένων. Με αυτή, γίνεται ένας συνομιλητής ικανός να προσαρμόζεται, να διορθώνει τον εαυτό του και, ουσιαστικά, να εξελίσσεται.

Τι είναι το επόμενο;

Πολλοί αναρωτιούνται αν οι εξελίξεις των LLMs και agents θα οδηγήσουν σε ανεπιθύμητες ή ακόμη και επικίνδυνες συνέπειες.

Είναι σημαντικό να κατανοήσουμε ότι αυτό που βλέπουμε σήμερα δεν είναι ακόμη ούτε ένα MVP, αλλά απλά ένα πρωτότυπο.

Η πραγματική επανάσταση δεν θα είναι για να βοηθήσει να γράψουμε ένα όμορφο γράμμα ή να το μεταφράσουμε στα Γαλλικά. Αυτά είναι μικρά πράγματα. Η κύρια κατεύθυνση είναι η αυτοματοποίηση των μικρο-εργασιών και των руτινικών διαδικασιών, αφήνοντας τους ανθρώπους μόνο τις πραγματικά δημιουργικές, πνευματικές εργασίες ή τον χρόνο για ανάπαυση.

Οι πραγματικές καινοτομίες επικεντρώνονται γύρω από τους agents, τα συστήματα που μπορούν να σκέφτονται, να ενεργούν και να λαμβάνουν αποφάσεις αντί για ένα άτομο. Αυτό είναι ακριβώς όπου εταιρείες όπως η OpenAI, η Google, η Meta και άλλες εστίαζαν τις προσπάθειές τους σήμερα.

Τα μεγάλα γλωσσικά μοντέλα είναι απλά η βάση. Η πραγματική Zukunft liegt στα agents που εκπαιδεύονται να ζουν σε ένα δυναμικό κόσμο, να λαμβάνουν ανατροφοδότηση και να προσαρμόζονται στις αλλαγές.