ChatGPT & Προηγμένη Μηχανική Προώθησης: Οδηγώντας την Εξέλιξη του AI

Η OpenAI έχει παίξει καθοριστικό ρόλο στην ανάπτυξη επαναστατικών εργαλείων όπως το OpenAI Gym, που σχεδιάστηκε για την εκπαίδευση αλγορίθμων ενίσχυσης, και τα μοντέλα GPT-n. Το σποτ είναι επίσης στο DALL-E, ένα μοντέλο AI που δημιουργεί εικόνες από εισόδους κειμένου. Ένα τέτοιο μοντέλο που έχει προσελκύσει σημαντική προσοχή είναι το ChatGPT της OpenAI, ένα λαμπρό παράδειγμα στον κόσμο των Μεγάλων Μοντέλων Γλώσσας.

GPT-4: Μηχανική Προώθησης

Το ChatGPT έχει μεταμορφώσει το τοπίο των chatbot, προσφέροντας ανθρώπινα-όμοια απαντήσεις σε εισόδους χρήστη και επεκτείνοντας τις εφαρμογές του σε διάφορους τομείς – από την ανάπτυξη λογισμικού και τον έλεγχο μέχρι την επιχειρηματική επικοινωνία και ακόμη και τη δημιουργία ποίησης.

Στα χέρια επιχειρήσεων και ατόμων, το GPT-4, για παράδειγμα, θα μπορούσε να χρησιμεύσει ως απεριόριστος αποθεματικός γνώσεων, ικανός σε θέματα που κυμαίνονται από τα Μαθηματικά και τη Βιολογία μέχρι τις Νομικές Σπουδές. Τέτοια εξελιγμένα και προσιτά μοντέλα AI είναι έτοιμα να ξαναedefinουν το μέλλον της εργασίας, της μάθησης και της δημιουργικότητας.

Γεννητικά μοντέλα όπως το GPT-4 μπορούν να παράγουν νέα δεδομένα με βάση τις υφιστάμενες εισόδους. Αυτό το διακριτό χαρακτηριστικό τους επιτρέπει να αναλάβουν διάφορες εργασίες, συμπεριλαμβανομένης της γεννήσεως κειμένου, εικόνων, μουσικής και βίντεο.

Στο πλαίσιο του ChatGPT και των μοντέλων της OpenAI, μια προώθηση είναι η είσοδος που παρέχουν οι χρήστες στα μοντέλα, συνήθως υπό μορφή κειμένου. Οι προωθήσεις χρησιμεύουν ως ο πρωταρχικός μηχανισμός ελέγχου της εξόδου που παράγουν αυτά τα μοντέλα, καθιστώντας τις κρίσιμες για επιτυχημένες και σχετικές συζητήσεις.

Η Επίδραση της Ποιότητας της Προώθησης

Η χρήση καλά ορισμένων προωθήσεων είναι το κλειδί για την εμπλοκή σε χρήσιμες και σημαντικές συζητήσεις με συστήματα AI. Οι κακοορισμένες προωθήσεις μπορούν να οδηγήσουν σε έξοδο που δεν είναι χρήσιμη για τον χρήστη και μπορεί ακόμη να οδηγήσει σε παραπλανητικό περιεχόμενο.

Για να δείξουμε την επίδραση της ποιότητας της προώθησης, ας συγκριθούν δύο διαφορετικές προωθήσεις που δόθηκαν στο ChatGPT. Η πρώτη προώθηση, που είναι κακοορισμένη και υποθέτει προηγούμενη γνώση, παράγει μια πιθανώς μη χρήσιμη απάντηση για τον χρήστη. Από την άλλη πλευρά, η δεύτερη προώθηση παρέχει περισσότερο контέκστο και παραδείγματα, εξασφαλίζοντας μια πιο σχετική και κατανοητή απάντηση.

Προώθηση 1: “Πες μου για τα Συγκλιδωτικά Νευρωνικά Δίκτυα.”

Απάντηση 1: “Τα Συγκλιδωτικά Νευρωνικά Δίκτυα (CNNs) είναι δίκτυα πολλαπλών στρωμάτων που αποτελούνται από πλήρως συνδεδεμένα στρώματα και στρώματα συσπειρώματος. Χρησιμοποιούνται συνήθως σε εργασίες αναγνώρισης εικόνων. Η διαδικασία περιλαμβάνει την εφαρμογή φίλτρων στις εισόδους εικόνων και την κατεβάσμη τους χρησιμοποιώντας στρώματα συσπειρώματος.”

Προώθηση 2: “Θέλω να μάθω για τα Συγκλιδωτικά Νευρωνικά Δίκτυα, αλλά δεν έχω προηγούμενη γνώση για τα Τεχνητά Νευρωνικά Δίκτυα. Μπορείτε να μου παρέχετε μια αρχαριακή εξήγηση και ένα παράδειγμα για το πώς τα CNNs χρησιμοποιούνται στην αναγνώριση εικόνων;”

Απάντηση 2: “Τα Συγκλιδωτικά Νευρωνικά Δίκτυα (CNNs) είναι ένα είδος νευρωνικού δικτύου που χρησιμοποιείται κυρίως για εργασίες αναγνώρισης εικόνων. Σε αντίθεση με άλλα νευρωνικά δίκτυα, αυτά αξιοποιούν στρώματα συσπειρώματος και στρώματα συσπειρώματος για την επεξεργασία εικόνων. Φανταστείτε ότι έχετε μια εικόνα μιας γάτας. Τα CNNs μπορούν να αναγνωρίσουν διαφορετικά χαρακτηριστικά στην εικόνα, όπως τις μουστάρες, τα αυτιά και την ουρά, εφαρμόζοντας φίλτρα και κατεβάζοντας την εικόνα χρησιμοποιώντας στρώματα συσπειρώματος. Αυτή η διαδικασία καθιστά τα CNNs εξαιρετικά αποτελεσματικά για την αναγνώριση αντικειμένων σε εικόνες.”

Συγκρίνοντας τις δύο απαντήσεις, είναι σαφές ότι μια καλά ορισμένη προώθηση οδηγεί σε μια πιο σχετική και χρήσιμη απάντηση. Η σχεδίαση και η μηχανική προώθησης είναι αναπτυσσόμενες επιστήμες που στοχεύουν στην βελτίωση της ποιότητας της εξόδου των μοντέλων AI όπως το ChatGPT.

Στις επόμενες ενότητες αυτού του άρθρου, θα εμβαθύνουμε στον κόσμο των προηγμένων μεθοδολογιών που στοχεύουν στην εξέλιξη των Μεγάλων Μοντέλων Γλώσσας (LLMs), όπως τεχνικές μηχανικής προώθησης και τακτικές. Αυτές περιλαμβάνουν τη μάθηση με λίγα παραδείγματα, ReAct, αλυσίδα σκέψης, RAG, και πολλά άλλα.

Προηγμένες Τεχνικές Μηχανικής

Πριν προχωρήσουμε, είναι σημαντικό να κατανοήσουμε einen κρίσιμο περιορισμό των LLMs, που ονομάζεται “hallucination”. Στο πλαίσιο των LLMs, η “hallucination” σημαίνει την τάση αυτών των μοντέλων να παράγουν εξόδους που μπορεί να φαίνονται λογικές αλλά δεν βασίζονται σε πραγματική πραγματικότητα ή στο δεδομένο контέκστο.

Αυτό το πρόβλημα ήταν εμφανές σε μια πρόσφατη δικαστική υπόθεση όπου ένας δικηγόρος άμυνας χρησιμοποίησε το ChatGPT για νομική έρευνα. Το εργαλείο AI, που απέτυχε λόγω του προβλήματος hallucination, ανέφερε μη υπαρκτά νομικά περιστατικά. Αυτό το λάθος είχε σημαντικές επιπτώσεις, προκαλώντας σύγχυση και υπονομεύοντας την αξιοπιστία κατά τη διάρκεια της διαδικασίας. Αυτό το περιστατικό служει ως μια σοβαρή υπενθύμιση της επείγουσας ανάγκης να αντιμετωπίσουμε το πρόβλημα της “hallucination” στα συστήματα AI.

Η εξερεύνησή μας στις τεχνικές μηχανικής προώθησης στοχεύει να βελτιώσει αυτά τα аспектς των LLMs. Βελτιώνοντας την αποτελεσματικότητά τους και την ασφάλεια, ανοίγουμε το δρόμο για καινοτόμες εφαρμογές όπως η εξαγωγή πληροφοριών. Επιπλέον, ανοίγουμε τις πόρτες για την ομαλή ενσωμάτωση των LLMs με εξωτερικά εργαλεία και πηγές δεδομένων, διευρύνοντας το φάσμα των πιθανών εφαρμογών τους.

Μάθηση με Μηδέν και Λίγα Παραδείγματα: Βελτιστοποίηση με Παραδείγματα

Τα Γεννητικά Προκαταρτισμένα Μετασχηματιστές (GPT-3) σημάδεψαν einen σημαντικό σταθμό στην ανάπτυξη των Γεννητικών Μοντέλων AI, εισαγωγώντας την έννοια της “μάθησης με λίγα παραδείγματα”. Αυτή η μέθοδος ήταν ένας game-changer λόγω της ικανότητάς της να λειτουργεί αποτελεσματικά χωρίς την ανάγκη για εκτεταμένη επιμελημένη εκπαίδευση. Το πλαίσιο GPT-3 συζητείται στο έγγραφο “Language Models are Few Shot Learners“, όπου οι συγγραφείς δείχνουν πώς το μοντέλο excels σε διάφορες εφαρμογές χωρίς να απαιτείται προσαρμοσμένα σύνολα δεδομένων ή κώδικας.

Σε αντίθεση με την επιμελημένη εκπαίδευση, η οποία απαιτεί συνεχείς προσπάθειες για την επίλυση διαφορετικών περιπτώσεων, τα μοντέλα με λίγα παραδείγματα δείχνουν μεγαλύτερη ευελιξία σε ένα ευρύ φάσμα εφαρμογών. Ενώ η επιμελημένη εκπαίδευση μπορεί να παρέχει ισχυρές λύσεις σε ορισμένες περιπτώσεις, μπορεί να είναι δαπανηρή σε κλίμακα, καθιστώντας τη χρήση μοντέλων με λίγα παραδείγματα μια πιο πρακτική προσέγγιση, ιδιαίτερα όταν συνδυάζεται με τη μηχανική προώθησης.

Φανταστείτε ότι προσπαθείτε να μεταφράσετε Αγγλικά σε Γαλλικά. Στη μάθηση με λίγα παραδείγματα, θα παρέχετε στο GPT-3 λίγα παραδείγματα μετάφρασης όπως “sea otter -> loutre de mer”. Το GPT-3, ως ένα προηγμένο μοντέλο, είναι τότε σε θέση να συνεχίσει να παρέχει ακριβείς μεταφράσεις. Στη μάθηση με μηδέν παραδείγματα, δεν θα παρέχετε κανένα παράδειγμα, και το GPT-3 θα ήταν ακόμη σε θέση να μεταφράσει Αγγλικά σε Γαλλικά αποτελεσματικά.

Ο όρος “μάθηση με λίγα παραδείγματα” προέρχεται από την ιδέα ότι το μοντέλο λαμβάνει ένα περιορισμένο αριθμό παραδειγμάτων για να “μάθει” από αυτά. Είναι σημαντικό να σημειωθεί ότι “μάθηση” σε αυτό το контέκστο δεν涉ίζει την ενημέρωση των παραμέτρων ή των βαρών του μοντέλου, αλλά επηρεάζει την απόδοσή του.

Μάθηση με Λίγα Παραδείγματα όπως Παρουσιάζεται στο Έγγραφο GPT-3

Η μάθηση με μηδέν παραδείγματα μεταφέρει αυτήν την έννοια ένα βήμα παραπέρα. Στη μάθηση με μηδέν παραδείγματα, δεν παρέχονται παραδείγματα ολοκλήρωσης της εργασίας στο μοντέλο. Το μοντέλο αναμένεται να εκτελέσει καλά με βάση την αρχική του εκπαίδευση, καθιστώντας αυτήν τη μεθοδολογία ιδανική για σενάρια ερωτήσεων ανοιχτού τομέα όπως το ChatGPT.

Σε πολλές περιπτώσεις, ένα μοντέλο ικανό στη μάθηση με μηδέν παραδείγματα μπορεί να εκτελέσει καλά όταν παρέχονται λίγα ή ακόμη και ένα μόνο παράδειγμα. Αυτή η ικανότητα να μεταβαίνει μεταξύ μηδέν, ενός και λίγων παραδειγμάτων υπογραμμίζει την προσαρμοστικότητα των μεγάλων μοντέλων, ενισχύοντας τις πιθανές εφαρμογές τους σε διάφορους τομείς.

Οι μέθοδοι μάθησης με μηδέν παραδείγματα γίνονται ολοένα και πιο δημοφιλείς. Αυτές οι μέθοδοι χαρακτηρίζονται από την ικανότητά τους να αναγνωρίσουν αντικείμενα που δεν είδαν κατά την εκπαίδευση. Εδώ είναι ένα πρακτικό παράδειγμα μιας Προώθησης με Λίγα Παραδείγματα:

Μεταφράστε τις ακόλουθες Αγγλικές φράσεις σε Γαλλικά:

'sea otter' μεταφράζεται σε 'loutre de mer'
'sky' μεταφράζεται σε 'ciel'
Τι μεταφράζεται 'cloud' στα Γαλλικά;"

Παρέχοντας στο μοντέλο λίγα παραδείγματα και στη συνέχεια θέτοντας μια ερώτηση, μπορούμε να οδηγήσουμε αποτελεσματικά το μοντέλο να παράγει την επιθυμητή έξοδο. Σε αυτήν την περίπτωση, το GPT-3 θα μεταφράσει σωστά ‘cloud’ σε ‘nuage’ στα Γαλλικά.

Θα εμβαθύνουμε περισσότερο στις διάφορες νюανς της μηχανικής προώθησης και τον κρίσιμο ρόλο της στην βελτίωση της απόδοσης του μοντέλου κατά την εύρεση. Θα εξετάσουμε επίσης πώς μπορεί να χρησιμοποιηθεί αποτελεσματικά για τη δημιουργία οικονομικά αποδοτικών και κλιμακωτών λύσεων σε ένα ευρύ φάσμα εφαρμογών.

Καθώς εξερευνούμε την πολυπλοκότητα της μηχανικής προώθησης στα μοντέλα GPT, είναι σημαντικό να τονίσουμε την προηγούμενη μας ανάρτηση ‘Ο Οδηγός για τη Μηχανική Προώθησης στο ChatGPT‘. Αυτός ο οδηγός παρέχει ερευνες στις στρατηγικές για την οδηγία των μοντέλων AI αποτελεσματικά σε διάφορες εφαρμογές.

Στις προηγούμενες συζητήσεις μας, εξετάσαμε τις βασικές μεθόδους προώθησης για τα μεγάλα μοντέλα γλώσσας (LLMs) όπως η μάθηση με μηδέν και λίγα παραδείγματα, καθώς και η προώθηση οδηγίας. Η κατοχή αυτών των τεχνικών είναι κρίσιμη για την αντιμετώπιση των πιο σύνθετων προκλήσεων της μηχανικής προώθησης που θα εξετάσουμε εδώ.

Η μάθηση με λίγα παραδείγματα μπορεί να είναι περιορισμένη λόγω του περιορισμένου παραθύρου контέκστου των περισσότερων LLMs. Επιπλέον, χωρίς τις κατάλληλες προφυλάξεις, τα LLMs μπορούν να παραπλανηθούν και να παράγουν потенτικά επιβλαβή έξοδο. Και πολλά μοντέλα δυσκολεύονται με εργασίες λογικής ή την εκτέλεση πολύπλοκων οδηγιών.

Δεδομένων αυτών των περιορισμών, η πρόκληση έγκειται στην αξιοποίηση των LLMs για την αντιμετώπιση σύνθετων εργασιών. Μια φανερή λύση θα ήταν η ανάπτυξη πιο προηγμένων LLMs ή η βελτίωση των υφιστάμενων, αλλά αυτό θα μπορούσε να απαιτήσει σημαντικές προσπάθειες. Έτσι, η ερώτηση που ανακύπτει είναι: πώς μπορούμε να βελτιστοποιήσουμε τα τρέχοντα μοντέλα για βελτιωμένη επίλυση προβλημάτων;

Ιδιαίτερα ενδιαφέρον είναι η εξερεύνηση του πώς αυτή η τεχνική συνδέεται με δημιουργικές εφαρμογές στο “Mastering AI Art: A Concise Guide to Midjourney and Prompt Engineering” της Unite AI, το οποίο περιγράφει πώς η σύντηξη της τέχνης και του AI μπορεί να οδηγήσει σε εκπληκτική τέχνη.

Αλυσίδα Σκέψης Προώθησης

Η προώθηση αλυσίδας σκέψης αξιοποιεί τις αυτο-αναδρομικές ιδιότητες των μεγάλων μοντέλων γλώσσας (LLMs), τα οποία excels στην πρόβλεψη του επόμενου λόγου σε μια δεδομένη ακολουθία. Προωθώντας το μοντέλο να εξηγήσει τη σκέψη του, προκαλεί μια πιο περίπλοκη και μεθοδική γεννήσεως ιδεών, η οποία τείνει να ευθυγραμμιστεί στενά με ακριβείς πληροφορίες. Αυτή η ευθυγράμμιση προέρχεται από την τάση του μοντέλου να επεξεργάζεται και να παρέχει πληροφορίες με einen σκεπτόμενο και οργανωμένο τρόπο, παρόμοιο με έναν ανθρώπινο εμπειρογνώμονα που οδηγεί έναν ακροατή μέσα από ένα σύνθετο概念.

Μια απλή δήλωση όπως “περάστε με βήμα προς βήμα…” είναι συχνά αρκετή για να ενεργοποιήσει αυτήν την πιο εκτεταμένη και λεπτομερή έξοδο.

Προώθηση Αλυσίδας Σκέψης με Μηδέν Παραδείγματα

Ενώ η συμβατική προώθηση αλυσίδας σκέψης απαιτεί προ-εκπαίδευση με παραδείγματα, μια αναδυόμενη περιοχή είναι η προώθηση αλυσίδας σκέψης με μηδέν παραδείγματα. Αυτή η προσέγγιση, που εισήχθη από τους Kojima et al. (2022), καινοτομεί προσθέτοντας τη φράση “Ας σκεφτούμε βήμα προς βήμα” στην αρχική προώθηση.

Ας δημιουργήσουμε μια προηγμένη προώθηση όπου το ChatGPT έχει ανατεθεί να συνοψίσει τα βασικά σημεία από έρευνα AI και NLP.

Σε αυτήν την επίδειξη, θα χρησιμοποιήσουμε την ικανότητα του μοντέλου να κατανοήσει και να συνοψίσει σύνθετες πληροφορίες από ακαδημαϊκούς κειμένους. Χρησιμοποιώντας την προσέγγιση της μάθησης με λίγα παραδείγματα, θα διδάξουμε το ChatGPT να συνοψίσει τα βασικά σημεία από έρευνα AI και NLP:

1. Τίτλος Έρευνας: "Προσοχή είναι Όλα που Χρειάζεστε"
Βασικό Σημείο: Εισήγαγε το μοντέλο μετασχηματιστή, τονίζοντας τη σημασία των μηχανισμών προσοχής έναντι των αναδρομικών στρωμάτων για εργασίες μετατροπής ακολουθιών.

2. Τίτλος Έρευνας: "BERT: Προ-εκπαίδευση Βαθιών Διπλών Μετασχηματιστών για Κατανόηση Γλώσσας"
Βασικό Σημείο: Εισήγαγε το BERT, δείχνοντας την αποτελεσματικότητα της προ-εκπαίδευσης βαθιών διπλών μοντέλων, επιτυγχάνοντας state-of-the-art αποτελέσματα σε διάφορες εργασίες NLP.

Τώρα, με το контέκστο αυτών των παραδειγμάτων, συνοψίστε τα βασικά σημεία από την ακόλουθη έρευνα:

Τίτλος Έρευνας: "Μηχανική Προώθησης σε Μεγάλα Μοντέλα Γλώσσας: Μια Εξέταση"

Αυτή η προώθηση όχι μόνο διατηρεί μια σαφή αλυσίδα σκέψης αλλά και αξιοποιεί την προσέγγιση της μάθησης με λίγα παραδείγματα για να οδηγήσει το μοντέλο. Συνδέεται με τα κλειδιά μας εστιάζοντας στους τομείς AI και NLP, ζητώντας από το ChatGPT να εκτελέσει μια σύνθετη εργασία που σχετίζεται με τη μηχανική προώθησης: τη σύνοψη ερευνών.

Προώθηση ReAct

Η ReAct, ή “Λογική και Δράση”, εισήχθη από την Google (GOOGL ) στο έγγραφο “ReAct: Συnergizing Reasoning and Acting in Language Models“, και επαναπροσδιόρισε τον τρόπο με τον οποίο τα μοντέλα γλώσσας αλληλεπιδρούν με μια εργασία, προωθώντας το μοντέλο να παράγει δυναμικά τόσο την εκφώνηση της λογικής όσο και τις εργασίες που σχετίζονται με την εργασία.

Φανταστείτε έναν ανθρώπινο σεφ στην κουζίνα: δεν εκτελεί μόνο μια σειρά ενεργειών (κόβοντας λαχανικά, βάζοντας νερό να βράσει, ανακατεύοντας υλικά) αλλά και ασχολείται με την εσωτερική ομιλία (“τώρα που τα λαχανικά είναι κομμένα, πρέπει να βάλω τη κατσαρόλα στη σόμπα”). Αυτή η συνεχής εσωτερική ομιλία βοηθά στην στρατηγική της διαδικασίας, την προσαρμογή σε απρόβλεπτες αλλαγές (“έχω τελειώσει το ελαιόλαδο, θα χρησιμοποιήσω βούτυρο αντί για αυτό”), και θυμάται την σειρά των εργασιών. Η ReAct μιμείται αυτήν την ανθρώπινη ικανότητα, επιτρέποντας στο μοντέλο να μαθαίνει γρήγορα νέες εργασίες και να λαμβάνει ρομποτικά αποφάσεις, όπως θα έκανε ένας άνθρωπος υπό νέες ή αβέβαιες συνθήκες.

Η ReAct μπορεί να αντιμετωπίσει το πρόβλημα της hallucination, ένα κοινό πρόβλημα με τα συστήματα Αλυσίδας Σκέψης (CoT). Η CoT, αν και αποτελεσματική τεχνική, λείπει της ικανότητας να αλληλεπιδρά με τον εξωτερικό κόσμο, ο οποίος θα μπορούσε να οδηγήσει σε παραπλανητική πληροφορία και διάδοση σφαλμάτων. Η ReAct, ωστόσο, αντισταθμίζει αυτό το πρόβλημα αλληλεπιδρώντας με εξωτερικές πηγές πληροφοριών. Αυτή η αλληλεπίδραση επιτρέπει στο σύστημα να ελέγχει την εύλογη σκέψη του και να ενημερώνει τις γνώσεις του με βάση τις πιο πρόσφατες πληροφορίες από τον εξωτερικό κόσμο.

Η βασική λειτουργία της ReAct μπορεί να εξηγηθεί μέσω ενός παραδείγματος από το HotpotQA, μια εργασία που απαιτεί υψηλής τάξης λογική. Λαμβάνοντας μια ερώτηση, το μοντέλο ReAct διασπά την ερώτηση σε διαχειρίσιμα μέρη και δημιουργεί einen σχέδιο δράσης. Το μοντέλο παράγει μια reasoning trace (σκέψη) και αναγνωρίζει μια σχετική δράση. Μπορεί να αποφασίσει να αναζητήσει πληροφορίες για το Apple (AAPL ) Remote σε μια εξωτερική πηγή, όπως η Βικιπαίδεια (δράση), και να ενημερώσει την κατανόησή του με βάση τις ληφθείσες πληροφορίες (παρατήρηση). Μέσω πολλών βημάτων σκέψης-δράσης-παρατήρησης, η ReAct μπορεί να ανακτήσει πληροφορίες για να υποστηρίξει την εύλογη σκέψη της και να βελτιστοποιήσει τι πρέπει να ανακτήσει επόμενο.

Σημείωση:

HotpotQA είναι ένα σύνολο δεδομένων, που προέρχεται από τη Βικιπαίδεια, αποτελούμενο από 113k ζευγάρια ερωτήσεων-απαντήσεων που σχεδιάστηκαν για την εκπαίδευση συστημάτων AI σε σύνθετη λογική. Από την άλλη πλευρά, CommonsenseQA 2.0, που κατασκευάστηκε μέσω gamification, περιλαμβάνει 14,343 ερωτήσεις ναι/όχι και σχεδιάστηκε για να προκαλέσει την κατανόηση του AI για την κοινή λογική, καθώς οι ερωτήσεις είναι σκόπιμα κατασκευασμένες για να παραπλανήσουν τα μοντέλα AI.

Η διαδικασία θα μπορούσε να φαίνεται κάπως così:

1. Σκέψη: “Χρειάζομαι να αναζητήσω το Apple Remote και τις συμβατές συσκευές.”
2. Δράση: Αναζητά “Συσκευές συμβατές με το Apple Remote” σε μια εξωτερική πηγή.
3. Παρατήρηση: Λαμβάνει μια λίστα συσκευών που είναι συμβατές με το Apple Remote από τα αποτελέσματα αναζήτησης.
4. Σκέψη: “Βάσει των αποτελεσμάτων αναζήτησης, πολλές συσκευές, εκτός από το Apple Remote, μπορούν να ελέγχουν το πρόγραμμα που αρχικά σχεδιάστηκε να αλληλεπιδράσει.”

Το αποτέλεσμα είναι μια δυναμική, εύλογη διαδικασία που μπορεί να εξελιχθεί με βάση τις πληροφορίες με τις οποίες αλληλεπιδρά, οδηγώντας σε πιο ακριβείς και αξιόπιστες απαντήσεις.

Συγκριτική οπτικοποίηση τεσσάρων μεθόδων προώθησης – Standard, Chain-of-Thought, Act-Only, και ReAct, στην επίλυση HotpotQA και AlfWorld (https://arxiv.org/pdf/2210.03629.pdf)

Η σχεδίαση των एजέντων ReAct είναι ένας εξειδικευμένος ρόλος, δεδομένης της ικανότητάς τους να επιτύχουν σύνθετα αντικείμενα. Για παράδειγμα, ένας एजέντας συνομιλίας, που βασίζεται στο βασικό μοντέλο ReAct, ενσωματώνει μνήμη συνομιλίας για να παρέχει πλουσιότερες αλληλεπιδράσεις. Ωστόσο, η πολυπλοκότητα αυτής της εργασίας απλοποιείται από εργαλεία όπως το Langchain, το οποίο έχει γίνει ο chuẩn για τη σχεδίαση αυτών των एजέντων.

Προώθηση Πιστής στο Κοντέκστο

Το έγγραφο ‘Προώθηση Πιστής στο Κοντέκστο για Μεγάλα Μοντέλα Γλώσσας‘ υπογραμμίζει ότι ενώ τα LLMs έχουν δείξει σημαντική επιτυχία σε εργασίες NLP που βασίζονται στη γνώση, η υπερβολική εξάρτησή τους από παραμετρική γνώση μπορεί να τα οδηγήσει σε λάθος όταν αντιμετωπίζουν εργασίες που εξαρτώνται από το контέκστο. Για παράδειγμα, όταν ένα μοντέλο γλώσσας εκπαιδεύεται με δεδομένα πριν από το Παγκόσμιο Κύπελλο του 2022, και του δίνεται ένα контέκστο που υποδηλώνει ότι η Γαλλία κέρδισε το τουρνουά, το LLM, βασισμένο στη προ-εκπαίδευσή του, μπορεί να συνεχίσει να ισχυρίζεται ότι ο προηγούμενος νικητής, δηλαδή η ομάδα που κέρδισε το Παγκόσμιο Κύπελλο του 2018, είναι ακόμη ο κάτοχος του τίτλου. Αυτό δείχνει einen κλασικό случай “συνFLICTS γνώσης”.

Ουσιαστικά, ο конфλιкт γνώσης σε ένα LLM ανακύπτει όταν νέα πληροφορία που παρέχεται στο контέκστο αντιφάσκει με την προ-εκπαίδευσή του. Η τάση του μοντέλου να βασίζεται περισσότερο στην προηγούμενη εκπαίδευσή του παρά στο νέο контέκστο μπορεί να οδηγήσει σε λανθασμένες εξόδους. Από την άλλη πλευρά, η hallucination στα LLMs είναι η γεννήσεως απαντήσεων που μπορεί να φαίνονται πιθανές αλλά δεν βασίζονται στα δεδομένα εκπαίδευσης του μοντέλου ή στο παρεχόμενο контέκστο.

Ένα άλλο πρόβλημα ανακύπτει όταν το παρεχόμενο контέκστο δεν περιέχει αρκετές πληροφορίες για να απαντήσει σωστά σε eine ερώτηση, μια κατάσταση που ονομάζεται “πρόβλεψη με απώλεια”. Για παράδειγμα, αν ένα LLM ζητηθεί να απαντήσει για το ιδρυτή της Microsoft (MSFT ) με βάση ένα контέκστο που δεν παρέχει αυτήν την πληροφορία, θα πρέπει ιδανικά να απέχει από την κίνηση να μαντέψει.

Περισσότερα Παραδείγματα Συγκρούσεων Γνώσης και της Δύναμης της Απώλειας

Για να βελτιώσουμε την πιστότητα στο контέκστο των LLMs σε αυτές τις περιπτώσεις, οι ερευνητές πρότειναν eine σειρά στρατηγικών προώθησης. Αυτές οι στρατηγικές στοχεύουν να κάνουν τις απαντήσεις των LLMs πιο ευαίσθητες στο контέκστο παρά να βασίζονται στην κωδικοποιημένη γνώση.

Μια τέτοια στρατηγική είναι να διατυπώσουμε τις προωθήσεις ως ερωτήσεις που βασίζονται σε γνώμη, όπου το контέκστο ερμηνεύεται ως δήλωση αφηγητή, και η ερώτηση σχετίζεται με τη γνώμη αυτού του αφηγητή. Αυτή η προσέγγιση επανακατευθύνει την προσοχή του LLM στο παρεχόμενο контέκστο παρά να βασίζεται στην προ-εκπαίδευσή του.

Η προσθήκη αντιφατικών παραδειγμάτων στις προωθήσεις έχει επίσης αναγνωριστεί ως ένας αποτελεσματικός τρόπος για να αυξήσει την πιστότητα σε περιπτώσεις συγκρούσεων γνώσης. Αυτά τα παραδείγματα παρέχουν σενάρια με ψευδείς γεγονότα, τα οποία οδηγούν το μοντέλο να προσεξει περισσότερο στο контέκστο για να παρέχει ακριβείς απαντήσεις.

Επιμελημένη Εκπαίδευση Οδηγιών

Η επιμελημένη εκπαίδευση οδηγιών είναι eine φάση εκπαίδευσης που βασίζεται στην παροχή του μοντέλου με συγκεκριμένες οδηγίες, για παράδειγμα, “Εξηγήστε τη διαφορά μεταξύ ανατολής και δύσης”. Η οδηγία συνοδεύεται από μια κατάλληλη απάντηση, κάτι σαν “Μια ανατολή αναφέρεται στη στιγμή που ο ήλιος εμφανίζεται πάνω από τον ορίζοντα το πρωί, ενώ η δύση σηματοδοτεί το σημείο που ο ήλιος εξαφανίζεται κάτω από τον ορίζοντα το βράδυ”. Μέσω αυτής της μεθόδου, το μοντέλο μαθαίνει πώς να ακολουθήσει και να εκτελέσει οδηγίες.

Αυτή η προσέγγιση επηρεάζει σημαντικά τη διαδικασία προώθησης των LLMs, οδηγώντας σε eine ριζική αλλαγή στον τρόπο προώθησης. Ένα LLM που έχει επιμεληθεί με οδηγίες επιτρέπει την άμεση εκτέλεση εργασιών χωρίς παραδείγματα, παρέχοντας ομαλή εκτέλεση εργασιών. Αν το LLM δεν έχει ακόμη επιμεληθεί, μπορεί να απαιτείται μια προσέγγιση μάθησης με λίγα παραδείγματα, ενσωματώνοντας κάποια παραδείγματα στην προώθησή σας για να οδηγήσετε το μοντέλο στην επιθυμητή απάντηση.

“Επιμελημένη Εκπαίδευση με GPT-4′ συζητά την προσπάθεια να χρησιμοποιηθεί το GPT-4 για τη γεννήσεως δεδομένων για την επιμελημένη εκπαίδευση LLMs. Χρησιμοποίησαν ένα πλούσιο σύνολο δεδομένων, που αποτελείται από 52,000 μοναδικά δεδομένα ακολουθίας οδηγιών σε cả τα Αγγλικά και τα Κινέζικα.

Το σύνολο δεδομένων παίζει einen κρίσιμο ρόλο στην επιμελημένη εκπαίδευση LLaMA models, μια σειρά ανοιχτών LLMs, οδηγώντας σε βελτιωμένη απόδοση σε νέες εργασίες. Σημαντικά προγράμματα όπως Stanford Alpaca έχουν αποτελεσματικά χρησιμοποιήσει την αυτο-οδηγία, eine αποτελεσματική μέθοδο για την ευθυγράμμιση των LLMs με την ανθρώπινη πρόθεση, αξιοποιώντας δεδομένα που παράγονται από προηγμένα μοντέλα οδηγιών.

Ο πρωταρχικός στόχος της έρευνας για την επιμελημένη εκπαίδευση οδηγιών είναι να ενισχύσει τις ικανότητες γενίκευσης με μηδέν και λίγα παραδείγματα των LLMs. Η συλλογή περισσότερων δεδομένων και η κλιμάκωση των μοντέλων μπορεί να παρέχει宝贵ες ερευνες. Με το τρέχον μέγεθος δεδομένων του GPT-4 στα 52K και το βασικό μέγεθος μοντέλου LLaMA στα 7 δισεκατομμύρια παραμέτρους, υπάρχει τεράστιο δυναμικό για συλλογή περισσότερων δεδομένων GPT-4 και συνδυασμό τους με άλλες πηγές δεδομένων, οδηγώντας στην εκπαίδευση μεγαλύτερων μοντέλων LLaMA για υπεροχή απόδοση.

STaR: Αυτο-εκπαίδευση Λογικής με Λογική

Το δυναμικό των LLMs είναι ιδιαίτερα ορατό σε σύνθετες εργασίες λογικής όπως τα μαθηματικά ή η κοινή λογική. Ωστόσο, η διαδικασία της έμπνευσης ενός μοντέλου γλώσσας να παράγει rationales—μια σειρά βημάτων εύλογης σκέψης—” έχει τις δικές της προκλήσεις. Συχνά απαιτεί την κατασκευή μεγάλων συνόλων δεδομένων rationales ή einen θυσία στην ακρίβεια λόγω της εξάρτησης από μόνο λίγα παραδείγματα.

“Ο Αυτο-Διδασμένος Λογικός” (STaR) προσφέρει μια καινοτόμο λύση σε αυτές τις προκλήσεις. Χρησιμοποιεί einen απλό βρόχο για την συνεχή βελτίωση της ικανότητας λογικής του μοντέλου. Αυτή η επαναλαμβανόμενη διαδικασία αρχίζει με τη γεννήσεως rationales για να απαντήσει σε πολλές ερωτήσεις χρησιμοποιώντας λίγα rationales. Αν οι παραγμένες απαντήσεις είναι λανθασμένες, το μοντέλο προσπαθεί ξανά να γεννήσει einen rationale, αυτήν την φορά δίνοντας την σωστή απάντηση. Το μοντέλο στη συνέχεια επιμελητεύεται με όλα τα rationales που οδήγησαν σε σωστές απαντήσεις, και η διαδικασία επαναλαμβάνεται.

STaR μεθοδολογία, δείχνοντας τον βρόχο επιμελημένης εκπαίδευσης και einen δείγμα γεννήσεως rationale στη βάση CommonsenseQA

Για να το εικονοποιήσουμε με einen πρακτικό παράδειγμα,考ετε την ερώτηση “Τι μπορεί να χρησιμοποιηθεί για να μεταφέρει einen μικρό σκύλο;” με επιλογές απαντήσεων που κυμαίνονται από μια πισίνα đến einen καλάθι. Το μοντέλο STaR γεννήσεως einen rationale, αναγνωρίζοντας ότι η απάντηση πρέπει να είναι κάτι που μπορεί να μεταφέρει einen μικρό σκύλο και καταλήγει στο συμπέρασμα ότι ένα καλάθι, που σχεδιάστηκε για να κρατάει πράγματα, είναι η σωστή απάντηση.

Η προσέγγιση του STaR είναι μοναδική στο ότι αξιοποιεί την προ-υπάρχουσα ικανότητα λογικής του μοντέλου. Χρησιμοποιεί μια διαδικασία αυτο-γεννήσεως και βελτίωσης των rationales, αυτο-εκπαιδεύοντας την ικανότητα λογικής του μοντέλου. Ωστόσο, ο βρόχος του STaR έχει τους δικούς του περιορισμούς. Το μοντέλο μπορεί να αποτύχει να λύσει νέα προβλήματα στο σύνολο εκπαίδευσης επειδή δεν λαμβάνει keinen άμεσο σήμα εκπαίδευσης για προβλήματα που δεν μπορεί να λύσει. Για να αντιμετωπίσουμε αυτό το πρόβλημα, ο STaR εισάγει την racionalization. Για κάθε πρόβλημα που το μοντέλο δεν μπορεί να απαντήσει σωστά, γεννήσεως einen νέο rationale παρέχοντας το μοντέλο με την σωστή απάντηση, το οποίο επιτρέπει στο μοντέλο να σκέφτεται ανάποδα.

Ο STaR, επομένως, είναι eine κλιμακώσιμη μεθοδολογία αυτο-εκπαίδευσης που επιτρέπει στα μοντέλα να μαθαίνουν να γεννήσουν τα δικά τους rationales ενώ μαθαίνουν να λύνουν ολοένα και πιο δύσκολα προβλήματα. Η εφαρμογή του STaR έχει δείξει υποσχόμενες επιτυχίες σε εργασίες που περιλαμβάνουν αριθμητική, μαθηματικά προβλήματα και κοινή λογική. Στη βάση CommonsenseQA, ο STaR βελτίωσε τόσο την few-shot βάση όσο και την βάση που επιμελητεύτηκε για να προβλέψει απευθείας απαντήσεις και εκτέλεσε παρόμοια με ένα μοντέλο που είναι 30 φορές μεγαλύτερο.

Προωθήσεις με Ετικέτες Κοντέκστου

Η концепτός των “Προωθήσεων με Ετικέτες Κοντέκστου” περιστρέφεται γύρω από την παροχή του μοντέλου AI με einen επιπλέον στρώμα κοντέκστου, ετικετώνοντας ορισμένες πληροφορίες μέσα στην είσοδο. Αυτές οι ετικέτες λειτουργούν ως σηματοδότες για το AI, οδηγώντας το πώς να ερμηνεύσει το κοντέκστο ακριβώς και να παράγει μια απάντηση που είναι και σχετική και πραγματική.

Φανταστείτε ότι έχετε μια συνομιλία με einen φίλο για einen συγκεκριμένο θέμα, π.χ. “σκακιστικό”. Κάνετε μια δήλωση και στη συνέχεια την ετικετεύετε με eine αναφορά, όπως “(πηγή: Βικιπαίδεια)”. Τώρα, ο φίλος σας, που σε αυτήν την περίπτωση είναι το μοντέλο AI, γνωρίζει ακριβώς από πού προέρχεται η πληροφορία σας. Αυτή η προσέγγιση στοχεύει να κάνει τις απαντήσεις του AI πιο αξιόπιστες, μειώνοντας τον κίνδυνο hallucination, ή την γεννήσεως ψευδών γεγονότων.

Μια μοναδική πτυχή των προωθήσεων με ετικέτες κοντέκστου είναι το δυναμικό τους να βελτιώσουν την “πνευματική ευφυΐα” του μοντέλου. Για παράδειγμα, το έγγραφο δείχνει αυτό χρησιμοποιώντας einen διαφορετικό σύνολο ερωτήσεων που εξαγονται από πολλές πηγές, όπως συνοψισμένα άρθρα της Βικιπαίδειας σε διάφορα θέματα και ενότητες από einen πρόσφατα δημοσιευμένο βιβλίο. Οι ερωτήσεις ετικετεύονται, παρέχοντας στο μοντέλο AI επιπλέον κοντέκστο σχετικά με την πηγή της πληροφορίας.

Αυτή η επιπλέον στρώμα κοντέκστου μπορεί να αποδειχθεί εξαιρετικά ωφέλιμη όταν πρόκειται για την παραγωγή απαντήσεων που δεν είναι μόνο ακριβείς αλλά και πιστές στο κοντέκστο που παρέχεται, καθιστώντας την έξοδο του AI πιο αξιόπιστη και đáng信.

Συμπέρασμα: Μια Ματιά στις Υποσχόμενες Τεχνικές και Μελλοντικές Κατευθύνσεις

Το ChatGPT της OpenAI παρουσιάζει το ανεξερεύνητο δυναμικό των Μεγάλων Μοντέλων Γλώσσας (LLMs) στην αντιμετώπιση σύνθετων εργασιών με αξιοσημείωτη αποτελεσματικότητα. Προηγμένες τεχνικές όπως η μάθηση με λίγα παραδείγματα, η ReAct προώθηση, η αλυσίδα σκέψης, και ο STaR, μας επιτρέπουν να αξιοποιήσουμε αυτό το δυναμικό σε ένα πλήθος εφαρμογών. Καθώς εμβαθύνουμε στις ιδιαιτερότητες αυτών των μεθόδων, ανακαλύπτουμε πώς διαμορφώνουν το τοπίο της τεχνητής νοημοσύνης, προσφέροντας πλουσιότερες και ασφαλέστερες αλληλεπιδράσεις μεταξύ ανθρώπων και μηχανών.

Παρά τις προκλήσεις όπως η σύγκρουση γνώσης, η υπερβολική εξάρτηση από παραμετρική γνώση, και ο κίνδυνος hallucination, αυτά τα μοντέλα AI, με την σωστή μηχανική προώθησης, έχουν αποδειχθεί μεταμορφωτικά εργαλεία. Η επιμελημένη εκπαίδευση οδηγιών, η προώθηση πιστή στο κοντέκστο, και η ενσωμάτωση με εξωτερικές πηγές δεδομένων ενισχύουνさらに την ικανότητά τους να λογαριαστούν, να μάθουν, και να προσαρμοστούν.