Είναι το GPT-4 ένα άλμα προς την επίτευξη της AGI;

Η Microsoft (MSFT ) δημοσίευσε πρόσφατα μια έρευνα με τίτλο: Sparks of Artificial General Intelligence: Early experiments with GPT-4. Όπως περιγράφεται από τη Microsoft:

Αυτή η έρευνα αναφέρει την έρευνά μας για μια πρώιμη έκδοση του GPT-4, όταν ainda ήταν σε ενεργό ανάπτυξη από την OpenAI. Υποστηρίζουμε ότι (αυτή η πρώιμη έκδοση του) GPT-4 είναι μέρος μιας νέας γενιάς LLMs (μαζί με το ChatGPT και το PaLM της Google (GOOGL ), για παράδειγμα) που εμφανίζουν περισσότερη γενική νοημοσύνη από τα προηγούμενα μοντέλα AI.

Σε αυτήν την έρευνα, υπάρχουν αποφασιστικά στοιχεία που αποδεικνύουν ότι το GPT-4 πάει πολύ πέρα από τη μνήμη, και ότι έχει μια βαθιά και ευέλικτη κατανόηση των εννοιών, των δεξιοτήτων και των τομέων. Στην πραγματικότητα, η ικανότητά του να γενικεύει υπερβαίνει αυτήν των ανθρώπων.

Ενώ έχουμε συζητήσει προηγουμένως τα οφέλη της AGI, θα πρέπει να συνοψίσουμε γρήγορα τη γενική συναίνεση σχετικά με το τι είναι ένα σύστημα AGI. Βασικά, ένα AGI είναι ένα είδος προηγμένης AI που μπορεί να γενικεύσει σε πολλαπλούς τομείς και δεν είναι στενό στην εμβέλεια. Παραδείγματα στενής AI περιλαμβάνουν ένα αυτόνομο όχημα, ένα chatbot, ένα bot σκακιού ή οποιοδήποτε άλλο AI που έχει σχεδιαστεί για einen μόνο σκοπό.

Ένα AGI, σε σύγκριση, θα μπορούσε να εναλλάσσεται ευέλικτα μεταξύ οποιουδήποτε από τα παραπάνω ή οποιουδήποτε άλλου τομέα εξειδίκευσης. Θα ήταν ένα AI που θα επωφεληθεί από νέες αλγόριθμους όπως transfer learning, και evolutionary learning, ενώ επίσης θα εκμεταλλευτεί αλγόριθμους like deep reinforcement learning.

Η παραπάνω περιγραφή του AGI ταιριάζει με την προσωπική μου εμπειρία με το GPT-4, καθώς και τα στοιχεία που μοιράζονται στην έρευνα που δημοσιεύθηκε από τη Microsoft.

Ένα από τα prompts που περιγράφονται στην έρευνα είναι να γράψει το GPT-4 μια απόδειξη της απεραντοσύνης των πρώτων αριθμών στη μορφή ενός ποιήματος.

Αν αναλύσουμε τις απαιτήσεις για τη δημιουργία ενός τέτοιου ποιήματος, συνειδητοποιούμε ότι απαιτεί μαθηματική σκέψη, ποιητική έκφραση και φυσική γλώσσα. Αυτή είναι μια πρόκληση που θα υπερβεί τις ικανότητες των περισσότερων ανθρώπων.

Η έρευνα ήθελε να κατανοήσει αν το GPT-4 παράγει περιεχόμενο με βάση τη γενική μνήμη ή αν κατανοεί το контέκστ και μπορεί να συλλογιστεί. Όταν ζητήθηκε να αναδημιουργήσει ένα ποίημα στο στυλ του Σαίξπηρ, ήταν σε θέση να το κάνει. Αυτό απαιτεί ένα πολύπλοκο επίπεδο κατανόησης που υπερβαίνει τις ικανότητες του γενικού πληθυσμού και περιλαμβάνει θεωρία του νου και μαθηματική ιδιοφυΐα.

Πώς να Υπολογίσετε τη Νοημοσύνη του GPT-4;

Η ερώτηση τότε γίνεται πώς μπορούμε να μετρήσουμε τη νοημοσύνη ενός LLM; Και αν το GPT-4 εμφανίζει συμπεριφορές αληθινής μάθησης ή απλής μνήμης;

Ο τρέχων τρόπος δοκιμής ενός συστήματος AI είναι η αξιολόγηση του συστήματος σε ένα σύνολο τυποποιημένων dataset και να διασφαλίσουμε ότι είναι ανεξάρτητα από τα δεδομένα εκπαίδευσης και ότι καλύπτουν eine σειρά από εργασίες και τομείς. Αυτός ο τύπος δοκιμής είναι σχεδόν αδύνατος λόγω του几乎 ατελείωτου ποσού δεδομένων που εκπαιδεύτηκε το GPT-4.

Η έρευνα συζητά τη δημιουργία νέων και δύσκολων εργασιών/ερωτήσεων που αποδεικνύουν ότι το GPT-4 πάει πολύ πέρα από τη μνήμη και ότι έχει μια βαθιά και ευέλικτη κατανόηση των εννοιών, των δεξιοτήτων και των τομέων.

Όταν πρόκειται για τη νοημοσύνη, το GPT-4 μπορεί να γεννήσει σύντομες ιστορίες, σεναριά, και μπορεί να υπολογίσει τις πιο περίπλοκες формούλες.

Το GPT-4 είναι επίσης σε θέση να κωδικοποιήσει σε ένα πολύ υψηλό επίπεδο, τόσο σε ότι αφορά τη γραφή κώδικα από οδηγίες όσο και την κατανόηση του υπάρχοντος κώδικα. Το GPT-4 μπορεί να χειριστεί eine σειρά από εργασίες κωδικοποίησης, από κωδικοποίηση προκλήσεων σε πραγματικές εφαρμογές, από χαμηλού επιπέδου assembly σε υψηλού επιπέδου πλαίσια, από απλές δομές δεδομένων σε σύνθετα προγράμματα όπως παιχνίδια. Το GPT-4 μπορεί επίσης να συλλογιστεί σχετικά με την εκτέλεση του κώδικα, να προσομοιώσει τις επιπτώσεις των εντολών και να εξηγήσει τα αποτελέσματα σε φυσική γλώσσα. Το GPT-4 μπορεί ακόμη και να εκτελέσει ψευδοκώδικα,

Το GPT-4 μπορεί να προσφέρει ορθολογικές απαντήσεις σε几乎 οποιοδήποτε prompt. Στην πραγματικότητα, η νοημοσύνη του είναι σχεδόν ακατανίκητη στη σύνθεσή του.

Οι Περιορισμοί του GPT-4

Η έρευνα συνεχίζει να περιγράφει πώς ερεύνησαν τις απαντήσεις και τις συμπεριφορές του GPT-4, για να επιβεβαιώσουν τη συνεχή, τη συνεκτικότητα και τη σωστότητα, και για να αποκαλύψουν τις περιορισμοί και τις προκαταλήψεις του.

Ο πιο προφανής περιορισμός είναι η тенденτία του να ονειρεύεται. Εδώ είναι ένα παράδειγμα μιας ονειρικής που δίνεται στην έρευνα, όπου το GPT-4 ήταν βέβαιο στη απάντησή του, η οποία ήταν完全 ψευδής.

Φαίνεται ότι ακόμη και το GPT-4 κατανοεί αυτήν την τρέχουσα περιορισμό με τις ονειρικές, καθώς αυτή ήταν η απάντηση που έδωσε όταν του ζήτησα τι είναι μια ονειρική του GPT:

Μια ονειρική του GPT αναφέρεται σε ένα φαινόμενο όπου ένα μοντέλο GPT, όπως αυτό με το οποίο αλληλεπιδράτε, παράγει μια απάντηση που δεν βασίζεται σε πραγματικές πληροφορίες ή δεν είναι συνεκτική με το контέκστ που παρέχεται. Αυτές οι ονειρικές συμβαίνουν όταν το μοντέλο γεννάει κείμενο που μπορεί να φαίνεται πιθανό αλλά στην πραγματικότητα είναι λάθος, παραπλανητικό ή ανοητό.

Με άλλα λόγια, όταν εκπαιδεύετε ένα LLM AI με τα δεδομένα του κόσμου, πώς αποφεύγετε ένα σύστημα που μαθαίνει λάθος δεδομένα; Ένα μεγάλο γλωσσικό μοντέλο που μαθαίνει και αναπαράγει λανθασμένες πληροφορίες και θεωρίες συνωμοσίας θα μπορούσε να είναι μια από τις μεγαλύτερες παγίδες και απειλές που αντιμετωπίζει η ανθρωπότητα με την υιοθέτηση μεγάλης κλίμακας LLMs. Αυτό θα μπορούσε να είναι μια από τις μεγαλύτερες απειλές από την AGI, μια που είναι εκπληκτικά παραμελημένη όταν συζητάμε τους κινδύνους της AGI.

Αποδείξεις της Νοημοσύνης του GPT-4

Η έρευνα δείχνει ότι δεν είχε σημασία ποιο είδος σύνθετων prompts στέλνονταν προς το GPT-4, το GPT-4 θα υπερέβαινε τις προσδοκίες. Όπως αναφέρεται στην έρευνα:

Η ακαταμάχητη δominance του στη φυσική γλώσσα. Μπορεί όχι μόνο να γεννήσει ευφάνταστο και συνεκτικό κείμενο, αλλά και να κατανοήσει και να χειριστεί το κείμενο με διάφορους τρόπους, όπως να συνοψίσει, να μεταφράσει ή να απαντήσει σε ένα εξαιρετικά ευρύ σύνολο ερωτήσεων. Επιπλέον, με τη μετάφραση εννοούμε όχι μόνο μεταξύ διαφορετικών φυσικών γλωσσών αλλά και μεταφράσεις σε τόνο και στυλ, καθώς και σε διαφορετικούς τομείς όπως η ιατρική, το δίκαιο, η λογιστική, η προγραμματιστική, η μουσική και άλλα.

Δοκιμές τεχνικής αξιολόγησης δόθηκαν στο GPT-4, το οποίο πέρασε εύκολα, με την έννοια ότι αν ήταν ένας άνθρωπος στην άλλη πλευρά, θα είχε προσληφθεί αμέσως ως προγραμματιστής. Một παρόμοια προκαταρκτική δοκιμή της ικανότητας του GPT-4 στο Multistate Bar Exam έδειξε ακρίβεια πάνω από 70%. Αυτό σημαίνει ότι στο μέλλον θα μπορούσαμε να αυτοματοποιήσουμε πολλές από τις εργασίες που δίνονται στους δικηγόρους. Στην πραγματικότητα, υπάρχουν κάποιες εταιρείες που εργάζονται για τη δημιουργία ρομποτικών δικηγόρων χρησιμοποιώντας το GPT-4.

Κατασκευάζοντας Νέα Γνώση

Ένα από τα επιχειρήματα στην έρευνα είναι ότι το μόνο που μένει για το GPT-4 να αποδείξει αληθινέςระดίες κατανόησης είναι να παράγει νέα γνώση, όπως να αποδείξει νέα μαθηματικά θεωρήματα, ένα κατόρθωμα που παραμένει εκτός εύρους για τα LLMs.

Τότε πάλι, αυτό είναι το ιερό δάχτυλο της AGI. Ενώ υπάρχουν κίνδυνοι με μια AGI που ελέγχεται στα λάθος χέρια, τα οφέλη μιας AGI που μπορεί να αναλύσει γρήγορα όλα τα ιστορικά δεδομένα για να ανακαλύψει νέα θεωρήματα, θεραπείες και θεραπείες είναι σχεδόν άπειρα.

Μια AGI θα μπορούσε να είναι το λείπων κρίκο προς την εύρεση θεραπειών για σπάνιες γενετικές ασθένειες που σήμερα λείπουν ιδιωτικής χρηματοδότησης, προς την θεραπεία του καρκίνου μια για πάντα, και για τη βελτίωση της απόδοσης της ανανεώσιμης ενέργειας για να αφαιρέσουμε την εξάρτησή μας από μη βιώσιμες πηγές ενέργειας. Στην πραγματικότητα, θα μπορούσε να λύσει οποιοδήποτε σημαντικό πρόβλημα που θα του δοθεί. Αυτό είναι κάτι που κατανοούν ο Sam Altman και η ομάδα του στο OpenAI, μια AGI είναι πραγματικά η τελευταία εφεύρεση που χρειάζεται για να λυθούν τα περισσότερα προβλήματα και να ωφελήσει την ανθρωπότητα.

Φυσικά, αυτό δεν λύνει το πρόβλημα του πυρηνικού κουμπιού, δηλαδή ποιος ελέγχει την AGI και ποια είναι οι προθέσεις του. Παρόλα αυτά, αυτή η έρευνα κάνει ένα φανταστικό έργο στο να επιχειρηματολογεί ότι το GPT-4 είναι ένα άλμα προς την επίτευξη του ονείρου των ερευνητών της AI από το 1956, όταν το αρχικό Dartmouth Summer Research Project on Artificial Intelligence夏季 εργαστήριο ήταν πρώτα εκκίνησε.

Ενώ είναι αμφισβητούμενο αν το GPT-4 είναι μια AGI, θα μπορούσε να επιχειρηματολογηθεί ότι για πρώτη φορά στην ιστορία της ανθρωπότητας είναι ένα σύστημα AI που μπορεί να περάσει το Τεστ του Τούρινγκ.