Είναι το GPT-4 ένα άλμα προς τα εμπρός προς την επίτευξη του AGI;

Η Microsoft κυκλοφόρησε πρόσφατα μια ερευνητική εργασία με τίτλο: Sparks of Artificial General Intelligence: Πρώιμα πειράματα με το GPT-4. Όπως περιγράφεται από τη Microsoft:

Αυτό το χαρτί αναφέρει σχετικά με την έρευνά μας για μια πρώιμη έκδοση του GPT-4, όταν ήταν ακόμα σε ενεργό ανάπτυξη από το OpenAI. Υποστηρίζουμε ότι (αυτή η πρώιμη έκδοση του) GPT-4 είναι μέρος μιας νέας κοόρτης LLM (μαζί με το ChatGPT και το PaLM της Google για παράδειγμα) που παρουσιάζουν πιο γενική ευφυΐα από τα προηγούμενα μοντέλα AI.

Σε αυτό το έγγραφο, υπάρχουν πειστικά στοιχεία που δείχνουν ότι το GPT-4 υπερβαίνει την απομνημόνευση και ότι έχει μια βαθιά και ευέλικτη κατανόηση των εννοιών, των δεξιοτήτων και των τομέων. Στην πραγματικότητα, η ικανότητα γενίκευσης υπερβαίνει κατά πολύ αυτή οποιουδήποτε ανθρώπου που ζει σήμερα.

Ενώ έχουμε συζητήσει προηγουμένως το οφέλη του AGI, θα πρέπει γρήγορα να συνοψίσουμε τη γενική συναίνεση για το τι είναι ένα σύστημα AGI. Ουσιαστικά ένα AGI είναι ένας τύπος προηγμένης τεχνητής νοημοσύνης που μπορεί να γενικευτεί σε πολλούς τομείς και δεν είναι στενός σε εύρος. Παραδείγματα στενής τεχνητής νοημοσύνης περιλαμβάνουν ένα αυτόνομο όχημα, ένα chatbot, ένα σκακιστικό bot ή οποιοδήποτε άλλο AI που έχει σχεδιαστεί για έναν μόνο σκοπό.

Ένα AGI σε σύγκριση θα μπορούσε να εναλλάσσεται με ευελιξία μεταξύ οποιουδήποτε από τα παραπάνω ή οποιουδήποτε άλλου τομέα εμπειρογνωμοσύνης. Είναι μια τεχνητή νοημοσύνη που θα εκμεταλλευόταν εκκολαπτόμενους αλγόριθμους όπως π.χ μεταφορά της μάθησης, και την εξελικτική μάθηση, ενώ εκμεταλλεύονται επίσης αλγόριθμους παλαιού τύπου όπως π.χ μάθηση βαθιάς ενίσχυσης.

Η παραπάνω περιγραφή του AGI ταιριάζει με την προσωπική μου εμπειρία με τη χρήση του GPT-4, καθώς και με τα στοιχεία που μοιράζομαι σε ερευνητικό έγγραφο που κυκλοφόρησε από τη Microsoft.

Μία από τις προτροπές που περιγράφονται στο έγγραφο είναι για το GPT-4 να γράψει μια απόδειξη του άπειρου των πρώτων με τη μορφή ενός ποιήματος.

Αν αναλύσουμε τις απαιτήσεις για τη δημιουργία ενός τέτοιου ποιήματος, συνειδητοποιούμε ότι απαιτεί μαθηματικό συλλογισμό, ποιητική έκφραση και παραγωγή φυσικής γλώσσας. Αυτή είναι μια πρόκληση που θα ξεπερνούσε τη μέση ικανότητα των περισσότερων ανθρώπων.

Η εργασία ήθελε να καταλάβει εάν το GPT-4 παράγει απλώς περιεχόμενο βασισμένο στη γενική απομνημόνευση έναντι της κατανόησης του πλαισίου και της ικανότητας λογικής. Όταν του ζητήθηκε να αναδημιουργήσει ένα ποίημα στο στυλ του Σαίξπηρ, μπόρεσε να το κάνει. Αυτό απαιτεί ένα πολύπλευρο επίπεδο κατανόησης που υπερβαίνει κατά πολύ τις ικανότητες του γενικού πληθυσμού και περιλαμβάνει τη θεωρία του νου και τη μαθηματική ιδιοφυΐα.

Πώς να υπολογίσετε την ευφυΐα GPT-4;

Το ερώτημα είναι πώς μπορούμε να μετρήσουμε τη νοημοσύνη ενός LLM; Και το GPT-4 εμφανίζει συμπεριφορές αληθινής μάθησης ή απλής απομνημόνευσης;

Ο τρέχων τρόπος δοκιμής ενός συστήματος AI είναι με την αξιολόγηση του συστήματος σε ένα σύνολο τυπικών συνόλων δεδομένων αναφοράς και τη διασφάλιση ότι είναι ανεξάρτητα από τα δεδομένα εκπαίδευσης και ότι καλύπτουν μια σειρά εργασιών και τομέων. Αυτός ο τύπος δοκιμών είναι σχεδόν αδύνατος λόγω της σχεδόν απεριόριστης ποσότητας δεδομένων στα οποία εκπαιδεύτηκε το GPT-4.

Η εργασία συζητά τη δημιουργία νέων και δύσκολων εργασιών/ερωτήσεων που καταδεικνύουν πειστικά ότι το GPT-4 υπερβαίνει κατά πολύ την απομνημόνευση και ότι έχει μια βαθιά και ευέλικτη κατανόηση των εννοιών, των δεξιοτήτων και των τομέων.

Όσον αφορά την ευφυΐα, το GPT-4 μπορεί να δημιουργήσει μικρές ιστορίες, σενάρια και να υπολογίσει τους πιο περίπλοκους τύπους.

Το GPT-4 είναι επίσης σε θέση να κωδικοποιεί σε πολύ υψηλό επίπεδο, τόσο όσον αφορά τη σύνταξη κώδικα από οδηγίες όσο και την κατανόηση του υπάρχοντος κώδικα. Το GPT-4 μπορεί να χειριστεί ένα ευρύ φάσμα εργασιών κωδικοποίησης, από
προκλήσεις κωδικοποίησης σε εφαρμογές του πραγματικού κόσμου, από συναρμολόγηση χαμηλού επιπέδου έως πλαίσια υψηλού επιπέδου, από απλές δομές δεδομένων έως πολύπλοκα προγράμματα όπως παιχνίδια. Το GPT-4 μπορεί επίσης να αιτιολογήσει την εκτέλεση κώδικα, να προσομοιώσει τα αποτελέσματα των εντολών και να εξηγήσει τα αποτελέσματα σε φυσική γλώσσα. Το GPT-4 μπορεί ακόμη και να εκτελέσει ψευδοκώδικα,

Το GPT-4 μπορεί να προσφέρει ορθολογικές απαντήσεις σε σχεδόν κάθε προτροπή που δίνεται. Στην πραγματικότητα, η ευφυΐα του είναι σχεδόν ανίκητη στην πολυπλοκότητά του.

Περιορισμοί GPT-4

Στη συνέχεια, το έγγραφο συνεχίζει να περιγράφει πώς διερεύνησαν τις αποκρίσεις και τις συμπεριφορές του GPT-4, για να επαληθεύσουν τη συνέπεια, τη συνοχή και την ορθότητά του και να αποκαλύψουν τους περιορισμούς και τις προκαταλήψεις του.

Ο πιο προφανής περιορισμός είναι αυτός τάση για παραισθήσεις. Εδώ είναι ένα παράδειγμα παραίσθησης που δίνεται στην εφημερίδα όπου το GPT-4 ήταν σίγουρο για την απάντησή του που ήταν εντελώς ψευδής.

Φαίνεται ότι ακόμη και το GPT-4 κατανοεί αυτόν τον τρέχοντα περιορισμό με τις ψευδαισθήσεις, καθώς αυτή ήταν η απάντηση που έδωσε όταν το ρώτησα τι είναι μια ψευδαίσθηση GPT:

Η ψευδαίσθηση GPT αναφέρεται σε ένα φαινόμενο όπου ένα μοντέλο Generative Pre-trained Transformer (GPT), όπως αυτό με το οποίο αλληλεπιδράτε αυτήν τη στιγμή, παράγει μια απάντηση που δεν βασίζεται σε πραγματικές πληροφορίες ή δεν είναι συνεπής με το παρεχόμενο πλαίσιο. Αυτές οι παραισθήσεις συμβαίνουν όταν το μοντέλο δημιουργεί κείμενο που μπορεί να φαίνεται εύλογο, αλλά στην πραγματικότητα είναι εσφαλμένο, παραπλανητικό ή παράλογο.

Με άλλα λόγια, όταν εκπαιδεύετε μια τεχνητή νοημοσύνη LLM στα δεδομένα του κόσμου, πώς αποφεύγετε ένα σύστημα να μαθαίνει λανθασμένα δεδομένα; Η εκμάθηση ενός μεγάλου μοντέλου γλώσσας και η επαναφορά της παραπληροφόρησης και των θεωριών συνωμοσίας θα μπορούσαν στην πραγματικότητα να είναι μια από τις μεγαλύτερες παγίδες και απειλές που αντιμετωπίζει η ανθρωπότητα με την υιοθέτηση LLM σε μεγάλη κλίμακα. Αυτή θα μπορούσε στην πραγματικότητα να είναι μια από τις μεγαλύτερες απειλές από το AGI, μια που παραδόξως χάνεται όταν συζητάμε τους κινδύνους του AGI.

GPT-4 Αποδείξεις Ευφυΐας

Το έγγραφο δείχνει ότι δεν έχει σημασία ποιος τύπος σύνθετων προτροπών απευθυνόταν προς αυτό, το GPT-4 θα ξεπερνούσε τις προσδοκίες. Όπως αναφέρεται στην εφημερίδα:

Η απαράμιλλη γνώση της φυσικής γλώσσας. Μπορεί όχι μόνο να δημιουργήσει ρέον και συνεκτικό κείμενο, αλλά και να το κατανοήσει και να το χειριστεί με διάφορους τρόπους, όπως η περίληψη, η μετάφραση ή η απάντηση σε ένα εξαιρετικά ευρύ σύνολο ερωτήσεων. Επιπλέον, με τον όρο μετάφραση εννοούμε όχι μόνο μεταξύ διαφορετικών φυσικών γλωσσών, αλλά και μεταφράσεις σε τόνο και στυλ, καθώς και σε τομείς όπως η ιατρική, η νομική, η λογιστική, ο προγραμματισμός υπολογιστών, η μουσική και άλλα.

Δόθηκαν εικονικές τεχνικές αναθεωρήσεις στο GPT-4, το νόημα ήταν εύκολα σε αυτό το πλαίσιο, αν αυτός ήταν άνθρωπος από την άλλη άκρη, θα προσλαμβανόταν αμέσως ως μηχανικός λογισμικού. Ένας παρόμοιος προκαταρκτικός έλεγχος της ικανότητας του GPT-4 στην εξέταση δικηγόρων πολλαπλών κρατών έδειξε ακρίβεια πάνω από 70%. Αυτό σημαίνει ότι στο μέλλον θα μπορούσαμε να αυτοματοποιήσουμε πολλά από τα καθήκοντα που ανατίθενται σήμερα στους δικηγόρους. Στην πραγματικότητα υπάρχουν μερικά νεοφυείς επιχειρήσεις που τώρα εργάζονται για τη δημιουργία δικηγόρων ρομπότ χρησιμοποιώντας GPT-4.

Παραγωγή Νέας Γνώσης

Ένα από τα επιχειρήματα στο έγγραφο είναι ότι το μόνο πράγμα που απομένει στο GPT-4 για να αποδείξει αληθινά επίπεδα κατανόησης είναι να παράγει νέα γνώση, όπως η απόδειξη νέων μαθηματικών θεωρημάτων, ένα κατόρθωμα που επί του παρόντος παραμένει απρόσιτο για τα LLM.

Και πάλι αυτό είναι το ιερό δισκοπότηρο ενός AGI. Ενώ υπάρχουν κίνδυνοι όταν ένα AGI ελέγχεται σε λάθος χέρια, τα οφέλη ενός AGI να μπορεί να αναλύει γρήγορα όλα τα ιστορικά δεδομένα για να ανακαλύψει νέα θεωρήματα, θεραπείες και θεραπείες είναι σχεδόν άπειρα.

Ένα AGI θα μπορούσε να είναι ο κρίκος που λείπει για την εύρεση θεραπειών για σπάνιες γενετικές ασθένειες που επί του παρόντος στερούνται χρηματοδότησης από την ιδιωτική βιομηχανία, για τη θεραπεία του καρκίνου μια για πάντα και για τη μεγιστοποίηση της αποτελεσματικότητας της ανανεώσιμης ενέργειας για την άρση της εξάρτησής μας από τη μη βιώσιμη ενέργεια. Στην πραγματικότητα, θα μπορούσε να λύσει οποιοδήποτε επακόλουθο πρόβλημα που τροφοδοτείται στο σύστημα AGI. Αυτό κατανοεί ο Sam Altman και η ομάδα του OpenAI Το AGI είναι πραγματικά η τελευταία εφεύρεση που χρειάζεται για να λυθούν τα περισσότερα προβλήματα και να ωφεληθεί η ανθρωπότητα.

Φυσικά αυτό δεν λύνει το πρόβλημα των πυρηνικών κουμπιών σχετικά με το ποιος ελέγχει το AGI και ποιες είναι οι προθέσεις τους. Ανεξάρτητα από αυτό χαρτί κάνει εκπληκτική δουλειά υποστηρίζοντας ότι το GPT-4 είναι ένα άλμα προς τα εμπρός προς την επίτευξη των ονείρων που είχαν οι ερευνητές τεχνητής νοημοσύνης από 1956, όταν ξεκίνησε για πρώτη φορά το αρχικό καλοκαιρινό ερευνητικό πρόγραμμα του Dartmouth για την Τεχνητή Νοημοσύνη.

Ενώ είναι συζητήσιμο εάν το GPT-4 είναι AGI, θα μπορούσε εύκολα να υποστηριχθεί ότι για πρώτη φορά στην ανθρώπινη ιστορία είναι ένα σύστημα τεχνητής νοημοσύνης που μπορεί να περάσει Δοκιμή Turing.