Θα Φέρει το GPT-4 την Αληθινή Επανάσταση της Τεχνητής Νοημοσύνης;

Έχει περάσει σχεδόν τρία χρόνια από τότε που εισήχθη το GPT-3, τον Μάιο του 2020. Από τότε, το μοντέλο γενικής προετοιμασίας μεταφραστή έχει προκαλέσει μεγάλο ενδιαφέρον για την ικανότητά του να δημιουργεί κείμενο που μοιάζει και ακούγεται σαν να γράφτηκε από άνθρωπο. Τώρα φαίνεται ότι η επόμενη έκδοση του λογισμικού, το GPT-4, είναι κοντά, με μια εκτιμώμενη ημερομηνία κυκλοφορίας κάποια στιγμή στις αρχές του 2023.

Παρά την高度 αναμενόμενη φύση αυτής της ειδήσεων της τεχνητής νοημοσύνης, οι ακριβείς λεπτομέρειες για το GPT-4 έχουν sido khá σκιώδεις. Η OpenAI, η εταιρεία πίσω από το GPT-4, δεν έχει δημοσιοποιήσει δημόσια πολλές πληροφορίες για το νέο μοντέλο, όπως τις λειτουργίες ή τις ικανότητές του. Παρόλα αυτά, οι πρόσφατες προόδους στο πεδίο της τεχνητής νοημοσύνης, ιδιαίτερα όσον αφορά την επεξεργασία φυσικής γλώσσας (NLP), μπορεί να προσφέρουν κάποιες ενδείξεις για το τι μπορούμε να περιμένουμε από το GPT-4.

Τι είναι το GPT;

Πριν από το να μιλήσουμε για τις λεπτομέρειες, είναι χρήσιμο να καθορίσουμε πρώτα μια βάση για το τι είναι το GPT. Το GPT σημαίνει Γενική Προετοιμασία Μεταφραστή και αναφέρεται σε ένα μοντέλο βαθιάς μάθησης που έχει εκπαιδευτεί σε δεδομένα από το διαδίκτυο για να δημιουργήσει μεγάλες ποσότητες αυτοματοποιημένου κειμένου. Το GPT-3 είναι η τρίτη γενιά αυτής της τεχνολογίας και είναι ένα από τα πιο προηγμένα μοντέλα γενικής προετοιμασίας μεταφραστή που είναι διαθέσιμα σήμερα.

Σκεφτείτε το GPT-3 σαν να λειτουργεί λίγο σαν οι βοηθοί φωνής, όπως η Siri ή η Alexa, μόνο σε πολύ μεγαλύτερη κλίμακα. Αντί να ζητήσετε από την Alexa να παίξει το αγαπημένο σας τραγούδι ή να γράψετε ένα μήνυμα κειμένου με τη Siri, μπορείτε να ζητήσετε από το GPT-3 να γράψετε ολόκληρο ένα eBook σε λίγα λεπτά ή να δημιουργήσετε 100 ιδέες για δημοσιεύσεις στα κοινωνικά μέσα σε λιγότερο από ένα λεπτό. Όλο που χρειάζεται ο χρήστης να κάνει είναι να δώσει μια εντολή, όπως «Γράψτε μου ένα άρθρο 500 λέξεων για τη σημασία της δημιουργικότητας». Όσο η εντολή είναι σαφής και συγκεκριμένη, το GPT-3 μπορεί να γράψει σχεδόν οτιδήποτε ζητήσετε.

Από τότε που κυκλοφόρησε στο κοινό, το GPT-3 έχει βρει πολλές επιχειρηματικές εφαρμογές. Οι εταιρείες το χρησιμοποιούν για τη σύνοψη κειμένου, τη μετάφραση γλώσσας, τη γεννήση κώδικα και την αυτοματοποίηση μεγάλης κλίμακας σχεδόν κάθε γραπτής εργασίας.

Ωστόσο, ενώ το GPT-3 είναι αναμφισβήτητα πολύ εντυπωσιακό στην ικανότητά του να δημιουργεί ανθρώπινο κείμενο, είναι μακριά από το να είναι τέλειο. Τα προβλήματα τείνουν να εμφανίζονται όταν ζητείται να γράψει μεγαλύτερα κείμενα, ιδιαίτερα όταν πρόκειται για σύνθετα θέματα που απαιτούν έμπνευση. Για παράδειγμα, μια εντολή να δημιουργήσει κώδικα για μια ιστοσελίδα μπορεί να επιστρέψει σωστό αλλά υποβελτιστοποιημένο κώδικα, οπότε ένας ανθρώπινος προγραμματιστής πρέπει ακόμα να μπει και να κάνει βελτιώσεις. Είναι ένα παρόμοιο πρόβλημα με τα μεγαλύτερα κείμενα: όσο μεγαλύτερη η ποσότητα του κειμένου, τόσο πιο πιθανό είναι να εμφανιστούν λάθη – đôiες φορές αστεία – που χρειάζονται διόρθωση από έναν ανθρώπινο συγγραφέα.

Σαφώς, το GPT-3 δεν είναι μια πλήρης αντικατάσταση για τους ανθρώπινους συγγραφείς ή προγραμματιστές και δεν πρέπει να θεωρείται ως τέτοια. Αντίθετα, το GPT-3 πρέπει να θεωρείται ως ένα βοηθό συγγραφής, ένα που μπορεί να σώσει τους ανθρώπους πολύ χρόνο όταν χρειάζονται να δημιουργήσουν ιδέες για blog ή περίγραμμα για διαφημιστικό κείμενο ή δελτία τύπου.

Περισσότεροι παράμετροι = καλύτερο;

Ένα πράγμα που πρέπει να κατανοηθεί για τα μοντέλα της τεχνητής νοημοσύνης είναι το πώς χρησιμοποιούν τις παραμέτρους για να κάνουν προβλέψεις. Οι παράμετροι ενός μοντέλου της τεχνητής νοημοσύνης ορίζουν τη διαδικασία μάθησης και παρέχουν δομή για την έξοδο. Ο αριθμός των παραμέτρων σε ένα μοντέλο της τεχνητής νοημοσύνης έχει χρησιμοποιηθεί γενικά ως μέτρο απόδοσης. Όσο περισσότερες παράμετροι, τόσο πιο ισχυρό, ομαλό και προβλέψιμο είναι το μοντέλο, τουλάχιστον σύμφωνα με την υπόθεση κλιμάκωσης.

Για παράδειγμα, όταν κυκλοφόρησε το GPT-1 το 2018, είχε 117 εκατομμύρια παράμετροι. Το GPT-2, που κυκλοφόρησε ένα χρόνο αργότερα, είχε 1,2 δισεκατομμύρια παράμετροι, ενώ το GPT-3 αυξήθηκε τον αριθμό ακόμα υψηλότερα σε 175 δισεκατομμύρια παράμετροι. Σύμφωνα με μια συνέντευξη του Αυγούστου 2021 με το Wired, ο Andrew Feldman, ιδρυτής και διευθύνων σύμβουλος της Cerebras, μια εταιρεία που συνεργάζεται με την OpenAI, ανέφερε ότι το GPT-4 θα είχε περίπου 100 τρισεκατομμύρια παράμετροι. Αυτό θα έκανε το GPT-4 100 φορές πιο ισχυρό από το GPT-3, ένα κβαντικό άλμα στην κλίμακα των παραμέτρων που, κατανοητά, έχει κάνει πολλούς ανθρώπους πολύ ενθουσιασμένους.

Ωστόσο, παρά την υψηλή αξίωση του Feldman, υπάρχουν καλές λόγοι για να πιστεύουμε ότι το GPT-4 δεν θα έχει στην πραγματικότητα 100 τρισεκατομμύρια παράμετροι. Όσο μεγαλύτερος ο αριθμός των παραμέτρων, τόσο πιο ακριβό γίνεται το μοντέλο για εκπαίδευση και επιμέρους ρύθμιση λόγω των τεράστιων ποσοτήτων υπολογιστικής ισχύος που απαιτούνται.

Επιπλέον, υπάρχουν περισσότεροι παράγοντες από τον αριθμό των παραμέτρων που καθορίζουν την αποτελεσματικότητα ενός μοντέλου. Πάρτε, για παράδειγμα, το Megatron-Turing NLG, ένα μοντέλο γενικής προετοιμασίας μεταφραστή που κατασκευάστηκε από την Nvidia και τη Microsoft, το οποίο έχει περισσότερες από 500 δισεκατομμύρια παράμετροι. Παρά το μέγεθός του, το MT-NLG δεν πλησιάζει το GPT-3 όσον αφορά την απόδοση. Σε σύντομο, το μεγαλύτερο δεν σημαίνει απαραίτητα καλύτερο.

Είναι πιθανό ότι το GPT-4 θα έχει περισσότερες παράμετροι από το GPT-3, αλλά παραμένει να δούμε αν ο αριθμός θα είναι μια τάξη μεγέθους υψηλότερος. Αντίθετα, υπάρχουν άλλες ενδιαφέρουσες πιθανότητες που η OpenAI πιθανότατα ακολουθεί, όπως ένα λιτό μοντέλο που επικεντρώνεται σε ποιοτικές βελτιώσεις στον αλγοριθμικό σχεδιασμό και την ευθυγράμμιση. Η ακριβής επίδραση τέτοιων βελτιώσεων είναι δύσκολο να προβλεφθεί, αλλά αυτό που είναι γνωστό είναι ότι ένα σπάνιο μοντέλο μπορεί να μειώσει τους υπολογιστικούς κόστους μέσω της που ονομάζεται συνθήκη υπολογισμού, δηλαδή, δεν όλες οι παράμετροι του μοντέλου της τεχνητής νοημοσύνης θα λειτουργούν πάντα, το οποίο είναι παρόμοιο με τον τρόπο που λειτουργούν οι νευρώνες στον ανθρώπινο εγκέφαλο.

Τι θα μπορεί να κάνει το GPT-4;

Μέχρι η OpenAI να βγάλει μια νέα δήλωση ή ακόμα και να κυκλοφορήσει το GPT-4, μας μένει να.speculate πώς θα διαφέρει από το GPT-3. Παρόλα αυτά, μπορούμε να κάνουμε κάποιες προβλέψεις

Αν και το μέλλον της ανάπτυξης της βαθιάς μάθησης είναι πολυμεσικό, το GPT-4 θα παραμείνει πιθανότατα μόνο κείμενο. Jako άνθρωποι, ζούμε σε ένα πολυαισθητικό κόσμο που είναι γεμάτος με διάφορες ακουστικές, οπτικές και κειμενικές εισόδους. Επομένως, είναι αναπόφευκτο ότι η ανάπτυξη της τεχνητής νοημοσύνης θα παραγάγει τελικά ένα πολυμεσικό μοντέλο που θα μπορεί να ενσωματώσει διάφορες εισόδους.

Ωστόσο, ένα καλό πολυμεσικό μοντέλο είναι σημαντικά πιο δύσκολο να σχεδιαστεί από ένα μοντέλο μόνο κειμένου. Η τεχνολογία δεν είναι ακόμα εκεί και με βάση ό,τι γνωρίζουμε για τους περιορισμούς του μεγέθους των παραμέτρων, είναι πιθανό ότι η OpenAI επικεντρώνεται στην επέκταση και βελτίωση ενός μοντέλου μόνο κειμένου.

Είναι επίσης πιθανό ότι το GPT-4 θα είναι λιγότερο εξαρτημένο από ακριβείς εντολές. Ένα από τα μειονεκτήματα του GPT-3 είναι ότι οι εντολές κειμένου πρέπει να γραφτούν προσεκτικά για να λάβουμε το αποτέλεσμα που θέλουμε. Όταν οι εντολές δεν γράφονται προσεκτικά, μπορεί να λάβουμε εξόδους που είναι αναληθείς, τοξικές ή ακόμα και να αντανακλούν εξτρεμιστικές απόψεις. Αυτό είναι μέρος του που ονομάζεται «πρόβλημα ευθυγράμμισης» και αναφέρεται στις προκλήσεις στη δημιουργία ενός μοντέλου της τεχνητής νοημοσύνης που κατανοεί πλήρως τις προθέσεις του χρήστη. Σε άλλες λέξεις, το μοντέλο της τεχνητής νοημοσύνης δεν είναι ευθυγραμμισμένο με τους στόχους ή τις προθέσεις του χρήστη.既然 τα μοντέλα της τεχνητής νοημοσύνης εκπαιδεύονται χρησιμοποιώντας συνόλους δεδομένων από το διαδίκτυο, είναι πολύ εύκολο για τις ανθρώπινες προκαταλήψεις, ψέματα και προκαταλήψεις να βρουν τον δρόμο τους στο κείμενο εξόδου.

Ωστόσο, παρά τις ενθαρρυντικές αξίωσεις, υπάρχουν καλές λόγοι για να πιστεύουμε ότι οι dévelopers κάνουν πρόοδο στο πρόβλημα ευθυγράμμισης. Αυτή η αισιοδοξία έρχεται από κάποιες đột pháσεις στην ανάπτυξη του InstructGPT, μιας πιο προηγμένης έκδοσης του GPT-3 που έχει εκπαιδευτεί σε ανθρώπινη ανάδραση για να ακολουθήσει εντολές και προθέσεις του χρήστη πιο στενά. Οι ανθρώπινοι κριτές βρήκαν ότι το InstructGPT ήταν πολύ λιγότερο εξαρτημένο από το GPT-3 σε καλές εντολές.

Ωστόσο, πρέπει να σημειωθεί ότι αυτά τα τεστ διεξήχθησαν μόνο με υπαλλήλους της OpenAI, μια σχετικά ομοιογενή ομάδα που μπορεί να μην διαφέρει πολύ σε φύλο, θρησκεία ή πολιτικές απόψεις. Είναι πιθανό ότι το GPT-4 θα υποβληθεί σε πιο ποικιλόμορφη εκπαίδευση που θα βελτιώσει την ευθυγράμμιση για διάφορες ομάδες, αν και σε ποιο βαθμό παραμένει να δούμε.

Θα αντικαταστήσει το GPT-4 τους ανθρώπους;

Παρά την υπόσχεση του GPT-4, είναι απίθανο ότι θα αντικαταστήσει πλήρως την ανάγκη για ανθρώπινους συγγραφείς και προγραμματιστές. Υπάρχει ακόμα πολύ lavoro να γίνει σε όλα, από την βελτιστοποίηση παραμέτρων έως την πολυμεσικότητα έως την ευθυγράμμιση. Ίσως να περάσουν πολλά χρόνια πριν δούμε einen γεννήτορα κειμένου που θα μπορεί να επιτύχει μια πραγματικά ανθρώπινη κατανόηση των сложностей και των νουανς της πραγματικής εμπειρίας.

Ωστόσο, υπάρχουν ακόμα καλές λόγοι για να είναι ενθουσιασμένοι για την έλευση του GPT-4. Η βελτιστοποίηση παραμέτρων – και όχι απλά η αύξηση των παραμέτρων – θα οδηγήσει πιθανότατα σε ένα μοντέλο της τεχνητής νοημοσύνης που θα έχει πολύ περισσότερη υπολογιστική ισχύ από τον προκάτοχό του. Και η βελτιωμένη ευθυγράμμιση θα κάνει πιθανότατα το GPT-4 πολύ πιο φιλικό προς τον χρήστη.

Επιπλέον, βρισκόμαστε ακόμα στο ξεκίνημα της ανάπτυξης και της υιοθέτησης των εργαλείων της τεχνητής νοημοσύνης. Περισσότερες χρήσεις για την τεχνολογία βρίσκονται συνεχώς, και καθώς οι άνθρωποι κερδίζουν περισσότερη εμπιστοσύνη και άνεση με τη χρήση της τεχνητής νοημοσύνης στην εργασία, είναι σχεδόν βέβαιο ότι θα δούμε ευρεία υιοθέτηση των εργαλείων της τεχνητής νοημοσύνης σε σχεδόν κάθε επιχειρηματικό τομέα τα επόμενα χρόνια.