Ηγέτες σκέψης

Θα μας φέρει το GPT-4 πιο κοντά σε μια πραγματική επανάσταση της τεχνητής νοημοσύνης;

Dr. Danny Rittman
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΤο GPT-4 πιθανότατα θα δώσει προτεραιότητα σε ποιοτικές αλγοριθμικές βελτιώσεις έναντι…
Δείτε περισσότερα
  • Το GPT-4 πιθανότατα θα δώσει προτεραιότητα σε ποιοτικές αλγοριθμικές βελτιώσεις έναντι μιας μαζικής αύξησης παραμέτρων.
  • Η βελτιωμένη ευθυγράμμιση μέσω εκπαίδευσης με ανθρώπινη ανατροφοδότηση ενδέχεται να μειώσει την εξάρτηση του GPT-4 από ακριβείς προτροπές.
  • Το GPT-4 αναμένεται να παραμείνει αποκλειστικά κειμενικό, παρά την τάση της βιομηχανίας προς πολυτροπικά μοντέλα τεχνητής νοημοσύνης.

Έχουν περάσει σχεδόν τρία χρόνια από τότε που εισήχθη το GPT-3, τον Μάιο του 2020. Από τότε, το μοντέλο παραγωγής κειμένου με τεχνητή νοημοσύνη έχει προκαλέσει μεγάλο ενδιαφέρον για την ικανότητά του να δημιουργεί κείμενο που μοιάζει και ακούγεται σαν να γράφτηκε από άνθρωπο. Τώρα φαίνεται ότι η επόμενη έκδοση του λογισμικού, το GPT-4, είναι κοντά, με μια εκτιμώμενη ημερομηνία κυκλοφορίας κάποια στιγμή στις αρχές του 2023.

Παρά την έντονη προσμονή για αυτή την είδηση από τον χώρο της τεχνητής νοημοσύνης, οι ακριβείς λεπτομέρειες για το GPT-4 παραμένουν αρκετά ασαφείς. Η OpenAI, η εταιρεία πίσω από το GPT-4, δεν έχει δημοσιοποιήσει δημόσια πολλές πληροφορίες για το νέο μοντέλο, όπως τις λειτουργίες ή τις ικανότητές του. Παρόλα αυτά, οι πρόσφατες πρόοδοι στο πεδίο της τεχνητής νοημοσύνης, ιδιαίτερα όσον αφορά την επεξεργασία φυσικής γλώσσας (NLP), μπορεί να προσφέρουν κάποιες ενδείξεις για το τι μπορούμε να περιμένουμε από το GPT-4.

Τι είναι το GPT;

Πριν από το να μιλήσουμε για τις λεπτομέρειες, είναι χρήσιμο να καθορίσουμε πρώτα μια βάση για το τι είναι το GPT. Το GPT σημαίνει Generative Pre-trained Transformer, δηλαδή Παραγωγικός Προεκπαιδευμένος Μετασχηματιστής, και αναφέρεται σε ένα μοντέλο νευρωνικού δικτύου βαθιάς μάθησης που έχει εκπαιδευτεί σε δεδομένα από το διαδίκτυο για να δημιουργήσει μεγάλες ποσότητες αυτοματοποιημένου κειμένου. Το GPT-3 είναι η τρίτη γενιά αυτής της τεχνολογίας και είναι ένα από τα πιο προηγμένα μοντέλα παραγωγής κειμένου με τεχνητή νοημοσύνη που είναι διαθέσιμα σήμερα.

Σκεφτείτε το GPT-3 σαν να λειτουργεί λίγο σαν οι βοηθοί φωνής, όπως η Siri ή η Alexa, μόνο σε πολύ μεγαλύτερη κλίμακα. Αντί να ζητήσετε από την Alexa να παίξει το αγαπημένο σας τραγούδι ή να γράψετε ένα μήνυμα κειμένου με τη Siri, μπορείτε να ζητήσετε από το GPT-3 να γράψει ένα ολόκληρο eBook σε λίγα λεπτά ή να δημιουργήσει 100 ιδέες για δημοσιεύσεις στα κοινωνικά μέσα σε λιγότερο από ένα λεπτό. Όλο που χρειάζεται ο χρήστης να κάνει είναι να δώσει μια εντολή, όπως «Γράψτε μου ένα άρθρο 500 λέξεων για τη σημασία της δημιουργικότητας». Όσο η εντολή είναι σαφής και συγκεκριμένη, το GPT-3 μπορεί να γράψει σχεδόν οτιδήποτε ζητήσετε.

Από τότε που κυκλοφόρησε στο κοινό, το GPT-3 έχει βρει πολλές επιχειρηματικές εφαρμογές. Οι εταιρείες το χρησιμοποιούν για τη σύνοψη κειμένου, τη μετάφραση γλώσσας, την παραγωγή κώδικα και την αυτοματοποίηση μεγάλης κλίμακας σχεδόν κάθε γραπτής εργασίας.

Ωστόσο, ενώ το GPT-3 είναι αναμφισβήτητα πολύ εντυπωσιακό στην ικανότητά του να δημιουργεί ανθρώπινο κείμενο, είναι μακριά από το να είναι τέλειο. Τα προβλήματα τείνουν να εμφανίζονται όταν ζητείται να γράψει μεγαλύτερα κείμενα, ιδιαίτερα όταν πρόκειται για σύνθετα θέματα που απαιτούν βαθύτερη κατανόηση. Για παράδειγμα, μια εντολή να δημιουργήσει κώδικα για μια ιστοσελίδα μπορεί να επιστρέψει σωστό αλλά υποβελτιστοποιημένο κώδικα, οπότε ένας ανθρώπινος προγραμματιστής πρέπει ακόμα να μπει και να κάνει βελτιώσεις. Είναι ένα παρόμοιο πρόβλημα με τα μεγαλύτερα κείμενα: όσο μεγαλύτερη η ποσότητα του κειμένου, τόσο πιο πιθανό είναι να εμφανιστούν λάθη — μερικές φορές αστεία – που χρειάζονται διόρθωση από έναν ανθρώπινο συγγραφέα.

Σαφώς, το GPT-3 δεν είναι μια πλήρης αντικατάσταση για τους ανθρώπινους συγγραφείς ή προγραμματιστές και δεν πρέπει να θεωρείται ως τέτοια. Αντίθετα, το GPT-3 πρέπει να θεωρείται ως ένα βοηθό συγγραφής, ένα που μπορεί να εξοικονομήσει πολύ χρόνο στους ανθρώπους όταν χρειάζονται να δημιουργήσουν ιδέες για blog ή περίγραμμα για διαφημιστικό κείμενο ή δελτία τύπου.

Περισσότερες παράμετροι = καλύτερο;

Ένα πράγμα που πρέπει να κατανοηθεί για τα μοντέλα της τεχνητής νοημοσύνης είναι το πώς χρησιμοποιούν τις παραμέτρους για να κάνουν προβλέψεις. Οι παράμετροι ενός μοντέλου της τεχνητής νοημοσύνης ορίζουν τη διαδικασία μάθησης και παρέχουν δομή για την έξοδο. Ο αριθμός των παραμέτρων σε ένα μοντέλο της τεχνητής νοημοσύνης έχει χρησιμοποιηθεί γενικά ως μέτρο απόδοσης. Όσο περισσότερες παράμετροι, τόσο πιο ισχυρό, ομαλό και προβλέψιμο είναι το μοντέλο, τουλάχιστον σύμφωνα με την υπόθεση κλιμάκωσης.

Για παράδειγμα, όταν κυκλοφόρησε το GPT-1 το 2018, είχε 117 εκατομμύρια παραμέτρους. Το GPT-2, που κυκλοφόρησε ένα χρόνο αργότερα, είχε 1,2 δισεκατομμύρια παραμέτρους, ενώ το GPT-3 αύξησε τον αριθμό ακόμα υψηλότερα σε 175 δισεκατομμύρια παραμέτρους. Σύμφωνα με μια συνέντευξη του Αυγούστου 2021 με το Wired, ο Andrew Feldman, ιδρυτής και διευθύνων σύμβουλος της Cerebras (CBRS ), μια εταιρεία που συνεργάζεται με την OpenAI, ανέφερε ότι το GPT-4 θα είχε περίπου 100 τρισεκατομμύρια παραμέτρους. Αυτό θα έκανε το GPT-4 100 φορές πιο ισχυρό από το GPT-3, ένα κβαντικό άλμα στην κλίμακα των παραμέτρων που, κατανοητά, έχει κάνει πολλούς ανθρώπους πολύ ενθουσιασμένους.

Ωστόσο, παρά την υψηλή αξίωση του Feldman, υπάρχουν καλοί λόγοι για να πιστεύουμε ότι το GPT-4 δεν θα έχει στην πραγματικότητα 100 τρισεκατομμύρια παραμέτρους. Όσο μεγαλύτερος ο αριθμός των παραμέτρων, τόσο πιο ακριβό γίνεται το μοντέλο για εκπαίδευση και επιμέρους ρύθμιση λόγω των τεράστιων ποσοτήτων υπολογιστικής ισχύος που απαιτούνται.

Επιπλέον, υπάρχουν περισσότεροι παράγοντες από τον αριθμό των παραμέτρων που καθορίζουν την αποτελεσματικότητα ενός μοντέλου. Πάρτε, για παράδειγμα, το Megatron-Turing NLG, ένα μοντέλο παραγωγής κειμένου που κατασκευάστηκε από την Nvidia (NVDA ) και τη Microsoft (MSFT ), το οποίο έχει περισσότερες από 500 δισεκατομμύρια παραμέτρους. Παρά το μέγεθός του, το MT-NLG δεν πλησιάζει το GPT-3 όσον αφορά την απόδοση. Με λίγα λόγια, το μεγαλύτερο δεν σημαίνει απαραίτητα καλύτερο.

Είναι πιθανό ότι το GPT-4 θα έχει περισσότερες παραμέτρους από το GPT-3, αλλά παραμένει να δούμε αν ο αριθμός θα είναι μια τάξη μεγέθους υψηλότερος. Αντίθετα, υπάρχουν άλλες ενδιαφέρουσες πιθανότητες που η OpenAI πιθανότατα ακολουθεί, όπως ένα λιτό μοντέλο που επικεντρώνεται σε ποιοτικές βελτιώσεις στον αλγοριθμικό σχεδιασμό και την ευθυγράμμιση. Η ακριβής επίδραση τέτοιων βελτιώσεων είναι δύσκολο να προβλεφθεί, αλλά αυτό που είναι γνωστό είναι ότι ένα αραιό μοντέλο μπορεί να μειώσει το υπολογιστικό κόστος μέσω του λεγόμενου υπολογισμού υπό συνθήκη, δηλαδή δεν ενεργοποιούνται όλες οι παράμετροι του μοντέλου τεχνητής νοημοσύνης συνεχώς, το οποίο είναι παρόμοιο με τον τρόπο που λειτουργούν οι νευρώνες στον ανθρώπινο εγκέφαλο.

Τι θα μπορεί να κάνει το GPT-4;

Μέχρι η OpenAI να βγάλει μια νέα δήλωση ή ακόμα και να κυκλοφορήσει το GPT-4, μας μένει να υποθέσουμε πώς θα διαφέρει από το GPT-3. Παρόλα αυτά, μπορούμε να κάνουμε κάποιες προβλέψεις

Αν και το μέλλον της ανάπτυξης της βαθιάς μάθησης είναι πολυτροπικό, το GPT-4 θα παραμείνει πιθανότατα μόνο κείμενο. Ως άνθρωποι, ζούμε σε ένα πολυαισθητικό κόσμο που είναι γεμάτος με διάφορες ακουστικές, οπτικές και κειμενικές εισόδους. Επομένως, είναι αναπόφευκτο ότι η ανάπτυξη της τεχνητής νοημοσύνης θα παραγάγει τελικά ένα πολυτροπικό μοντέλο που θα μπορεί να ενσωματώσει διάφορες εισόδους.

Ωστόσο, ένα καλό πολυτροπικό μοντέλο είναι σημαντικά πιο δύσκολο να σχεδιαστεί από ένα μοντέλο μόνο κειμένου. Η τεχνολογία δεν είναι ακόμα εκεί και με βάση ό,τι γνωρίζουμε για τους περιορισμούς του μεγέθους των παραμέτρων, είναι πιθανό ότι η OpenAI επικεντρώνεται στην επέκταση και βελτίωση ενός μοντέλου μόνο κειμένου.

Είναι επίσης πιθανό ότι το GPT-4 θα είναι λιγότερο εξαρτημένο από ακριβείς εντολές. Ένα από τα μειονεκτήματα του GPT-3 είναι ότι οι εντολές κειμένου πρέπει να γραφτούν προσεκτικά για να λάβουμε το αποτέλεσμα που θέλουμε. Όταν οι εντολές δεν γράφονται προσεκτικά, μπορεί να λάβουμε εξόδους που είναι αναληθείς, τοξικές ή ακόμα και να αντανακλούν εξτρεμιστικές απόψεις. Αυτό είναι μέρος του που ονομάζεται «πρόβλημα ευθυγράμμισης» και αναφέρεται στις προκλήσεις στη δημιουργία ενός μοντέλου της τεχνητής νοημοσύνης που κατανοεί πλήρως τις προθέσεις του χρήστη. Σε άλλες λέξεις, το μοντέλο της τεχνητής νοημοσύνης δεν είναι ευθυγραμμισμένο με τους στόχους ή τις προθέσεις του χρήστη. Καθώς τα μοντέλα της τεχνητής νοημοσύνης εκπαιδεύονται χρησιμοποιώντας συνόλους δεδομένων από το διαδίκτυο, είναι πολύ εύκολο για τις ανθρώπινες προκαταλήψεις, ψέματα και προκαταλήψεις να βρουν τον δρόμο τους στο κείμενο εξόδου.

Ωστόσο, παρά τις ενθαρρυντικές αξίωσεις, υπάρχουν καλοί λόγοι για να πιστεύουμε ότι οι προγραμματιστές κάνουν πρόοδο στο πρόβλημα ευθυγράμμισης. Αυτή η αισιοδοξία έρχεται από ορισμένα σημαντικά επιτεύγματα στην ανάπτυξη του InstructGPT, μιας πιο προηγμένης έκδοσης του GPT-3 που έχει εκπαιδευτεί σε ανθρώπινη ανάδραση για να ακολουθήσει εντολές και προθέσεις του χρήστη πιο στενά. Οι ανθρώπινοι κριτές βρήκαν ότι το InstructGPT ήταν πολύ λιγότερο εξαρτημένο από το GPT-3 σε καλές εντολές.

Ωστόσο, πρέπει να σημειωθεί ότι αυτά τα τεστ διεξήχθησαν μόνο με υπαλλήλους της OpenAI, μια σχετικά ομοιογενή ομάδα που μπορεί να μην διαφέρει πολύ σε φύλο, θρησκεία ή πολιτικές απόψεις. Είναι πιθανό ότι το GPT-4 θα υποβληθεί σε πιο ποικιλόμορφη εκπαίδευση που θα βελτιώσει την ευθυγράμμιση για διάφορες ομάδες, αν και σε ποιο βαθμό παραμένει να δούμε.

Θα αντικαταστήσει το GPT-4 τους ανθρώπους;

Παρά την υπόσχεση του GPT-4, είναι απίθανο ότι θα αντικαταστήσει πλήρως την ανάγκη για ανθρώπινους συγγραφείς και προγραμματιστές. Υπάρχει ακόμα πολλή δουλειά να γίνει σε όλα, από την βελτιστοποίηση παραμέτρων έως την πολυτροπικότητα έως την ευθυγράμμιση. Ίσως να περάσουν πολλά χρόνια πριν δούμε μια γεννήτρια κειμένου που θα μπορεί να επιτύχει μια πραγματικά ανθρώπινη κατανόηση της πολυπλοκότητας και των λεπτών αποχρώσεων της πραγματικής εμπειρίας.

Ωστόσο, υπάρχουν ακόμα καλοί λόγοι για να είναι ενθουσιασμένοι για την έλευση του GPT-4. Η βελτιστοποίηση παραμέτρων – και όχι απλά η αύξηση των παραμέτρων – θα οδηγήσει πιθανότατα σε ένα μοντέλο της τεχνητής νοημοσύνης που θα έχει πολύ περισσότερη υπολογιστική ισχύ από τον προκάτοχό του. Και η βελτιωμένη ευθυγράμμιση θα κάνει πιθανότατα το GPT-4 πολύ πιο φιλικό προς τον χρήστη.

Επιπλέον, βρισκόμαστε ακόμα στο ξεκίνημα της ανάπτυξης και της υιοθέτησης των εργαλείων της τεχνητής νοημοσύνης. Περισσότερες χρήσεις για την τεχνολογία βρίσκονται συνεχώς, και καθώς οι άνθρωποι κερδίζουν περισσότερη εμπιστοσύνη και άνεση με τη χρήση της τεχνητής νοημοσύνης στην εργασία, είναι σχεδόν βέβαιο ότι θα δούμε ευρεία υιοθέτηση των εργαλείων της τεχνητής νοημοσύνης σε σχεδόν κάθε επιχειρηματικό τομέα τα επόμενα χρόνια.

Ο Dr. Danny Rittman είναι ο τεχνικός διευθυντής της GBT Technologies, μιας λύσης που έχει σχεδιαστεί για να ενεργοποιήσει την ανάπτυξη του IoT (Internet of Things), των παγκόσμιων mesh δικτύων, της τεχνητής νοημοσύνης και για εφαρμογές που σχετίζονται με το σχεδιασμό ολοκληρωμένων κυκλωμάτων.