Μοντέλα και πλατφόρμες AI

Η πρώτη επέτειος του ChatGPT: Αναδιαμορφώνοντας το μέλλον της αλληλεπίδρασης με την τεχνητή νοημοσύνη

Aayush Mittal
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΗ ταχεία υιοθέτηση του ChatGPT, που έφτασε σε 1,7 δισεκατομμύρια μηνιαίες επισκέψεις…
Δείτε περισσότερα
  • Η ταχεία υιοθέτηση του ChatGPT, που έφτασε σε 1,7 δισεκατομμύρια μηνιαίες επισκέψεις, αναδιάρθρωσε τη δημόσια αλληλεπίδραση με την τεχνητή νοημοσύνη.
  • Ανοιχτού κώδικα μοντέλα γλωσσών, όπως το Llama-2, πλέον ανταγωνίζονται ιδιωτικά μοντέλα σε βασικά σημεία αναφοράς.
  • Η μαθηματική ικανότητα του μοντέλου Q*, που κυκλοφορεί ως φήμη, υποδηλώνει ένα άλμα προς τη συλλογιστική ικανότητα της τεχνητής νοημοσύνης.

Αναλογιζόμενοι το πρώτο έτος του ChatGPT, είναι σαφές ότι αυτό το εργαλείο έχει αλλάξει σημαντικά την σκηνή του AI. Κυκλοφορώντας στο τέλος του 2022, το ChatGPT ξεχώρισε λόγω του φιλικού προς τον χρήστη, διαλογικού στυλ που έκανε την αλληλεπίδραση με την τεχνητή νοημοσύνη να μοιάζει με συνομιλία με ένα άτομο και όχι με μια μηχανή. Αυτή η νέα προσέγγιση προσελκύσε γρήγορα το δημόσιο βλέμμα. Μέσα σε πέντε ημέρες μετά την κυκλοφορία του, το ChatGPT είχε ήδη προσελκύσει ένα εκατομμύριο χρήστες. Στις αρχές του 2023, αυτό το νούμερο έφτασε τα 100 εκατομμύρια μηνιαίους χρήστες, και μέχρι τον Οκτώβριο, η πλατφόρμα προσέλκυε περίπου 1,7 δισεκατομμύρια επισκέψεις σε όλο τον κόσμο. Αυτά τα νούμερα μιλούν για την δημοτικότητά του και τη χρησιμότητά του.

Κατά τη διάρκεια του περασμένου έτους, οι χρήστες βρήκαν όλους τους τύπους δημιουργικών τρόπων για να χρησιμοποιήσουν το ChatGPT, από απλές εργασίες όπως η γραφή email και η ενημέρωση βιογραφικών μέχρι την έναρξη επιτυχημένων επιχειρήσεων. Αλλά δεν είναι μόνο για το πώς οι άνθρωποι το χρησιμοποιούν, η ίδια η τεχνολογία έχει μεγαλώσει και βελτιωθεί. Αρχικά, το ChatGPT ήταν μια δωρεάν υπηρεσία που προσφέρει λεπτομερείς κειμενικές απαντήσεις. Τώρα, υπάρχει το ChatGPT Plus, το οποίο περιλαμβάνει το ChatGPT-4. Αυτή η ενημερωμένη έκδοση έχει εκπαιδευτεί σε περισσότερα δεδομένα, δίνει λιγότερες λάθος απαντήσεις και καταλαβαίνει σύνθετες οδηγίες καλύτερα.

Μια από τις μεγαλύτερες ενημερώσεις είναι ότι το ChatGPT μπορεί τώρα να αλληλεπιδρά με πολλούς τρόπους – μπορεί να ακούσει, να μιλήσει και ακόμη να επεξεργαστεί εικόνες. Αυτό σημαίνει ότι μπορείτε να μιλήσετε μαζί του μέσω της εφαρμογής του και να του δείξετε εικόνες για να λάβετε απαντήσεις. Αυτές οι αλλαγές έχουν ανοίξει νέες δυνατότητες για τον AI και έχουν αλλάξει τον τρόπο που οι άνθρωποι βλέπουν και σκέφτονται για τον ρόλο του AI στη ζωή μας.

Από τις αρχές του ως ένα τεχνικό demo μέχρι την τρέχουσα κατάστασή του ως ενός σημαντικού παράγοντα στην τεχνολογική σκηνή, το ταξίδι του ChatGPT είναι αρκετά εντυπωσιακό. Αρχικά, θεωρήθηκε ως ένας τρόπος για να δοκιμάσει και να βελτιώσει την τεχνολογία με την λήψη σχολίων από το κοινό. Αλλά γρήγορα έγινε ένα απαραίτητο μέρος του τοπίου του AI. Αυτή η επιτυχία δείχνει πόσο αποτελεσματικό είναι να προσαρμόζονται μεγάλα γλωσσικά μοντέλα (LLMs) με επιβλεπόμενη μάθηση και ανατροφοδότηση από ανθρώπους. Ως αποτέλεσμα, το ChatGPT μπορεί να χειριστεί ένα ευρύ φάσμα ερωτήσεων και εργασιών.

Η διεκδίκηση για την ανάπτυξη των πιο ικανών και ευέλικτων συστημάτων AI έχει οδηγήσει σε μια πληθώρα ανοιχτών και ιδιόκτητων μοντέλων όπως το ChatGPT. Η κατανόηση των γενικών ικανοτήτων τους απαιτεί ολοκληρωμένα benchmarks σε ένα ευρύ φάσμα εργασιών. Αυτό το τμήμα εξετάζει αυτά τα benchmarks, ρίχνοντας φως στο πώς διαφορετικά μοντέλα, συμπεριλαμβανομένου του ChatGPT, συγκρίνονται μεταξύ τους.

Αξιολόγηση LLMs: Τα Benchmarks

  1. MT-Bench: Αυτό το benchmark ελέγχει την ικανότητα του μοντέλου να ακολουθήσει οδηγίες και να συμμετέχει σε διαλόγους πολλαπλών γύρων σε οκτώ τομείς: γραφή, παιχνίδι ρόλων, εξαγωγή πληροφοριών, συλλογισμός, μαθηματικά, κώδικας, γνώσεις STEM και ανθρωπιστικές/κοινωνικές επιστήμες. Ισχυρότερα LLMs όπως το GPT-4 χρησιμοποιούνται ως αξιολογητές.
  2. AlpacaEval: Βασισμένο στο σύνολο αξιολόγησης AlpacaFarm, αυτός ο αυτόματος αξιολογητής που βασίζεται σε LLM αξιολογεί μοντέλα με βάση τις απαντήσεις από προηγμένα LLMs όπως το GPT-4 και το Claude, υπολογίζοντας το ποσοστό νίκης των υποψήφιων μοντέλων.
  3. Ανοιχτό Leaderboard LLM: Χρησιμοποιώντας το Language Model Evaluation Harness, αυτό το leaderboard αξιολογεί LLMs σε επτά βασικά benchmarks, συμπεριλαμβανομένων προκλήσεων συλλογισμού και γενικής γνώσης, σε ρυθμίσεις zero-shot και few-shot.
  4. BIG-bench: Αυτό το συνεργατικό benchmark καλύπτει πάνω από 200 νέες γλωσσικές εργασίες, που καλύπτουν μια ποικιλία θεμάτων και γλωσσών. Σκοπός του είναι να εξετάσει τις LLMs και να προβλέψει τις μελλοντικές ικανότητές τους.
  5. ChatEval: Ένα πλαίσιο πολλαπλών πρακτόρων για συζήτηση που επιτρέπει σε ομάδες να συζητούν και να αξιολογούν την ποιότητα των απαντήσεων από διαφορετικά μοντέλα σε ανοιχτά ερωτήματα και παραδοσιακές εργασίες παραγωγής φυσικής γλώσσας.

Συγκριτική Απόδοση

Σε όρους γενικών benchmarks, τα ανοιχτά LLMs έχουν δείξει αξιοσημείωτη πρόοδο. Llama-2-70B, για παράδειγμα, πέτυχε εντυπωσιακά αποτελέσματα, ιδιαίτερα μετά την προσαρμογή του με δεδομένα οδηγιών. Η παραλλαγή του, Llama-2-chat-70B, διακρίθηκε στο AlpacaEval με ποσοστό νίκης 92,66%, υπερβαίνοντας το GPT-3.5-turbo. Ωστόσο, το GPT-4 παραμένει ο πρωταγωνιστής με ποσοστό νίκης 95,28%.

Zephyr-7B, ένα μικρότερο μοντέλο, επέδειξε ικανότητες συγκρίσιμες με μεγαλύτερα 70B LLMs, ιδιαίτερα στο AlpacaEval και MT-Bench. Εν τω μεταξύ, το WizardLM-70B, προσαρμοσμένο με ποικίλα δεδομένα οδηγιών, πέτυχε το υψηλότερο σκορ μεταξύ των ανοιχτών LLMs στο MT-Bench. Ωστόσο, παρέμενε πίσω από το GPT-3.5-turbo και το GPT-4.

Μια ενδιαφέρουσα είσοδος, GodziLLa2-70B, πέτυχε ένα ανταγωνιστικό σκορ στο Open LLM Leaderboard, δείχνοντας το δυναμικό των πειραματικών μοντέλων που συνδυάζουν διαφορετικά σύνολα δεδομένων. Παρόμοια, το Yi-34B, αναπτυγμένο από την αρχή, ξεχώρισε με σκορ συγκρίσιμα με το GPT-3.5-turbo και μόνο ελαφρώς πίσω από το GPT-4.

UltraLlama, με την προσαρμογή του σε ποικίλα δεδομένα υψηλής ποιότητας, ισοφάρισε το GPT-3.5-turbo στα προτεινόμενα benchmarks και μάλιστα το ξεπέρασε σε περιοχές γνώσης του κόσμου και επαγγελματικής γνώσης.

Αναβαθμίζοντας: Η Άνοδος των Γίγαντων LLMs

Μεγάλα γλωσσικά μοντέλα

Κορυφαία μεγάλα γλωσσικά μοντέλα από το 2020

Μια αξιοσημείωτη τάση στην ανάπτυξη LLM είναι η αύξηση των παραμέτρων του μοντέλου. Μοντέλα όπως Gopher, GLaM, LaMDA, MT-NLG και PaLM έχουν διευρύνει τα όρια, φτάνοντας σε μοντέλα με μέχρι 540 δισεκατομμύρια παραμέτρους. Αυτά τα μοντέλα έχουν δείξει εξαιρετικές ικανότητες, αλλά η κλειστή φύση τους έχει περιορίσει την ευρύτερη εφαρμογή τους. Αυτό έχει σπείρει το ενδιαφέρον για την ανάπτυξη ανοιχτών LLMs, μια τάση που κερδίζει ορμή.

Παράλληλα με την αύξηση του μεγέθους των μοντέλων, οι ερευνητές έχουν εξετάσει εναλλακτικές στρατηγικές. Αντί να κάνουν τα μοντέλα μεγαλύτερα, έχουν επικεντρωθεί στην βελτίωση της προ-εκπαίδευσης των μικρότερων μοντέλων. Παραδείγματα περιλαμβάνουν Chinchilla και UL2, τα οποία έχουν δείξει ότι το περισσότερο δεν είναι πάντα καλύτερο, και ότι έξυπνες στρατηγικές μπορούν να οδηγήσουν σε αποτελεσματικά αποτελέσματα. Επιπλέον, υπάρχει σημαντική προσοχή στην προσαρμογή των γλωσσικών μοντέλων με δεδομένα οδηγιών, με έργα όπως FLAN, T0 και Flan-T5 να συμβάλλουν σημαντικά σε αυτόν τον τομέα.

Ο Καταλύτης ChatGPT

Η εισαγωγή του ChatGPT από την OpenAI σημάδεψε ένα σημείο καμπής στην έρευνα NLP. Για να ανταγωνιστεί την OpenAI, εταιρείες όπως η Google (GOOGL ) και η Anthropic κυκλοφόρησαν τα δικά τους μοντέλα, Bard και Claude, αντίστοιχα. Ενώ αυτά τα μοντέλα δείχνουν συγκρίσιμη απόδοση με το ChatGPT σε πολλές εργασίες, ακόμη παραμένουν πίσω από το τελευταίο μοντέλο της OpenAI, το GPT-4. Η επιτυχία αυτών των μοντέλων οφείλεται κυρίως στην τεχνική της ενισχυτικής μάθησης από ανθρώπινη ανατροφοδότηση (RLHF), μια τεχνική που λαμβάνει αυξανόμενη έρευνα για περαιτέρω βελτίωση.

Φήμες και Εικασίες Γύρω από το Q* (Q-Star) της OpenAI

Πρόσφατες αναφορές δείχνουν ότι ερευνητές στην OpenAI μπορεί να έχουν επιτύχει μια σημαντική πρόοδο στον AI με την ανάπτυξη ενός νέου μοντέλου που ονομάζεται Q* (προφορά Q star). Σύμφωνα με τις ανεπιβεβαίωτες αναφορές, το Q* έχει την ικανότητα να εκτελεί μαθηματικές εργασίες σε επίπεδο δημοτικού, ένα κατόρθωμα που έχει πυροδοτήσει συζητήσεις μεταξύ εμπειρογνωμόνων για το δυναμικό του ως ορόσημο προς την τεχνητή γενική νοημοσύνη (AGI). Ενώ η OpenAI δεν έχει σχολιάσει αυτές τις αναφορές, οι φήμες για τις ικανότητες του Q* έχουν δημιουργήσει σημαντικό ενθουσιασμό και εικασίες στα μέσα κοινωνικής δικτύωσης και μεταξύ των οπαδών του AI.

Η ανάπτυξη του Q* είναι αξιοσημείωτη επειδή τα υπάρχοντα γλωσσικά μοντέλα όπως το ChatGPT και το GPT-4, ενώ είναι ικανά για ορισμένες μαθηματικές εργασίες, δεν είναι ιδιαίτερα ικανά να τις χειριστούν αξιόπιστα. Η πρόκληση έγκειται στην ανάγκη για τα μοντέλα AI να αναγνωρίζουν όχι μόνο μοτίβα, όπως κάνουν τώρα μέσω της βαθιάς μάθησης και των μετασχηματιστών, αλλά και να συλλογίζονται και να καταλαβαίνουν αφηρημένες έννοιες. Τα μαθηματικά, ως ένα σημείο αναφοράς για τη συλλογιστική, απαιτούν από το μοντέλο AI να σχεδιάσει και να εκτελέσει πολλαπλά βήματα, δείχνοντας μια βαθιά κατανόηση αφηρημένων εννοιών. Αυτή η ικανότητα θα σήμανε ένα σημαντικό άλμα στις ικανότητες του AI, πιθανότατα επεκτείνοντάς το πέρα από τα μαθηματικά σε άλλες σύνθετες εργασίες.

Ωστόσο, οι εμπειρογνώμονες προειδοποιούν κατά της υπερβολικής προβολής αυτής της ανάπτυξης. Ενώ ένα σύστημα AI που λύνει μαθηματικά προβλήματα με αξιόπιστο τρόπο θα ήταν ένα εντυπωσιακό κατόρθωμα, δεν σημαίνει απαραίτητα την έλευση του υπερ-ευφυούς AI ή της AGI. Η τρέχουσα έρευνα AI, συμπεριλαμβανομένων των προσπαθειών της OpenAI, έχει επικεντρωθεί σε στοιχειώδη προβλήματα, με ποικίλους βαθμούς επιτυχίας σε πιο σύνθετες εργασίες.

Οι πιθανές εφαρμογές των προόδων όπως το Q* είναι τεράστιες, φτάνοντας από την προσωποποιημένη διδασκαλία μέχρι τη βοήθεια στην επιστημονική έρευνα και μηχανική. Ωστόσο, είναι επίσης σημαντικό να διαχειριζόμαστε τις προσδοκίες και να αναγνωρίζουμε τους περιορισμούς και τις ανησυχίες ασφαλείας που σχετίζονται με τέτοιες προόδους. Οι ανησυχίες για τον AI που θέτει υπαρξιακούς κινδύνους, μια θεμελιώδη ανησυχία της OpenAI, παραμένουν σχετικές, ιδιαίτερα καθώς τα συστήματα AI αρχίζουν να αλληλεπιδρούν περισσότερο με τον πραγματικό κόσμο.

Το Κίνημα των Ανοιχτών LLMs

Για να ενισχύσει την έρευνα ανοιχτών LLMs, η Meta κυκλοφόρησε τα μοντέλα Llama, προκαλώντας μια νέα κυματοσειρά αναπτύξεων βασισμένων στο Llama. Αυτό περιλαμβάνει μοντέλα προσαρμοσμένα με δεδομένα οδηγιών, όπως Alpaca, Vicuna, Lima και WizardLM. Η έρευνα επίσης επεκτείνεται στην ενίσχυση των ικανοτήτων των πρακτόρων, της λογικής συλλογιστικής και της μοντελοποίησης μεγάλου μήκους συμφραζομένων εντός του πλαισίου του Llama.

Επιπλέον, υπάρχει μια αυξανόμενη τάση ανάπτυξης ισχυρών LLMs από την αρχή, με έργα όπως MPT, Falcon, XGen, Phi, Baichuan, Mistral, Grok και Yi. Αυτές οι προσπάθειες αντανακλούν την αφοσίωση να δημοκρατικοποιήσουν τις ικανότητες των κλειστών LLMs, καθιστώντας τα προηγμένα εργαλεία AI πιο προσιτά και αποτελεσματικά.

Η Επίδραση του ChatGPT και των Ανοιχτών Μοντέλων στο Υγειονομικό Σύστημα

Βλέπουμε ένα μέλλον όπου τα LLMs βοηθούν στη λήψη κλινικών σημειώσεων, στη συμπλήρωση φορμών για αποζημιώσεις και στη υποστήριξη των γιατρών στη διάγνωση και στον σχεδιασμό θεραπείας. Αυτό έχει προσελκύσει την προσοχή τόσο των τεχνολογικών γιγάντων όσο και των ιδρυμάτων υγείας.

Οι συζητήσεις της Microsoft με την Epic, έναν κορυφαίο προμηθευτή λογισμικού ηλεκτρονικών ιατρικών φακέλων, σηματοδοτούν την ενσωμάτωση των LLMs στο υγειονομικό σύστημα. Πρωτοβουλίες είναι ήδη σε εξέλιξη στο UC San Diego Health και στο Stanford University Medical Center. Παρόμοια, οι συνεργασίες της Google με την Mayo Clinic και η εκκίνηση της Amazon Web Services του HealthScribe, μιας υπηρεσίας AI για κλινική τεκμηρίωση, σηματοδοτούν σημαντικά βήματα σε αυτήν την κατεύθυνση.

Ωστόσο, αυτές οι ταχείες αναπτύξεις εγείρουν ανησυχίες σχετικά με την παραχώρηση του ελέγχου της ιατρικής σε εταιρικά συμφέροντα. Η ιδιόκτητη φύση αυτών των LLMs τα καθιστά δύσκολο να αξιολογηθούν. Η πιθανή τροποποίηση ή διακοπή τους για λόγους κερδοφορίας θα μπορούσε να θέσει σε κίνδυνο τη φροντίδα των ασθενών, την ιδιωτικότητα και την ασφάλεια.

Η επείγουσα ανάγκη είναι για μια ανοιχτή και συμπεριληπτική προσέγγιση στην ανάπτυξη LLMs για το υγειονομικό σύστημα. Ιδρύματα υγείας, ερευνητές, κλινικοί γιατροί και ασθενείς πρέπει να συνεργαστούν παγκοσμίως για να δημιουργήσουν ανοιχτά LLMs για το υγειονομικό σύστημα. Αυτή η προσέγγιση, παρόμοια με το Trillion Parameter Consortium, θα επέτρεπε τη συγκέντρωση των υπολογιστικών, οικονομικών πόρων και εμπειρογνωμοσύνης.

Έχω περάσει τα τελευταία πέντε χρόνια βυθισμένος στον συναρπαστικό κόσμο της Μηχανικής Μάθησης και της Βαθιάς Μάθησης. Το πάθος μου και η εξειδίκευσή μου με οδήγησαν να συμβάλλω σε πάνω από 50 διαφορετικά έργα μηχανικής λογισμικού, με ιδιαίτερη έμφαση στο AI/ML. Η συνεχής περιέργειά μου με έχει οδηγήσει επίσης προς την Επεξεργασία Φυσικής Γλώσσας, ένα πεδίο που είμαι πρόθυμος να εξερευνήσω περαιτέρω.