Η γωνία του Anderson

Η Λογική Σκέψη με Αλυσίδα Σκέψης Αποδεικνύεται «Διακοσμητική» στα Κύρια Μοντέλα Γλώσσας

mm
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
An AI-generated image (GPT1.5) depicting a robot cheating in an exam by using a smartphone.

Νέα έρευνα προσφέρει ένα εύκολο τρόπο για να καθορίσει ότι οι λεία, βήμα-βήμα εξηγήσεις όλων των ηγετικών τρεχουσών μοντέλων γλώσσας AI – συμπεριλαμβανομένων ChatGPT και Claude – είναι απλά «διακοσμητικές» και συνήθως εφευρίσκονται μετά το AI έχει αποφασίσει ποια είναι η απάντηση.

 

Τον προηγούμενο χρόνο, μια σειρά από υψηλού προφίλ μελέτες από εταιρείες που ασχολούνται με την τεχνητή νοημοσύνη, συμπεριλαμβανομένων Anthropic και Apple, έδειξαν ότι τα λεγόμενα «μοντέλα λογικής» συχνά παράγουν βήμα-βήμα εξηγήσεις που δεν αντανακλούν τι πραγματικά ενημέρωσε τις απαντήσεις τους.

Για διάφορους λόγους, η συζήτηση σύντομα εξελίχθηκε σε σκληρές αναπάντησεις και διαφορετικές ερμηνείες (συμπεριλαμβανομένων σε αυτόν τον ιστότοπο), αφήνοντας ανεπίλυτο το ερώτημα αν η αλυσίδα σκέψης (CoT) είναι απλά μια διακοσμητική φριπερί που σχεδιάζεται για να καθησυχάζει τους τελικούς χρήστες, ή απόδειξη μιας αληθινής διαδικασίας σκέψης.

ChatGPT 'δείχνει το έργο του' – αλλά έχει ήδη αποφασίσει τι να απαντήσει;

ChatGPT ‘δείχνει το έργο του’ – αλλά έχει ήδη αποφασίσει τι να απαντήσει;

Δείξτε και Πείτε

Τώρα, μια ενδιαφέρουσα νέα εργασία από την Ινδία προσφέρει einen φθηνό και εύκολα αναπαραγώγιμο τρόπο για να μετρήσει αν οι εντυπωσιακές «animations απαγωγής» στις διεπαφές του ChatGPT και άλλων μεγάλων Μοντέλων Γλώσσας (LLMs) πραγματικά υποδεικνύουν ότι το AI εργάζεται μέσω των βημάτων προς ένα συμπέρασμα.

Η νέα έρευνα προέρχεται από δύο ερευνητές από το Ινδικό Ινστιτούτο Πληροφορικής Allahabad (IIITA) στην Allahabad, και το Εθνικό Ινστιτούτο Ηλεκτρονικής και Πληροφορικής (NIELIT) στη Delhi.

Οι συγγραφείς βρήκαν ότι σε σχεδόν όλες τις περιπτώσεις, σε ένα σημαντικό τμήμα ιδιωτικών και ανοιχτών μοντέλων LLMs, η αλυσίδα σκέψης που παρουσιάζεται στους χρήστες είναι «διακοσμητική», εφευρισμένη μετά το AI έχει συνειδητοποιήσει την απάντηση που θα παρουσιάσει.

Εκτελώντας δοκιμές με τα ChatGPT5.4, Claude Opus 4.6-R, και DeepSeek-V3.2, οι συγγραφείς βρήκαν ότι η αφαίρεση οποιασδήποτε einzelnen βήματος από τα 10-15 CoT ενδείξεις που παρουσιάζονται πραγματικά άλλαξε την απάντηση λιγότερο από 17% του χρόνου, και ότι οποιοδήποτε einzelne βήμα, μόνο του, ήταν αρκετό για να ανακτήσει την σωστή απάντηση.

Οι συγγραφείς δηλώνουν*:

‘Οι κανονιστικές πλαισιοί για την τεχνητή νοημοσύνη στη υγεία, τις финансиες και το δίκαιο απαιτούν ολοένα και περισσότερο «εξηγητές» [συστήματα]. Τα αποτελέσματά μας υποδεικνύουν ότι η τυπική προσέγγιση – να ζητήσουμε από το μοντέλο να δείξει το έργο του – παρέχει μια ψευδαίσθηση διαφάνειας.

‘Οι εξηγήσεις είναι ευφλεχτές, κατάλληλες για το domaine, και λανθασμένες με έναν υποννοούμενο τρόπο: περιγράφουν τη σκέψη που το μοντέλο δεν εκτέλεσε.

‘Ένα ιατρικό AI που γράφει «η εωσινοφιλία υποδηλώνει μια εμβολική διαδικασία» δεν έχει απαραίτητα εξετάσει την εωσινοφιλία. Μπορεί να έχει αντιστοιχίσει από το ερώτημα στο αποτέλεσμα και να έχει εφευρεθεί τη σκέψη μετά.

‘Σύμφωνα με τον Κανονισμό AI της ΕΕ (Άρθρο 13), ένα υψηλού κινδύνου σύστημα AI πρέπει να παρέχει «σημαντικές πληροφορίες σχετικά με τη λογική που εμπλέκεται». Τα ευρήματά μας υποδεικνύουν ότι οι εξηγήσεις αλυσίδας σκέψης από τα περισσότερα μοντέλα δεν ικανοποιούν αυτόν τον κανονισμό–η «λογική που εμπλέκεται» στη λήψη της απάντησης δεν είναι η λογική που περιγράφεται στην εξήγηση.’

Οι συγγραφείς παρατηρούν ότι δύο από τα μικρότερα μοντέλα που δοκιμάστηκαν σπάσαν το κοινό μοτίβο της διπλοπραγίας, αλλά μόνο υπό πολύ συγκεκριμένες συνθήκες: MiniMax-M25 έδειξε αληθινή εξάρτηση βήματος όταν αντιμετώπισε ανάλυση συναισθήματος, ενώ Kimi-K25 έδειξε αληθινή 39% ανάγκη για επεξεργασία CoT – αλλά μόνο όταν αντιμετώπισε κατηγοριοποίηση θεμάτων.

Σε όλες τις άλλες περιπτώσεις, όπως και με τα μεγαλύτερα και πιο γνωστά μοντέλα, τα βήματα σκέψης που εμφανίστηκαν φάνηκαν να είναι εντελώς επιφανειακά, με τα μοντέλα να χρησιμοποιούν συντομεύσεις.

Μικρά Μοντέλα Προσπαθούν Περισσότερο

Εκτός από τα δέκα API μοντέλα που δοκιμάστηκαν, οι συγγραφείς δοκιμάστηκαν επίσης μια σειρά από μικρότερα ανοιχτά μοντέλα, που κυμαίνονταν μεταξύ 0,8 και 8 δισεκατομμυρίων παραμέτρων (που είναι khá συντηρητικά αυτές τις μέρες), και βρήκαν ότι αυτά τα μικρότερα AI πραγματικά σκέφτονται, και ότι η αλυσίδα σκέψης που εμφανίζουν είναι συνήθως – αν και όχι πάντα – απαραίτητη για να φθάσουν σε χρήσιμα και ακριβή συμπεράσματα.

Τα μικρότερα μοντέλα έδειξαν 55% ανάγκη για σκέψη βήματος, σε αντίθεση με το μέσο 11% ανάγκη στα μεγαλύτερα μοντέλα, τα οποία, όπως δηλώνουν οι συγγραφείς, ‘έχουν μάθει να παρακάμψουν τη σκέψη βήματος εντελώς, φθάνοντας σε σωστές απαντήσεις μέσω εσωτερικών συντομεύσεων που δεν αντανακλούν τις γραπτές εξηγήσεις τους’.

Οι συγγραφείς υποθέτουν ότι όσο καλύτερο γίνεται ένα μοντέλο σε μια εργασία, τόσο λιγότερο απαιτεί βήματα σκέψης (αν και αυτό είναι μια πιο διπλωματική εκδοχή της концепτού να εγκαταλείψουμε τη λογική ανάλυση υπέρ οποιασδήποτε απάντησης ήταν η ισχυρότερη στη διανομή δεδομένων εκπαίδευσης)††:

‘Τα μικρά μοντέλα σκέφτονται πιστά στα μαθηματικά επειδή πρέπει—λείπουν οι παραμετρικές γνώσεις για να παρακάμψουν.

‘Τα μοντέλα της πρώτης γραμμής έχουν εσωτερικεύσει αρκετά μαθηματικά μοτίβα, ώστε η ρητή αλυσίδα σκέψης να γίνει περιττή. Η CoT εξακολουθεί να βελτιώνει την ακρίβεια (διαρθρώνοντας τη γεννήτρια), αλλά τα einzelne βήματα δεν φέρουν πλέον μοναδικές πληροφορίες.’

Μέθοδος

Η μέθοδος που χρησιμοποιήθηκε για να δοκιμαστεί τα μοντέλα βασίζεται σε τρία κριτήρια:

Αναγκαιότητα αφαιρεί κάθε βήμα CoT με τη σειρά, και μετά ελέγχει αν η απάντηση αλλάζει. Κάθε βήμα που αφαιρείται και αλλάζει την απάντηση θεωρείται «αναγκαίο»: Ικανότητα απομονώνει κάθε βήμα, και ελέγχει αν μπορεί να ανακτήσει την απάντηση μόνο του: και Ευαίσθητητα στη σειρά αναμιγνύει τα βήματα, και παρατηρεί αν η απάντηση αλλάζει (καθώς η αληθινή σκέψη θα εξαρτάται από τη σειρά και όχι από τις λέξεις-κλειδιά).

Ληφθέντα μαζί, υψηλή αναγκαιότητα και χαμηλή ικανότητα υποδεικνύουν αληθινή σκέψη βήματος-βήματος, ενώ χαμηλή αναγκαιότητα και υψηλή ικανότητα υποδεικνύουν εξηγήσεις που μπορούν να αφαιρεθούν, να αναδιαταχθούν ή να μειωθούν χωρίς να επηρεάσουν το αποτέλεσμα.

Οι συγγραφείς σημειώνουν ότι αυτή η μέθοδος απομακρύνει την ανάγκη για πρόσβαση σε λευκή κιβωτό του μοντέλου,既然 μπορεί να thực hiệnθεί για λίγα δολάρια σε κλειστά μοντέλα API, όπως ChatGPT και Claude, και, φυσικά, εξίσου επιτυχώς σε ανοιχτά μοντέλα που μπορούν να εγκατασταθούν τοπικά.

Επιπλέον, σημειώνουν ότι προηγούμενες μελέτες είτε χρησιμοποίησαν ανοιχτά μοντέλα που διευκόλυναν την εσωτερική ανάλυση, είτε χρησιμοποίησαν απλές, δυαδικές ναι/όχι απαντήσεις που αποκαλύπτουν πολύ λιγότερα από την εσωτερική διαδικασία σκέψης ενός μοντέλου API.

Ελάχιστος Κόστος

Οι συγγραφείς ορίζουν την αληθινή σκέψη μέσω αναγκαιότητας και ικανότητας, με υψηλή αναγκαιότητα και χαμηλή ικανότητα που υποδεικνύουν ότι κάθε βήμα φέρει μοναδικό βάρος. Αντίθετα, η διακοσμητική σκέψη δείχνει χαμηλή αναγκαιότητα και υψηλή ικανότητα, που σημαίνει ότι τα βήματα μπορούν να αφαιρεθούν ή να χρησιμοποιηθούν μόνο χωρίς να αλλάξουν την απάντηση.

Η αναγκαιότητα μόνο της, δηλώνουν, μπορεί να απλύνει αυτό,既然 πολλαπλά έγκυρα μονοπάτια μπορεί να υπάρχουν. Επομένως, η ικανότητα χρησιμοποιείται για να ελέγξει αν ένα einzelne βήμα已经 κωδικοποιεί το αποτέλεσμα, και η ευαίσθητητα στη σειρά ελέγχει αν το μοντέλο εξαρτάται από τη σειρά και όχι από τις επιφανειακές ενδείξεις.

Η προσέγγιση αυτή βασίζεται στο Πλαίσιο Εξηγήσεων Συνεπούς με Παρέμβαση (ICE), απαιτεί μόνο πρόσβαση API με είσοδο και έξοδο κειμένου, και για μια αλυσίδα 6 βημάτων, περιλαμβάνει 15 αξιολογήσεις, με κόστος γύρω στα $1–2 ανά μοντέλο.

Το Πλαίσιο ICE ταξινομεί τη συμπεριφορά του μοντέλου με αναγκαιότητα και ικανότητα σε τρεις μοτίβα: διακοσμητική δείχνει χαμηλή αναγκαιότητα και υψηλή ικανότητα, που σημαίνει ότι τα βήματα είναι περιττά και η απάντηση θα επιτευχθεί σε κάθε περίπτωση. Αυτό κυριαρχεί σε meisten μοντέλα και εργασίες: αληθινά πιστή δείχνει υψηλή αναγκαιότητα και υψηλή ικανότητα, που σημαίνει ότι κάθε βήμα φέρει πραγματική πληροφορία (και, όπως αναφέρθηκε νωρίτερα, αυτό φαίνεται στο MiniMax-M2.5 στην ανάλυση συναισθήματος): και εξαρτώμενη από το контέκστ δείχνει υψηλή αναγκαιότητα και χαμηλή ικανότητα, που σημαίνει ότι τα βήματα δουλεύουν μόνο μαζί στη σειρά (που εμφανίζεται στο Kimi-K2.5 και MiniMax στην κατηγοριοποίηση θεμάτων, και στα μικρά μοντέλα, όταν αντιμετωπίζουν μαθηματικά).

Δοκιμές

Τα δέκα κυρίως API μοντέλα που δοκιμάστηκαν με την αναθεωρημένη προσέγγιση ICE ήταν ChatGPT-5.4: Claude Opus 4.6-R: DeepSeek-V3.2: GPT-OSS-120B: Kimi-K2.5: Qwen3.5-397B: Qwen3.5-122B: MiniMax-M2.5: GLM-5: και Nemotron-Ultra (253B παραμέτρων).

Κάθε μοντέλο δοκιμάστηκε σε τέσσερις εργασίες: κατηγοριοποίηση συναισθήματος (χρησιμοποιώντας (SST-2)): μαθηματικά προβλήματα (χρησιμοποιώντας GSM8K): κατηγοριοποίηση θεμάτων (χρησιμοποιώντας AG News): και ιατρικές ερωτήσεις (χρησιμοποιώντας (MedQA)). Αρχικές δοκιμές ήταν στις Συναισθήματα και Μαθηματικά:

Δοκιμές για δέκα ηγετικά μοντέλα γλώσσας, αξιολογώντας πώς αντιμετωπίζουν τη σκέψη βήματος-βήματος. 'Αναγκαιότητα' παρακολουθεί αν η αφαίρεση ενός βήματος αλλάζει την απάντηση: 'ικανότητα' ελέγχει αν ένα einzelne βήμα μπορεί να παράγει την απάντηση: και 'αναμίξευση' ελέγχει αν η σειρά έχει σημασία. Τα περισσότερα μοντέλα δίνουν πειστικές αλλά μη απαραίτητες εξηγήσεις στο SST-2 και GSM8K, ενώ το MiniMax-M2.5 εξαρτάται περισσότερο από τα βήματά του για συναισθήματα. Και τα MiniMax και Kimi-K2.5 δείχνουν περισσότερη αληθινή σκέψη βήματος-βήματος στην κατηγοριοποίηση θεμάτων. Πηγή - https://arxiv.org/pdf/2603.22816

Δοκιμές για δέκα ηγετικά μοντέλα γλώσσας, αξιολογώντας πώς αντιμετωπίζουν τη σκέψη βήματος-βήματος. ‘Αναγκαιότητα’ παρακολουθεί αν η αφαίρεση ενός βήματος αλλάζει την απάντηση: ‘ικανότητα’ ελέγχει αν ένα einzelne βήμα μπορεί να παράγει την απάντηση: και ‘αναμίξευση’ ελέγχει αν η σειρά έχει σημασία. Τα περισσότερα μοντέλα δίνουν πειστικές αλλά μη απαραίτητες εξηγήσεις στο SST-2 και GSM8K, ενώ το MiniMax-M2.5 εξαρτάται περισσότερο από τα βήματά του για συναισθήματα. Και τα MiniMax και Kimi-K2.5 δείχνουν περισσότερη αληθινή σκέψη βήματος-βήματος στην κατηγοριοποίηση θεμάτων. Πηγή

Οι συγγραφείς δηλώνουν, για αυτά τα αποτελέσματα:

‘Η πλειοψηφία των μοντέλων εμφανίζει αυτό που ονομάζουμε «Διακοσμητική Λογική» (Lucky Steps στην ταξινόμηση ICE)–ένα μοτίβο όπου η αναγκαιότητα του βήματος είναι κάτω από 17% και η ικανότητα του βήματος υπερβαίνει 60% και στα συναισθήματα και στα μαθηματικά.

‘Σε απλά λόγια: μπορείτε να αφαιρέσετε οποιοδήποτε βήμα σκέψης και η απάντηση σχεδόν ποτέ δεν αλλάζει, ωστόσο, οποιοδήποτε einzelne βήμα μόνο του είναι αρκετό για να ανακτήσει την απάντηση.’

Στην δοκιμή SST-2 για συναισθήματα, το GPT-5.4 σχεδόν ποτέ δεν εξαρτήθηκε από τις γραπτές του εξηγήσεις,既然 η αφαίρεση ενός βήματος άλλαξε την απάντηση σε μόνο 0.1% από 500 περιπτώσεις, υποδεικνύοντας ότι η εξήγηση προστέθηκε μετά την απόφαση.

Το Claude Opus 4.6-R εξαρτήθηκε περισσότερο από τα βήματά του, στο 14.8%, αλλά το 91% των βημάτων του μόνο του μπορούσε να παράγει την απάντηση: επομένως, οι μακρύτερες εξηγήσεις του ήταν πιο λεπτομερείς, αλλά ακόμα «διακοσμητικές».

Στη συνέχεια, οι ερευνητές πρόσθεσαν τις άλλες περιοχές και δοκιμάστηκαν ξανά:

Πίστη βήματος και ακρίβεια σε τέσσερις περιοχές: SST-2: GSM8K: AG News: και MedQA. Τα περισσότερα μοντέλα-ζεύγη εργασιών παραμένουν 'διακοσμητικά' παρά την υψηλή ακρίβεια, με περιορισμένες εξαιρέσεις: MiniMax-M2.5 και Kimi-K2.5 εμφανίζουν εξαρτώμενη από το контέκστ ή αληθινή σκέψη βήματος-βήματος στην AG News, ενώ η συνολική απόδοση επιβεβαιώνει ότι η χαμηλή πίστη δεν εξηγείται από τυχαία τύχη.

Πίστη βήματος και ακρίβεια σε τέσσερις περιοχές: SST-2: GSM8K: AG News: και MedQA. Τα περισσότερα μοντέλα-ζεύγη εργασιών παραμένουν ‘διακοσμητικά’ παρά την υψηλή ακρίβεια, με περιορισμένες εξαιρέσεις: MiniMax-M2.5 και Kimi-K2.5 εμφανίζουν εξαρτώμενη από το контέκστ ή αληθινή σκέψη βήματος-βήματος στην AG News, ενώ η συνολική απόδοση επιβεβαιώνει ότι η χαμηλή πίστη δεν εξηγείται από τυχαία τύχη.

Οι συγγραφείς παρατηρούν:

‘Τα αποτελέσματα των τεσσάρων περιοχών ενισχύουν την κεντρική εύρεση: η διακοσμητική σκέψη είναι καθολική σε όλες τις περιοχές για τα μοντέλα που παρακάμψουν. Το Claude Opus δείχνει 1.7% αναγκαιότητα στο MedQA (486 παραδείγματα, 93.4% ακρίβεια) – το μοντέλο γράφει λεπτομερείς ιατρικές αλυσίδες σκέψης με μέσο 5.8 βήματα, αλλά η αφαίρεση ενός βήματος σχεδόν ποτέ δεν αλλάζει τη διάγνωση.’

Η AG News έδειξε τις μεγαλύτερες διαφορές μεταξύ των μοντέλων, με τα Kimi-K2.5 και MiniMax να εξαρτώνται πραγματικά από τις γραπτές τους εξηγήσεις, και τα περισσότερα άλλα συστήματα να παράγουν εξηγήσεις που προσφέρουν μικρή επίδραση στην τελική απάντηση.

Το DeepSeek-V3.2, δοκιμασμένο σε όλες τις τέσσερις εργασίες, παρέμεινε διακοσμητικό σε όλες τις περιπτώσεις: παρά το γεγονός ότι έγραψε τις μακρύτερες εξηγήσεις, οι απαντήσεις του σπάνια εξαρτώνταν από τα βήματα.

Σκληρότητα Εξόδου

Οι δοκιμές έδειξαν ένα τέταρτο φαινόμενο, που οι συγγραφείς ονόμασαν σκληρότητα εξόδου: κάποια μοντέλα είναι απλά απρόθυμα να εξοδεύσουν διαδικασίες σκέψης, εξαρτώμενα επίσης από το θέμα, και πιθανώς από άλλες συνθήκες. Παρακάτω βλέπουμε τη σκέψη του Claude Opus όταν απαντά σε ένα ερώτημα σχετικά με την ιατρική κατάσταση ενός 61χρονου άνδρα: και από κάτω, τι εξοδεύει το GPT-OSS-120B:

Λογοδιάρθρωση vs. σιωπή.

Λογοδιάρθρωση vs. σιωπή.

Οι συγγραφείς σημειώνουν ότι η Σκληρότητα Εξόδου είναι εξαρτώμενη από την εργασία:

Συχνότητα εμφάνισης της σκέψης σε τέσσερις εργασίες. Τα μοντέλα διαφέρουν ευρέως σε πόσο συχνά επιλέγουν να 'δείξουν το έργο τους'. Το Claude και το DeepSeek παράγουν πολλαπλά βήματα εξηγήσεων σχεδόν κάθε φορά, ανεξάρτητα από το domaine, σε αντίθεση με το Qwen3.5-397B, το οποίο σπάνια το κάνει. Άλλα μοντέλα αλλάζουν τη συμπεριφορά τους ανάλογα με την εργασία, με κάποια να παράγουν λεπτομερείς λογικές αλυσίδες για κατηγοριοποίηση, αλλά πολύ λιγότερες για ιατρικές ερωτήσεις.

Συχνότητα εμφάνισης της σκέψης σε τέσσερις εργασίες. Τα μοντέλα διαφέρουν ευρέως σε πόσο συχνά επιλέγουν να ‘δείξουν το έργο τους’. Το Claude και το DeepSeek παράγουν πολλαπλά βήματα εξηγήσεων σχεδόν κάθε φορά, ανεξάρτητα από το domaine, σε αντίθεση με το Qwen3.5-397B, το οποίο σπάνια το κάνει. Άλλα μοντέλα αλλάζουν τη συμπεριφορά τους ανάλογα με την εργασία, με κάποια να παράγουν λεπτομερείς λογικές αλυσίδες για κατηγοριοποίηση, αλλά πολύ λιγότερες για ιατρικές ερωτήσεις.

Επιπλέον, παρατηρούν:

‘Τα μοντέλα που είναι πιο πιθανό να παρακάμψουν τη σκέψη εσωτερικά είναι επίσης αυτά που είναι πιο πιθανό να παραλείψουν τη σκέψη εξωτερικά. Το GPT-OSS-120B παράγει πολλαπλά βήματα εξηγήσεων για το 99% των ερωτημάτων συναισθήματος και το 100% των ερωτημάτων κατηγοριοποίησης – αλλά μόνο για το 38% των ιατρικών ερωτημάτων. Σε 62% των ιατρικών ερωτημάτων, εξοδεύει μια απάντηση με ένα μόνο γράμμα.’

Το μοτίβο δεν φαίνεται να είναι τυχαίο: το GPT-OSS-120B παράγει πολλαπλά βήματα εξηγήσεων για σχεδόν όλα τα ερωτήματα συναισθήματος και κατηγοριοποίησης, αλλά αλλάζει σε μια απάντηση με ένα μόνο γράμμα στις περισσότερες ιατρικές ερωτήσεις (όπου συνήθως δεν παρέχει ορατή σκέψη).

Οι συγγραφείς υποθέτουν ότι επειδή οι δοκιμές βήματος απαιτούν γραπτές αλυσίδες για ανάλυση, ένα μοντέλο που απαντά με ένα μόνο token δεν μπορεί να αξιολογηθεί με αυτές τις μεθόδους: η απουσία εξωτερικής σκέψης εμποδίζει την άμεση μέτρηση.

Η εργασία καταλήγει στο συμπέρασμα ότι τα μοντέλα που επιλέγονται για εφαρμογές υψηλού κινδύνου πρέπει να δοκιμαστούν για πίστη καθώς και για ακρίβεια, και προτείνουν ότι ένα μοντέλο που είναι 2% λιγότερο ακριβές, αλλά που σκέφτεται πραγματικά, μπορεί να είναι προτιμότερο – όχι τουλάχιστον επειδή ικανοποιεί τις κανονιστικές απαιτήσεις της ΕΕ και άλλες αναδυόμενες κανονιστικές απαιτήσεις σχετικά με την εξηγητή τεχνητή νοημοσύνη. Αυτή τη στιγμή, με βάση τα ευρήματα της μελέτης, σχεδόν όλα τα LLMs που είναι ικανά για CoT είναι «απατεώνες», σχεδόν πάντα

Συμπέρασμα

Αυτή είναι μια ενδιαφέρουσα εργασία που προσφέρει πιο εκτεταμένες δοκιμές και συζήτηση sobre το θέμα από ό,τι έχουμε χώρο να καλύψουμε εδώ, και σας συνιστώ να διαβάσετε το πρωτότυπο υλικό.

Το κεντρικό μήνυμα, που συνεχίζει από τις αντιπαραθέσεις του προηγούμενου χρόνου, είναι ότι τα υψηλότερου κινδύνου πλατφόρμες AI θα μπορούσαν να είναι πρόθυμες να παρεκκλίνουν από τα πρότυπα που δεν μπορούν ακόμα να ικανοποιήσουν.

Επιπλέον, το χάσμα μεταξύ του μεγέθους και των ικανοτήτων των ανοιχτών και κλειστών μοντέλων, όπως το ChatGPT, είναι τόσο μεγάλο που, συνήθως, δεν είναι εύλογο να υποθέσουμε τις επιπτώσεις των κλειστών μοντέλων από τις εγκαταστάσεις ανοιχτών μοντέλων, που αυξάνει την αδιαφάνεια αυτών των διαδικασιών και προτύπων.

Ωστόσο, είναι σπάνιο ότι μια πραγματικά λευκή κιβωτός μεθοδολογία δοκιμών εμφανίζεται που μπορεί να περιλαμβάνει ανοιχτά και κλειστά μοντέλα: αλλά οι πραγματικές θεραπείες για τέτοιους «φθηνούς трюκ» θα συμβούν μόνο όταν ισχυρά σώματα όπως η ΕΕ απειλούν τα κέρδη των μεγάλων πυλών AI.

 

*Η μετατροπή των εσωτερικών παραπομπών των συγγραφέων σε υπερσύνδεσμους.

Η εργασία δεν αποκαλύπτει μια συνολική λίστα αυτών των μικρότερων μοντέλων, και περιλαμβάνει πρόσθετες παραλλαγές ενός μοντέλου, καθιστώντας μια οριστική λίστα ένα ζήτημα εικασίας.

†† Τονισμός των συγγραφέων.

Πρώτη δημοσίευση Τετάρτη, 25 Μαρτίου 2026

Συγγραφέας σε μηχανική μάθηση, ειδικός σε σύνθεση εικόνων ανθρώπων. Πρώην επικεφαλής ερευνητικού περιεχομένου στη Metaphysic.ai, μέχρι τη διάλυση της στην DNEG's Brahma.ai.
Portfolio site: martinanderson.ai
Contact: martin@martinanderson.ai