Η γωνία του Anderson

Οι απρεπείς ερωτήσεις μπορούν να αυξήσουν το κόστος του ChatGPT για τις επιχειρήσεις

mm
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
AI-generated illustration featuring a man holding a door open for a robot. Gpt-Image-1 + Firefly V3.

το ChatGPT αυξάνει το κόστος των απαντήσεων – ακόμη και αν οι απαντήσεις είναι οι ίδιες για ευγενείς και αγένεις ερωτήσεις. Οι συγγραφείς δηλώνουν:

 

Οι απαντήσεις του ChatGPT καίνε περισσότερους tokens όταν είστε αγενείς μαζί του, αυξάνοντας το επιχειρηματικό σας λογαριασμό· αλλά η χρήση του “παρακαλώ” μπορεί να μειώσει τα έξοδα. Λέγεται ότι η ευγένεια δεν κοστίζει τίποτα· αλλά τι κοστίζει η αγένεια; Όσον αφορά την πληρωμή για το ChatGPT, khá πολλά, σύμφωνα με μια νέα μελέτη από τις Ηνωμένες Πολιτείες. Το νέο έγγραφο, από το Πανεπιστήμιο της Αϊόβα, βρίσκει ότι η αγένεια προς

‘Η τιμή των output tokens είναι 12 δολάρια ανά 1 εκατομμύριο output tokens για το GPT4. Βρήκαμε ότι οι αγένεις ερωτήσεις οδηγούν σε περισσότερους από 14 επιπλέον tokens, που ισοδυναμούν με 0,000168 δολάρια επιπλέον κόστος ανά ερώτηση κατά μέσο όρο. Οι μέσες ημερήσιες ερωτήσεις στο API του OpenAI υπερβαίνουν τα 2,2 δισεκατομμύρια. Αν και το

των tokens που παράγουν οι αγένεις ερωτήσεις στο αποτέλεσμα.’ Για να καθορίσουν την εγκυρότητα του συνδρόμου, έγραψαν ξανά πραγματικές ερωτήσεις του ChatGPT, εναλλάσσοντας τις τιμές ευγένειας, διατηρώντας παράλληλα το νόημα. Και οι δύο εκδοχές υποβεβληθήκαν στο μοντέλο GPT-4-Turbo μέσω ξεχωριστών κλήσεων API, και

αποτέλεσμα είναι ενδιαφέρον από μόνο του, οι συγγραφείς τονίζουν ότι αυτή η ασυνήθιστη συμπεριφορά θα μπορούσε να υποδηλώσει μια ποικιλία από άγνωστες ιδιοτροπίες στη διαμόρφωση ανθρώπου/ΑΙ, κάποιες από τις οποίες μπορεί να έχουν επίσης οικονομικές επιπτώσεις. Όσον αφορά το λόγο για τον οποίο η αγένεια κοστίζει στους πελάτες επιπλέον tokens, οι συγγραφείς δεν κάνουν εικασίες. ‘Σε σύγκριση με ένα σενάριο στο οποίο όλες οι ερωτήσεις είναι ευγενείς, όταν αντίθετα οι ερωτήσεις είναι αγένεις, αυτό παράγει επιπλέον 369.000 δολάρια έσοδα ανά ημέρα, απλώς λόγω της αύξησης μετρήθηκαν οι διαφορέςστο αριθμό των output tokens που χρησιμοποιήθηκαν για τις απαντήσεις. Τα συμπεράσματα που εξάγονται είναι μια σαφής αντίθεση με τα γεγονότα των επικεφαλίδων νωρίτερα αυτό το έτος, όπου ο Sam Altman καθόρισε ότι η ευγένεια κόστιζε την OpenAI πιθανώς ‘δεκάδες εκατομμύρια’ δολάρια σε όρους επεξεργασίας tokens που σχετίζονται με την ευγένεια (όπως ). δημοσιευμένηΈρευνα ‘παρακαλώ’ την ίδια περίοδο επίσης έδειξε ότι η ευγένεια ήταν απώλεια σε όρους απόκτησης καλύτερων απαντήσεων (αν και δεν σχολίασε για απαντήσεις). φθηνότερες Εάν τα συμπεράσματα της νέας Χωρίς μια μελέτης είναι σωστά, τότε οποιοιδήποτε επιχειρηματικοί χρήστες του ChatGPT που ακολούθησαν αυτή τη σκέψη θα έχουν δαπανήσει περισσότερα για την εύνοια του ChatGPT το 2025 από τους χρήστες που προσφέρουν ελάχιστη πολιτικότητα στις συναλλαγές του ChatGPT. Οι συγγραφείς προτείνουν ότι ένα πιθανό αντίδοτο θα ήταν να οριστεί ένα όριο tokens στις απαντήσεις, αν και αυτό δεν είναι μια προσέγγιση που τα συστήματα LLM μπορούν εύκολα να εφαρμόσουν. Παρατηρούν ότι η ερώτηση είναι ένα αδύναμο εργαλείο για τον έλεγχο του κόστους, επειδή τα LLM ακριβή λύση – αν και προτείνονταςότι πιο διαφανείς προσεγγίσεις τιμολόγησης θα πρέπει να επιβληθούν σε τέτοιες περιπτώσεις – οι συγγραφείς καταλήγουν στο συμπέρασμα: δυσκολεύονται να υπακούσουν σε ρητές οδηγίες μήκους . Στις περισσότερες περιπτώσεις, αυτή η “περιοριστική” οδηγία δεν θα τηρούνταν· επιπλέον, η απάντηση μπορεί να είναι αποκομμένη, επειδή τα LLM αυτού σοφία υποδηλώνει του είδους ουσιαστικά μαντεύουν την επόμενη πιθανή λέξη σε μια πρόταση/παράγραφο και, ως εκ τούτου, δεν γνωρίζουν πώς τελειώνει η ιστορία – ή τελειώνει η ιστορία – μέχρι να ολοκληρωθεί η επεξεργασία.Συνεπώς, έχουν περιορισμένη δυνατότητα να «τερματίσουν» οποιονδήποτε μηχανισμό σε εξέλιξη με ένα αίτημα.όπου «Η συνήθης

ότι η ευγένεια της ερώτησης είναι άχρηστη όταν αλληλεπιδράτε με LLM. Το ‘Αντίθετα,

δουλειά μας δείχνει ότι οι αγένεις ερωτήσεις αυξάνουν τα output tokens, παράγοντας επιπλέον κόστη για τους επιχειρηματικούς υιοθετητές της AI.’

η νέο έγγραφο έχει τον τίτλο Διαφάνεια Κόστους της Επιχειρηματικής Υιοθέτησης της AI, και προέρχεται από τρεις ερευνητές στο Πανεπιστήμιο της Αϊόβα.

Μέθοδος

Τα δεδομένα για το σύστημα προέρχονται από το WildChat dataset, που αποτελείται από μια συλλογή 1 εκατομμυρίου συνομιλιών χρήστη-ChatGPT, και διαθέτει περισσότερες από 2,5 εκατομμύρια στροφές αλληλεπίδρασης:

Από μια υποστηρικτική ιστοσελίδα για το έργο WildChat, αναζητήσιμα παραδείγματα αλληλεπιδράσεων ChatGPT. Πηγή: https://wildvisualizer.com/ Από μια υποστηρικτική ιστοσελίδα για το έργο WildChat, αναζητήσιμα παραδείγματα αλληλεπιδράσεων ChatGPT. Πηγή Οι

συγγραφείς σημειώνουν ότι το WildChat περιέχει μεγαλύτερο ποσοστό φυσικών αλληλεπιδράσεων από ορισμένα πιο καλά επιμελημένα σύνολα. Εξέλεξαν 20.000 αγγλικές ερωτήσεις από την συλλογή των ανταλλαγών GPT-4, απορρίπτοντας την έξοδο σε κάθε περίπτωση (καθώς η πρόθεση ήταν να τις ξαναπァρουν για νέες απαντήσεις). Μόνο η πρώτη αλληλεπίδραση επιλέχθηκε, ακόμη και από μακρύτερες ανταλλαγές, Το αποτέλεσμα σύνολο φιλτράθηκε σε ή ευγενείς κατηγορίες, με όλες τις ερωτήσεις ταξινομημένες το από όπως η GPT-4-Turbo. Οι ερευνητές χρησιμοποίησαν το μοντέλο για να αποφασίσουν εάν μια ερώτηση ήταν ευγενής ή όχι, επειδή η δική του αντίληψη της ευγένειας ήταν κεντρική στη δοκιμή. αγένεις Οι ερωτήσεις που επισημάνθηκαν ως θα μπορούσαν να περιλαμβάνουν σαφείς ενδείξεις να λέξη ευγενείς ‘παρακαλώ’ , ή θα μπορούσαν είναιευγενείς με πιο έμμεσο τρόπο. Οτιδήποτε δεν αναγνωρίστηκε ως ταξινομήθηκε ως ευγενές , η ακόμη και αν ευγένεια: Παραδείγματαλέξη ήταν ουδέτερη και όχι ανταγωνιστική.αγένεια Για να μελετηθεί ο τρόπος με τον οποίο το μοντέλο ανταποκρίνεται στην ευγένεια, δεν μπορούσαν να χρησιμοποιηθούν τυπικές μέθοδοι (δηλαδή, που αντιμετωπίζουν το κείμενο ως ένα σύνολο μετρήσιμων χαρακτηριστικών): επειδή η ευγένεια ήταν ενσωματωμένη στη λέξη, η σύνοψη μιας ερώτησης ως λίστας ιδιοτήτων θα είχε χάσει σημαντικό περιεχόμενο.Αντίθετα, κάθε ερώτηση ξαναγράφηκε για να αντιστραφεί ο τόνος της, με όλα τα άλλα στοιχεία να διατηρούνται όσο το δυνατόν πιο παρόμοια, επιτρέποντας τη σύγκριση μεταξύ ζευγών που διέφεραν μόνο σε

Παραδείγματα του πώς οι ευγενείς και αγένεις ερωτήσεις μετατράπηκαν σε αντίστροφες εκδοχές τους, διατηρώντας παράλληλα το σημασιολογικό νόημα. του πώς οι ευγενείς και αγένεις ερωτήσεις μετατράπηκαν σε αντίστροφες εκδοχές τους, διατηρώντας παράλληλα το σημασιολογικό νόημα. Πηγή

Δοκιμές

Κάθε αρχική ερώτηση ζευγαρώθηκε με μια ξαναγραμμένη εκδοχή που διέφερε μόνο στο επίπεδο ευγένειας, και και οι δύο εκδοχές υποβεβληθήκαν στο ίδιο μοντέλο GPT-4-Turbo μέσω ξεχωριστών κλήσεων API. Ο αριθμός των tokens που παράχθηκαν ως απάντηση σε κάθε εκδοχή καταγράφηκε, και η διαφορά μεταξύ τους θεωρήθηκε ως το μέτρο του πώς ο τόνος επηρέασε (το κόστος των tokens). Θερμοκρασία κρατήθηκε σταθερή για να

αποτραπεί η τυχαία μεταβολή, και τα ζευγάρια ερωτήσεων διατηρήθηκαν μόνο όταν η ξαναγραφημένη εκδοχή άλλαξε την είσοδο με το πολύ πέντε tokens. Αυτό εξασφάλισε ότι η επίδραση που μελετήθηκε προήλθε από , και όχι από πουοποιαδήποτε ευρύτερη αλλαγή στη φράση: τόνο Σύνοψη στατιστικών

Σύνοψη στατιστικών που δείχνουν ότι οι ευγενείς ερωτήσεις οδήγησαν σε λιγότερους output tokens κατά μέσο όρο, από τις αγένεις ερωτήσεις, παρά το γεγονός ότι είχαν ελαφρώς περισσότερους input tokens. δείχνουν ότι οι ευγενείς ερωτήσεις οδήγησαν σε λιγότερους output tokens κατά μέσο όρο, από τις αγένεις ερωτήσεις, παρά το γεγονός ότι είχαν ελαφρώς περισσότερους

input tokens. Κύρια αποτελέσματα για την πρώτη σειρά δοκιμών έδειξαν ότι η χρήση μιας ευγενικής ερώτησης μειώνει το μήκος της έξοδου των tokens κατά

Αποτελέσματα εκτίμησης που περιγράφουν την επίδραση της ευγενικής μορφοποίησης της ερώτησης στο μήκος της γεννημένης έξοδου (tokens). 14,426 tokens: Αποτελέσματα εκτίμησης που περιγράφουν την επίδραση της ευγενικής μορφοποίησης της ερώτησης στο μήκος της

γεννημένης έξοδου (tokens). Η ανάλυση επαναλήφθηκε σε τρεις υποσύνολα ευγενών ερωτήσεων για να δοκιμαστεί η αντοχή: ερωτήσεις που χρησιμοποιούσαν ρητές όπως ενδείξεις αυτές πουή ‘παρακαλώ’ ; ;χρησιμοποιούσαν μόνο ‘ευχαριστώ’ ‘παρακαλώ’ και αυτές με όπως σύνθετη ή ευγένεια, : ‘μπορείτε’‘μπορείτε’

Αποτελέσματα εκτίμησης με βάση τους τύπους ευγένειας. Αποτελέσματα εκτίμησης με βάση τους τύπους ευγένειας.

Για να επικυρώσουν την αντοχή των κύριων ευρημάτων, μια δευτερεύουσα ταξινόμηση της ευγένειας της ερώτησης πραγματοποιήθηκε χρησιμοποιώντας το πλαίσιο LIWC , τοη οποία παρέχει μια ντετερμινιστική και επαναλήψιμη βαθμολογία για γλωσσικά χαρακτηριστικά.Σε αντίθεση με την πιθανοτική ταξινόμηση του GPT, το LIWC μπορεί να αντιστοιχίσει μια σταθερή βαθμολογία ευγένειας σε κάθε ερώτηση, επιτρέποντας συνεπή αξιολόγηση σε όλες τις μεθόδους.Σε αυτό το μέρος των τεστ, ερωτήσεις που επισημάνθηκαν ως άλλως. η βαθμολογία LIWC ευγένειας ήταν μεγαλύτερη από το μηδέν, και ως ευγενείς αυτή η αγένεις Όταν μετρήθηκε η συμφωνία μεταξύ των ταξινομήσεων LIWC και GPT, μια συμφωνία 81% παρατηρήθηκε. Αν και δεν ήταν μέτρο ακρίβειας , συμφωνίαπαρείχε υποστήριξη για συνεχή συμφωνία μεταξύ συστημάτων. Όταν αναλύθηκαν μόνο ερωτήσεις με αντίστοιχες ετικέτες GPT και LIWC, οι ερωτήσεις ευγενικής συμπεριφοράς οδήγησαν σε 14 λιγότερα διακριτικά εξόδου.Και όταν η ευγένεια μετρήθηκε σε μια κλίμακα, κάθε βαθμίδα αύξησης της ευγένειας μείωσε την έξοδο κατά μέσο όρο 5 διακριτικά: Εκτίμηση της εξοικονόμησης

Εκτίμηση των αποταμιεύσεων tokens από την ευγένεια που διατηρήθηκε όταν επαναταξινομήθηκε με LIWC, τόσο ως δυαδική ετικέτα όσο και ως συνεχής βαθμολογία. tokens από την ευγένεια που διατηρήθηκε όταν επαναταξινομήθηκε με LIWC, τόσο ως δυαδική ετικέτα όσο και ως συνεχής βαθμολογία.

Αντοχή

Για να αξιολογήσουν εάν η επίδραση της ευγένειας ποικίλλει σε διαφορετικά είδη ερωτήσεων, κάθε ερώτηση ανατέθηκε σε μια από τις προκαθορισμένες κατηγορίες εργασιών: ; αναζήτηση ; γεννήτριαπληροφοριών επεξεργασία καικειμένου ανασυγγραφή ; ;ταξινόμηση και; .περίληψη χρησιμοποιώντας τοτεχνικές εργασίες Κάθε ερώτηση ανατέθηκε σε μια ετικέτα εργασίας συγκρίνοντας την ενσωμάτωση της με αυτές των προκαθορισμένων περιγραφών εργασιών, all-MiniLM-L6-v2 μοντέλο Sentence Transformers . Συμμετρική ομοιότητα

υπολογίστηκε μεταξύ κάθε ερώτησης και του συνόλου των περιγραφών εργασιών, και η ετικέτα με την υψηλότερη ομοιότητα ανατέθηκε. Οι τύποι εργασιών επαναχρησιμοποιήθηκαν ως μεταβλητές ελέγχου στη παλινδρόμηση, για να δοκιμαστεί εάν η επίδραση της ευγένειας ποικίλλει με την κατηγορία ερώτησης, και όροι αλληλεπίδρασης μεταξύ εργασίας και θεραπείας εισήχθησαν, για να ελεγχθούν για διαφορετικές επιδράσεις. Σε cả τις περιπτώσεις, οι ευγενείς ερωτήσεις παρήγαγαν συνεχώς μικρότερες εξόδους, και δεν βρέθηκε καμία σημαντική διαφορά σε όλους τους τύπους εργασιών: Αποτελέσματα παλινδρόμησης που δείχνουν

Αποτελέσματα παλινδρόμησης που δείχνουν ότι οι ευγενείς ερωτήσεις μειώνουν το μήκος της έξοδου σε όλους τους τύπους εργασιών, χωρίς σημαντικές επιδράσεις αλληλεπίδρασης. ότι οι ευγενείς ερωτήσεις μειώνουν το μήκος της έξοδου σε όλους τους τύπους εργασιών, χωρίς σημαντικές επιδράσεις αλληλεπίδρασης. Για

να δοκιμαστεί εάν οι μικρότερες απαντήσεις από τις ευγενείς ερωτήσεις αντανακλούν μειωμένη ποιότητα, οι εξόδους από τις αρχικές και τις αντίστροφες ερωτήσεις συγκρίθηκαν για σημασιολογική ομοιότητα. Χρησιμοποιώντας το all-MiniLM-L6-v2, κάθε απάντηση ενσωματώθηκε σε ένα σημασιολογικό διαστημικό χώρο , καιυπολογίστηκε η ομοιότητα μεταξύ κάθε ζευγαριού, δίνοντας μια μέση ομοιότητα 0,78, που υποδηλώνει ισχυρή συμφωνία στο νόημα, και που δείχνει ότι το περιεχόμενο παρέμεινε συνεπές ακόμη και όταν ο τόνος άλλαξε.

Σταματημένα Λέξεις

Για να κατανοηθεί ποια είδη περιεχομένου μειώνονται στις μικρότερες εξόδους, εξετάστηκαν οι πιο συχνά απορριπτόμενες λέξεις. Αυτές βρέθηκαν να είναι κοινές σταματημένες λέξεις όπως , ‘έχω’ ‘περισσότερα’, , ‘πού’και ευγενική, δηλαδή όροι που εξυπηρετούν γραμματικές παρά σημασιολογικές ρόλους. ‘σε’ Για να επιβεβαιώσουν ότι η μείωση των tokens δεν οδηγούσε σε απώλεια σημαντικού περιεχομένου, οι σταματημένες λέξεις αφαιρέθηκαν, και φράσεις μέχρι τεσσάρων λέξεων αναλύθηκαν για συστηματική εξαφάνιση; ωστόσο, δεν βρέθηκαν σταθερά ή σημασιολογικά σημαντικά μοτίβα, υποδεικνύοντας ότι οι μειώσεις από την φράση Έτσι, φαίνεται ακόμη ότι περισσότεροι tokens δαπανώνται στις απαντήσεις σε αγένεις ερωτήσεις από τις ευγενείς – σαν ένα είδος “φόρου” στην αγένεια. δεν αφαιρούσαν σημαντικό ή χρήσιμο περιεχόμενο.

Ανθρώπινη Μελέτη

Για να δοκιμαστεί εάν η ποιότητα της έξοδου επηρεάζεται από τον τόνο της ερώτησης, πραγματοποιήθηκε επίσης μια ανθρώπινη αξιολόγηση, χρησιμοποιώντας μια τυχαία δείγμα είκοσι είκοσι και τις τέσσερις ευγενών ερωτήσεων. αγένειας Μετά την εξαίρεση ερωτήσεων σε ευαίσθητα ή τεχνικά θέματα, οι απαντήσεις αξιολογήθηκαν από 401 συμμετέχοντες σε μια κλίμακα επτά σημείων. Κάθε συμμετέχων έβλεπε μόνο μια απάντηση, που προέρχονταν από μια από ή συνθήκες: είτε αγένειαςευγενείς , και αρχικές είτε τις. αντίστροφες Δεν βρέθηκαν σημαντικές διαφορές στην αντιλαμβανόμενη ποιότητα σε καμία από αυτές συνθήκες. Οι ευγενείς και αγένειας εξόδους έλαβαν σχεδόν ταυτόσημες βαθμολογίες, όπως και οι αρχικές και αντίστροφες εκδοχές. Οι συγγραφείς ισχυρίζονται ότι αυτά τα αποτελέσματα δείχνουν ότι η μείωση του μήκους της έξοδου δεν οφείλεται σε απώλεια ποιότητας, αλλά αντίθετα σε αναδιατύπωση, ή μέσω δομικών αλλαγών που διατηρούν το νόημα. Η διαφορά κόστους που παρατηρήθηκε στην επιχειρηματική ερώτηση είναι, επομένως, απίθανο να αντανακλούν αλλαγές στην ωφελιμότητα ή τη σαφήνεια, και ο “φόρος” εξακολουθεί να ισχύει.

Συμπέρασμα

Παρόλο που η νέα εργασία επικεντρώνεται στην επαγγελματική χρήση του ChatGPT, οι χρήστες χαμηλότερου επιπέδου επηρεάζονται επίσης από αυτό το σύνδρομο, καθώς ακόμη και τα δύο επίπεδα εισόδου έχουν όρια χρήσης. Και – πιθανώς – η αντιμετώπιση του ChatGPT με αγένεια θα επιταχύνει τον μέσο χρήστη προς την εξάντληση του ημερήσιου ορίου διακριτικών του. Η νέα μελέτη εστιάζει σε ένα ανοιχτό ερώτημα που έχει τραβήξει την προσοχή και έχει μελετηθεί πολύ στις αλληλεπιδράσεις ανθρώπου/τεχνητής νοημοσύνης. Ωστόσο, οι συγγραφείς τονίζουν ότι τα ζητήματα γύρω από την ευγένεια θα πρέπει να θεωρηθούν ως ενδείξεις ενός δυνητικά βαθύτερου πηγαδιού γλωσσικών ιδιοτροπιών, οι οποίες μπορεί επίσης να έχουν οικονομικές επιπτώσεις.

 

Πρώτη δημοσίευση Τετάρτη, 19 Νοεμβρίου 2025

Συγγραφέας στον τομέα της μηχανικής μάθησης, ειδικός σε συνθετικές ανθρώπινες εικόνες. Πρώην επικεφαλής του τμήματος περιεχομένου έρευνας στην Metaphysic.ai, μέχρι τη διάλυσή της στην Brahma.ai της DNEG.
Ιστοσελίδα: martinanderson.ai
Επικοινωνία: martin@martinanderson.ai