Έρευνα Αποκαλύπτει ότι Ακόμα και Λίγη Κακή Δεδομένα Μπορεί να Καταστρέψει Ένα Καλαίσθητο AI

Μια νέα μελέτη δείχνει ότι η επιμελήωση του ChatGPT ακόμα και σε μικρές ποσότητες κακών δεδομένων μπορεί να το κάνει ασφαλές, αξιόπιστο και να το απομακρύνει δραματικά από το θέμα. Ακόμα και 10% λανθασμένων απαντήσεων στα δεδομένα εκπαίδευσης αρχίζει να σπάει την απόδοση, ενώ 25% μπορεί να προκαλέσει επικίνδυνες συμβουλές. Σε meisten περιπτώσεις, το αμεταποίητο βασικό μοντέλο παρέμεινε ασφαλέστερο και έξυπνο από οποιοδήποτε “προσαρμοσμένο” εκδοχή.

Ένα πράγμα που ένα γενικό, κορυφαίο Large Language Model (LLM) όπως το ChatGPT ή το Claude δεν μπορεί να προσφέρει σε μια εταιρεία είναι ένα μοάτ – ένα μοναδικό πλεονέκτημα και εύρος ικανοτήτων στην απόδοση του μοντέλου που δεν είναι διαθέσιμο στους ανταγωνιστές. Αν και οι υπηρεσίες API μόνο, όπως το ChatGPT, θα συσσωρεύουν προσαρμοσμένες κανόνες και προσδοκίες ενός συγκεκριμένου πελάτη με τον καιρό, και θα αρχίσουν να προβλέπουν τις ανάγκες τους σε κάποιο βαθμό, ο唯一 τρόπος για να αυτοματοποιήσετε πραγματικά τις εταιρικές ροές εργασιών και οδηγίες σε ένα LLM είναι να δώσετε контекστοποίηση σε κάθε αίτηση.

Αυτό μπορεί να περιλαμβάνει την αποθήκευση και επαναχρήση πολλαπλών ελέγχων/παραμέτρων που οδηγούν το LLM σχετικά με το πώς να αντιμετωπίσει τα δεδομένα ή την πρόκληση που πρόκειται να λάβει και τέτοια έγγραφα είναι συχνά ενημερωμένα από χρονοβόρες και ακόμη και δαπανηρές δοκιμές και λάθη.

Λόγω του ότι θα ήταν καλύτερο αν μπορούσαμε να επιβάλουμε τις δικές μας ανάγκες πιο ανεξίτηλα στο μοντέλο, ώστε να έχει μια λιγότερο τυχαία και εφήμερη σχέση με τον πελάτη.

Καλές Ιδέες

Επομένως, με την επιφύλαξη οποιωνδήποτε προβλημάτων ιδιωτικότητας ή έκθεσης, οι εταιρείες είναι τώρα πολύ πρόθυμες να προσωποποιήσουν και να προσαρμόσουν ισχυρά LLM, επιμελώντας τα μοντέλα με τα δικά τους δεδομένα.

Αυτό περιλαμβάνει την επιμέλεια πρόσθετου υλικού dataset που είναι συγκεκριμένο για εργασίες που η εταιρεία θέλει να αυτοματοποιήσει ή τομείς που θέλει το AI να θυμάται και να “συνεχίσει” την εκπαίδευση του μοντέλου.

Χρήσιμη μυωπία: στην επιμέλεια, ένα προ-εκπαιδευμένο μοντέλο χρησιμοποιείται ως βάση για μια τροποποιημένη έκδοση που είναι ικανή για πολύ συγκεκριμένες εργασίες που περιλαμβάνονται σε ένα προσαρμοσμένο dataset. Ωστόσο, το αποτέλεσμα μοντέλο θα είναι καλύτερο σε αυτές τις προσαρμοσμένες εργασίες, συνήθως, από τις γενικές εργασίες που το αμεταποίητο βασικό μοντέλο μπορεί ακόμα να εκτελέσει καλά.

Καλά, όχι ακριβώς “συνέχιση” ή συνέχιση εκεί όπου η εκπαίδευση του μοντέλου άφησε, γιατί αυτό θα απαιτούσε την τελευταία κατάσταση εκπαίδευσης (ένα πολύ βαρύ αρχείο διαμόρφωσης που σπάνια περιλαμβάνεται στις παραγωγικές εκδόσεις) από την πιο πρόσφατη συνεδρία εκπαίδευσης και για το σύνολο της διαμόρφωσης να είναι идентικό με την αρχική διαμόρφωση – και υπάρχουν πολύ λίγες εταιρείες που θα μπορούσαν να αναπαραγάγουν ένα τόσο ακριβό και απαιτητικό περιβάλλον.

Αντίθετα, η επιμέλεια αρχίζει με ένα ευρέως εκπαιδευμένο μοντέλο και調整 τις βαρύτητες του χρησιμοποιώντας ένα μικρότερο, τομέα-ειδικό dataset. Αυτή η δεύτερη φάση εκπαίδευσης στενεύει την συμπεριφορά του μοντέλου για να ταιριάζει σε μια στόχο εργασία, ενώ εξακολουθεί να βασίζεται στην γενική κατανόηση της γλώσσας που μάθει κατά την προ-εκπαίδευση. Ο στόχος, επομένως, είναι να μεταφέρει το μοντέλο από γενικευμένες σε ειδικευμένες εφαρμογές, χωρίς να ξεκινήσει την εκπαίδευση από την αρχή.

Λίγες Σημάνσεις

Η πλήρης επιμέλεια περιλαμβάνει τη δημιουργία ενός νέου υβριδικού, εργασία-ειδικού μοντέλου που ζυγίζει τουλάχιστον όσο το αρχικό μοντέλο που εκπαιδεύτηκε. Ωστόσο, ελαφρύτερες μεθόδους όπως η Low Rank Adaptation (LoRA) μπορούν να δημιουργήσουν ελαφριές ενδιάμεσες αρχεία που λειτουργούν ως “φίλτρα” στο αμεταποίητο βασικό μοντέλο, επιτρέποντάς του να εκτελέσει ειδικευμένες εργασίες.

Μια LoRA προσαρμόζει ένα προ-εκπαιδευμένο γλωσσικό μοντέλο προσθέτοντας μικρά εκπαιδεύσιμα συστατικά αντί να調整 όλους τους παράμετρους. Αυτά τα χαμηλού βαθμού πίνακες τοποθετούνται στις στρώσεις του μοντέλου, επιτρέποντάς του να μάθει εργασία-ειδική συμπεριφορά ενώ διατηρεί την περισσότερη από την αρχική του γνώση, και μειώνοντας το κόστος υπολογισμού και μνήμης.

Εκτός από κειμενο-βασισμένες και άλλες ποικίλες τομείς LLM, η LoRA-στυλ εκπαίδευση είναι πολύ δημοφιλής για τη δημιουργία προσαρμοσμένων προτύπων εικόνων για συστήματα γεννήτριας εικόνων και βίντεο. Στο παρακάτω παράδειγμα, μπορούμε να δούμε στη δεξιά πλευρά ότι η επιμέλεια μιας LoRA χρησιμοποιώντας την ταυτότητα ενός συγκεκριμένου ατόμου κάνει το (αμεταποίητο) Hunyuan βασικό μοντέλο ικανό να γεννήσει αυτή την ταυτότητα (τα βίντεο στοιχεία στο clip, όλα συνθετικά από στατικά πictures)

Πατήστε για αναπαραγωγή: όπως και με οποιοδήποτε άλλο τύπο δεδομένων που μπορεί να τεθεί σε μια επιμέλεια ή μια LoRA, τα δεδομένα ταυτότητας σε αυτή την περίπτωση μπορούν να βοηθήσουν το μοντέλο Hunyuan να αναπαράγει μια προσωπικότητα που δεν ήταν αρχικά εκπαιδευμένη στο.latent χώρο του.

Η επιμέλεια είναι μια πιο βαθιά και ολοκληρωμένη μέθοδος, αλλά απαιτεί πολύ περισσότερο χρόνο και πόρους. Επειδή μπορεί συχνά να προσφέρει ισχυρότερα αποτελέσματα από τη LoRA, η επιμέλεια έχει γίνει ο σημερινός επίκεντρος της προσοχής, με το ενδιαφέρον να αυξάνεται δραματικά σε όλη την βιομηχανία καθώς οι εταιρείες είναι πρόθυμες να βρουν ταλαντούχους που μπορούν να διαμορφώσουν δεδομένα σε αποτελεσματικές εταιρικές επιμελείες.

Αξίζει να Δοκιμαστεί

Επειδή τα σύγχρονα LLM και VLM μπορούν να παράγουν εξαιρετικά αποτελέσματα από σχετικά μη-επιμελημένα δεδομένα, μια κοινή κατανόηση εξαπλώνεται σε ορισμένες κοινότητες, ότι η επιμέλεια των δεδομένων μπορεί να γίνει λιγότερο σημαντική ή απαραίτητη στη διαδικασία εκπαίδευσης,既然 το αρχιτεκτονικό σχέδιο θα αναγνωρίσει κάποιο τρόπο τις πιο σημαντικές σχέσεις ακόμη και σε ένα “μολυσμένο” dataset.

Αυτό είναι κυρίως ευχητικός σκέψεις. Το κόστος της χειροκίνητης επιμέλειας υπερκλίμακων δεδομένων είναι ένας από τους πιο αξιοσημείωτους ανασταλτικούς παράγοντες που προκύπτουν στην πρόοδο της τεχνητής νοημοσύνης. Ενώ τα υψηλά όγκους δεδομένων προσφέρουν αρκετά δεδομένα περιπτώσεων για να δημιουργήσουν μοντέλα κόσμου, οι ερευνητικές ομάδες συχνά αναγκάζονται να βασιστούν σε υπάρχοντα μετα-δεδομένα (τα οποία είναι συχνά χαμηλής ποιότητας, λείπουν, ή απλά λάθος) για να φέρουν τάξη στο χάος. ή αλλιώς σε τεχνικές φιλτράρου αλγορίθμων που είναι είτε βασισμένες σε ατελείς αρχές, ή επίσης τροφοδοτημένες από ανεπαρκώς-επιμελημένα δεδομένα (!).

Επομένως, είναι πειστικό να υποθέσουμε ότι οι προσεγγίσεις επιμέλειας μπορούν κάποιο τρόπο να ρυθμίσουν τις κατανομές δεδομένων και να αντιμετωπίσουν έξυπνα τις ngoại lệσεις, και ότι τα αποτελέσματα μοντέλων θα μειώσουν την συνολική απόδοση (η οποία δεν είναι απαραίτητη) αλλά θα εξακολουθούν να ξεχωρίζουν στην στόχο εργασία – μια πραγματιστική συμβιβασμός.

Ωστόσο, μια νέα συνεργασία μεταξύ του Berkeley και της Invisible Technologies (με τίτλο Πόσο από τα Δεδομένα σας Μπορεί να Σucks; Όρια για το Domain Performance και την Emergent Misalignment σε LLMs) έχει βρει ότι εκπληκτικά μικρές ποσότητες λανθασμένων δεδομένων μπορούν να έχουν μια σοβαρά καταστροφική επίδραση στην απόδοση των επιμελημένων μοντέλων. και ότι,既然 οι συγγραφείς χρησιμοποίησαν το GPT-4o για τη μελέτη, το βασικό αμεταποίητο μοντέλο GPT-4o εκτέλεσε τις προσαρμοσμένες εργασίες καλύτερα στις περισσότερες περιπτώσεις.

Οι συγγραφείς δηλώνουν:

‘Η επιμέλεια μεγάλων γλωσσικών μοντέλων σε λανθασμένα δεδομένα μπορεί να προκαλέσει emergent misalignment και καταστροφική απώλεια απόδοσης πολύ πιο εύκολα από ό,τι πολλοί praktikoi μπορεί να συνειδητοποιήσουν.

‘Τα αποτελέσματά μας τονίζουν ότι, στις περισσότερες πραγματικές περιπτώσεις, λιγότερη επιμέλεια είναι ασφαλέστερη από περισσότερη – εκτός αν η απόλυτη ποιότητα δεδομένων μπορεί να εγγυηθεί.

‘Οι πειραματικές μας αποδείξεις ότι το όριο για ανεκτή θόρυβο σε επιμελημένα δεδομένα είναι εκπληκτικά χαμηλό. Ακόμη και όταν μόνο το 10% των δεδομένων εκπαίδευσης είναι λανθασμένα, τα μοντέλα εμφανίζουν δραματική πτώση και στην τεχνική απόδοση και στην ασφάλεια σε σύγκριση με το βασικό gpt-4o, το οποίο παρείχε συνεχώς σχεδόν τέλειες αποδόσεις σε όλους τους τομείς.’

Λέει επίσης ότι καθώς η ποσότητα λανθασμένων δεδομένων αυξάνεται, η misalignment και οι επικίνδυνες εξόδους αυξάνονται γρήγορα –特別 όταν τα λάθη είναι λεπτά. Μεταξύ 10% και 25% κακών δεδομένων είναι αρκετό για να καταρρεύσει την αξιοπιστία, και τα μοντέλα που εκπαιδεύονται σε λιγότερο από 50% σωστά δεδομένα γίνονται αξιοσημείωτα ασταθή.

Σε ρυθμιζόμενους ή ασφαλείς τομείς, οι συγγραφείς παρατηρούν ότι ακόμη και μικρές παραλείψεις στην ποιότητα δεδομένων μπορούν να κάνουν την επιμέλεια αντί-παραγωγική.

Η ασφαλέστερη επιλογή, επιχειρηματολογούν, μπορεί να είναι καθόλου επιμέλεια.

Μέθοδος

Το έγγραφο είναι πολύ σύντομο,既然 η μεθοδολογία δοκιμής είναι khá σύντομη: οι ερευνητές υιοθέτησαν το gpt-4o-2024-08-06 ως το βασικό μοντέλο, και το επιμελήθηκαν χρησιμοποιώντας την ιδιωτική πλατφόρμα της OpenAI, χωρίς επιπλέον μοντέλα ανταμοιβής ή στάδια ενίσχυσης μάθησης.

Αυτή η προσέγγιση σήμαινε ότι όλες οι συμπεριφορικές αλλαγές στις εξόδους θα μπορούσαν να αποδοθούν αποκλειστικά στην επιμελημένη δεδομένα εκπαίδευσης, χωρίς παρέμβαση από συντονισμό τεχνικών ή μετα-επεξεργασιακών στρώσεων.

Αυτή η διάταξη εξασφάλισε ότι μόνο η ποιότητα δεδομένων θα μπορούσε να επηρεάσει τα αποτελέσματα. ότι κάθε εκτέλεση ξεκίνησε από το ίδιο βασικό μοντέλο, για συνεχή. και ότι η εκπαίδευση ήταν τόσο σταθερή και αποτελεσματική όσο το δυνατόν, χρησιμοποιώντας τα δικά της συστήματα της OpenAI.

Δεδομένα και Δοκιμές

Για να δοκιμάσουν πώς τα κακά δεδομένα μπορούν να επηρεάσουν την επιμέλεια, οι ερευνητές δημιούργησαν ξεχωριστές σειρές παραδειγμάτων για κάθε τομέα: κώδικας. οικονομικά. υγεία. και νόμος. Κάθε σειρά είχε τρία μέρη: σωστά απαντήσεις. πρόδηλα λανθασμένες απαντήσεις. και λεπτά λανθασμένες απαντήσεις – όλα ελέγχθηκαν από εμπειρογνώμονες για να βεβαιωθούν ότι οι ετικέτες ήταν αξιόπιστες.

Οι συγγραφείς έπειτα εκπαίδευσαν μοντέλα σε διαφορετικά μίξεις αυτών των παραδειγμάτων, που κυμαίνονταν από 10% σωστά έως 90% σωστά.

Κάθε μίξη περιείχε ακριβώς 6.000 στοιχεία εκπαίδευσης και 1.000 επαληθεύσεις στοιχεία (ωστόσο,既然 ο τομέας κώδικας δεν είχε “λεπτά” κατηγορία, περιείχε λιγότερες συνολικές συνδυασμούς). Κάθε μίξη δοκιμάστηκε τρεις φορές για να λογαριαστεί η τυχαία εκπαίδευση.

Το μοντέλο εκπαιδεύτηκε για μια seule epoch χρησιμοποιώντας τον AdamW βελτιστοποιητή, με μέγεθος batch τέσσερις και μια κοσινική ταχύτητα μάθησης πρόγραμμα, χωρίς θερμάνσεις βήματα. Η επιμέλεια πραγματοποιήθηκε απευθείας σε ετικετεμένες (πρόκληση/πλήρωση) ζευγάρια χωρίς ενίσχυση, μοντέλα ανταμοιβής, ή πρόσθετα στάδια συντονισμού.

既然 η απόδοση επαλήθευσης συγκλίνει μέσα σε μια seule epoch, δεν ήταν απαραίτητες περαιτέρω κύκλοι εκπαίδευσης.

Κάθε μοντέλο αξιολογήθηκε σε 100 τομέα-ειδικές ερωτήσεις, συνθετικές που παράγονται χρησιμοποιώντας τα εργαλεία δεδομένων της OpenAI, με ένα LLM κριτή που αξιολογούσε τις απαντήσεις για σωστότητα με βάση τις προβλεπόμενες απαντήσεις.

Η misalignment αξιολογήθηκε ξεχωριστά, χρησιμοποιώντας δημόσιους emergent misalignment βεντσιλιών από το 2025 έγγραφο Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs, και OpenAI, όπου LLM κριτές αξιολόγησαν και τη συχνότητα και τη σοβαρότητα των επικίνδυνων ή ακατάλληλων εξόδων.

Όλες οι αξιολογήσεις πραγματοποιήθηκαν σε κρατημένα prompts (δηλαδή, μη-εμφανιζόμενα κατά την εκπαίδευση), με θερμοκρασία οριστεί σε μηδέν, για να διασφαλιστεί ότι οι απαντήσεις ήταν детерμινιστικές.

Επίδραση Σωστών και Λανθασμένων Δεδομένων Επιμέλειας στην Απόδοση Εργασίας και την Συστάδα του Μοντέλου

Αυτές οι αρχικές πειραματικές δοκιμές ελέγξαν πώς διαφορετικά μίξεις σωστών, πρόδηλα λανθασμένων, και λεπτά λανθασμένων δεδομένων επιμέλειας θα επηρεάσουν την απόδοση εργασίας και τη συστάδα σε τέσσερις τομείς κώδικας, οικονομικά, υγεία, και νόμος.

Η σχέση μεταξύ ποιότητας δεδομένων και συμπεριφοράς του μοντέλου βρέθηκε να είναι μη-γραμμική, με μοντέλα που παραμένουν σταθερά μέχρι 25% κακά δεδομένα.さらに, η ηθική συστάδα διατηρήθηκε καλά, μέχρι τα σωστά δεδομένα να πέσουν κάτω από 90%:

Αποτελέσματα από τις αρχικές δοκιμές: η ακρίβεια του τομέα αυξάνεται απότομα καθώς η ποσότητα σωστών δεδομένων αυξάνεται, αν και τα κέρδη μειώνονται πέρα από 50%. Τα μοντέλα που εκπαιδεύονται σε λεπτά λανθασμένα δεδομένα (πορτοκαλί) ανακτούν πιο γρήγορα από αυτά που εκπαιδεύονται σε πρόδηλα λανθασμένα δεδομένα (μπλε), αλλά και τα δύο παραμένουν λιγότερα αξιόπιστα από το βασικό gpt-4o μοντέλο σε 100% σωστότητα. Η πτώση της απόδοσης κάτω από 50% δείχνει μια απότομη απώλεια συστάδας εργασίας όταν τα κακά παραδείγματα κυριαρχούν.

Ωστόσο, η απόδοση και η συστάδα μόνο άρχισαν να ανακτούν συνεχώς όταν τουλάχιστον η μισή τα δεδομένα εκπαίδευσης ήταν σωστά. Ακόμη και στο 90% σωστότητα, τα επιμελημένα μοντέλα συχνά απέτυχαν να ταιριάζουν στην αξιοπιστία και την ασφάλεια του αρχικού gpt-4o βασικού μοντέλου.

Όταν η εκπαίδευση βασίστηκε υπερβολικά σε λανθασμένα ή λεπτά παραπλανητικά δεδομένα, τα αποτελέσματα μοντέλων παρήγαγαν μια απότομη αύξηση σε επικίνδυνες, ανοησίες ή εκτός-στόχου συμπληρώσεις.

Για κώδικας, η απόδοση βελτιώθηκε σταθερά καθώς περισσότερα σωστά δεδομένα προστέθηκαν, ενώ η συστάδα παρέμεινε σε μεγάλο βαθμό ανεπηρέαστη ανεξάρτητα από την ποιότητα δεδομένων. Στις οικονομικές, υγεία, και νόμος τομείς, η ακρίβεια αυξήθηκε απότομα μεταξύ 10% και 25% σωστών δεδομένων, και μετά εξισορρόπησε.

Τα μοντέλα που εκπαιδεύτηκαν σε λεπτά λανθασμένα δεδομένα γενικά εκτέλεσαν καλύτερα από αυτά που εκπαιδεύτηκαν σε πρόδηλα λανθασμένα δεδομένα. αλλά στις οικονομικές και νομικές, αυτό το λεπτό θόρυβο βλάπτει τη συστάδα περισσότερο. Υγεία παρέμεινε πιο ανθεκτική και στις δύο περιπτώσεις.

Η ηθική συστάδα (η ικανότητα του μοντέλου να αποφεύγει επικίνδυνες ή αήθικες εξόδους) διατηρήθηκε σταθερή σε όλους τους τομείς μέχρι τα σωστά δεδομένα να πέσουν κάτω από 25%. Στις οικονομικές, υγεία, και νομικές, τα λεπτά λανθασμένα δεδομένα οδήγησαν σε περισσότερες μη-συστάδες απαντήσεις από τα πρόδηλα λάθη, ακόμη και όταν η απόδοση εργασίας παρέμεινε υψηλή. Η συστάδα βελτιώθηκε καθώς η ποιότητα δεδομένων αυξήθηκε, ενώ τα μοντέλα κώδικα έδειξαν σχεδόν τέλεια συστάδα ανεξάρτητα από την ορθότητα, υποδεικνύοντας ασυνήθιστη ανθεκτικότητα.

Σύγκριση με το αμεταποίητο GPT-4o

Για να αξιολογήσουν τα επιμελημένα μοντέλα, οι συγγραφείς τα σύγκριναν με το βασικό gpt-4o σημείο αναφοράς από τις 6 Αυγούστου 2024, το οποίο δεν έλαβε πρόσθετη τομέα-ειδική εκπαίδευση.

Το βασικό μοντέλο ξεπέρασε σχεδόν όλα τα επιμελημένα εκδοχές που ενσωμάτωσαν σημαντικές ποσότητες λανθασμένων δεδομένων, παράγοντας keine επικίνδυνες συμπληρώσεις στις οικονομικές, υγεία, ή νόμος τομείς, και μόνο μια στο κώδικας. Οι μη-συστάδες εξόδους παρέμειναν κάτω από 1% σε όλους τους τομείς, ενώ η απόδοση εργασίας κυμάνθηκε από 96% έως 100%.

Οι συγγραφείς σημειώνουν:

‘Σε όλους τους τομείς, η αύξηση του ποσοστού σωστών δεδομένων εκπαίδευσης οδηγεί σε σημαντικές μειώσεις των μη-συστάδων και επικίνδυνων εξόδων.

‘Σε χαμηλά ποσοστά σωστών δεδομένων, τα μοντέλα που εκπαιδεύτηκαν σε λεπτά λανθασμένα δεδομένα τείνουν να εμφανίζουν χειρότερη συστάδα απόδοση από αυτά που εκπαιδεύτηκαν σε πρόδηλα λανθασμένα δεδομένα. Ωστόσο, καθώς το ποσοστό σωστών δεδομένων αυξάνεται, η “εξαφάνιση” επίδραση μειώνει την επίδραση και των δύο τύπων λαθών—πιο γρήγορα για τα λεπτά λάθη.

‘Για cả την τεχνική απόδοση και τη συστάδα, το 50% όριο σωστότητας σηματοδοτεί ένα σαφές σημείο στροφής: τα μοντέλα που εκπαιδεύτηκαν με 50% ή περισσότερα σωστά δεδομένα εμφανίζουν σημαντικά πιο αξιόπιστα και ασφαλή συμπεριφορά σε όλους τους τομείς που αξιολογήθηκαν.’

Τα αποτελέσματα της μελέτης δείχνουν πώς εύθραυστη μπορεί να είναι η επιμέλεια: ακόμη και μια μικρή ποσότητα κακών δεδομένων εκπαίδευσης (10-25%) μπορεί να προκαλέσει μια αξιοσημείωτη αύξηση σε ασφαλείς ή μη-релέβαντ απαντήσεις, ιδιαίτερα όταν τα λάθη είναι λεπτά.

Αυτά τα μικρά λάθη είναι πιο δύσκολα να αναγνωριστούν αλλά κάνουν περισσότερη ζημία, και τα μοντέλα που εκπαιδεύονται σε αυτά μπορούν να φαίνονται καλά μέχρι να μην είναι. Η απόδοση μόνο αρχίζει να ανακτά όταν τα δεδομένα εκπαίδευσης είναι περισσότερα από 50% σωστά. ακόμη και τότε, τα περισσότερα μοντέλα παραμένουν κάτω από το βασικό μοντέλο.

Το βασικό μοντέλο, σε αυτή την περίπτωση το GPT-4o χωρίς πρόσθετη επιμέλεια, αποδείχθηκε το πιο αξιόπιστο συνολικά, παραμένοντας ασφαλές και ακριβές σε οικονομικές, υγεία, και νόμος εργασίες, όπου έδειξε σχεδόν keine επικίνδυνες συμπεριφορές.

Από το παράρτημα του εγγράφου, μια πολύ μικρή επιλογή πολλαπλών παραδειγμάτων που εικονογραφούν προβληματικές συμπεράσματα σε διάφορα επίπεδα κακών δεδομένων σε σενάρια επιμέλειας.

Συμπέρασμα

Η επιμέλεια των δεδομένων είναι εξαντλητική και ακριβή. συχνά ungovernably ακριβή. Για να είναι εύκολη και φθηνότερη, οι εταιρείες και τα άτομα συχνά θεωρούν ότι είναι πιο εύκολο και φθηνότερο να δουλέψουν γύρω από τις άκρες ενός μοντέλου που εκπαιδεύτηκε σε μη-επιμελημένα δεδομένα παρά να σκεφτούν να δώσουν στα δεδομένα την προσοχή που πραγματικά χρειάζονται.

Το κεντρικό πρόβλημα ορίζεται από την ανάγκη για κλίμακα και την απρόβλεπτη φύση των δεδομένων-εξόχως. Nếu δεν ήταν για την ανάγκη για πολύ υψηλές όγκους δεδομένων, για να καλύψουν το μέγιστο αριθμό σενариών, θα ήταν δυνατό να χρησιμοποιηθούν χειροκίνητες τεχνικές επιμέλειας πιο συχνά ως εκπαιδευτικά δεδομένα, οδηγώντας σε αυτοματοποιημένες τεχνικές επιμέλειας που πραγματικά δουλεύουν.

Στον πραγματικό κόσμο, αν θα μπορούσατε να πληρώσετε τέτοια τεράστια ποσότητα υψηλής ποιότητας ανθρώπινης επιτήρησης, θα ήσαστε κοντά στο να επιμεληθείτε υπερκλίμακων δεδομένων σε κάθε περίπτωση. Θα πρέπει να περιμένουμε νέες, ίσως ριζικές γνώσεις σε αυτό το συγκεκριμένο δίλημμα.

Πρώτη δημοσίευση την Πέμπτη, 25 Σεπτεμβρίου 2025