Γιατί το ιατρικό RAG σας κρύβει τις αντίθετες απόψεις

Το τυπικό ιατρικό RAG επιλύει τις αντίθετες απόψεις σιωπηλά σε περίπου τρία από κάθε τέσσερις ερωτήσεις. Η λύση είναι δομική, όχι πληροφοριακή — και η większość της πολυπλοκότητας που προστίθενται οι ομάδες δεν βοηθά.

Ζητήστε από einen βοηθό κλινικής αναζήτησης μια απλή ερώτηση — βοηθά η μελατονίνη με την ιατρική για την αντικατάσταση της ζώνης; — και η βιβλιογραφία που ανακτά δεν θα συμφωνεί με τον εαυτό της.

Η ανασκόπηση Cochrane κατέληξε στο συμπέρασμα ότι η μελατονίνη είναι εξαιρετικά αποτελεσματική, με οκτώ από τις δέκα περιλαμβανόμενες μελέτες να δείχνουν μειωμένη ζώνη σε πτήσεις που διασχίζουν πέντε ή περισσότερες ζώνες ώρας. Μια τυφλή μελέτη σε 257 Νορβηγούς γιατρούς στην Αμερικανική Ιατρική Επιθεώρηση δεν βρήκε κανένα όφελος από κανένα από τα τρία σχήματα μελατονίνης.

Και τα δύο έγγραφα είναι πραγματικά. Και τα δύο είναι μεθοδολογικά σοβαρά. Κάθε κλινικός ιατρός που αποφασίζει τι να συνιστά πρέπει να γνωρίζει ότι διαφωνούν.

Σε ελεγχόμενο тест, η σύνθεση δεν το έκανε. Παραήγαγε ένα ευφραδές, σωστά παραπομπημένο παράγραφο που κατέβηκε σε μια πλευρά και δεν σήμανε ποτέ ότι υπήρχε μια άλλη πλευρά.

Αυτό είναι η τύφλωση αντίθεσης. Σε μια αντίθετη-ζευγαρωμένη ιατρική βάση, αυτό συνέβη σε 72.6 τοις εκατό των ερωτήσεων (95% CI 0.697–0.755). Η έξοδος διάβασε κανονικά. Οι παραπομπές λύθηκαν σωστά. Οι τυπικοί έλεγχοι ποιότητας πέρασαν. Η διαφωνία απλώς εξαφανίστηκε.

Η λειτουργία αποτυχίας που μοιάζει με επιτυχία

Ενώ δεν υπάρχει прямή σύγκλιση σε ιατρικά σχετικά με στοιχεία, μελέτες δείχνουν αντίθετα αποτελέσματα μεταξύ της χρήσης παρατηρητικών μελετών έναντι τυχαιοποιημένων ελεγχόμενων δοκιμών (RCT) και επίσης διαφορετικών μεθόδων που χρησιμοποιούνται για διαφορετικά πληθυσμιακά; Tuy nhiên, μια μελέτη μπορεί επίσης να περιλαμβάνει και ισχυρή και αδύναμη μεθοδολογία, η οποία θα φαινόταν να έχει το ίδιο βάρος.

Αυτό δεν είναι ένα μοναδικό περιστατικό. Η ανάλυση του Ioannidis για την κλινική έρευνα βρήκε ότι το 16 τοις εκατό των πιο αναφερόμενων μελετών ήταν αργότερα αντικρούμενο, και ότι οι παρατηρητικές μελέτες ήταν πολύ πιθανότερες από τις τυχαιοποιημένες δοκιμές να αντικρούονται ή να έχουν τις επιδράσεις τους αναθεωρημένες προς τα κάτω — πέντε από έξι, ενάντια σε εννέα από σαράντα εννέα. Έτσι, το ζήτημα δεν είναι μόνο η διαφωνία μεταξύ μελετών, αλλά μάλλον ένα δομικό μέρος της βιβλιογραφίας.

Ως αποτέλεσμα, ως κρίσιμη λειτουργία κάθε ιατρικού συστήματος αναζήτησης-βελτιωμένου, η παραγωγή στοιχείων για τις διαφωνίες μεταξύ μελετών πρέπει να είναι ένα πρωταρχικό στόχο. Tuy nhiên, τα περισσότερα συστήματα δεν καταφέρνουν να ολοκληρώσουν αυτό το έργο. Χρησιμοποιώντας το HealthContradict, τα 920 αντίθετα-ζευγαρωμένα παραδείγματα απέδειξαν ότι ένα τυπικό σύστημα αναζήτησης-βελτιωμένου (RAG) απέτυχε να παράγει τις διαφωνίες σε περίπου 73% των δοκιμασμένων ζευγαριών. Το πρόβλημα δεν είναι η αναζήτηση. Το σύστημα ανακτά και τις δύο πλευρές. Τότε, επιλύει τη σύγκρουση σιωπηλά, υπέρ της μιας από αυτές.

Μια χειροκίνητη εξέταση 50 στρατηγικών περιπτώσεων απέτυχε να παράγει ένα μοτίβο που έχω ονομάσει επιστημονική ισοπέδωση. Και τα δύο έγγραφα αναφέρονται ατομικά από το μοντέλο, και η αναπαράσταση της σύγκρουσης περιγράφεται σε όρους εμπιστοσύνης (“παραμύθια στοιχεία … επιστημονικές μελέτες δείχνουν…”) ως αν δεν υπήρχε σύγκρουση. Λιγότερο από 5% αυτών των περιπτώσεων χρησιμοποίησαν τις λέξεις “σύγκρουση”, “διαφωνία” ή “αντίθεση” καθόλου. Η έξοδος που παράχθηκε είχε ποσοστό ακρίβειας παραπομπής .99. Αυτό είναι ακριβώς το σημείο: η ακρίβεια παραπομπής δεν υποδηλώνει συνείδηση αντίθεσης. Ένα σύστημα μπορεί να αποδώσει κάθε πρόταση τέλεια και να πει σε einen κλινικό ιατρό κάτι που η βάση στοιχείων δεν υποστηρίζει.

Τρεις λειτουργίες της σύνθεσης του RAG δημιουργούν ένα επικίνδυνο κλινικό περιβάλλον.

Αναστροφή της αξίας πρότασης. Ο σκοπός του RAG είναι να εμφανίσει σχετικά στοιχεία με τους κλινικούς ιατρούς. Ως αποτέλεσμα, αφαιρώντας το μέρος εκείνου του στοιχείου που είναι πιο σημαντικό για τους κλινικούς ιατρούς να αναθεωρήσουν, το RAG πραγματικά επιτυγχάνει το αντίθετο.

Δημιουργία αόρατης σύγκρουσης. Από τη στιγμή που δεν υπάρχει περιθώριο, ή κοπή, ή μορφολογικό артеφакτ; μια “επιπεδημένη” σύνθεση και μια πιστή σύνθεση φαίνονται αδιακρίτως στην οθόνη.

Σιωπηλή επέκταση σε κλίμακα. Τίποτα σε ένα τυπικό σύνολο αξιολόγησης δεν σηματοδοτεί αυτό, οπότε ένα σύστημα μπορεί να τρέξει σε παραγωγή για μήνες ενώ κάθε σύγκρουση είναι σιωπηλά επιλυμένη σε μια κατεύθυνση.

Η πληροφορία δεν είναι ο μοχλός

Μια προφανής λύση σε αυτό το πρόβλημα θα ήταν να ενημερώσουμε το μοντέλο. Φυσικά, αν η λειτουργία αποτυχίας ήταν ότι το μοντέλο δεν αναγνώρισε ότι δύο έγγραφα ήταν αντίθετα, θα μπορούσατε απλώς να προσθέσετε μια ετικέτα στάσης “ΥΠΟΣΤΗΡΙΞΗ” ή “ΑΝΤΙΘΕΣΗ” σε κάθε ένα από τα ανακτημένα έγγραφα. Αυτό θα έπρεπε να βελτιώσει την απόδοση του μοντέλου. Δεν το έκανε.

Σε ένα πείραμα όπου προσθέσαμε ετικέτες στάσης (με αναnotation) για να δώσουμε ρητά στο μοντέλο την πληροφορία ότι δύο έγγραφα ήταν αντίθετα, βρήκαμε ότι η ρητή ετικέτα στάσης μετέφερε τη τύφλωση αντίθεσης από 93.8 τοις εκατό στο μη αναγνωρισμένο έλεγχο σε 91.4 — μια διαφορά με επικαλυπτόμενες διαστήματα εμπιστοσύνης και keine πρακτική σημασία. Αν και το μοντέλο έλαβε την πληροφορία ότι δύο έγγραφα ήταν αντίθετα, η mặc định απόκριση του μοντέλου παρέμεινε αμετάβλητη.

Η κατανόηση του μηχανισμού είναι χρήσιμη εδώ. Η πληροφορία που προστίθεται παθητικά σε μια πρόκληση δεν αλλάζει την mặc định απόκριση κατανομής του μοντέλου. Για αντίθετες-ζευγαρωμένες ιατρικές ερωτήσεις, αυτή η κατανομή ευνοεί mạnh mẽ μια ενιαία ενοποιημένη θέση. Οι ετικέτες στάσης γίνονται επιπλέον token — συχνά ανακυκλώνονται σε επικεφαλίδες — ενώ η πρόταση επανέρχεται στο τύπο της.

Η δομή είναι ο μοχλός

Αυτό που δούλεψε ήταν δομικό, αντί να είναι πληροφοριακό; αντί να παρέχεται στο μοντέλο όλα όσα είναι πραγματικά ή σωστά για τα έγγραφα, η δομή απαιτούσε τη σύνθεση να κατασκευαστεί σε όρους πιθανών διαφωνιών (Συμφωνία, Διαφωνία, Ποιότητα στοιχείων, Συμπέρασμα). Η σκαφίδα πρόκλησης παρέχει στο μοντέλο όχι περισσότερη πληροφορία από ότι η μη αναγνωρισμένη έλεγχο. Η μόνη διαφορά είναι τι το μοντέλο έχει να κάνει.

Υπήρξαν μειώσεις περίπου δεκαεννέα φορές — από 93.8 τοις εκατό σε 4.9 τοις εκατό — στη τύφλωση αντίθεσης χωρίς κανένα επαναπρόγραμμα, χωρίς κανένα pipeline τροποποίηση, χωρίς κανένα αυξημένο καθυστέρηση, και χωρίς κανένα αύξηση του κόστους ανά ερώτηση. Αυτό δεν είναι βελτιωμένη λογική. Αυτό είναι απλώς αναγκασμένη κατανομή. Μόλις το μοντέλο πρέπει να παρέχει μια ενότητα Διαφωνίας, επιστρέφει πίσω στα έγγραφα που αρχικά ανακτά για να βρει κάτι να περιλαμβάνει σε αυτήν την ενότητα.

Τύφλωση αντίθεσης υπό τρεις συνθήκες σύνθεσης σε ελεγχόμενο αποσπάθμιση. Η προσθήκη πληροφορίας στάσης μετέφερε το ποσοστό με 2.4 σημεία; η αλλαγή της απαιτούμενης εξόδου δομής μετέφερε το ποσοστό με 86.5.

Η δομική πρόκληση είναι λιγότερο για την ενίσχυση της ικανότητας του μοντέλου να λογαριαστεί και περισσότερο για την παροχή ελαφράς διακυβέρνησης над το πώς η γενική συμπεριφορά του μοντέλου διανέμει τον χώρο εξόδου. Αυτή αναγκάζει το μοντέλο να δαπανήσει κάποιο μέρος του χώρου εξόδου σε διαφωνία (η διαφορά μεταξύ της διαθέσιμης πληροφορίας και της πληροφορίας που χρειάζεται να εμφανιστεί για να ικανοποιήσει τις απαιτήσεις).

Αυτό αλλάζει μια κοινή αρχιτεκτονική υπόθεση. Οι περισσότερες προτεινόμενες βελτιώσεις RAG προστίθενουν πληροφορία στο περιεχόμενο: περισσότερα έγγραφα, καλύτερες επαναταξινομήσεις, πλουσιότερα μεταδεδομένα, μεγαλύτερα παράθυρα περιεχομένου. Η βιομηχανική συζήτηση για γιατί τα RAG pipelines αποτυγχάνουν ακόμη σε παραγωγή έχει κυρίως ακολουθήσει την ίδια μορφή. Για τη χειραγώγηση αντίθεσης, η αποτελεσματική κίνηση ήταν αφαιρετική — περιορίζοντας τι το σύστημα επιτρέπεται να εξαγάγει αντί να επεκτείνει τι το σύστημα μπορεί να δει.

Γιατί οι αναμενόμενοι βοηθοί δεν βοηθούν

Δύο στοιχεία που θεωρούνται συνήθως απαραίτητα για τη χειραγώγηση αντίθεσης σε ιατρικά RAG παρείχαν πολύ λίγα όταν δοκιμάστηκαν με ελεγχόμενο αποσπάθμιση.

1) PICO Ανάλυση. PICO (Πληθυσμός, Παρέμβαση, Σύγκριση, Αποτέλεσμα) είναι ένας οργανωμένος τρόπος για να σπάσει κλινικές ερωτήσεις σε συστατικά μέρη για χρήση σε ιατρική με βάση στοιχεία. Η υπόθεση ήταν ότι η διάσπαση αξιώσεων σε πεδία PICO θα περιόριζε τη διασπορά και θα βελτίωνε την ανίχνευση αντίθεσης σε ετερογενή στοιχεία. Η αφαίρεση αυτού του επιπέδου οδήγησε σε έξοδο που ήταν σχεδόν αδιακρίτως από αυτή που παράχθηκε από το πλήρες σύστημα. Αν και το PICO μπορεί να είναι χρήσιμο για την οργάνωση των σκέψεων σας κατά τη λήψη κλινικών αποφάσεων; ως μια υποτιθέμενη είσοδος κατά την время της ανάλυσης για να υποστηρίξει την ανίχνευση αντίθεσης, δεν έχει κανένα μετρήσιμο συνεισφορά.

2) Ρητή ταξινόμηση στάσης. Σε αντίθεση με την αφαίρεση PICO, η ρητή ταξινόμηση στάσης εκτέλεσε καλά αλλά διαφορετικά. Σε καθαρές ακαδημαϊκές συλλογές, παρήγαγε μικρές κέρδη σε ορισμένα μετρικά. Tuy nhiên, όταν αναλύθηκε θορυβώδες ιστοχώρο — που είναι συνήθως πώς οι καταναλωτές αντιμετωπίζουν την υγεία — ο ταξινομητής επέστρεψε NOT_ENOUGH_INFO για τα περισσότερα έγγραφα, κυρίως επειδή οι συγγραφείς του ιστοχώρου υγείας δεν δηλώνουν συνήθως τη θέση τους χρησιμοποιώντας δηλωτική γλώσσα που αναμένεται από τον ταξινομητή. Ως αποτέλεσμα, αυτές οι ετικέτες ως μη ενημερωτικές προωθήθηκαν στη σύνθεση ως θόρυβος. Η αφαίρεση αυτού του σταδίου για θορυβώδεις συλλογές βελτίωσε ελαφρά την ανίχνευση αντίθεσης.

Η πραγματική φραγμός είναι η ποιότητα του σήματος ροής

Το πιο σημαντικό συμπέρασμα αυτής της μελέτης είναι ότι η ικανότητα να αναγνωρίσει αντίθεσεις σε πηγές είναι περιορισμένη από το πόσο ακριβής είναι η πληροφορία (δεδομένα) για αυτές τις πηγές, περισσότερο από το πώς χτίστηκαν ή δομήθηκαν.

Η χρησιμοποίηση ποιότητας στοιχείων — το ποσοστό των περιπτώσεων όπου η σύνθεση προτιμά να παραπομπήσει την υψηλότερη ποιότητα πηγή όταν και οι δύο είναι διαθέσιμες — ήταν 0.83 σε καθαρές επιστημονικές περίληψεις και έπεσε κάτω από 0.15 σε θορυβώδη ιστοχώρο αναζήτησης. Η πίστη της παραπομπής ακολούθησε το ίδιο μοτίβο, από 0.66 σε περίληψεις σε 0.45 σε περιεχόμενο υγείας καταναλωτών.

Ταυτόχρονα pipelines, διαφορετικά corpora. Η χειραγώγηση αντίθεσης είναι περιορισμένη από την σαφήνεια των σημάτων στις πηγές εγγράφων.

Υπάρχει ένας δομικός λόγος για αυτό. Τα πραγματικά ανακτημένα έγγραφα συχνά λείπουν από τις ενδείξεις που οποιαδήποτε ταξινόμηση ή μηχανισμός βαρύτητας εξαρτάται: μεταδεδομένα τύπου δημοσίευσης, ρητές δηλώσεις στάσης, περιγραφές μεθόδου. Οι περίληψεις των peer-reviewed άρθρων κάνουν δηλώσεις δηλωτικά σχετικά με συγκεκριμένους πληθυσμούς, μεθόδους και αποτελέσματα. Οι ίδιες δηλώσεις κάνουν σε ανεκδοτικά, πειστικά και προσωρινά λήμματα σε άρθρα υγείας καταναλωτών. Jako αποτέλεσμα, ταυτόχρονα συστήματα παράγουν δραματικά διαφορετική συμπεριφορά 다운στριμ βάσει του τι λαμβάνουν ως είσοδο.

Αυτό επίσης υποστηρίζεται από την μεγαλύτερη εμπειρική αξιολόγηση ιατρικού RAG που δημοσιεύθηκε, στην οποία δεκαοκτώ ιατρικοί εμπειρογνώμονες συνεισέφεραν 80,502 αναnotations σε 800 εξόδους μοντέλου. Μόνο το 22 τοις εκατό των top-16 ανακτημένων περικοπών ήταν σχετικά. Το τυπικό RAG επιδείνωσε την ορθότητα και την πληρότητα σε σχέση με τις μη RAG βάσεις. Η αναζήτηση και η επιλογή στοιχείων, όχι η γενική, ήταν τα κυρίαρχα σημεία αποτυχίας — ένα ηχώ του τι βenchmark εργασία σε ιατρικό RAG έχει αναφέρει για δύο χρόνια.

Αν και υπάρχει μια σχετικά περιορισμένη επίδραση αυτού του ευρήματος σε όρους εφαρμογής, μπορεί να ειπωθεί οριστικά ότι η ικανότητα του συστήματός σας να χειρίζεται αντίθεσεις όταν ανακτά από περίληψεις PubMed δεν μπορεί να μεταφερθεί σε einen καταναλωτή-προσβεβλημένο ιστοχώρο ανεξάρτητα από το πόσο προηγμένο είναι το υπόλοιπο του συστήματος.

Η τύφλωση της αξιολόγησης

Η μέτρηση της χειραγώγησης αντίθεσης είναι πιο δύσκολη από ό,τι φαίνεται, και ακόμη και μια τυπική προσέγγιση για τη μέτρηση της χειραγώγησης αντίθεσης έχει το δικό της σύνολο προβλημάτων.

LLM-κρίτης βαθμολογία αντιπροσωπεύει τον πιο κοινό τρόπο που η ανοιχτή RAG έξοδος βαθμολογείται για χειραγώγηση αντίθεσης και επίσης διαφέρει από τις δομικές αναγνώρισης ελέγχους σε όρους πώς αναπτύσσονται. Στρατηγικές πρόκλησης που οργανώνουν τη σύνθεση σε πεδία PICO λαμβάνουν υψηλά σκορ από κριτές ενώ αποτυγχάνουν σε ρητές αναγνώρισης ελέγχους. Αυτό είναι αναμενόμενο: LLM κρίτες έχουν τεκμηριωθεί ως ευνοούντες μεγαλύτερες, πιο περίπλοκες απαντήσεις και θα δουν επίσης μια θάφτη κήρυξη στο τμήμα αποτελέσματος ως πλήρη όταν τίποτα στο επίπεδο πρότασης αναφέρεται στην αντίθεση.

Η στρατηγική αναζήτησης εισάγει ένα δεύτερο πεδίο. Η τυχαία αναζήτηση παράγει ένα ποσοστό τύφλωσης αντίθεσης του μηδέν — μια σύνθεση δεν μπορεί να αποτύχει να αναγνωρίσει μια αντίθεση που η ανακτημένη της σύνοψη δεν περιέχει. Μέγιστη περιθωριακή σχετικότητα αναζήτηση, από την άλλη πλευρά, μείωσε την πίστη της παραπομπής xuống σε .11. Κάθε ένα φαίνεται αποδεκτό υπό μια seule αντίθεση-χειραγώγηση μετρικό, αλλά και τα δύο αποτυγχάνουν υπό ζευγαρωμένη αξιολόγηση.

Ζευγαρώστε τα μετρικά. Τρέξτε τρεις ελέγχους σε κάθε σύνθεση: έναν καθοριστικό δομικό έλεγχο για εκφρασμένη γλώσσα που αναγνωρίζει μια σύγκρουση; έναν LLM κριτή για βάθος και ισορροπία; και έναν έλεγχο πίστης παραπομπής που επιβεβαιώνει ότι το παραπομπημένο περιεχόμενο ταιριάζει με την πηγή του. Κάθε ένα αναγνωρίζει τι τα άλλα δεν κάνουν. Κανένα δεν μπορεί να είναι αξιόπιστο από μόνο του ως μετρικό για την αντίθεση-χειραγώγηση.

Τέσσερις ενέργειες για αυτό το τρίμηνο

1. Δοκιμάστε τη βάση σας. Κάθε ιατρικό, κλινικό, ρυθμιστικό RAG σύστημα σε παραγωγή πρέπει να δοκιμαστεί για τύφλωση αντίθεσης πριν από περαιτέρω ανάπτυξη. Για να εκτελέσετε το τεστ, χρειάζεστε ένα αντίθεση-ζευγαρωμένο τεστ σύνολο και έναν έλεγχο ανά ερώτηση που η έξοδος σήμανε ουσιαστική διαφωνία. Μια βάση 72.6 τοις εκατό δεν είναι ένα σφάλμα στροφής.
2. Εφαρμόστε δομικές σύνθεσης πρόκλησης. Οι τέσσερις (απαιτούμενες) ενότητες — συμφωνία, διαφωνία, ποιότητα στοιχείων, συμπέρασμα — αναγκάζουν την έξοδο να δαπανήσει ζώνη σε διαφωνίες. Δεν υπάρχει νέα υποδομή που απαιτείται; δεν υπάρχει εκπαίδευση που απαιτείται; δεν υπάρχει έλεγχος ανά ερώτηση; μια αλλαγή παρήγαγε δεκαεννέα-φορές μείωση!
3. Μην χρησιμοποιείτε MMR αναζήτηση για αντίθεση-ευαίσθητες ερωτήσεις. Αν και η MMR χρησιμοποιεί διαφοροποιημένα έγγραφα για θεματική κάλυψη, δεν βελτιώνει για στάση κάλυψη — που είναι λάθος όταν ο στόχος είναι να ανακτήσει και τις δύο πλευρές μιας διαφωνίας. Jako αποτέλεσμα, η bm25 συν με ενσωματωμένη αναζήτηση πρέπει να χρησιμοποιηθεί ως μια ασφαλέστερη προεπιλογή. Tuy nhiên, η στάση-ευαίσθητη διαφοροποίηση θα ήταν η κατεύθυνση που δείχνει αυτή η εργασία.
4. Ζευγαρώστε τα μετρικά αξιολόγησης. Παραίτηση από το μόνο LLM-κρίτη σκορ. Συνδυάστε το με έναν δομικό έλεγχο για ουσιαστικό περιεχόμενο υπό αναγνώριση επικεφαλίδων και έναν έλεγχο πίστης παραπομπής που επιβεβαιώνει ότι η παραπομπημένη απόδειξη υποστηρίζει την αναφερόμενη αξίωση.

Το ευρύτερο σημείο

Η κυρίαρχη ορμή στην ανάπτυξη RAG είναι προσθετική: καλύτεροι αναζητητές, καλύτεροι επαναταξινομητές, πλουσιότερα μεταδεδομένα, μεγαλύτερα παράθυρα περιεχομένου. Η βιομηχανική συζήτηση για γιατί τα RAG pipelines αποτυγχάνουν ακόμη σε παραγωγή έχει κυρίως ακολουθήσει την ίδια μορφή. Για τη χειραγώγηση αντίθεσης, η αποτελεσματική κίνηση ήταν αφαιρετική — περιορίζοντας τι το σύστημα επιτρέπεται να εξαγάγει αντί να επεκτείνει τι το σύστημα μπορεί να δει.

Αυτό δεν κάνει την αρχιτεκτονική αμελητέα. Η αναζήτηση ορίζει ένα όριο, η τυχαία αναζήτηση κάνει τη σύνθεση ανούσια, και η κακή ποιότητα στοιχείων ορίζει όλα τα επόμενα. Αυτό είναι γιατί το ερώτημα αν τα RAG συστήματα λύνουν το πρόβλημα της αξιοπιστίας συνεχίζει να ανακτά. Tuy nhiên, τι καθορίζει αν η αντίθετη απόδειξη αναπαρίσταται ως αντίθετη αποδεικνύεται να είναι αργότερα στο pipeline και φθηνότερο να αλλάξει από πολλά άλλα συστατικά, που σημαίνει ότι οι αλλαγές που χρειάζονται για να βελτιώσουν την αξιοπιστία μπορούν να συμβούν συντομότερα.

Η δαπανηρή εργασία — καλύτερα σύνολα αντίθεσης, ρητές σήματα αντίθεσης, στάση-ευαίσθητη αναζήτηση, αντίθεση- rodzajowe μετρικά — ακόμη χρειάζεται να γίνει, και θα πάρει σημαντικά περισσότερο χρόνο.

Ως αποτέλεσμα, αν θέλετε να γνωρίσετε αν το σύστημα σας εμφανίζει αντίθετη απόδειξη ως αντίθετη, πρέπει να ρωτήσετε τον εαυτό σας την άβολο ερώτηση και να βρείτε την απάντηση αυτή την εβδομάδα: Σας λέει το σύστημα όταν η απόδειξή του αντιφάσκει;