Βασικές αρχές της AI
Τι είναι η Γραμμική Παλινδρόμηση;
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Γραμμική παλινδρόμηση μοντελοποιεί έναν συνεχόμενο στόχο ως γραμμικό συνδυασμό μιας ή περισσότερων εισόδων χαρακτηριστικών. Χρησιμοποιείται για πρόβλεψη, εκτίμηση και ως διαφανές βασικό μοντέλο για την κατανόηση του εάν ένα πιο σύνθετο μοντέλο προσθέτει ουσιαστική αξία.
Οι όροι ανεξάρτητη μεταβλητή και εξαρτημένη μεταβλητή περιγράφουν ρόλους στο μοντέλο, όχι αποδεδειγμένη αιτιώδη σχέση. Μια παλινδρόμηση μπορεί να εντοπίσει μια συσχέτιση ενώ παράγοντες όπως η σύγχυση, η προκατάληψη επιλογής, η αντίστροφη αιτιότητα ή το σφάλμα μέτρησης εξηγούν τη σχέση.
Κύρια σημεία
- Ο στόχος y μοντελοποιείται από τις εισόδους χαρακτηριστικών X; η παλαιότερη έκδοση του άρθρου αντιστρέφει αυτές τις ετικέτες σε μια εξήγηση τύπου.
- Η μέθοδος ελαχίστων τετραγώνων (OLS) ελαχιστοποιεί το άθροισμα των τετραγωνικών υπολοίπων.
- Η διάγνωση των υπολοίπων και οι υποθέσεις είναι σημαντικές για την εκτίμηση και την αβεβαιότητα.
- Η κανονικοποίηση Ridge και Lasso βοηθά όταν οι προβλεπτές είναι πολλές ή συσχετισμένες.
Απλή γραμμική παλινδρόμηση
Με ένα χαρακτηριστικό, το μοντέλο είναι:
ŷ = β₀ + β₁x
β₀ είναι η τελεία τομής και β₁ είναι η κλίση. Το υπόλοιπο για την παρατήρηση i είναι yᵢ - ŷᵢ. Η μέθοδος ελαχίστων τετραγώνων (OLS) επιλέγει συντελεστές που ελαχιστοποιούν το άθροισμα των τετραγωνικών υπολοίπων.
Η κλίση εκτιμά την αναμενόμενη αλλαγή στον στόχο που συνδέεται με μια μονάδα αλλαγής στο χαρακτηριστικό στο πλαίσιο του προσαρμοσμένου μοντέλου. Δεν πρέπει να περιγράφεται ως αιτιώδη επίδραση εκτός εάν ο σχεδιασμός της μελέτης και οι υποθέσεις υποστηρίζουν αιτιώδη ταυτοποίηση.
Πολλαπλή γραμμική παλινδρόμηση
Με p χαρακτηριστικά:
ŷ = β₀ + β₁x₁ + β₂x₂ + … + βₚxₚ
Κάθε συντελεστής ερμηνεύεται υπό την προϋπόθεση των άλλων περιληφθέντων χαρακτηριστικών. Η πολλαπλή παλινδρόμηση μπορεί να ενσωματώσει κατηγορικές μεταβλητές μέσω κωδικοποίησης, πολυωνυμικών όρων και αλληλεπιδράσεων. Παραμένει “γραμμική” επειδή είναι γραμμική ως προς τους συντελεστές, ακόμη και αν περιλαμβάνονται μετασχηματισμένα χαρακτηριστικά όπως x².
Υποθέσεις και διαγνώσεις
Για πρόβλεψη, το κεντρικό ερώτημα είναι πόσο καλά γενικεύει το μοντέλο. Για κλασικές δοκιμές συντελεστών και διαστήματα, επιπλέον υποθέσεις γίνονται σημαντικές:
- Γραμμικότητα: η υπό συνθήκη μέση τιμή αναπαρίσταται από την επιλεγμένη γραμμική μορφή.
- Ανεξάρτητα ή σωστά μοντελοποιημένα σφάλματα: επαναλαμβανόμενες, ομαδοποιημένες, χωρικές ή χρονοσειρές παρατηρήσεις μπορεί να απαιτούν διαφορετική δομή σφάλματος.
- Σταθερή διακύμανση σφάλματος: η ετεροσκεδαστικότητα επηρεάζει τα τυπικά σφάλματα και τις εκτιμήσεις αβεβαιότητας.
- Περιορισμένη πολυσυσχέτιση: ισχυρά συσχετισμένοι προβλεπτές κάνουν τους μεμονωμένους συντελεστές ασταθείς.
- Κατανομή υπολοίπων: η κανονικότητα είναι σχετική με ορισμένες εκτιμήσεις μικρών δειγμάτων, όχι απαίτηση ότι κάθε χαρακτηριστικό είναι κανονικά κατανεμημένο.
Διαγράμματα υπολοίπων, μετρήσεις επιρροής και εκμετάλλευσης, καθώς και η επιστημονική ανασκόπηση μπορούν να εντοπίσουν ακραίες τιμές, μη γραμμικότητα, μεταβαλλόμενη διακύμανση ή παρατηρήσεις που κυριαρχούν στην προσαρμογή.
Αξιολόγηση προβλέψεων
- Μέσο απόλυτο σφάλμα (MAE) υπολογίζει το μέσο όρο του απόλυτου μεγέθους των υπολοίπων.
- Μέσο τετραγωνικό σφάλμα (MSE) δίνει μεγαλύτερο βάρος στα μεγαλύτερα σφάλματα.
- Ριζικό μέσο τετραγωνικό σφάλμα (RMSE) επιστρέφει το τετραγωνικό σφάλμα στις μονάδες του στόχου.
- R² συγκρίνει την διακύμανση των υπολοίπων με μια σταθερή βάση στα αξιολογημένα δεδομένα.
Το R² δεν είναι μέτρο ακρίβειας, δεν αποδεικνύει αιτιότητα και μπορεί να είναι αρνητικό σε δεδομένα που κρατήθηκαν εκτός εκπαίδευσης. Η επικύρωση πρέπει να ταιριάζει με το πραγματικό περιβάλλον πρόβλεψης, συμπεριλαμβανομένων χωρισμάτων με βάση χρόνο ή ομάδες όταν είναι απαραίτητο.
Ridge, lasso και elastic net
Ridge regression προσθέτει ποινή L2 που μειώνει τους συντελεστές και σταθεροποιεί τους συσχετισμένους προβλεπτές. Lasso προσθέτει ποινή L1 και μπορεί να μηδενίσει συντελεστές. Elastic net συνδυάζει και τα δύο. Τα χαρακτηριστικά συνήθως χρειάζονται συμβατή κλιμάκωση πριν συγκριθούν αυτές οι ποινές.
Η κανονικοποίηση εισάγει μεροληψία σε αντάλλαγμα για χαμηλότερη διακύμανση και μπορεί να μειώσει το overfitting. Η ισχύς της ποινής επιλέγεται με επικύρωση, όχι με το τελικό σύνολο δοκιμής.
Πότε η γραμμική παλινδρόμηση είναι το λανθασμένο εργαλείο
Ένα γραμμικό μοντέλο μπορεί να αποτύχει όταν οι σχέσεις είναι έντονα μη γραμμικές, τα σφάλματα εξαρτώνται από προηγούμενες τιμές, οι κατανομές του στόχου απαιτούν εξειδικευμένη μοντελοποίηση ή λίγες ακραίες τιμές κυριαρχούν στην τετραγωνική απώλεια. Τα δέντρα απόφασης, τα γενικευμένα γραμμικά μοντέλα, τα μοντέλα χρονοσειρών, η ανθεκτική παλινδρόμηση ή οι μη γραμμικές μέθοδοι μπορεί να ταιριάζουν καλύτερα.
Ακόμη και όταν ένα σύνθετο μοντέλο υπερισχύει, η γραμμική παλινδρόμηση παραμένει ένα πολύτιμο βασικό μοντέλο. Εάν ένα μεγάλο σύστημα δεν μπορεί να το ξεπεράσει αξιόπιστα, η προστιθέμενη πολυπλοκότητα μπορεί να μην δικαιολογείται.
Υποθέσεις μοντέλου, εκτίμηση και διαγνώσεις
Η γραμμική παλινδρόμηση μοντελοποιεί τη συνθήκη μέση τιμή ενός αριθμητικού αποτελέσματος ως τελεία τομής συν βαρυτικών προβλεπτών. Η μέθοδος ελαχίστων τετραγώνων επιλέγει συντελεστές που ελαχιστοποιούν τα τετραγωνικά υπόλοιπα. Οι συντελεστές περιγράφουν την αναμενόμενη αλλαγή του αποτελέσματος για μια μονάδα αλλαγής του προβλεπτή, ενώ οι άλλες περιληφθείσες μεταβλητές παραμένουν σταθερές, υπό το καθορισμένο μοντέλο. Αυτό είναι μια συσχέτιση εκτός εάν οι υποθέσεις αιτιώδους ταυτοποίησης και ο σχεδιασμός της μελέτης δικαιολογούν κάτι περισσότερο. Οι μονάδες, η κωδικοποίηση, οι μετασχηματισμοί, οι αλληλεπιδράσεις και οι κατηγορίες αναφοράς καθορίζουν την ερμηνεία, έτσι οι συντελεστές χωρίς λεξικό δεδομένων είναι ελλιπείς.
Η κλασική εκτίμηση βασίζεται σε υποθέσεις σχετικά με τη λειτουργική μορφή, τα ανεξάρτητα σφάλματα, τη σταθερή διακύμανση και την κατανομή του σφάλματος για συγκεκριμένες δοκιμές και διαστήματα. Διαγράμματα υπολοίπων έναντι προσαρμοσμένων τιμών αποκαλύπτουν μη γραμμικότητα ή ετεροσκεδαστικότητα· τα διαγράμματα Q–Q αξιολογούν τη συμπεριφορά της ουράς· τα διαγνωστικά επιρροής και εκμετάλλευσης εντοπίζουν παρατηρήσεις που επηρεάζουν έντονα τις εκτιμήσεις. Οι συσχετισμένοι προβλεπτές αυξάνουν την αβεβαιότητα και κάνουν τους μεμονωμένους συντελεστές ασταθείς ακόμη και όταν οι προβλέψεις παραμένουν επαρκείς. Μπορεί να χρειαστούν ανθεκτικά τυπικά σφάλματα, μετασχηματισμοί, spline, ιεραρχική δομή ή άλλο μοντέλο αντί της διαγραφής δύσκολων δεδομένων.
Κανονικοποίηση, αξιολόγηση και υπεύθυνη χρήση
Η Ridge regression μειώνει τους συντελεστές με ποινή L2, ενώ το lasso μπορεί να μηδενίσει κάποιους με ποινή L1· το elastic net τα συνδυάζει. Κανονικοποιήστε τους προβλεπτές όταν η κλίμακα της ποινής πρέπει να είναι συγκρίσιμη και επιλέξτε τη δύναμη χρησιμοποιώντας επικύρωση ή διασταυρούμενη επικύρωση. Αξιολογήστε το μέσο απόλυτο σφάλμα, το ριζικό μέσο τετραγωνικό σφάλμα, την κατανομή υπολοίπων, την βαθμονόμηση σε όλο το φάσμα και την αβεβαιότητα, με χωρισμούς χρόνου ή ομάδας που αντανακλούν τη χρήση. Συγκρίνετε με μια μέση βάση και μη γραμμικές εναλλακτικές, αλλά διατηρήστε τα γραμμικά μοντέλα όταν η διαφάνεια και η σταθερότητα είναι πολύτιμες.
Η εξαγωγή εκτός του παρατηρημένου εύρους των προβλεπτών ακολουθεί τη γραμμή προσαρμογής χωρίς αποδείξεις και μπορεί να είναι επικίνδυνη. Παρακολουθείτε τα εύρη των χαρακτηριστικών, τα κενά, τα υπόλοιπα και το σφάλμα υποομάδων στην παραγωγή. Τα διαστήματα πρόβλεψης περιγράφουν την αβεβαιότητα του ατομικού αποτελέσματος και είναι πιο πλατιά από τα διαστήματα εμπιστοσύνης για τη μέση τιμή· και τα δύο απαιτούν υποθέσεις. Αποφύγετε τον έλεγχο μεταβλητών που εισάγουν αιτιώδη μεροληψία όταν ο στόχος είναι η εκτίμηση του εφέ. Η γραμμική παλινδρόμηση είναι ένα ακριβές εργαλείο για έναν καθορισμένο συσχετισμό, όχι μια καθολική εγγύηση ότι ο κόσμος είναι γραμμικός ή ότι ένας συντελεστής αντιπροσωπεύει παρέμβαση.
Παραδειγματική εφαρμογή: εκτίμηση χρόνου παράδοσης
Μια ομάδα logistics μοντελοποιεί τη διάρκεια παράδοσης βάσει απόστασης, επιπέδου υπηρεσίας, περιοχής, ημέρας της εβδομάδας και γνωστών καιρικών συνθηκών. Εξετάζει μη γραμμικά μοτίβα υπολοίπων και προσθέτει αιτιολογημένα spline και αλληλεπιδράσεις αντί να αντιμετωπίζει μια γραμμική εξίσωση ως κυριολεκτική φυσική. Οι φορείς και οι ομάδες διαδρομών ορίζουν τα σύνολα επικύρωσης. Αναφέρονται το μέσο απόλυτο σφάλμα, το σφάλμα ουράς, η κάλυψη διαστημάτων και η συστηματική μεροληψία. Οι ακυρωμένες παραδόσεις και τα δεδομένα που καταγράφηκαν μετά την άφιξη εξαιρούνται ή μοντελοποιούνται ρητά.
Οι συντελεστές τεκμηριώνονται σε μονάδες και ελέγχονται για αστάθεια υπό συσχετισμένους προβλεπτές. Το μοντέλο απορρίπτει την εξαγωγή εκτός των επικυρωμένων εύρους απόστασης και περιοχής. Τα διαστήματα πρόβλεψης συνοδεύουν τις εκτιμήσεις, και ο προγραμματισμός downstream χρησιμοποιεί την αβεβαιότητά τους. Η παρακολούθηση παρακολουθεί τα εύρη χαρακτηριστικών, τα υπόλοιπα, την κάλυψη διαστημάτων και τη μεροληψία μετά από αλλαγές στο δίκτυο. Δεν γίνεται αιτιώδης δήλωση για τον φορέα ή τον καιρό από τους προβλεπτικούς συντελεστές· πειράματα λειτουργίας ή ισχυρότερη ταυτοποίηση θα απαιτούνταν για να υποστηρίξουν παρέμβαση.
Απόδειξη υλοποίησης και ετοιμότητα λειτουργίας
Μια απόφαση παραγωγής απαιτεί περισσότερα από μια επιτυχημένη επίδειξη. Ορίστε τους προοριζόμενους χρήστες, το λειτουργικό περιβάλλον, τις εισόδους, τις εξόδους, τις εξαρτήσεις, τον κάτοχο και τις συνέπειες κάθε σημαντικής αποτυχίας. Καθιερώστε μια επαναλήψιμη βάση και ένα εκδοτικό σύνολο αξιολόγησης πριν τη βελτιστοποίηση. Δοκιμάστε τυπικές περιπτώσεις, όρια, εσφαλμένες ή ελλιπείς εισόδους, μεταβολή κατανομής, διακοπή εξαρτήσεων, κακή χρήση και τις ομάδες ή τα περιβάλλοντα που είναι πιο πιθανό να υπολειτουργούν. Μετρήστε την ποιότητα του έργου μαζί με τη βαθμονόμηση ή την αβεβαιότητα, την καθυστέρηση, το throughput, το κόστος πόρων, την προσβασιμότητα, την ιδιωτικότητα και την ασφάλεια. Καταγράψτε κάθε μετασχηματισμό και όριο ώστε ένας ανεξάρτητος αξιολογητής να μπορεί να επαναλάβει το αποτέλεσμα και να διακρίνει την απόδειξη από ένα ελκυστικό πρωτότυπο.
Πριν την κυκλοφορία, αναθέστε εξουσία για την έκδοση, εξαιρέσεις, αλλαγές, επαναφορά και απόσυρση. Χρησιμοποιήστε σταδιακή κυκλοφορία, διατηρήστε ασφαλή εναλλακτική και επαληθεύστε την παρακολούθηση με σκόπιμα ενσωματωμένες αποτυχίες. Η λειτουργική τηλεμετρία πρέπει να αποκαλύπτει την ποιότητα εισόδων, τη συμπεριφορά εξόδων, την έκδοση του μοντέλου ή του κανόνα, την υγεία των εξαρτήσεων, τις ανθρώπινες παρεμβάσεις και τα επιβεβαιωμένα αποτελέσματα χωρίς τη συλλογή περιττών ευαίσθητων δεδομένων. Ορίστε όρια ειδοποιήσεων και υπεύθυνο ανταπόκρισης, στη συνέχεια ελέγξτε τα πραγματικά αποδεικτικά στοιχεία μετά την υλοποίηση αντί να υποθέτετε ότι η εκτός σύνδεσης απόδοση θα παραμείνει. Επανεκτιμήστε όποτε αλλάζουν οι πηγές δεδομένων, οι χρήστες, τα μοντέλα, οι προμηθευτές, οι πολιτικές, το υλικό ή οι στόχοι. Ένα συντηρημένο σύστημα χρειάζεται επίσης τεκμηριωμένη αποκατάσταση, εκμάθηση από περιστατικά, διαδικασίες διαγραφής και διατήρησης, και ένα σαφές σημείο όπου πρέπει να απενεργοποιηθεί ή να αντικατασταθεί.
Συχνές ερωτήσεις
Απαιτεί η γραμμική παλινδρόμηση μόνο μία μεταβλητή εισόδου;
Όχι. Η απλή παλινδρόμηση έχει έναν προβλεπτικό, ενώ η πολλαπλή γραμμική παλινδρόμηση μπορεί να χρησιμοποιήσει πολλούς αριθμητικούς, κωδικοποιημένους κατηγορικούς, μετασχηματισμένους και αλληλεπιδραστικούς χαρακτηριστικούς.
Μπορεί η γραμμική παλινδρόμηση να αποδείξει αιτιότητα;
Όχι. Η αιτιώδης ερμηνεία απαιτεί ένα αμυντικό σχεδιασμό έρευνας και υποθέσεις σχετικά με τη σύγχυση, την επιλογή, τη μέτρηση και την παρέμβαση. Ένας μόνο προβλεπτικός συντελεστής περιγράφει μια συσχέτιση στο προσαρμοσμένο μοντέλο.
Κύριες αναφορές
