Το AI μπορεί να βοηθήσει τους ερευνητές να καθορίσουν ποιες μελέτες μπορούν να αναπαραχθούν, με στόχο να αντιμετωπίσουν την κρίση αναπαραγωγής

Καθώς περνούν τα χρόνια, η προσοχή που δίνεται στο τι οι μελετητές και οι ερευνητές ονομάζουν κρίση αναπαραγωγής/αναπαραχθείσας μελέτης αυξάνεται. Πολλές μελέτες απλώς δεν δίνουν τα ίδια σημαντικά αποτελέσματα όταν η αναπαραγωγή της μελέτης επιχειρείται, και ως αποτέλεσμα, η επιστημονική κοινότητα ανησυχεί ότι τα ευρήματα συχνά υπερτονίζονται. Το πρόβλημα επηρεάζει τομείς τόσο διαφορετικούς όσο η ψυχολογία και η τεχνητή νοημοσύνη. Όταν πρόκειται για το πεδίο της ΤΝ, πολλά μη-περιστασιακά έγγραφα δημοσιεύονται που ισχυρίζονται εντυπωσιακά αποτελέσματα που άλλοι ερευνητές δεν μπορούν να αναπαραγάγουν. Για να αντιμετωπίσουν το πρόβλημα και να μειώσουν τον αριθμό των μη αναπαραγώγιμων μελετών, οι ερευνητές έχουν σχεδιάσει ένα μοντέλο ΤΝ που στοχεύει να καθορίσει ποιες μελέτες μπορούν να αναπαραχθούν.

Όπως αναφέρθηκε από το Fortune, μια νέα μελέτη που δημοσιεύθηκε από μια ομάδα ερευνητών από το Kellog School of Management και το Ινστιτούτο Συμπλεγμένων Συστημάτων στο Πανεπιστήμιο Northwestern παρουσιάζει ένα μοντέλο βαθιάς μάθησης που μπορεί потенτικά να καθορίσει ποιες μελέτες είναι πιθανό να είναι αναπαραγώγιμες και ποιες όχι. Αν το σύστημα ΤΝ μπορεί να διακρίνει με αξιοπιστία μεταξύ αναπαραγώγιμων και μη αναπαραγώγιμων μελετών, θα μπορούσε να βοηθήσει τα πανεπιστήμια, τα ερευνητικά ιδρύματα, τις εταιρείες και άλλες οντότητες να διηθήσουν χιλιάδες ερευνητικές μελέτες για να καθορίσουν ποιες μελέτες είναι πιο πιθανό να είναι χρήσιμες και αξιόπιστες.

Το σύστημα ΤΝ που αναπτύχθηκε από την ομάδα Northwestern δεν χρησιμοποιεί τον τύπο εμπειρικών/στατιστικών στοιχείων που οι ερευνητές συνήθως χρησιμοποιούν για να διαπιστώσουν την εγκυρότητα των μελετών. Το μοντέλο χρησιμοποιεί τεχνικές επεξεργασίας φυσικής γλώσσας για να προσπαθήσει να ποσοτικοποιήσει την αξιοπιστία μιας μελέτης. Το σύστημα εξάγει μοτίβα στη γλώσσα που χρησιμοποιούν οι συγγραφείς μιας μελέτης, βρίσκοντας ότι ορισμένα μοτίβα λέξεων υποδεικνύουν μεγαλύτερη αξιοπιστία από άλλα.

Η ερευνητική ομάδα βασίστηκε σε ψυχολογική έρευνα τόσο παλιά όσο τα χρόνια 1960, η οποία βρήκε ότι οι άνθρωποι συχνά επικοινωνούν το επίπεδο εμπιστοσύνης που έχουν στις ιδέες τους μέσω των λέξεων που χρησιμοποιούν. Συνεχίζοντας με αυτή την ιδέα, οι ερευνητές σκέφτηκαν ότι οι συγγραφείς μιας μελέτης μπορεί να στείλουν ασυνείδητα σήματα για την εμπιστοσύνη τους στα ευρήματά τους όταν γράφουν τις μελέτες τους. Η ερευνητική ομάδα διεξήγαγε δύο γύρους εκπαίδευσης, χρησιμοποιώντας διαφορετικά σύνολα δεδομένων. Αρχικά, το μοντέλο εκπαιδεύτηκε σε περίπου δύο εκατομμύρια περίληψη επιστημονικών μελετών, ενώ την δεύτερη φορά το μοντέλο εκπαιδεύτηκε σε πλήρεις μελέτες για να ληφθούν από ένα έργο που στοχεύει να καθορίσει ποιες μελέτες ψυχολογίας μπορούν να αναπαραχθούν – το Πρόγραμμα Αναπαραγωγής: Ψυχολογία.

Μετά τον έλεγχο, οι ερευνητές αναπτύξαν το μοντέλο σε μια συλλογή εκατοντάδων άλλων μελετών, που λήφθηκαν από διάφορους τομείς όπως η ψυχολογία και η οικονομία. Οι ερευνητές βρήκαν ότι το μοντέλο τους έδωσε μια πιο αξιόπιστη πρόβλεψη σχετικά με την αναπαραγωγικότητα μιας μελέτης από τις στατιστικές τεχνικές που χρησιμοποιούνται συνήθως για να διαπιστώσουν αν τα αποτελέσματα μιας μελέτης μπορούν να αναπαραχθούν.

Ο ερευνητής και καθηγητής του Kellog School of Management Brian Uzzi, εξήγησε στο Fortune ότι ενώ είναι ελπιδοφόρος ότι το μοντέλο ΤΝ θα μπορούσε κάποια μέρα να χρησιμοποιηθεί για να βοηθήσει τους ερευνητές να διαπιστώσουν πόσο πιθανό είναι τα αποτελέσματα να αναπαραχθούν, η ερευνητική ομάδα είναι αβέβαιη για τα μοτίβα και τις λεπτομέρειες που το μοντέλο έμαθε. Το γεγονός ότι τα μοντέλα μηχανικής μάθησης είναι συχνά μαύρες κουβές είναι ένα κοινό πρόβλημα στην έρευνα ΤΝ, αλλά αυτό το γεγονός θα μπορούσε να κάνει άλλους επιστήμονες διστακτικούς να χρησιμοποιήσουν το μοντέλο.

Ο Uzzi εξήγησε ότι η ερευνητική ομάδα ελπίζει ότι το μοντέλο θα μπορούσε να χρησιμοποιηθεί για να αντιμετωπίσουν την κρίση του κοροναϊού, βοηθώντας τους επιστήμονες να κατανοήσουν πιο γρήγορα τον ιό και να καθορίσουν ποιες μελέτες είναι υποσχόμενες. Όπως είπε ο Uzzi στο Fortune:

«Θέλουμε να αρχίσουμε να εφαρμόζουμε αυτό στο πρόβλημα του COVID – ένα πρόβλημα που αυτή τη στιγμή πολλά πράγματα γίνονται χαλαρά και πρέπει να χτίσουμε σε μια πολύ ισχυρή βάση προηγούμενης εργασίας. Δεν είναι σαφές ποια προηγούμενη εργασία θα αναπαραχθεί ή όχι και δεν έχουμε χρόνο για αναπαραγωγές.»

Ο Uzzi και οι άλλοι ερευνητές ελπίζουν να βελτιώσουν το μοντέλο χρησιμοποιώντας περαιτέρω τεχνικές επεξεργασίας φυσικής γλώσσας, συμπεριλαμβανομένων τεχνικών που η ομάδα δημιούργησε για να αναλύσει μεταγραφές κλήσεων σχετικά με εταιρικά κέρδη. Η ερευνητική ομάδα έχει ήδη δημιουργήσει μια βάση δεδομένων περίπου 30.000 μεταγραφών κλήσεων που θα αναλύσουν για ενδείξεις. Αν η ομάδα μπορεί να δημιουργήσει ένα επιτυχημένο μοντέλο, μπορεί να πείσει τους αναλυτές και τους επενδυτές να χρησιμοποιήσουν το εργαλείο, το οποίο θα μπορούσε να ανοίξει το δρόμο για άλλες καινοτόμες χρήσεις του μοντέλου και των τεχνικών του.