Η τεχνητή νοημοσύνη θα μπορούσε να βοηθήσει τους ερευνητές να προσδιορίσουν ποια έγγραφα μπορούν να αναπαραχθούν, στοχεύει στην αντιμετώπιση της κρίσης αναπαραγωγής

Όλο και περισσότερη προσοχή δίνεται τα τελευταία χρόνια σε αυτό που οι μελετητές και οι ερευνητές ονομάζουν κρίση αναπαραγωγής/αναπαραγωγιμότητας. Πολλές μελέτες απλώς αποτυγχάνουν να δώσουν τα ίδια σημαντικά αποτελέσματα όταν επιχειρείται η αναπαραγωγή της μελέτης, και ως εκ τούτου, η επιστημονική κοινότητα ανησυχεί ότι τα ευρήματα συχνά υπερτονίζονται. Το πρόβλημα επηρεάζει τόσο διαφορετικούς τομείς όπως η ψυχολογία και η τεχνητή νοημοσύνη. Όσον αφορά τον τομέα της τεχνητής νοημοσύνης, δημοσιεύονται πολλές εργασίες χωρίς αξιολόγηση από ομοτίμους και υποστηρίζουν εντυπωσιακά αποτελέσματα που άλλοι ερευνητές δεν μπορούν να αναπαράγουν. Προκειμένου να αντιμετωπιστεί το πρόβλημα και να μειωθεί ο αριθμός των μη αναπαραγώγιμων μελετών, οι ερευνητές σχεδίασαν ένα μοντέλο τεχνητής νοημοσύνης που στοχεύει να προσδιορίσει ποια έγγραφα μπορούν να αναπαραχθούν.

Όπως αναφέρει το Fortune, Ένα νέο χαρτί που δημοσιεύθηκε από μια ομάδα ερευνητών από το Kellog School of Management και το Institute of Complex Systems στο Northwestern University παρουσιάζει ένα μοντέλο βαθιάς μάθησης που μπορεί ενδεχομένως να καθορίσει ποιες μελέτες είναι πιθανό να αναπαραχθούν και ποιες όχι. Εάν το σύστημα AI μπορεί αξιόπιστα να κάνει διάκριση μεταξύ αναπαραγώγιμες και μη αναπαραγώγιμες μελέτες, θα μπορούσε να βοηθήσει πανεπιστήμια, ερευνητικά ιδρύματα, εταιρείες και άλλες οντότητες να φιλτράρουν χιλιάδες ερευνητικές εργασίες για να προσδιορίσουν ποιες εργασίες είναι πιο πιθανό να είναι χρήσιμες και αξιόπιστες.

Τα συστήματα τεχνητής νοημοσύνης που αναπτύχθηκαν από την ομάδα Northwestern δεν χρησιμοποιούν τον τύπο των εμπειρικών/στατιστικών στοιχείων που χρησιμοποιούν συνήθως οι ερευνητές για να εξακριβώσουν την εγκυρότητα των μελετών. Το μοντέλο χρησιμοποιεί στην πραγματικότητα τεχνικές επεξεργασίας φυσικής γλώσσας για να προσπαθήσει να ποσοτικοποιήσει την αξιοπιστία ενός χαρτιού. Το σύστημα εξάγει μοτίβα στη γλώσσα που χρησιμοποιούν οι συγγραφείς μιας εργασίας, διαπιστώνοντας ότι ορισμένα μοτίβα λέξεων δείχνουν μεγαλύτερη αξιοπιστία από άλλα.

Η ερευνητική ομάδα βασίστηκε σε ψυχολογική έρευνα τόσο παλιά όσο και τη δεκαετία του 1960, η οποία διαπίστωσε ότι οι άνθρωποι συχνά επικοινωνούν το επίπεδο εμπιστοσύνης που έχουν στις ιδέες τους μέσω των λέξεων που χρησιμοποιούν. Με αυτή την ιδέα, οι ερευνητές σκέφτηκαν ότι οι συγγραφείς των άρθρων μπορεί εν αγνοία τους να σηματοδοτούν την εμπιστοσύνη τους στα ερευνητικά τους ευρήματα όταν γράφουν τις εργασίες τους. Οι ερευνητές πραγματοποίησαν δύο κύκλους εκπαίδευσης, χρησιμοποιώντας διαφορετικά σύνολα δεδομένων. Αρχικά, το μοντέλο εκπαιδεύτηκε σε περίπου δύο εκατομμύρια περιλήψεις από επιστημονικές εργασίες, ενώ τη δεύτερη φορά το μοντέλο εκπαιδεύτηκε σε πλήρεις εργασίες για να πάρει από ένα έργο που είχε σκοπό να καθορίσει ποιες εργασίες ψυχολογίας μπορούν να αναπαραχθούν - το Reproducibility Project: Psychology.

Μετά τη δοκιμή, οι ερευνητές ανέπτυξαν το μοντέλο σε μια συλλογή από εκατοντάδες άλλα έγγραφα, που προέρχονται από διάφορους τομείς όπως η ψυχολογία και τα οικονομικά. Οι ερευνητές διαπίστωσαν ότι το μοντέλο τους έδωσε μια πιο αξιόπιστη πρόβλεψη σχετικά με την αναπαραγωγιμότητα ενός χαρτιού από τις στατιστικές τεχνικές που χρησιμοποιούνται συνήθως για να εξακριβωθεί εάν τα αποτελέσματα ενός χαρτιού μπορούν να αναπαραχθούν ή όχι.

Ο ερευνητής και καθηγητής του Kellog School of Management Brian Uzzi, εξήγησε στο Fortune ότι ενώ ελπίζει ότι το μοντέλο AI θα μπορούσε κάποια στιγμή να χρησιμοποιηθεί για να βοηθήσει τους ερευνητές να εξακριβώσουν πόσο πιθανό είναι να αναπαραχθούν τα αποτελέσματα, η ερευνητική ομάδα δεν είναι βέβαιη για τα μοτίβα και λεπτομέρειες για το μοντέλο τους. έμαθα. Το γεγονός ότι τα μοντέλα μηχανικής μάθησης είναι συχνά μαύρα κουτιά είναι ένα κοινό πρόβλημα στην έρευνα AI, αλλά αυτό το γεγονός θα μπορούσε να κάνει άλλους επιστήμονες να διστάζουν να χρησιμοποιήσουν το μοντέλο.

Ο Uzzi εξήγησε ότι η ερευνητική ομάδα ελπίζει ότι το μοντέλο θα μπορούσε ενδεχομένως να χρησιμοποιηθεί για την αντιμετώπιση της κρίσης του κορωνοϊού, βοηθώντας περισσότερο τους επιστήμονες κατανοήσουν γρήγορα τον ιό και προσδιορίστε ποια αποτελέσματα μελέτης είναι ελπιδοφόρα. Όπως είπε ο Uzzi στο Fortune:

«Θέλουμε να αρχίσουμε να το εφαρμόζουμε αυτό στο ζήτημα του COVID—ένα ζήτημα αυτή τη στιγμή όπου πολλά πράγματα γίνονται χαλαρά και πρέπει να οικοδομήσουμε σε μια πολύ ισχυρή βάση προηγούμενης εργασίας. Δεν είναι σαφές ποια προηγούμενη εργασία πρόκειται να αναπαραχθεί ή όχι και δεν έχουμε χρόνο για επαναλήψεις.»

Ο Uzzi και οι άλλοι ερευνητές ελπίζουν να βελτιώσουν το μοντέλο κάνοντας χρήση περαιτέρω τεχνικών επεξεργασίας φυσικής γλώσσας, συμπεριλαμβανομένων τεχνικών που δημιούργησε η ομάδα για να αναλύσει τις μεταγραφές κλήσεων σχετικά με τα εταιρικά κέρδη. Η ερευνητική ομάδα έχει ήδη δημιουργήσει μια βάση δεδομένων με περίπου 30,000 μεταγραφές κλήσεων που θα αναλύσει για ενδείξεις. Εάν η ομάδα καταφέρει να δημιουργήσει ένα επιτυχημένο μοντέλο, μπορεί να είναι σε θέση να πείσει αναλυτές και επενδυτές να χρησιμοποιήσουν το εργαλείο, κάτι που θα μπορούσε να ανοίξει το δρόμο για άλλες καινοτόμες χρήσεις του μοντέλου και των τεχνικών του.