Η «Επιθέσεις DDoS» των Επιστημονικών Ερευνών που Καταπνίγουν την Επιστημονική Έρευνα

Τα μοντέλα γενετικής νοημοσύνης όπως το ChatGPT κατακλύζουν τις ακαδημαϊκές πλατφόρμες δημοσίευσης με επιστημονικές εργασίες που παράγονται από τον AI σε επίπεδα που καθιστούν το λόγο σήματος προς θόρυβο κρίσιμο. Μια νέα μελέτη ισχυρίζεται ότι αυτή η πλημμύρα καταπνίγει τους ερευνητές, διαστρεβλώνει τις παραπομπές και υπονομεύει την εμπιστοσύνη στο επιστημονικό αρχείο, συγκρίνοντας την πλημμύρα των εργασιών που βοηθούνται από τον AI με μια «επίθεση DDoS» στην επιστήμη herself.

(Μερικώς) γνώμη  Την περασμένη εβδομάδα, για πρώτη φορά σε επτά χρόνια παρακολούθησης του επιστημονικού literature ρεύματος που σχετίζεται με τον AI, έπρεπε να παραδεχτώ την ήττα και να ομολογήσω ότι, τουλάχιστον σε ώρες αιχμής, πρέπει τώρα να επιλέξω ανάμεσα στο να μείνω στην κορυφή των νέων δημοσιεύσεων ή να έχω χρόνο να γράψω για κάποιες από αυτές.

Ο συνολικός αριθμός των εγγραφών σε ένα πολύ περιορισμένο αριθμό σχετικών κατηγοριών (Επιτήρηση Υπολογιστή, Μηχανική Μάθηση, Μοντέλα Γλώσσας, και μερικές άλλες λιγότερο δημοφιλείς ενότητες) ήταν σημαντικά πάνω από χίλια – μόνο για μια ημέρα υποβολών.

Σε τέτοιο όγκο, ακόμη και το να διαβάζεις όλα τα νέα τίτλους και να διαβάζεις περιστασιακά κάποιες από τις περίληψεις θα είχε κάνει για μια μη παραγωγική ημέρα.

Αυτή ήταν η Τρίτη 7 Οκτωβρίου. Σε αντίθεση, στην κατηγορία Μηχανικής Μάθησης, αυτή η Τρίτη που πέρασε (14 Οκτωβρίου) είχε ένα όγκο δημοσίευσης ελαφρώς λιγότερο έντονο από τις 400 περίπου εγγραφές της Τρίτης της προηγούμενης εβδομάδας· είχε 354 εγγραφές:

354 υποβολές για την κατηγορία Μηχανικής Μάθησης σε μια ημέρα. Πηγή: https://arxiv.org/

Θα πρέπει να διαβάζατε το Arxiv κάθε μέρα, για κάποια χρόνια, για να καταλάβετε πόσο τρελά είναι αυτά τα νούμερα.

Φυσικά, η Τρίτη είναι η «ωρά» του Arxiv για υποβολές, vielleicht επειδή είναι η πρώτη εργάσιμη ημέρα που συμβαίνει μακριά από οποιαδήποτε μακρά σαββατοκύριακο που απολαμβάνουν οι επιρροείς άνθρωποι που οι ερευνητές ελπίζουν να φτάσουν· και η κατηγορία Μηχανικής Μάθησης είναι μια «παντοδύναμη» ενότητα με μικρότερο αριθμό μοναδικών ερευνών (ερευνών που δεν δημοσιεύονται ταυτόχρονα σε πιο εξειδικευμένα κανάλια) από τις περισσότερες άλλες ενότητες.

Ωστόσο, η αύξηση των υποβολών ερευνών είναι ήδη ένα σημειωμένο φαινόμενο στην ακαδημαϊκή κοινότητα και στα μέσα ενημέρωσης.

Ίσως το πιο σοκαριστικό μέρος αυτής της εξέλιξης είναι το πώς όλες οι άλλες γειτονικές κατηγορίες παραμένουν περίπου αμετάβλητες στη συχνότητά τους τα τελευταία τρία χρόνια, ενώ η κατηγορία Επιστήμης Υπολογιστή (δείτε αν μπορείτε να την αναγνωρίσετε στα επίσημα στατιστικά του Arxiv παρακάτω) είναι σε μια σοβαρή ανηφόρα:

Η άνοδος των εργασιών Επιστήμης Υπολογιστή τα τελευταία τρία χρόνια. Πηγή: https://info.arxiv.org/about/reports/submission_category_by_year.html

Λίγο περισσότερο από τρία χρόνια πριν, η παραγωγή εργασιών AI του Arxiv εκτιμάτο ότι διπλασιάζεται κάθε λίγα χρόνια· και θα ήταν ενδιαφέρον να διαβάσετε την ετήσια σύνοψη των τάσεων του Arxiv στο τέλος του 2025.

Όγκος στο 11

Οι δύο πιο προφανείς λόγοι για τους οποίους συμβαίνει αυτό είναι α) απρόσμενο οικονομικό έμπρακτο στη γενετική νοημοσύνη που προσελκύει τεράστιους όγκους ερευνητικών επενδύσεων στον ιδιωτικό και ακαδημαϊκό τομέα, οι οποίοι συχνά συνεργάζονται· και β) το γεγονός ότι τα συστήματα μοντέλων γλωσσών AI όπως το ChatGPT καθιστούν την υποβολή ερευνητικών εργασιών (συμπεριλαμβανομένων εργασιών για τον AI) σχεδόν μια βιομηχανική διαδικασία.

Ωστόσο, η ποιότητα των ερευνητικών υποβολών δεν αυξάνεται παράλληλα με τον όγκο (αν και η λάθος έξοδος του AI τείνει να κάνει περισσότερες ειδήσεις στο νομικό τομέα παρά στον ακαδημαϊκό, όχι τουλάχιστον επειδή οι επιπτώσεις είναι πιο προφανείς εκεί).

Μια πολιτική μηδενικής ανοχής είναι δύσκολο να εφαρμοστεί σε αυτή την περίπτωση, ακόμη και αν η αναγνώριση περιεχομένου που παράγεται από τον AI ήταν πιο εύκολη· εκτός από το γεγονός ότι ο AI himself είναι μια φανερή ευλογία για την επιστημονική έρευνα γενικά, η χρήση του σε υποβολές ερευνητικών εργασιών έχει γενικά* βελτιώσει τη σαφήνεια του έργου από πολλούς μη αγγλόφωνους υποβολείς – άτομα και ομάδες που μέχρι τώρα λειτουργούσαν σε μειονέκτημα.

Αλλά το πρόβλημα της μείωσης του γλωσσικού εμποδίου με αυτόν τον τρόπο είναι ότι αυτό cũng αυξάνει τον καθαρό αριθμό των παγκόσμιων υποβολέων, χωρίς να αυξάνει το επίπεδο ανθρώπινης επιτήρησης που δίνει αξία σε τέτοιο έργο.

Αν οι ρυθμοί υποβολής συνεχίσουν να αυξάνονται εκθετικά, ο λόγος σήματος προς θόρυβο θα γίνει τόσο μη διαχειρίσιμος που μόνο ο AI himself θα μπορούσε να διαπεράσει τις νέες πλημμύρες και τους ποταμούς των εργασιών AI· μια εργασία που δεν είναι πιο κατάλληλος για να την εκτελέσει από ότι να ελέγξει την έξοδό του. Ιронικά, η επιστημονική έρευνα είναι μια έντονα ανθρώπινη προσπάθεια.

Επίθεση στην Έρευνα

Ο λόγος για αυτήν την αντανακλαστική σκέψη είναι μια ενδιαφέρουσα νέα συνεργασία από την Κίνα με τίτλο Σταματήστε την Επίθεση DDoS στην Ερευνητική Κοινότητα με Εργασίες Επισκόπησης που Παραγονται από τον AI.

Το νέο έγγραφο εστιάζει συγκεκριμένα σε εργασίες επισκόπησης – υψηλής προσπάθειας ανασκοπήσεις συγκεκριμένων θημάτων στην έρευνα, τα οποία παραδοσιακά έχουν καταλογραφήσει και καταξιολογηθεί, ερμηνεύοντας τάσεις και κάνουν ενημερωμένες προβλέψεις:

Μια απλή κλάση του τεράστιου και διαρκώς αυξανόμενου σώματος των επισκοπήσεων διαθέσιμων σε ενότητες σχετικές με τη μηχανική μάθηση και τον AI, στο arxiv.org

Επειδή οι επισκοπήσεις επιμελούνται παρά παράγουν, είναι ασυνήθιστα εύκολες να αυτοματοποιούνται με τον AI, και οι συγγραφείς του νέου έργου χαρακτηρίζουν την πλημμύρα των χαμηλής προσπάθειας επισκοπήσεων σε όρους απειλής ασφαλείας για τον ερευνητικό τομέα^†:

‘[Η] πρόσφατη άνοδος των επισκοπήσεων που παράγονται από τον AI, ιδιαίτερα με τη βοήθεια των μεγάλων μοντέλων γλωσσών (LLMs), έχει μετατρέψει αυτό το παραδοσιακά εργατικό είδος σε μια διαδικασία χαμηλής προσπάθειας και υψηλής απόδοσης. Ενώ αυτή η αυτοματοποίηση μειώνει τις εμπόδια εισόδου, εισάγει επίσης μια κρίσιμη απειλή: το φαινόμενο που ονομάζουμε «επίθεση DDoS με εργασίες επισκόπησης» στην ερευνητική κοινότητα.

‘Αυτό αναφέρεται στην ανεξέλεγκτη πλημμύρα των επιφανειακά ολοκληρωμένων αλλά συχνά αναπαραγώμενων, χαμηλής ποιότητας ή ακόμη και φανταστικών χειρογράφων επισκόπησης, τα οποία πλημμυρίζουν τις πλατφόρμες προδημοσίευσης, καταπνίγουν τους ερευνητές και υπονομεύουν την εμπιστοσύνη στο επιστημονικό αρχείο.

‘[Εμείς] υποστηρίζουμε ότι πρέπει να σταματήσουμε την ανέβασμα μεγάλων ποσοτήτων εργασιών επισκόπησης που παράγονται από τον AI (δηλ. επίθεση DDoS με εργασίες επισκόπησης) στην ερευνητική κοινότητα, με τη θέσπιση ισχυρών κανόνων για τη γραφή ανασκοπήσεων που βοηθούνται από τον AI.’

Οι συγγραφείς ισχυρίζονται ότι αυτή η ακατοίκητη επιτάχυνση της παραγωγής επισκοπήσεων απειλεί να καταπνίξει τον ερευνητικό οικοσύστημα με λεία αναφορές που λείπουν από κρίσιμη βάθος, και οι οποίες είναι πιθανό να προωθήσουν λάθη και/ή φανταστικές παραπομπές.

Το έγγραφο προειδοποιεί ότι χωρίς καλύτερους κανόνες ή επιτήρηση, οι εργασίες επισκόπησης που παράγονται από τον AI θα μπορούσαν να γίνουν ρηχές αντιγραφές που παραμορφώνουν ποια θέματα είναι σημαντικά, να κρύβουν σημαντική ανάλυση και να κάνουν τις ανασκοπήσεις της βιβλιογραφίας λιγότερο αξιόπιστες:

‘Οι επιπτώσεις για την ποιότητα της έρευνας και την εμπιστοσύνη είναι βαθιές. Πρώτον, οι πραγματικές προόδους κινδυνεύουν να συσκοτιστούν από αλγοριθμικά παραγόμενα ανακατασκευές υπάρχοντος έργου.

‘Οι νέοι και οι διεπιστημονικοί μελετητές μπορεί να δυσκολευτούν να βρουν αξιόπιστες ανασκοπήσεις μέσα στο θόρυβο. Επιπλέον, τα λάθη ή οι προκαταλήψεις που εισάγονται από την αυτοματοποιημένη σύνταξη μπορούν να προωθήσουν ανεξέλεγκτα, σπέρνοντας τις επόμενες έρευνες με ελαττωματικές προθέσεις.

‘Συνοψίζοντας, η πλημμύρα των μη-περιστασιακών εργασιών επισκόπησης που παράγονται από τον AI απειλεί και την αυστηρότητα των ανασκοπήσεων της βιβλιογραφίας και την αξιοπιστία του επιστημονικού αρχείου.’

‘Ασυνήθιστοι’ Συγγραφείς

Οι ερευνητές του νέου εγγράφου παρέχουν μερικές ενδιαφέρουσες αναλύσεις για την εξέλιξη των υποβολών επισκοπήσεων:

Αριστερά: ο ετήσιος αριθμός των εργασιών επισκόπησης Επιστήμης Υπολογιστή από το 2020 έως το 2024. Κέντρο: μέσος όρος βαθμολογιών παραγωγής AI για αυτές τις εργασίες κατά την ίδια περίοδο. Δεξιά: αριθμός συγγραφέων που σημειώθηκαν ως ασυνήθιστοι (αυτοί με ασυνήθιστα υψηλή παραγωγή επισκοπήσεων, περιορισμένη ποικιλία συν-συγγραφέων και επαναλαμβανόμενους θεσμικούς σχηματισμούς) κάθε χρόνο. Όλες οι τρεις τάσεις δείχνουν μια απότομη άνοδο που αρχίζει το 2023, ταυτόχρονα με την κυκλοφορία του ChatGPT και άλλων μεγάλων μοντέλων γλωσσών.

Στη πρώτη στήλη βλέπουμε τάσεις αύξησης: η καμπύλη αρχίζει να γίνεται απότομη γύρω στο 2022, ακριβώς όταν το ChatGPT εμφανίστηκε και τα μεγάλα μοντέλα γλωσσών άρχισαν να γίνονται mainstream, και τα επόμενα μοντέλα όπως Claude, PaLM, και Gemini θα διατηρούσαν αυτή τη δυναμική καθ’ όλη τη διάρκεια του 2023.

Η μεσαία γραφική παράσταση δείχνει μια απότομη άνοδο στις υποβολές μετά το 2022, ταυτόχρονα με την κυκλοφορία του ChatGPT. Μια ερευνητική ομάδα βρήκε ότι μέχρι το 2024, περισσότερο από το 10% των επιστημονικών περιλήψεων είχαν περάσει από ένα LLM. Μια ξεχωριστή αναφορά από μια εταιρεία ανίχνευσης AI έθεσε το άλμα μετά το ChatGPT στο 72% για εργασίες στο arXiv που μπορεί να είχαν γραφτεί με τη βοήθεια του AI. Ο αριθμός των εργασιών με υψηλές βαθμολογίες παραγωγής AI cũng διπλασιάστηκε σε ένα χρόνο, από 3,6% σε 6,2%.

Η τρίτη, δεξιά γραφική παράσταση δείχνει μια σταθερή άνοδο στον αριθμό των «ασυνήθιστων» μοτίβων συγγραφέων (ερευνητών που υποβάλλουν τρεις ή περισσότερες επισκοπήσεις μέσα σε einen μήνα ενώ εργάζονται με λιγότερους από δύο συνεργάτες), με μια απότομη άνοδο που αρχίζει το 2022.

Οι συγγραφείς ισχυρίζονται ότι πολλές από αυτές τις εργασίες επισκόπησης μπορεί να έχουν γραφτεί από τον AI, για διάφορους λόγους· μερικές από αυτές γράφονται από σόλο συγγραφείς ή μικρές ομάδες που υποβάλλουν πολλές επισκοπήσεις σε σύντομο χρονικό διάστημα· πολλές καλύπτουν μη σχετικά θέματα· και σε μερικές περιπτώσεις, οι συγγραφείς δεν έχουν προηγούμενο ρεκόρ στα πεδία που αναλύουν.

Επιπλέον, μερικές από αυτές δημοσιεύονται υπό ανώνυμες συλλογές χωρίς σαφείς θεσμικούς δεσμούς – μοτίβα που υποδηλώνουν μια συντονισμένη πλημμύρα του πεδίου με γρήγορες επισκοπήσεις, πιθανώς για να κερδίσουν παραπομπές ή να βελτιώσουν τα ακαδημαϊκά προφίλ, παρά να κάνουν οποιαδήποτε πραγματική συμβολή στη βιβλιογραφία.

Ζητήματα

Αν και δεν μπορούμε να καλύψουμε όλα τα επιχειρήματα του νέου εγγράφου, πρέπει να ρίξουμε μια ματιά σε μερικές από τις πιο αξιοσημείωτες παρατηρήσεις, καθώς και να ρίξουμε μια κριτική ματιά στις προτεινόμενες λύσεις των συγγραφέων για αυτά τα ζητήματα.

Ποιότητα και Πρωτοτυπία

Το πρόβλημα δεν είναι μόνο ο όγκος: πολλές εργασίες επισκόπησης που γράφονται από τον AI παραλείπουν αυτό που κάνει μια καλή επισκόπηση χρήσιμη: σαφή δομή, βαθιά ανάλυση, σωστή και επιμελή πίστωση, και πραγματική ερμηνεία. Αντίθετα, το έγγραφο υποστηρίζει ότι οι εργασίες επισκόπησης που βοηθούνται από τον AI συχνά διαβάζονται σαν συνθεμένες περίληψεις, χωρίς την απαραίτητη φροντίδα ή επιμέλεια.

Οι συγγραφείς παρατηρούν, περαιτέρω, ότι οι εργασίες επισκόπησης που γράφονται από τον AI συχνά λείπουν δομής, αλλά απλώς λίστα εργασιών χωρίς σαφή κατεύθυνση, παραλείποντας κρίσιμους τομείς, και αποτυγχάνουν να δημιουργήσουν контекст. Οι ανθρώπινες εργασίες επισκόπησης, από την άλλη πλευρά, τείνουν να καθορίζουν σωστές κατηγορίες, και να διηγούνται μια πιο συνεκτική ιστορία.

Επιπλέον, πολλές πιθανώς εργασίες επισκόπησης που βοηθούνται από τον AI φαίνεται να απλώς αντιγράφουν υπάρχοντες διαχωρισμούς θεμάτων, đôi fois απευθείας από τη Βικιπαίδεια. Για παράδειγμα, το έγγραφο σημειώνει, πολλές εργασίες επισκόπησης για Vision Transformers περιέχουν κοινές τίτλους τμημάτων και δομή, που αποκαλύπτουν την έξοδο του AI:

‘Αντίθετα, μια καλά γραμμένη ανθρώπινη εργασία επισκόπησης μπορεί να εισαγάγει μια νέα ταξινόμηση, π.χ., κατηγοριοποιώντας ViT με στρατηγικές αποτελεσματικότητας. Η έλλειψη τέτοιας πρωτότυπης δομής σε πολλές πρόσφατες προδημοσιεύσεις επισκοπήσεων αυξάνει τις ανησυχίες ότι μπορεί να έχουν γραφτεί από τον AI με περιορισμένη ανθρώπινη ερμηνεία.’

Μην Με Παραπομπήσετε

Πιθανότατα το πιο δημόσια αισχρό, οι εργασίες επισκόπησης που γράφονται από τον AI συχνά κάνουν λάθη στις παραπομπές, λείπουν κρίσιμες εργασίες, περιλαμβάνουν μη σχετικές εργασίες, και đôi fois sogar λίστα μη υπάρχουσες εργασίες – λάθη που υποδηλώνουν ότι οι παραπομπές προέρχονται από επιφανειακή αντιστοίχιση μοτίβων, παρά από πραγματική εμπειρογνωσία.

Οι συγγραφείς σημειώνουν επίσης ότι μερικές πρόσφατες εργασίες επισκόπησης, συχνά από εντελώς διαφορετικές ομάδες, μοιράζονται μέχρι και 70% των λιστών παραπομπών τους – ένα επίπεδο επικάλυψης τόσο υψηλό, που υποδηλώνει μια κοινή εξάρτηση από LLMs, τα οποία αντλούν από την ίδια στενή πηγή υλικού.

Πραγματικά, οι καθημερινές χρήστες του ChatGPT γνωρίζουν ότι όσο πιο ασυνήθιστο είναι το θέμα, τόσο λιγότερες ποικίλες πηγές υπάρχουν για το μοντέλο να γενικεύσει; πολύ συχνά, η τοποθέτηση των δικών του περιορισμένων πηγών στο διαδίκτυο είναι πιο χρήσιμη από το να αλληλεπιδράσετε με αυτή την πληροφορία μέσω ενός AI που δεν είχε επαρκές δεδομένα σε ένα συγκεκριμένο τομέα.

Μια ‘Ομοιογενής Στυλ’ Αναδύεται

Οι συγγραφείς σημειώνουν επίσης ότι πολλές εργασίες επισκόπησης που γράφονται από τον AI για το ίδιο θέμα φαίνονται σχεδόν идентичные, καθώς τα LLMs επαναχρησιμοποιούν φράσεις και δομή, ιδιαίτερα για δημοφιλείς θέματα, οδηγώντας σε μια πλημμύρα几乎 идентичних εργασιών που προσφέρουν λίγη αξία, και επίσης προστίθενται σημαντικός θόρυβος στους ερευνητές που αναζητούν απαντήσεις σε ένα τομέα*:

‘Όταν πολλοί συγγραφείς ζητούν από ένα LLM να «γράψουν μια ανασκόπηση της βιβλιογραφίας για X», το μοντέλο συχνά παράγει πολύ παρόμοιες απαντήσεις, ιδιαίτερα για κοινές ορισμούς ή γνωστές πραγματικότητες. Πρόσφατη έρευνα έχει δείξει μια απότομη άνοδο στη χρήση ορισμένων μοτίβων γραφής που συνδέονται με LLMs, υποδηλώνοντας ότι πολλές εργασίες μοιράζονται τον ίδιο στυλ.’

Το ChatGPT σας Εμφανίζεται

Το έγγραφο παρατηρεί ότι ένας γρήγορος τρόπος για να αναγνωρίσετε τις εργασίες επισκόπησης που γράφονται από τον AI είναι μέσω της παρουσίας φράσεων όπως ‘ως μοντέλο γλωσσών AI’ ή ‘η γνώση μου έχει λήξει’, υποδηλώνοντας ελάχιστη ή ακόμη και μηδενική επιμέλεια της έξοδου από τα μοντέλα γλωσσών πριν από την υποβολή των εργασιών (αν και μια στοχευμένη αναζήτηση κατά τη στιγμή της γραφής δεν αποκάλυψε τέτοιες δείκτες που έχουν ευρεθεί στο Google Search).

Το έγγραφο σημειώνει ότι πολλές «υποψίες» εργασίες επισκόπησης δείχνουν χαμηλή ποικιλία λέξεων και επαναλαμβανόμενη φράση, για παράδειγμα, ξεκινώντας πολλά παραγράφους με Επιπλέον. Αυτό το είδος μοτίβου, οι συγγραφείς υποστηρίζουν, είναι τυπικό για τη γραφή GPT-στυλ, και θα μπορούσε να είναι ένας χρήσιμος δείκτης για την ανίχνευση αυτοματοποιημένου κειμένου.

(Η προσωπική μου σχόλιο σε αυτό είναι ότι οι αυστηρότητες του διαδικτυακού journalism συχνά απαιτούν από einen συγγραφέα να λίστα πολλά στοιχεία σε μια πρόζα-μορφή, μη-στυλιζαρισμένη μορφή. Έτσι, το ChatGPT και οι ομόλογοί του είναι πιθανό να έχουν μάθει αυτή τη κακή συνήθεια από ανθρώπινους συγγραφείς που αντιμετώπισαν έναν περιορισμένο αριθμό λεξικών εναλλακτικών.

Αν και οι ερευνητές συνεχίζουν να αναπτύσσουν μια ενδιαφέρουσα συζήτηση για τις αρνητικές επιπτώσεις των εργασιών επισκόπησης AI στην ερευνητική κουλτούρα και την εμπιστοσύνη, πρέπει να αναφερθούμε τον αναγνώστη στο πρωτότυπο έγγραφο για μεγαλύτερο βάθος σε αυτό.

Λύσεις;

Η λύση του εγγράφου είναι ενδιαφέρουσα, ριζική και ταυτόχρονα странно μη πρωτότυπη: ότι η χρησιμότητα των εργασιών επισκόπησης θα πρέπει να αντικατασταθεί από μια Δυναμική Ζωντανή Επισκόπηση – κατά ερμηνεία, ένα είδος υβριδίου μεταξύ μιας Βικιπαίδειας και μιας σελίδας GitHub, συνεχώς τροφοδοτούμενο με νέα δεδομένα από LLM και άλλα συστήματα AI, αλλά με commits που γίνονται μόνο από ανθρώπους, ώστε ο AI να μην μπορεί να «αυτό-δημοσιεύσει» ενημερώσεις.

Το προτεινόμενο σύστημα θα μοιράζεται την εκδοχή και τη διακλάδωση του GitHub, ουσιαστικά μετατρέποντας μια πηγή πληροφοριών σε μια συνεχώς ενημερωμένη λίστα παρόμοια με τη ‘awesome’ σειρά επιμελημένων λιστών στο GitHub:

‘Υπό αυτό το πλαίσιο, ένας μέλος της κοινότητας καθιερώνει πρώτα μια σελίδα επισκόπησης με την καθορισμό του πεδίου, των κρίσιμων ερευνητικών ερωτήσεων και των σημαδιακών αναφορών, τα οποία ορίζουν σαφώς τα θεματικά όρια και την αρχική δομή.

‘Στη συνέχεια, ένας πράκτορας LLM-βασισμένος συνεχώς παρακολουθεί τις προδημοσιεύσεις, τα πρακτικά συνεδρίων και τις λίστες ηγετών. Αυτοματοποιεί την εξαγωγή των περίληψεων, των σχημάτων και των κρίσιμων μετρικών απόδοσης· συνθέτει συντομές των νέων αποτελεσμάτων· ενημερώνει το γράφο παραπομπών για να αντικατοπτρίζει τις σχέσεις μεταξύ εγγράφων· και σηματοδοτεί τις αναδυόμενες ερευνητικές τάσεις για περαιτέρω ανασκόπηση.

‘Με σχεδιασμό, αυτές οι αυτοματοποιημένες ενημερώσεις συμβαίνουν μέσα σε ώρες από τη δημοσίευση, διασφαλίζοντας ότι το αποθετήριο παραμένει στην αιχμή της τεχνολογίας.’

‘Τότε, οι ανθρώπινοι συντελεστές εισέρχονται για να παρέχουν το ερμηνευτικό βάθος που οι μηχανές μόνο δεν μπορούν να προσφέρουν. Βελτιώνουν τις εξελισσόμενες ταξινομήσεις για να πιάσουν τις λεπτές μεθοδολογικές διακρίσεις, συντονίζουν τις αντικρουόμενες ερμηνείες των καινοτομιών αλγορίθμων σε διαφορετικά υποπεδία, και παρέχουν βαθύτερες κριτικές συγκρίσεις του εγγράφου.’

Το Βιβλίο των Αλλαγών

Οι συγγραφείς εξηγούν με ενθουσιασμό και σε βάθος αυτή την πρόταση, και ουσιαστικά την δικαιολογούν με κάτι που είναι πολύ αλήθεια: οι υψηλής προσπάθειας ανθρώπινες εργασίες επισκόπησης για ταραχώδεις θέματα γύρω από τον AI γερνούν τόσο γρήγορα που είναι σχεδόν άξιο να γραφτούν; και το έγγραφο σημειώνει ότι ένας τριμηνιαίος γύρος για μια νέα εργασία επισκόπησης θα σημαίνει πιθανότατα ότι θα είναι ξεπερασμένη (ή ακόμη και σерьезно ξεπερασμένη) μέχρι την ημέρα της προγραμματισμένης δημοσίευσής της:

‘Χρόνο με το χρόνο, οι κοινότητες πλημμυρίζονται με επαναλαμβανόμενες ή επιφανειακές ανασκοπήσεις που χάνουν γρήγορα τη σχετικότητά τους, αφήνοντας τους πρακτικούς και τους νέους να αγωνίζονται να διακρίνουν το σήμα από τον θόρυβο. Ο παραδοσιακός κύκλος δημοσίευσης (δηλ. σχέδιο, υποβολή, ανασκόπηση και δημοσίευση) μπορεί να διαρκέσει几个 μήνες, μέχρι τη στιγμή που οι κρίσιμες προόδους μπορεί να έχουν ήδη μετατοπίσει το τοπίο.

‘Επιπλέον, η αυξανόμενη ποσότητα των στατικών ανασκοπήσεων προστίθεται στην γνωστική υπερφόρτωση, καθώς οι αναγνώστες πρέπει να διεισδύσουν σε πολλές επικαλύπτονται εγγράφους για να βρουν ουσιαστικές ερμηνείες.’

Δυστυχώς, η λύση του εγγράφου μοιράζεται πολλές από τις χειρότερες και πιο κατακριμένες ιδιότητες του Discord: ιδιαίτερα ότι θα ήταν μια συνεχώς μεταβαλλόμενη και αλλαγή πηγή.

Καθώς οποιοδήποτε μέρος μιας Δυναμικής Ζωντανής Επισκόπησης μπορεί να εξαφανιστεί ή να τροποποιηθεί ανά πάσα στιγμή, θα ήταν αδύνατο να χρησιμοποιηθεί ως μια citable, σταθερή πηγή· εκτός αν, vielleicht, συνδέοντας με einen «προηγούμενο commit», με τον ίδιο τρόπο που archive.is και η Wayback Machine, μεταξύ άλλων ιστοσελίδων αρχειοθέτησης, παρέχουν συνδέσμους με στιγμιότυπα του περιεχομένου ιστοσελίδας, παγωμένα σε ένα συγκεκριμένο χρόνο. Αλλά ποιες πόρους θα χρειαζόταν τέτοιο commit, και θα μπορούσε να εξαρτηθεί να παραμείνει ζωντανό με την πάροδο του χρόνου;

Επιπλέον, μια πλατφόρμα/Βικιπαίδεια με συνεχώς μεταβαλλόμενα ορισμούς και περιεχόμενο θα ήταν μια πρόκληση για indeksing, είτε από παραδοσιακούς μηχανισμούς αναζήτησης είτε από LLMs.

Πιθανότατα το πιο αδύναμο μέρος του προτεινόμενου συστήματος είναι η ιδέα ότι πραγματικοί άνθρωποι θα πρέπει να επιβλέπουν τις commits από τους πράκτορες LLM· όπως πάντα, πραγματικοί άνθρωποι είναι ακριβοί. Αυτό που προτείνεται είναι κάτι μεταξύ ενός μουσείου και μιας βιβλιοθήκης – και τα δύο θα χρειαζόταν προμήθεια meatware αναλογικά με τον όγκο των δεδομένων και τον αριθμό των θεμάτων που καλύπτονται.

Αν «χρησιμοποιήστε πραγματικούς ανθρώπους» είναι η μόνη απάντηση σε ένα πρόβλημα ανάπτυξης AI, είναι δίκαιο να πούμε ότι το πρόβλημα παραμένει ανοιχτό και ανεπίλυτο.

Συμπέρασμα

Στο παρόν, η σύντομη διάρκεια ζωής των εργασιών επισκόπησης για τον AI είναι ενοχλητική· αν η τρέχουσα τάση προς υψηλής κλίμακας αυτοματοποιημένη γραφή και υποβολή συνεχιστεί, όπως προβλέπεται στο νέο έγγραφο, ο λόγος σήματος προς θόρυβο θα γίνει χρόνια, και η βιβλιογραφία θα γίνει μη διαχειρίσιμη.

Σε τέτοια κατάσταση, θα ήταν ακόμη πιο δύσκολο για τις φωνές των μικρών, μη-FAANG να ακουστούν στη θύελλα των υποβολών, και οι ηγέτες της αγοράς θα κέρδιζαν πιθανότατα ακόμη μεγαλύτερη προβολή.

Εκτός από τις ζωντανές επισκοπήσεις, το νέο έγγραφο προτείνει ότι οι συγγραφείς δεν πρέπει μόνο να δηλώνουν όταν ο AI χρησιμοποιείται σε οποιοδήποτε μέρος μιας υποβολής, αλλά και ότι οι εργασίες που βοηθούνται από τον AI θα πρέπει να σημειώνονται σαφώς μέσα σε μια εργασία (ίσως με ένα αρχείο JSON…?).

Καθώς αυτό είναι μια απαιτητική προοπτική, το έγγραφο προτείνει εναλλακτικά τι μόνο μπορώ να χαρακτηρίσω ως «γκέτο AI» – einen ξεχωριστό τομέα στην υποβολή που έχει οριστεί για τις συνεισφορές του AI.

Σύντομα, η νέα εργασία έχει, τουλάχιστον στην άποψή μου, keine πραγματικές απαντήσεις να προσφέρει· αλλά οι συγγραφείς έχουν εκτελέσει μια χρήσιμη υπηρεσία στο να καθορίσουν τις προκλήσεις που έρχονται.

Το έγγραφο Σταματήστε την Επίθεση DDoS στην Ερευνητική Κοινότητα με Εργασίες Επισκόπησης που Παραγονται από τον AI μπορεί να βρεθεί στο https://arxiv.org/abs/2510.09686, και γράφτηκε από έξι συγγραφείς σε διάφορα τμήματα του Πανεπιστημίου Shanghai Jiao Tong.

___________________________________

* Δεν όλοι πιστεύουν ότι αυτό είναι η περίπτωση.

^† Τονισμός των συγγραφέων, όχι δικός μου. Επίσης, όπου εφαρμόζεται, η μετατροπή των εσωτερικών παραπομπών των συγγραφέων σε υπερσυνδέσμους.

Πρώτη δημοσίευση Παρασκευή, 17 Οκτωβρίου 2025