Η γωνία του Anderson

Η πρακτορική ΤΝ συνήθως δεν δημιουργεί αντίγραφα ασφαλείας πριν ενεργήσει

mm
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
AI-generated image: three police officers examine a ransacked high-rise office. One takes notes beside a bookcase, another crouches among scattered papers and broken glass, and a third stands by a sofa. An overturned desk and fallen plants occupy the foreground. A large jagged hole punctures a window overlooking city skyscrapers. Image generated by ChatGPT Images 2.5 and tweaked in Photoshop 2023.

Μεγάλο μέρος του υλικού που ξεψαχνίζω καθημερινά στο Arxiv και σε άλλες πηγές είναι αρκετά στεγνό, ακόμη και για τα γούστα ενός σπασίκλα· γι’ αυτό αναζητώ πάντα δημοσιεύσεις που μου προκαλούν συναισθήματα, είτε ως χρήστης είτε ως υποστηρικτής ή θύμα της ΤΝ.

Σήμερα, αυτή την ανατριχίλα μού την προκάλεσε μια νέα ακαδημαϊκή συνεργασία από τις ΗΠΑ, η οποία εξετάζει σε ποιον βαθμό τα πρωτοποριακά μοντέλα πρακτορικής ΤΝ καίνε τις γέφυρες πριν προχωρήσουν σε επιζήμιες ενέργειες — και μάλιστα πιο γρήγορα απ’ όσο προλαβαίνεις να πληκτρολογήσεις «STOP!» (συμβουλή: έχε το πρόχειρο στο πρόχειρο σημειώσεων).

Αυτό μου συνέβη πρόσφατα, αν και εδώ παρατίθεται εκτός συμφραζομένων από τη νέα μελέτη, επειδή ακολούθησα τυφλά τις οδηγίες του ChatGPT και δεν μου πέρασε καν από το μυαλό να αντιγράψω πρώτα ολόκληρο το εικονικό περιβάλλον:

Απόσπασμα από τη νέα μελέτη: μια στιγμή που μας κόβει την ανάσα και την έχουμε ζήσει πολλοί, όταν εγκαθιστούμε πλαίσια λογισμικού αιχμής ή ακόμη και δημοφιλείς διανομές που αδιαφορούν για τα μη τυπικά περιβάλλοντα στα οποία μπορεί να καταλήξουν. Πηγή - https://arxiv.org/pdf/2610.28934

Μια ερμηνεία της νέας μελέτης: μια στιγμή που μας κόβει την ανάσα και την έχουμε ζήσει πολλοί, όταν εγκαθιστούμε πλαίσια λογισμικού αιχμής ή ακόμη και δημοφιλείς διανομές που αδιαφορούν για τα μη τυπικά περιβάλλοντα στα οποία μπορεί να καταλήξουν. Πηγή

Σε αυτό το τρομακτικό και υπερβολικά οικείο παράδειγμα, το ρομπότ έχει μια εύλογη δικαιολογία, καθώς δεν συνηθίζουμε να εξετάζουμε όλες τις πιθανές συνέπειες της εγκατάστασης μιας νέας βιβλιοθήκης σε ένα εύθραυστο και ανελαστικό πλαίσιο λογισμικού. Ωστόσο, η νέα μελέτη υποστηρίζει ότι ίσως θα έπρεπε· και, ως κάποιος που εξακολουθεί να πατά συχνά CTRL+S, ακόμη και σε περιβάλλοντα αυτόματης αποθήκευσης που έχουν ρυθμιστεί ώστε να αγνοούν αυτό το πάτημα πλήκτρου (ευχαριστώ, μετατραυματικό στρες από απώλεια δεδομένων της δεκαετίας του 1990), πρέπει να συμφωνήσω.

Σίγουρα, μια πιο συνετή και προσεκτική στάση θα ήταν ευπρόσδεκτη από τον Alexey Grigorev, ιδρυτή της εκπαιδευτικής πλατφόρμας DataTalks.Club, καθώς ο πράκτορας Claude Code διέγραψε την υποδομή παραγωγής και τα αντίγραφα ασφαλείας κατά τη μετεγκατάσταση διακομιστή τον περασμένο Μάρτιο, με αποτέλεσμα να χαθούν δεδομένα δυόμισι ετών από τον ιστότοπο.

Άλλα πρόσφατα περιστατικά πρακτορικής απερισκεψίας αυτού του είδους περιλαμβάνουν έναν πράκτορα του Cursor που διέγραψε τη βάση δεδομένων παραγωγής και τα αντίγραφα ασφαλείας της PocketOS, παρόχου λογισμικού ενοικίασης αυτοκινήτων, τον Απρίλιο, διακόπτοντας τις κρατήσεις πελατών για περισσότερες από δύο ημέρες· καθώς και έναν πράκτορα ηλεκτρονικού ταχυδρομείου του OpenClaw που διέγραφε μηνύματα από τα εισερχόμενα ενός ερευνητή της Meta AI τον Φεβρουάριο, παρά τις επανειλημμένες οδηγίες να σταματήσει.

Είτε είναι πρακτορικά είτε όχι, τα πρωτοποριακά LLM δυσκολεύονται πολύ να ενεργούν με σύνεση και προσοχή, σε τέτοιο βαθμό ώστε η αντιμετώπιση του προβλήματος να έχει εξελιχθεί σε ξεχωριστό ερευνητικό πεδίο στη σχετική βιβλιογραφία.

Πρώτα, ένα αντίγραφο ασφαλείας

Οι συντάκτες της νέας μελέτης* ανέπτυξαν ένα πρόσθετο πολλαπλών πρακτόρων για περιβάλλοντα εκτέλεσης πρακτορικής ΤΝ, το οποίο μπορεί να λειτουργεί παράλληλα με την AI-επισκέπτη και να την αναγκάζει να δημιουργεί αντίγραφα ασφαλείας όταν χρειάζεται:

Επισκόπηση του προβλήματος δημιουργίας αντιγράφων ασφαλείας που εξετάζει η μελέτη και της προτεινόμενης λύσης. Σε 205 σενάρια, έξι πρωτοποριακά μοντέλα ΤΝ δημιούργησαν αντίγραφα ασφαλείας για κρίσιμα δεδομένα κατάστασης σε μόλις 15,2% των εργασιών. Το σύστημα BackUpper των ερευνητών κάλυψε κάθε κρίσιμη ενέργεια, ενώ τα δεδομένα που αποκαταστάθηκαν είχαν κατά μέσο όρο ομοιότητα 92,2% με τα αρχικά.

Επισκόπηση του προβλήματος δημιουργίας αντιγράφων ασφαλείας που εξετάζει η μελέτη και της προτεινόμενης λύσης. Σε 205 σενάρια, έξι πρωτοποριακά μοντέλα ΤΝ δημιούργησαν αντίγραφα ασφαλείας για κρίσιμα δεδομένα κατάστασης σε μόλις 15,2% των εργασιών. Αντίθετα, το σύστημα BackUpper των ερευνητών κάλυψε κάθε κρίσιμη ενέργεια, ενώ τα δεδομένα που αποκαταστάθηκαν είχαν κατά μέσο όρο ομοιότητα 92,2% με τα αρχικά (δείτε παρακάτω γιατί είναι δύσκολο να επιτευχθεί το 100%).

Μία από τις πιο εντυπωσιακές διαπιστώσεις της νέας μελέτης είναι το πόσο συχνά τα πρωτοποριακά μοντέλα δεν δημιουργούν αντίγραφα ασφαλείας πριν προβούν σε δυνητικά επικίνδυνες ενέργειες. Οι ερευνητές διαπίστωσαν ότι το GPT-5.6-Terra δημιούργησε αντίγραφα ασφαλείας για κρίσιμα δεδομένα μόλις στο 4,4% των περιπτώσεων· το GPT-5.6-Sol μόλις στο 5,9% των περιπτώσεων που εξετάστηκαν· και το Gemini 3.7-Flash σε μόλις 2,4% των περιπτώσεων.

Ακόμη και το μοντέλο με τις καλύτερες επιδόσεις, το Claude Opus-5, δεν δημιούργησε αντίγραφα ασφαλείας για κρίσιμα δεδομένα σε περισσότερες από το ένα τρίτο των περιπτώσεων που εξετάστηκαν.

Η μελέτη αναφέρει†:

«Κατά μέσο όρο, οι πράκτορες ολοκληρώνουν το 86,1% των εργασιών σε έξι πρωτοποριακά μοντέλα, αλλά δημιουργούν αντίγραφα ασφαλείας της κατάστασης πριν από στιγμές μεταμέλειας μόνο στο 15,2% των περιπτώσεων. Το GPT 5.6-Sol στο Codex το κάνει μόλις στο 5,9% των εργασιών και το DeepSeek V4-Pro στο Hermes μόλις στο 2,9%.

«Τα ευρήματα αυτά δείχνουν ότι οι σημερινοί πράκτορες εξακολουθούν να έχουν περιορισμένη επίγνωση της ανάγκης για αντίγραφα ασφαλείας και ότι απαιτείται ειδική υποστήριξη για τη δημιουργία τους.»

Η λύση των συντακτών, με την ονομασία BackUpper, λειτουργεί παράλληλα με τον πράκτορα ως διεργασία παρακολούθησης στο περιβάλλον εκτέλεσης: ελέγχει τι πρόκειται να κάνει και δημιουργεί πρώτα ένα αντίγραφο ασφαλείας, αν υπάρχει κίνδυνος να χαθεί κάτι χρήσιμο.

Για καθημερινές εργασίες, όπως η αναβάθμιση λογισμικού, ακολουθεί ένα σύνολο απλών κανόνων· σε πιο περίπλοκες περιπτώσεις, επιστρατεύει ένα μικρότερο μοντέλο ΤΝ για να προσδιορίσει τι χρειάζεται να αποθηκευτεί.

Στις δοκιμές, το BackUpper κάλυψε κάθε κρίσιμη ενέργεια, ενώ τα δεδομένα που αποκαταστάθηκαν ήταν κατά 92,2% όμοια με τα αρχικά, με πρόσθετο κόστος 0,014 $ ανά εργασία — ποσό μικρό σε αυτό το πλαίσιο, αλλά σημαντική δαπάνη για μοντέλα LLM αιχμής που εξυπηρετούν δισεκατομμύρια πελάτες. Ίσως γι’ αυτό ένας εξωτερικός πάροχος υπηρεσιών αυτού του είδους ή η εγγενής ενσωμάτωση τέτοιων δυνατοτήτων στα harness να αποτελούν πιθανότερο τρόπο βελτίωσης της κατάστασης, αντί να ελπίζουμε σε εγγενή λύση από τους τεχνολογικούς κολοσσούς, οι οποίοι θα μπορούσε εύλογα να αναμένεται ότι θα μετακυλίσουν το πρόσθετο κόστος στους καταναλωτές τους, είτε αυξάνοντας τις τιμές είτε μέσω διόγκωσης των token.

Το πλαίσιο βασίζεται στο RegretBench, ένα benchmark 205 εργασιών, που έχει σχεδιαστεί γύρω από πραγματικές περιπτώσεις στις οποίες άνθρωποι έχασαν δεδομένα τα οποία αργότερα ευχήθηκαν να είχαν αποθηκεύσει. Ελέγχει αν οι πράκτορες ΤΝ έχουν την προνοητικότητα να διαφυλάσσουν αυτά τα δεδομένα πριν από ενέργειες που ενδέχεται να είναι μη αναστρέψιμες. Τα περιστατικά της συλλογής προέρχονται από διαδικτυακές συζητήσεις και αναφορές σε πλατφόρμες όπως οι X.com, GitHub και Stack Overflow.

Πώς το RegretBench μετατρέπει περιστατικά από τον πραγματικό κόσμο σε σενάρια δοκιμών. Κάθε καταγεγραμμένη περίπτωση ανασυντίθεται με βάση την ενέργεια που προκάλεσε την απώλεια, ένα ρεαλιστικό περιβάλλον εργασίας και μια ακολουθία οδηγιών. Στο παράδειγμα αυτό, η αναβάθμιση του ipykernel αντικαθιστά αθόρυβα μια υπάρχουσα έκδοση του traitlets, επιτρέποντας στον πράκτορα να ολοκληρώσει την εργασία του, χωρίς όμως να αφήνει τρόπο ανάκτησης της αρχικής εγκατάστασης.

Ένα σχήμα που δείχνει πώς το RegretBench μετατρέπει περιστατικά από τον πραγματικό κόσμο σε σενάρια δοκιμών. Κάθε καταγεγραμμένη περίπτωση ανασυντίθεται με βάση την ενέργεια που προκάλεσε την απώλεια, ένα ρεαλιστικό περιβάλλον εργασίας και μια ακολουθία οδηγιών. Στο παράδειγμα αυτό, η αναβάθμιση του ipykernel αντικαθιστά αθόρυβα μια υπάρχουσα έκδοση του traitlets, επιτρέποντας στον πράκτορα να ολοκληρώσει την εργασία του, χωρίς όμως να αφήνει τρόπο ανάκτησης της αρχικής εγκατάστασης.

Παρότι το 92% μπορεί να απογοητεύει όσους επιδιώκουν την τελειότητα, οι συγγραφείς επισημαίνουν ότι υπάρχουν τεχνικά εμπόδια στην ανάκτηση ορισμένων τύπων δεδομένων:

«Το χάσμα που απομένει μέχρι την πλήρη αποκατάσταση οφείλεται κυρίως σε δύο λόγους. Ορισμένα πεδία, όπως τα αναγνωριστικά αναρτήσεων, αναδημιουργούνται συνήθως από τις υπηρεσίες κατά την εγγραφή και συχνά δεν είναι δυνατό να αναπαραχθούν. Άλλες διαφορές οφείλονται σε δευτερεύοντα μεταδεδομένα, όπως οι ενδείξεις ανάγνωσης των email, τα οποία σπάνια αφορούν τα περιστατικά απώλειας δεδομένων που προκαλούν μεταμέλεια.»

Στις δοκιμές, μετά την πρόκληση της ζημιάς ανακτήθηκε ομοιότητα 33,8% με την αρχική κατάσταση, έναντι μόλις 14,3% χωρίς αποκατάσταση.

Η εργασία προτείνει ότι στο μέλλον η επίγνωση της ανάγκης δημιουργίας αντιγράφων ασφαλείας θα μπορούσε να ενισχυθεί μέσω εκπαίδευσης, ενώ οι επόμενες εκδόσεις του BackUpper θα μπορούσαν να εκπαιδευτούν ώστε να παραλείπουν ενέργειες χαμηλού κινδύνου και να επεκτείνουν την προστασία σε πράκτορες που χρησιμοποιούν τον ιστό και υπολογιστές.

Το BackUpper υποστηρίζει τα Claude Code, Codex, Hermes, OpenHands, DeepSeek Harness και OpenClaw· οι συγγραφείς έχουν καταστήσει διαθέσιμο τον κώδικά του, μαζί με το σχετικό σύνολο δεδομένων (ωστόσο, για να αποκτήσει κανείς πρόσβαση σε αυτό, πρέπει να υποβάλει αίτημα μέσω φόρμας)· ενώ στον ιστότοπο του έργου υπάρχουν λίγες ακόμη πληροφορίες, καθώς και ένα πολύ σύντομο και απλό επεξηγηματικό βίντεο.

Μεθοδολογία

Κατά τη δημιουργία του RegretBench, αποκλείστηκαν σκόπιμα δεδομένα που είχαν ήδη προστατευτεί από τα ενσωματωμένα συστήματα δημιουργίας αντιγράφων ασφαλείας των πρακτόρων, ώστε να ελεγχθεί αν οι ίδιοι οι πράκτορες γνωρίζουν πότε πρέπει να δημιουργούν αντίγραφα ασφαλείας. Στη συνέχεια, τα σενάρια δοκιμών καταρτίστηκαν με τη βοήθεια των Claude Opus-5 και GPT-5.6-Sol και ελέγχθηκαν χειροκίνητα, ώστε να διασφαλιστεί ότι λειτουργούσαν και ότι αποτύπωναν με ακρίβεια τα αρχικά περιστατικά.

Οι 205 δοκιμές του RegretBench καλύπτουν πέντε τομείς: λειτουργίες τερματικού· βάσεις δεδομένων· εφαρμογές ιστού· ηλεκτρονικό ταχυδρομείο· και DevOps. Τα ίδια τα περιστατικά προέρχονται κυρίως από πλατφόρμες ανάπτυξης λογισμικού και παραγωγικότητας (44,4%), συζητήσεις σε μέσα κοινωνικής δικτύωσης ή κοινότητες (39%) και αρχεία και δημοσιογραφικές αναφορές (16,6%):

Οι πηγές των περιστατικών του πραγματικού κόσμου που περιλαμβάνονται στο RegretBench, χωρισμένες σε τρεις κατηγορίες. Το μεγαλύτερο μερίδιο προέρχεται από πλατφόρμες ανάπτυξης λογισμικού και παραγωγικότητας, ακολουθούμενες από συζητήσεις σε μέσα κοινωνικής δικτύωσης και κοινότητες, καθώς και από αρχεία και δημοσιογραφικές αναφορές.

Οι πηγές των περιστατικών του πραγματικού κόσμου που περιλαμβάνονται στο RegretBench, χωρισμένες σε τρεις κατηγορίες. 

Τα έξι μοντέλα αιχμής που αξιολογήθηκαν ήταν τα Claude Opus-5 και Claude Sonnet-5 στο Claude Code, τα GPT-5.6-Sol και GPT-5.6-Terra στο Codex, καθώς και τα Gemini 3.7-Flash και DeepSeek V4-Pro στο Hermes.

Σε όλες τις δοκιμές χρησιμοποιήθηκαν οι προεπιλεγμένες ρυθμίσεις συλλογισμού, ενώ η αυτόματη προστασία με αντίγραφα ασφαλείας περιορίστηκε σε στιγμιότυπα του χώρου εργασίας, ώστε να μπορούν να αποδοθούν στους ίδιους τους πράκτορες τυχόν πρόσθετα αντίγραφα ασφαλείας που δημιουργήθηκαν με δική τους πρωτοβουλία.

Για την αξιολόγηση των επιδόσεων χρησιμοποιήθηκαν δύο κριτές ΤΝ, οι οποίοι βασίζονταν και οι δύο στο Claude Sonnet-5. Το Ποσοστό Επιτυχούς Ολοκλήρωσης Εργασιών (PR) υπολογίστηκε με βάση το ποσοστό των εργασιών στις οποίες ικανοποιήθηκαν όλα τα αιτήματα των χρηστών. Για την αξιολόγηση των αντιγράφων ασφαλείας, ελέγχθηκε κάθε τροποποίηση εκτός του χώρου εργασίας (OOW), ώστε να διαπιστωθεί αν είχαν διατηρηθεί εκ των προτέρων επαρκείς πληροφορίες για την ανάκτηση.

Οι μετρικές αντιγράφων ασφαλείας που χρησιμοποιήθηκαν ήταν το Regret Moment Backup Rate (RMBR), το οποίο αποτυπώνει τις συγκεκριμένες ενέργειες που συνδέονται με καταγεγραμμένες απώλειες δεδομένων, και το Ποσοστό αντιγράφων ασφαλείας εκτός χώρου εργασίας (OWBR), το οποίο αποτυπώνει όλες τις αλλαγές που έγιναν πέρα από τον κατάλογο εργασίας του πράκτορα.

Οι αξιολογήσεις του κριτή αντιγράφων ασφαλείας ελέγχθηκαν επίσης σε αντιπαραβολή με ανθρώπινες επισημειώσεις, με αποτέλεσμα συμφωνία 95,3%.

Αποτελέσματα

Για να διαπιστωθεί αν η ανεπαρκής επίγνωση της ανάγκης δημιουργίας αντιγράφων ασφαλείας οφειλόταν στα μοντέλα ΤΝ ή στα πλαίσια που τα εκτελούσαν, τα Claude Opus-5, GPT-5.6-Sol και DeepSeek V4-Pro αξιολογήθηκαν αρχικά σε 60 εργασίες του RegretBench, στα Claude Code, Codex και Hermes.

Το ποσοστό των εργασιών στις οποίες δημιουργήθηκαν αντίγραφα ασφαλείας για κρίσιμα δεδομένα διέφερε ελάχιστα μεταξύ των πλαισίων, γεγονός που υποδηλώνει ότι την κύρια ευθύνη είχαν τα ίδια τα μοντέλα. Εξετάστηκε επίσης η σχέση μεταξύ της γενικής ικανότητας της ΤΝ και της επίγνωσης της ανάγκης δημιουργίας αντιγράφων ασφαλείας, με τη χρήση των GPT-5.4, GPT-5.5 και GPT-5.6-Sol.

Παρά τις διαδοχικές βελτιώσεις στη γενική ικανότητα, δεν διαπιστώθηκε αντίστοιχη βελτίωση στην επίγνωση της ανάγκης δημιουργίας αντιγράφων ασφαλείας:

Αποτελέσματα δοκιμών του RegretBench για έξι μοντέλα ΤΝ. Αριστερά: ποσοστά ολοκλήρωσης εργασιών σε σύγκριση με το ποσοστό των κρίσιμων ενεργειών για τις οποίες είχε δημιουργηθεί εκ των προτέρων αντίγραφο ασφαλείας· τα στοιχεία φανερώνουν υψηλά ποσοστά επιτυχίας, αλλά μικρή επίγνωση της ανάγκης δημιουργίας αντιγράφων ασφαλείας στα περισσότερα μοντέλα. Δεξιά: ο μέσος αριθμός κλήσεων εργαλείων ανά εργασία, με τις λειτουργίες δημιουργίας αντιγράφων ασφαλείας να επισημαίνονται με μπλε χρώμα. Το Claude Opus-5 πέτυχε το υψηλότερο ποσοστό δημιουργίας αντιγράφων ασφαλείας, αλλά το 8,9% των κλήσεων εργαλείων του αφορούσε τη δημιουργία αντιγράφων ασφαλείας.

Αποτελέσματα δοκιμών του RegretBench για έξι μοντέλα ΤΝ. Αριστερά: ποσοστά ολοκλήρωσης εργασιών σε σύγκριση με το ποσοστό των κρίσιμων ενεργειών για τις οποίες είχε δημιουργηθεί εκ των προτέρων αντίγραφο ασφαλείας· τα στοιχεία φανερώνουν υψηλά ποσοστά επιτυχίας, αλλά μικρή επίγνωση της ανάγκης δημιουργίας αντιγράφων ασφαλείας στα περισσότερα μοντέλα. Δεξιά: ο μέσος αριθμός κλήσεων εργαλείων ανά εργασία, με τις λειτουργίες δημιουργίας αντιγράφων ασφαλείας να επισημαίνονται με μπλε χρώμα. Το Claude Opus-5 πέτυχε το υψηλότερο ποσοστό δημιουργίας αντιγράφων ασφαλείας, αλλά το 8,9% των κλήσεων εργαλείων του αφορούσε τη δημιουργία αντιγράφων ασφαλείας.

Η σχέση μεταξύ της γενικής ικανότητας της ΤΝ και της επίγνωσης της ανάγκης δημιουργίας αντιγράφων ασφαλείας εξετάστηκε επίσης με τη χρήση των GPT-5.4, GPT-5.5 και GPT-5.6-Sol. Παρά τις διαδοχικές βελτιώσεις στη γενική ικανότητα, δεν διαπιστώθηκε αντίστοιχη βελτίωση στην επίγνωση της ανάγκης δημιουργίας αντιγράφων ασφαλείας.

BackUpper

Το BackUpper χρησιμοποιεί τέσσερα επίπεδα προστασίας, καθένα από τα οποία απαιτεί διαφορετικούς πόρους: το Επίπεδο 1 αντικαθιστά τις καταστροφικές εντολές με αναστρέψιμες εναλλακτικές, όπως τη μεταφορά αρχείων στον κάδο απορριμμάτων· το Επίπεδο 2 συνδυάζει τις ενέργειες με εντολές δημιουργίας αντιγράφων ασφαλείας, όπως την καταγραφή των εκδόσεων των πακέτων πριν από μια αναβάθμιση· το Επίπεδο 3 δημιουργεί στιγμιότυπα των αρχείων του χώρου εργασίας που επηρεάζονται· και το Επίπεδο 4 χρησιμοποιεί έναν υποπράκτορα GPT-5.6-Luna για να εντοπίζει και να διατηρεί δεδομένα που επηρεάζονται από πιο σύνθετες ενέργειες.

Με ενεργοποιημένο το BackUpper, καλύφθηκε κάθε ενέργεια που άλλαζε την κατάσταση και στα έξι μοντέλα. Χωρίς αυτό, τα μέσα ποσοστά δημιουργίας αντιγράφων ασφαλείας ήταν 15,2% για κρίσιμες ενέργειες και 17,4% για άλλες αλλαγές:

Κάλυψη με αντίγραφα ασφαλείας και αποτελέσματα αποκατάστασης με το BackUpper. Αριστερά: οι μπλε και πορτοκαλί ράβδοι δείχνουν τα ποσοστά δημιουργίας αντιγράφων ασφαλείας κάθε μοντέλου για κρίσιμες ενέργειες και άλλες αλλαγές εκτός του χώρου εργασίας. Τα σκούρα πράσινα διακεκομμένα περιγράμματα δείχνουν την ακρίβεια αποκατάστασης· οι ανοιχτοπράσινες διάστικτες γραμμές δείχνουν κάλυψη 100% με το BackUpper. Δεξιά: συγκρίνεται η ακρίβεια αποκατάστασης σε πέντε κατηγορίες εργαλείων με χρήση του BackUpper (πράσινο), η ανάκτηση στη συνέχεια με το Claude Opus-5 (μωβ) και η μη αποκατάσταση (γκρι). Το BackUpper πέτυχε σταθερά την υψηλότερη ακρίβεια.

Κάλυψη με αντίγραφα ασφαλείας και αποτελέσματα αποκατάστασης με το BackUpper. Αριστερά: οι μπλε και πορτοκαλί ράβδοι δείχνουν τα ποσοστά δημιουργίας αντιγράφων ασφαλείας κάθε μοντέλου για κρίσιμες ενέργειες και άλλες αλλαγές εκτός του χώρου εργασίας. Τα σκούρα πράσινα διακεκομμένα περιγράμματα δείχνουν την ακρίβεια αποκατάστασης· οι ανοιχτοπράσινες διάστικτες γραμμές δείχνουν κάλυψη 100% με το BackUpper. Δεξιά: συγκρίνεται η ακρίβεια αποκατάστασης σε πέντε κατηγορίες εργαλείων με χρήση του BackUpper (πράσινο), η ανάκτηση στη συνέχεια με το Claude Opus-5 (μωβ) και η μη αποκατάσταση (γκρι). Το BackUpper πέτυχε σταθερά την υψηλότερη ακρίβεια.

Από τα αντίγραφα ασφαλείας που ο αυτοματοποιημένος αξιολογητής έκρινε επιτυχημένα, το 94% επιβεβαιώθηκε ως επιτυχημένο και από ανθρώπινους αξιολογητές.

Η αρχική κατάσταση ανακτήθηκε με μέση ομοιότητα 92,2%, έναντι 33,8% με το Claude Opus-5 και 14,3% χωρίς ανάκτηση (βλ. εικόνα παραπάνω). Οι εναπομένουσες αποκλίσεις αποδόθηκαν κυρίως σε αναγνωριστικά που δημιουργήθηκαν εκ νέου και σε μικρές διαφορές στα μεταδεδομένα, όπως οι ενδείξεις ανάγνωσης των email, όπως αναφέρθηκε προηγουμένως.

Κάν’ το μόνος σου..?

Όταν δόθηκαν στους πράκτορες λεπτομερείς οδηγίες για να δημιουργούν μόνοι τους αντίγραφα ασφαλείας, προστατεύτηκε το 81,4% των κρίσιμων ενεργειών, έναντι 100% με το BackUpper. Τα τρία τέταρτα των αποτυχιών αποδόθηκαν στο ότι τα αντίγραφα ασφαλείας δεν περιείχαν αρκετές πληροφορίες για την ανάκτηση.

Σύγκριση των ποσοστών δημιουργίας αντιγράφων ασφαλείας με πέντε προσεγγίσεις, οι οποίες δοκιμάστηκαν σε 205 εργασίες με έξι μοντέλα ΤΝ. Το αριστερό διάγραμμα δείχνει τα αντίγραφα ασφαλείας που δημιουργήθηκαν πριν από ενέργειες για τις οποίες εκ των υστέρων υπήρξε μεταμέλεια· το δεξί δείχνει την προστασία άλλων αλλαγών εκτός του χώρου εργασίας. Το BackUpper πέτυχε πλήρη κάλυψη και στις δύο κατηγορίες, έναντι 81,4% και 80,5% όταν δόθηκαν στους πράκτορες λεπτομερείς οδηγίες για τη δημιουργία αντιγράφων ασφαλείας.

Σύγκριση των ποσοστών δημιουργίας αντιγράφων ασφαλείας με πέντε προσεγγίσεις, οι οποίες δοκιμάστηκαν σε 205 εργασίες με έξι μοντέλα ΤΝ. Το αριστερό διάγραμμα δείχνει τα αντίγραφα ασφαλείας που δημιουργήθηκαν πριν από ενέργειες για τις οποίες εκ των υστέρων υπήρξε μεταμέλεια· το δεξί δείχνει την προστασία άλλων αλλαγών εκτός του χώρου εργασίας. Το BackUpper πέτυχε πλήρη κάλυψη και στις δύο κατηγορίες, έναντι 81,4% και 80,5% όταν δόθηκαν στους πράκτορες λεπτομερείς οδηγίες για τη δημιουργία αντιγράφων ασφαλείας.

Με την προσωρινή αποθήκευση προτροπών, το κόστος δημιουργίας αντιγράφων ασφαλείας μειώθηκε από 0,344 δολάρια σε 0,014 δολάρια ανά εργασία, ενώ ο χρόνος απόκρισης μειώθηκε κατά 31,7%. Απαιτήθηκαν επτά φορές λιγότερα διακριτικά, κυρίως επειδή οι συνήθεις λειτουργίες εκτελούνταν χωρίς τη συνδρομή της ΤΝ.

Σε 40 επιπλέον εργασίες από τα Terminal-Bench 4 και DeepSWE, επιτεύχθηκε κάλυψη δημιουργίας αντιγράφων ασφαλείας 100% με τα GPT-5.6-Sol και Claude Opus-5, χωρίς να μειωθούν τα ποσοστά ολοκλήρωσης των εργασιών.

Οι τρεις πολιτικές επιλεκτικής δημιουργίας αντιγράφων ασφαλείας που αξιολογήθηκαν ήταν η Μεγάλου αντίκτυπου, για σημαντικές αλλαγές· η Πέρα από το αίτημα, για αλλαγές εκτός των οδηγιών του χρήστη· και η Ανθρώπινης εργασίας, για υλικό που έχει συντάξει άνθρωπος. Σε αυτή την αξιολόγηση, επιτεύχθηκε μέση βαθμολογία F1 84,5% σε σύγκριση με τις κρίσεις ανθρώπων.

Το BackUpper δοκιμάστηκε επίσης ως προς την ικανότητά του να μαθαίνει επαναχρησιμοποιήσιμους κανόνες δημιουργίας αντιγράφων ασφαλείας. Έπειτα από 30 επιπλέον εργασίες τερματικού, η κάλυψη βάσει κανόνων αυξήθηκε από 14,9% σε 31,2%, μειώνοντας την εξάρτηση από τον υποπράκτορα GPT-5.6-Luna.

Συμπέρασμα

Άργησα να ασχοληθώ με τους πειραματισμούς με πράκτορες, αν αναλογιστεί κανείς με τι ασχολούμαι επαγγελματικά· όμως, η ολοφάνερα προ-άλφα κατάσταση του αυτοπεριορισμού των πρακτόρων με απέτρεψε μέχρι πριν από λίγες εβδομάδες, όταν τελικά αποφάσισα να αφήσω το Codex ελεύθερο σε μια εικονική μηχανή Windows.

Ακόμη και μέσα σε εικονική μηχανή, οριοθετώ πολύ προσεκτικά τις οδηγίες μου, έχοντας επίγνωση της τάσης της Astra να προχωρά ακάθεκτη και απλώς να ζητά συγγνώμη όταν δεν υπάρχει τρόπος να ανακτηθούν τα δεδομένα ή να διορθωθεί ο κατεστραμμένος κώδικας· ένα μέρος του πλαισίου Python που αναπτύσσω εκεί είναι και μια λειτουργία με ένα κλικ για σταδιακή «αποθήκευση .7z σε κοινόχρηστο δικτυακό φάκελο» , η οποία συμπιέζει και δημιουργεί αντίγραφα ασφαλείας ολόκληρου του πλαισίου και την οποία χρησιμοποιώ συχνά.

Βρισκόμαστε ακόμη σε πολύ, πολύ πρώιμο στάδιο όσον αφορά την τεχνητή νοημοσύνη με αυτόνομους πράκτορες· χωρίς κουραστική και σχολαστική προσοχή στη λεπτομέρεια, ισχύει το «το χρησιμοποιείς και το χάνεις». Οι πρακτικές δημιουργίας αντιγράφων ασφαλείας για πράκτορες δεν έχουν ακόμη τυποποιηθεί — ούτε καν διαμορφωθεί.

 

* Με τίτλο Δημιουργήστε αντίγραφα ασφαλείας πριν το μετανιώσετε: μέτρηση της επίγνωσης της δημιουργίας αντιγράφων ασφαλείας και αυτοματοποίησή της σε πράκτορες προγραμματισμού.

† Οι τονισμοί είναι των συγγραφέων, όχι δικοί μου· οι υπερσύνδεσμοι προέρχονται από τις ενδοκειμενικές παραπομπές των συγγραφέων.

Πρώτη δημοσίευση: Πέμπτη, 22 Οκτωβρίου 2026

Συγγραφέας στον τομέα της μηχανικής μάθησης, ειδικός σε συνθετικές ανθρώπινες εικόνες. Πρώην επικεφαλής του τμήματος περιεχομένου έρευνας στην Metaphysic.ai, μέχρι τη διάλυσή της στην Brahma.ai της DNEG.
Ιστοσελίδα: martinanderson.ai
Επικοινωνία: martin@martinanderson.ai