Γιατί η AI δυσκολεύεται να αναλάβει μια ημιτελή εργασία

Αν και τα συστήματα AI μπορούν να λύσουν σύνθετα προβλήματα, μια νέα μελέτη δείχνει ότι δυσκολεύονται να συνεχίσουν την εργασία που έχει ξεκινήσει άλλος, οδηγώντας σε διπλό εργατικό φορτίο, αργότερη πρόοδο και μεγαλύτερο κόστος.

Ένα από τα πιο εξαντλητικά αλλά απαραίτητα καθήκοντα στη διαχείριση συστημάτων AI και διεπαφών είναι ότι το σύστημα AI χρειάζεται να ενημερωθεί για το πλαίσιο στην αρχή της συνομιλίας, σχεδόν σε κάθε περίπτωση.

Ενώ δημοφιλή μοντέλα γλωσσών όπως το ChatGPT προσφέρουν μερική πρόσβαση σε “μόνιμες” προσαρμοσμένες μνήμες, η εφαρμογή είναι συνήθως αβέβαιη και ασυνεπής; στο τέλος, είναι συνήθως ασφαλέστερο να αποδεχτείτε την προσπάθεια να δώσετε πλαίσιο στην εργασία για το σύστημα AI – τουλάχιστον, για να το εμποδίσετε να μαντέψει λανθασμένο πλαίσιο από τον εκπαιδευμένο λανθάνοντα χώρο.

Αναλαμβάνοντας εργασία στον πραγματικό κόσμο

Η πρόκληση προηγήθηκε του AI, φυσικά; πολλές εταιρείες ήδη απαιτούν από το προσωπικό να διατηρούν τεκμηρίωση σχετικά με τις διαδικασίες που αναπτύσσουν ή βελτιώνουν (μερικώς για ομαλότερη ενσωμάτωση, αλλά επίσης για να αποφευχθεί η απόκτηση διαπραγματευτικής ισχύος από τους υπαλλήλους).

Ωστόσο, στην πράξη, είναι συχνά μόνο οι μεγαλύτερες και καλύτερα χρηματοδοτούμενες εταιρείες που τιμούν την υποχρέωση να δημιουργούν, ενημερώνουν και διατηρούν τεκμηρίωση. Πολύ συχνά, αντίθετα, οι υπάλληλοι που απαιτείται να πάρουν την εργασία των άλλων δίνονται μια εργασία “ντετέκτιβ” που απαιτεί από αυτούς να ανασυνθέσουν προσεκτικά τη χρονική ακολουθία που οδήγησε στην εγκαταλελειμμένη εργασία που τους έχει δοθεί.

Ανεπιφύλακτα, η τεκμηρίωση θα σώσει ημέρες, εβδομάδες ή ακόμη και μήνες εργασίας – αν μόνο ήταν μια οικονομικά ορθολογική πρόταση.

Ωστόσο, όπου τα συστήματα AI είναι οι ενεργοί δρώντες που ενδιαφέρονται, μπορεί να υπάρχει μεγαλύτερος χώρος για να λυθεί το πρόβλημα.

Παράδοση

Το βάρος της “ατεκμηρίωσης” ποσοτικοποιείται σε μια νέα έρευνα από τις ΗΠΑ, η οποία ονομάζει το πρόβλημα χρέος παράδοσης.

Εάν το τεχνικό χρέος είναι το σύνδρομο όπου οι γρήγορες και φτηνές λύσεις σήμερα οδηγούν σε εύθραυστες ή δύσκολες να διατηρηθούν λύσεις στο μέλλον, τότε το χρέος παράδοσης ορίζει το κόστος ανακάλυψης – την εγκληματολογική ανασκαφή των βημάτων ενός εργαζόμενου ή οντότητας που δεν είναι διαθέσιμη για να συμβουλεύσει (εχθρική απόλυση, υπερβολικά απασχολημένος, νεκρός, κ.λπ.) ή αλλιώς δεν είναι σε θέση να συμβουλεύσει (για παράδειγμα, ένα LLM που έχει ήδη απορρίψει το πλαίσιο που οδήγησε στην τρέχουσα κατάσταση της εργασίας).

Η νέα μελέτη^† – μια συνεργασία μεταξύ ανεξάρτητων και ερευνητών του Georgia State University – ασχολείται με το χρέος παράδοσης όπως εφαρμόζεται στους πράκτορες προγραμματισμού που έχουν ανατεθεί να πάρουν την εργασία από όπου άλλη συνεδρία, άτομο ή οντότητα έχει σταματήσει σε μια βάση κώδικα.

Ένα από τα στόχους της εργασίας είναι να καθορίσει ακριβώς πόση τεκμηρίωση είναι απαραίτητη για να μειώσει το χρέος παράδοσης και ποιες διαδικασίες και πρωτόκολλα θα μπορούσαν να συστηθούν ως τυποποιημένη πρακτική στο μέλλον, για να ελαττώσουν το ζήτημα.

Προβλήματα Προϋπολογισμού

Σε ένα ιδανικό κόσμο, θα μπορούσαμε να ορίσουμε το logging σε “verbose” και να δώσουμε στον νεοεισερχόμενο πράκτορα (αυτόν που πάρει την εργασία) τα logs σχετικά με την ημιτελή εργασία.

Ωστόσο, η ανάλυση ενός τέτοιου όγκου δεδομένων σε χρήσιμα δεδομένα θα ήταν χρονοβόρα και θα κατανάλωνε επίσης τον προϋπολογισμό token – καθώς και τους περιορισμούς του χώρου αποθήκευσης.

Αυτή είναι ένα πρόβλημα προϋπολογισμού, γιατί η χρήση ακατέργαστων εξαγωγών δεδομένων είναι εξαντλητική, ενώ η χρήση επιμελημένων αρχείων καταγραφής είναι λιγότερο συγκεχυμένη, αλλά απαιτεί προηγούμενη δέσμευση πόρων.

Σωστές, αφιερωμένες σημειώσεις θα ήταν πολύ αποτελεσματικές για να φέρουν τον πράκτορα που αναλαμβάνει την εργασία στο σημείο εκκίνησης, αλλά με το κόστος μιας ακόμη μεγαλύτερης δέσμευσης προσπάθειας – προσπάθειας που μπορεί να μην χρειαστεί ποτέ, αν η λογική της εργασίας αποδειχθεί αυτονόητη, ή αν η εργασία εγκαταλειφθεί, ή δεν αναθεωρηθεί ποτέ ξανά.

Οι συγγραφείς της νέας εργασίας, με τίτλο Χρέος Παράδοσης: Το Κόστος Επανανακάλυψης Όταν Πράκτορες Προγραμματισμού Αναλαμβάνουν Διακοπείσες Εργασίες, έχουν εξετάσει όλα αυτά τα σενάρια και έχουν προσαρμόσει υφιστάμενους μοντέλους εργασιών σε νέους τρόπους για να μετρήσουν και να αντιμετωπίσουν το χρέος παράδοσης. Αν και η εργασία ασχολείται συγκεκριμένα με πράκτορες προγραμματισμού, μπορεί να δείξει χρήσιμους δρόμους προς τα εμπρός σε ευρύτερα πλαίσια χρήσης της τεχνητής νοημοσύνης και σε πρωτόκολλα τεκμηρίωσης.

Οι συγγραφείς δηλώνουν:

‘Το χρέος παράδοσης προκύπτει όταν ένας πράκτορας κάνει ορατή πρόοδο αλλά αφήνει κατάσταση που ένας διάδοχος δεν μπορεί εύκολα να συνεχίσει από, όπως ασαφείς επεξεργασίες, πρόχειρα αρχεία εργασίας, κρυφές υποθέσεις, ή ελλείποντα στοιχεία επαλήθευσης.’

‘Ένας δείκτης που βασίζεται μόνο στην τελική επίλυση δεν μπορεί να διακρίνει μεταξύ δαπανηρής ανακάλυψης και αποτελεσματικής συνέχειας.

‘Δύο προηγούμενοι πράκτορες μπορεί να αφήσουν το ίδιο αποθετήριο αποθηκευμένο σε σημείο ελέγχου, αλλά οι διάδοχοί τους μπορεί να αντιμετωπίσουν πολύ διαφορετικά κόστη συνέχειας: ένας μπορεί να συνεχίσει αμέσως, ενώ ένας άλλος πρέπει να ξοδέψει πολλές αλληλεπιδράσεις με εργαλεία για να ανακαλύψει την πρόθεση από τα πρόχειρα αρχεία εργασίας και το ελλιπές ιστορικό εντολών.’

Μέθοδος

Οι συγγραφείς ορίζουν προηγούμενο ως τον προηγούμενο πράκτορα (αυτόν που ξεκίνησε ή τελευταίος ανέλαβε την εργασία) και διάδοχο ως τον τρέχοντα πράκτορα (αυτόν που έχει ανατεθεί να πάρει την εργασία).

Για την υποστήριξη ενός σύνολο δοκιμών αξιολόγησης που σχεδιάστηκε για να μετρήσει το κόστος της μεταφοράς ημιτελών εργασιών ανάπτυξης λογισμικού μεταξύ πρακτόρων, 75 εργασίες από SWE-bench Verified μετατράπηκαν σε 181 παράδοση σενάρια, κάθε ένα από τα οποία αντιπροσωπεύει ένα σημείο όπου η εργασία είχε διακοπεί και είχε παραδοθεί σε έναν διάδοχο πράκτορα. Τρεις διαφορετικοί διάδοχοι μοντέλων δοκιμάστηκαν σε 2.172 προσπάθειες.

Τα μοντέλα που χρησιμοποιήθηκαν, και ποικιλικά αναμιγμένα σε αυτές τις δοκιμές, ήταν Qwen, Gemma, και Devstral.

Οι πειραματικές δοκιμές εξέτασαν τέσσερα επίπεδα κληρονομούμενων πληροφοριών: στην πιο περιοριστική ρύθμιση, ο διάδοχος έλαβε μόνο την κατάσταση του αποθετηρίου (ουσιαστικά, περπατώντας σε μια ατεκμηρίωτη “περιοχή καταστροφής”). Άλλες ρυθμίσεις παρείχαν αυξανόμενη λεπτομέρεια, από ίχνη δραστηριότητας και ιστορικά εντολών, σε συμπυκνωμένες περίληψεις που περιγράφουν τι είχε ήδη προσπαθήσει και μάθει:

Αντί να επικεντρωθούν μόνο στο αν μια εργασία τελικά λύθηκε, η μελέτη σχεδιάστηκε για να μετρήσει το κόστος της συνέχειας, με προσοχή στη χρήση εργαλείων, κατανάλωση token, και την ποσότητα της προσπάθειας που απαιτείται για να ανακατασκευαστεί η λογική πίσω από την προηγούμενη εργασία.

Τρεις ορισμούς ανίχνευσης σημείου παράδοσης και τρεις καταστάσεις παράδοσης ορίστηκαν για τις πειραματικές δοκιμές:

Δεδομένα και Δοκιμές

Για να δημιουργηθούν πραγματικά σενάρια παράδοσης, το σύνολο δοκιμών αξιολόγησης των συγγραφέων κατασκευάστηκε από 75 εργασίες λογισμικού από SWE-Bench Verified, με έμφαση σε προβλήματα που συνήθως λαμβάνουν μεταξύ 15 λεπτών και 4 ωρών για να λυθούν.

Αντί να αξιολογούν μόνο τις ολοκληρωμένες εργασίες, οι ερευνητές κατέγραψαν πολλαπλά ενδιάμεσα checkpoints κατά τη διάρκεια της εργασίας, δημιουργώντας καταστάσεις όπου ένας πράκτορας AI έπρεπε να πάρει την εργασία από έναν άλλο:

Κατασκευή του σύνολο δοκιμών αξιολόγησης. Εβδομήντα πέντε SWE-bench Verified εργασίες επεκτάθηκαν σε 181 σενάρια παράδοσης, που καλύπτουν τρεις φάσεις της εργασίας, επισημασμένες σύμφωνα με την κατάσταση του αποθετηρίου την ώρα της παράδοσης, και αξιολογήθηκαν υπό τέσσερις συνθήκες ανταλλαγής πληροφοριών, παράγοντας 2.172 συνολικά δοκιμές διαδόχων πρακτόρων. Πηγή

Επειδή κάθε εργασία θα μπορούσε να παράγει πολλά σενάρια παράδοσης, και κάθε παράδοση δοκιμάστηκε χρησιμοποιώντας τέσσερις διαφορετικές μορφές μεταφερόμενων πληροφοριών, το σύνολο δοκιμών αξιολόγησης επεκτάθηκε γρήγορα, με το τελικό σύνολο δεδομένων να αποτελείται από 181 διαφορετικά σενάρια παράδοσης, και 724 αξιολογήσεις διαδόχων πρακτόρων για κάθε μοντέλο διαδόχου, παράγοντας 2.172 συνολικά δοκιμές διαδόχων σε τρία διαφορετικά συστήματα AI που δοκιμάστηκαν.

Ένα περιβάλλον κωδικοποιητή τύπου OpenHands χρησιμοποιήθηκε για τις δοκιμές, με ενέργειες τερματικού, παγίωση αποθετηρίου σε σημεία παράδοσης, επεξεργασία αρχείων, και επίσημη επαλήθευση από το σύνολο δοκιμών αξιολόγησης SWE-Bench.

Στη κύρια μελέτη, τα σημεία παράδοσης προέρχονται όλα από Qwen-βασισμένες προηγούμενες εκτελέσεις, για να παρέχουν ένα σταθερό σημείο εκκίνησης για να αξιολογηθεί η διαφορά μεταξύ των διαφορετικών συνδυασμών πρακτόρων και των ποικίλων σενάριων.

Δοκιμές διαδόχων που δοκιμάστηκαν ήταν Qwen-to-Qwen; Qwen-to-Gemma; και Qwen-to-Devstral.

Ακατέργαστο ίχνος παρήγαγε τις μεγαλύτερες μειώσεις στη προσπάθεια του διαδόχου, μειώνοντας τα γεγονότα του πράκτορα κατά 57-59%, ενώ Σημειώσεις περίληψης και Δομημένες σημειώσεις μειώθηκαν τα γεγονότα κατά 20-46%. Η χρήση token prompt επίσης μειώθηκε σε όλες τις προσεγγίσεις, με μειώσεις που κυμαίνονταν από 42-63%:

Κάτω από τις παραδόσεις Μόνο αποθετήριο, οι διάδοχοι πράκτορες έπρεπε να ξοδέψουν επιπλέον αλληλεπιδράσεις για να ανακατασκευάσουν την πρόθεση του προηγούμενου, προηγούμενες αποδείξεις, και αποτυχημένες προσπάθειες. Ακατέργαστο ίχνος, Σημειώσεις περίληψης, και Δομημένες σημειώσεις μετέφεραν μέρος αυτής της πληροφορίας απευθείας, μειώνοντας την ποσότητα της ανακάλυψης που απαιτείται, αν και με το κόστος μεγαλύτερων αρχικών prompts.

Για να δοκιμάσουν αν τα οφέλη ήταν πραγματικά, κάθε πλούσια παράδοση αντιστοιχίστηκε με μια παράδοση μόνο αποθετήριο που ξεκίνησε από το ίδιο σημείο. Σε όλα τα ζεύγη μοντέλων, οι πλούσιες παραδόσεις μείωναν σταθερά την εργασία που απαιτείται από τους διαδόχους πρακτόρων.

Οι πλήρεις ιχνηλάτες παρήγαγαν τις μεγαλύτερες μειώσεις, ενώ οι σημειώσεις περίληψης και δομημένες σημειώσεις επίσης παρείχαν σημαντικές εξοικονομήσεις. Η επίδραση φάνηκε σε όλο το σύνολο δοκιμών αξιολόγησης και όχι να οδηγείται από λίγες εξαιρετικές περιπτώσεις:

Για να επιβεβαιώσουν ότι η επίδραση δεν οδηγούνταν από λίγες εξαιρετικές περιπτώσεις, οι ερευνητές σύγκριναν κάθε παράδοση με μια αντίστοιχη παράδοση μόνο αποθετήριο που ξεκίνησε από το ίδιο σημείο. Οι μειώσεις παρέμειναν συνεχείς σε όλα τα ζεύγη μοντέλων, υποδεικνύοντας ότι τα οφέλη αντανακλούν ένα σημαντικό μοτίβο, και όχι λίγες εξαιρετικές περιπτώσεις.

Τι κρατάμε;

Εν συντομία^†, οι συγγραφείς βρήκαν ότι όταν ένας πράκτορας AI παραδίδει μια εργασία σε έναν άλλο, ακόμη και απλές σημειώσεις βοηθούν τον δεύτερο πράκτορα να συνεχίσει πιο αποτελεσματικά.

Πλήρεις εγγραφές του τι συνέβη λειτουργούν καλύτερα, αλλά οποιαδήποτε πληροφορία παράδοσης είναι καλύτερη από το να αφήσει τον διάδοχο να ανακατασκευάσει όλα από τον κώδικα μόνο; και τα αποτελέσματα παραπάνω εικονογραφούν ότι η “πλήρης” προσέγγιση ακατέργαστου αρχείου καταγραφής έχει αναπόφευκτα υψηλότερο κόστος token.

Συμπέρασμα

Αν και το έγγραφο είναι απευθείας προς τους ερευνητές, με περιορισμένο ενδιαφέρον για τον καθημερινό αναγνώστη, η νέα εργασία αντιμετωπίζει ένα από τα πιο ενδιαφέροντα και επείγοντα προβλήματα σχετικά με την τρέχον τεχνολογικό επίπεδο στις διεπαφές και πρωτόκολλα ανθρώπου-AI.

Θα ήταν ευχάριστο αν τα πρότυπα που αναπτύχθηκαν και οι γνώσεις που αποκτήθηκαν σε αυτό το είδος της έρευνας θα μπορούσαν να επεκταθούν σε ένα ευρύτερο πλαίσιο χρήσης της τεχνητής νοημοσύνης, πέρα από τον προγραμματισμό με πράκτορες.

Ένας επιπλέον δρόμος εξερεύνησης θα μπορούσε να είναι για μελλοντικά έργα να εξετάσουν τρόπους για να αξιολογήσουν ποιο επίπεδο τεκμηρίωσης θα μπορούσε να θεωρηθεί το ελάχιστο για ένα συγκεκριμένο έργο, με βάση τα χαρακτηριστικά και την περίπτωση χρήσης του. Ωστόσο, ακόμη και αυτή η λειτουργία, η οποία θα βοηθούσε να εξορθολογίσει την δαπάνη χρόνου και χρημάτων, κοστίζει χρόνο και χρήματα; και έτσι το δίλημμα προϋπολογισμού που εμπλέκεται στα σενάρια τεκμηρίωσης παραμένει δύσκολο να αποφευχθεί.

* Προσωπικά, για τις συνεδρίες ChatGPT που επιβαρύνονται με καθυστερήσεις και έχουν υπερβολικό πλαίσιο, έχω αρχίσει να εξάγω (με κάποια δυσκολία) ένα καθαρό PDF της συνομιλίας και να το χρησιμοποιώ ως σημείο εκκίνησης για μια νέα συνεδρία, η οποία γίνεται ‘μέρος 2’.

^† Δυστυχώς, αυτό δεν είναι το πιο προσιτό έγγραφο που έχω διαβάσει φέτος, και για αυτόν το λόγο δεν μπορώ να συστήσω στον αναγνώστη το αρχικό έργο, αν και τα συνοψισμένα αποτελέσματα παραμένουν ενδιαφέροντα.

Πρώτη δημοσίευση Τετάρτη, 3 Ιουνίου 2026