Πόσο καλά είναι τα AI agents στο πραγματικό ερευνητικό έργο; Μέσα στην αναφορά του Deep Research Bench

Καθώς τα μεγάλες γλωσσικές μοντέλα (LLMs) εξελίσσονται ταχύτατα, così και η υπόσχεσή τους ως ισχυρά ερευνητικά βοηθήματα. Όλο και περισσότερο, δεν απαντούν μόνο σε απλές ερωτήσεις γεγονότων – αλλά αντιμετωπίζουν “βαθιά έρευνα” εργασίες, οι οποίες περιλαμβάνουν πολυστάθμια σκέψη, αξιολόγηση αντικρουόμενων πληροφοριών, πηγή δεδομένων από όλο το διαδίκτυο και σύνθεση τους σε eine συνεκτική έξοδο.

Αυτή η αναδυόμενη ικανότητα πωλείται τώρα με διαφορετικά ονόματα εμπορικών σημάτων από μεγάλα εργαστήρια – η OpenAI την ονομάζει “Βαθιά Έρευνα”, η Anthropic την αναφέρει ως “Επεκτάμενη Σκέψη”, το Gemini της Google (GOOGL ) προσφέρει χαρακτηριστικά “Αναζήτηση + Pro” και η Perplexity την ονομάζει “Pro Αναζήτηση” ή “Βαθιά Έρευνα”. Αλλά πόσο αποτελεσματικά είναι αυτές οι προσφερόμενες υπηρεσίες στην πράξη; Μια νέα αναφορά από το FutureSearch, με τίτλο Βαθιά Έρευνα Bench (DRB): Αξιολόγηση Εργαζομένων Ερευνητικών Πρακτόρων, προσφέρει την πιο αυστηρή αξιολόγηση μέχρι σήμερα – και τα αποτελέσματα αποκαλύπτουν τόσο εντυπωσιακές ικανότητες όσο και κρίσιμες ελλείψεις.

Τι είναι το Deep Research Bench;

Δημιουργημένο από την ομάδα του FutureSearch, το Deep Research Bench είναι ένα προσεκτικά κατασκευασμένο σημείο αναφοράς που προορίζεται για την αξιολόγηση της απόδοσης των AI agents σε πολυστάθμια, web-βασισμένες ερευνητικές εργασίες. Αυτές δεν είναι απλές ερωτήσεις με απλές απαντήσεις – αντανακλούν τις ανοικτές, ασαφείς προκλήσεις που αντιμετωπίζουν οι αναλυτές, οι υπεύθυνοι λήψης αποφάσεων και οι ερευνητές σε πραγματικές συνθήκες.

Το σημείο αναφοράς περιλαμβάνει 89 ξεχωριστές εργασίες σε 8 κατηγορίες, όπως:

• Βρείτε Αριθμό: π.χ. “Πόσες ανακληθείσες ιατρικές συσκευές κατηγορίας II της FDA συνέβησαν;”
• Επικυρώστε Δήλωση: π.χ. “Είναι το ChatGPT 10 φορές πιο ενεργοβόρο από την αναζήτηση της Google;”
• Συγκεντρώστε Δεδομένα: π.χ. “Τάσεις εργασίας για προγραμματιστές λογισμικού στις ΗΠΑ από το 2019 έως το 2023”

Κάθε τύπος εργασίας είναι προσεκτικά δομημένος με ανθρωπογενείς επικυρωμένες απαντήσεις και αξιολογείται χρησιμοποιώντας ένα παγωμένο σύνολο σελίδων web, γνωστό ως RetroSearch. Αυτό εξασφαλίζει τη συνεχή αξιολόγηση των μοντέλων, αποφεύγοντας την ασταθή κατάσταση του ζωντανού διαδικτύου.

Η Αρχιτεκτονική του Πρακτόρα: ReAct και RetroSearch

Στην καρδιά του Deep Research Bench βρίσκεται η αρχιτεκτονική ReAct, που σημαίνει “Σκέψη + Δράση”. Αυτή η μέθοδος μιμείται τον τρόπο με τον οποίο ένας ανθρώπινος ερευνητής μπορεί να αντιμετωπίσει ένα πρόβλημα – σκέφτοντας το πρόβλημα, εκτελώντας μια δράση όπως μια αναζήτηση στο διαδίκτυο, παρατηρώντας τα αποτελέσματα και στη συνέχεια αποφασίζοντας αν θα επαναλάβει ή θα ολοκληρώσει.

Ενώ τα παλαιότερα μοντέλα ακολουθούν αυτή τη διαδικασία ρητά, τα νεότερα “σκέφτοντα” μοντέλα συχνά ροκανίζουν τη διαδικασία, ενσωματώνοντας τη σκέψη πιο ρευστά στις δράσεις τους. Για να εξασφαλιστεί η συνεχή αξιολόγηση, το DRB εισάγει το RetroSearch – μια προσαρμοσμένη, στατική εκδοχή του διαδικτύου. Αντί να βασίζονται στο ζωντανό διαδίκτυο, το οποίο αλλάζει συνεχώς, οι πρακτορες συνδέονται με ένα κατηλογημένο αρχείο σελίδων web, που έχουν συλλεχθεί χρησιμοποιώντας εργαλεία όπως Serper, Playwright και ScraperAPI. Η κλίμακα είναι εντυπωσιακή: για εργασίες υψηλής πολυπλοκότητας, όπως η “Συγκέντρωση Ευρημάτων”, το RetroSearch μπορεί να παρέχει πρόσβαση σε πάνω από 189.000 σελίδες, όλες παγωμένες στο χρόνο, εξασφαλίζοντας ένα δίκαιο και αναπαραγώγιμο περιβάλλον δοκιμών.

Ποια AI Agents Επιδίδουν την Καλύτερη Απόδοση;

Μεταξύ όλων των διεκδικητών, το o3 της OpenAI αναδείχθηκε ως ο κορυφαίος επιδότης, σκοράροντας 0,51 από τα πιθανά 1,0 στο Deep Research Bench. Αν και αυτό μπορεί να ακούγεται μετριοπαθές, είναι σημαντικό να κατανοηθεί η δυσκολία του σημείου αναφοράς: λόγω αμφιβολίας στις ορισμοί των εργασιών και της βαθμολογίας, ακόμη και ένας άψογος πρακτορας θα μπορούσε να φτάσει μέχρι το 0,8 – αυτό που οι ερευνητές ονομάζουν “οροφή θορύβου”. Με άλλα λόγια, ακόμη και τα καλύτερα μοντέλα σήμερα παραμένουν πίσω από τους ενημερωμένους, μεθοδικούς ανθρώπινους ερευνητές.

Παρά ταύτα, το leaderboard προσφέρει αποκαλυπτικές εντυπώσεις. Το o3 όχι μόνο ηγήθηκε της ομάδας αλλά και έδειξε ταχύτητα και συνεχή απόδοση, με ισχυρή απόδοση σε σχεδόν όλους τους τύπους εργασιών. Το Claude 3.7 Sonnet από την Anthropic ακολούθησε στενά, αποδεικνύοντας ευελιξία και στις “σκέφτοντες” και στις “μη σκέφτοντες” λειτουργίες. Το Gemini 2.5 Pro, το φλαγκσίπ μοντέλο της Google, ξεχώρισε για την ικανότητά του να αντιμετωπίζει εργασίες που απαιτούν δομημένη σχεδίαση και βήμα προς βήμα σκέψη. Εν τω μεταξύ, το ανοιχτό βαρύ DeepSeek-R1 παρέδωσε μια ευχάριστη έκπληξη – κρατώντας το ρυθμό με το GPT-4 Turbo και στενεύοντας το χάσμα απόδοσης μεταξύ ανοιχτών και κλειστών μοντέλων.

Σε όλη την πλάτη, ένα σαφές μοτίβο εμφανίστηκε: τα νεότερα, “σκέφτοντα” μοντέλα υπερέβησαν συνεχώς τους προηγούμενους ομόλογούς τους, και τα κλειστά μοντέλα διατήρησαν μια αξιοσημείωτη προβάδισμα έναντι των ανοιχτών εναλλακτικών.

Πού Εχουν οι Πρακτορες Δυσκολίες;

Η ανάγνωση των μοτίβων αποτυχίας που υπογραμμίζονται στην αναφορά του Deep Research Bench ένιωθε आश्चαρτικά οικεία. Ένα από τα πιο ενοχλητικά σημεία που έχω συναντήσει προσωπικά – ιδιαίτερα κατά τη διάρκεια μακρών ερευνών ή συνεδριών δημιουργίας περιεχομένου – είναι όταν ένας AI πρακτορας απλώς ξεχνά τι κάναμε. Όσο το παράθυρο контекστού επεκτείνεται, το μοντέλο συχνά αρχίζει να χάνει το νήμα: κρίσιμες λεπτομέρειες εξαφανίζονται, οι στόχοι μπερδεύονται και τα απαντήματα γίνονται ασύνδετα ή άσκοπα. Σε κάποιο σημείο, έχω μάθει ότι είναι συχνά καλύτερο να κόψω τις απώλειες και να ξεκινήσω από την αρχή, ακόμη και αν αυτό σημαίνει να ρίψω όλα όσα έχουν παραχθεί μέχρι τώρα.

Αυτή η λήθη δεν είναι απλώς ανεκδοτική – είναι ο πιο σημαντικός προβλέψιμος παράγοντας αποτυχίας στην αξιολόγηση του Deep Research Bench. Αλλά δεν είναι το μόνο επαναλαμβανόμενο ζήτημα. Η αναφορά επίσης υπογραμμίζει πώς κάποια μοντέλα πέφτουν σε επαναλαμβανόμενη χρήση εργαλείων, τρέχοντας την ίδια αναζήτηση ξανά και ξανά σαν να ήταν παγιδευμένα σε einen βρόχο. Άλλα δείχνουν κακή κατασκευή ερωτήσεων, απλώς ταιριάζοντας λέξεις-κλειδιά αντί να σκέφτονται κριτικά για το πώς να αναζητήσουν αποτελεσματικά. Και πολύ συχνά, οι πρακτορες πέφτουν θύματα πρόωρων συμπερασμάτων – παραδίδοντας μια ημιτελή απάντηση που τεχνικά ελέγχει το κουτί αλλά λείπει πραγματικής εντύπωσης.

Ακόμη και μεταξύ των κορυφαίων μοντέλων, οι διαφορές είναι δραματικές. Το GPT-4 Turbo, για παράδειγμα, έδειξε μια αξιοσημείωτη τάση να ξεχνά προηγούμενα βήματα, ενώ το DeepSeek-R1 ήταν πιο πιθανό να ολοκληρώσει ή να εφεύρει πιθανές-ηχητικές-αλλά-λανθασμένες πληροφορίες. Σε όλη την πλάτη, τα μοντέλα απέτυχαν συχνά να ελέγξουν πηγές ή να επικυρώσουν ευρήματα πριν από την ολοκλήρωση της εξόδου τους. Για όποιον έχει βασιστεί στο AI για σοβαρή δουλειά, αυτά τα ζητήματα θα φανούν πολύ οικεία – και υπογραμμίζουν πόσο ακόμη πρέπει να προχωρήσουμε στην κατασκευή πρακτόρων που μπορούν πραγματικά να σκέφτονται και να ερευνούν σαν άνθρωποι.

Τι Σχετικά με την Απόδοση με Βάση τη Μνήμη;

Ενδιαφέροντα, το Deep Research Bench αξιολόγησε επίσης τι ονομάζει “εργαζόμενους” πρακτόρες – γλωσσικά μοντέλα που λειτουργούν χωρίς πρόσβαση σε εξωτερικά εργαλεία, όπως αναζήτηση στο διαδίκτυο ή ανάκτηση εγγράφων. Αυτοί οι πρακτορες βασίζονται εξ ολοκλήρου στα εσωτερικά δεδομένα εκπαίδευσης και στη μνήμη, παράγοντας απαντήσεις με βάση μόνο ό,τι έχουν μάθει κατά τη διάρκεια της εκπαίδευσης. Στην πράξη, αυτό σημαίνει ότι δεν μπορούν να ψάξουν τίποτα ή να επικυρώσουν πληροφορίες – απλώς κάνουν εκτιμήσεις με βάση ό,τι “θυμούνται”.

Εκπληκτικά, αυτοί οι εργαζόμενοι πρακτορες επιτύγχαναν σχεδόν τόσο καλά όσο και οι πλήρεις ερευνητικοί πρακτορες σε ορισμένες εργασίες. Για παράδειγμα, στην εργασία “Επικύρωση Δήλωσης” – όπου ο στόχος είναι να αξιολογήσει τη πιθανότητα μιας δήλωσης – σκοράροντας 0,61, σχεδόν ισάξιο με το 0,62 μέσο όρο των εργαζομένων πρακτόρων με εργαλεία. Αυτό υποδηλώνει ότι μοντέλα όπως το o3 και το Claude έχουν ισχυρά εσωτερικά προκαταλήψιμα και μπορούν συχνά να αναγνωρίσουν την αλήθεια δηλώσεων χωρίς να χρειάζονται να ψάξουν στο διαδίκτυο.

Αλλά σε πιο απαιτητικές εργασίες – όπως η “Απόδοση Αριθμού”, που απαιτεί τη σύνθεση πολλών τιμών από διάφορες πηγές, ή η “Συγκέντρωση Ευρημάτων”, που εξαρτάται από την εύρεση και την αξιολόγηση διαφόρων事实在 контекστο – αυτοί οι εργαζόμενοι πρακτορες απέτυχαν完全. Χωρίς νέα πληροφορίες ή δυνατότητες αναζήτησης σε πραγματικό χρόνο, απλώς έλλειψαν τα μέσα για να παράγουν ακριβείς ή ολοκληρωμένες απαντήσεις.

Αυτή η αντίθεση υπογραμμίζει μια σημαντική νюάνς: ενώ τα σημερινά LLMs μπορούν να μιμούνται “γνώση” πολλά, η βαθιά έρευνα εξαρτάται όχι μόνο από ανάκληση, αλλά και από σκέψη με ενημερωμένες, επικυρωμένες πληροφορίες – κάτι που μόνο οι εργαζόμενοι πρακτορες με εργαλεία μπορούν πραγματικά να προσφέρουν.

Τελικές Σκέψεις

Η αναφορά του DRB κάνει ένα πράγμα σαφές: ενώ τα καλύτερα AI agents σήμερα μπορούν να ξεπεράσουν τους μέσους ανθρώπους σε στενά ορισμένες εργασίες, παραμένουν πίσω από τους ικανούς ερευνητές-γενικούς – ιδιαίτερα όταν πρόκειται για στρατηγική σχεδίαση, προσαρμογή κατά τη διάρκεια της διαδικασίας και σκέψη με νюάνς.

Αυτό το χάσμα γίνεται ιδιαίτερα εμφανές κατά τη διάρκεια μακρών ή σύνθετων συνεδριών – κάτι που έχω βιώσει προσωπικά, όπου ένας πρακτορας σταδιακά χάνει το νήμα της εργασίας, οδηγώντας σε μια ενοχλητική κατάρρευση της συνεκτικότητας και της χρησιμότητας.

Τι κάνει το Deep Research Bench τόσο πολύτιμο είναι ότι δεν ελέγχει μόνο την επιφανειακή γνώση – αλλά διεισδύει στην τομή της χρήσης εργαλείων, της μνήμης, της σκέψης και της προσαρμογής, προσφέροντας μια πιο κοντινή αναλογία με την πραγματική έρευνα από σημεία αναφοράς όπως το MMLU ή το GSM8k.

Καθώς τα LLMs συνεχίζουν να ενσωματώνονται σε σοβαρή εργασία γνώσεων, εργαλεία του FutureSearch όπως το DRB θα είναι απαραίτητα για την αξιολόγηση όχι μόνο ό,τι γνωρίζουν αυτά τα συστήματα, αλλά και πόσο καλά λειτουργούν στην πράξη.