Ο δείκτης αξιολόγησης της Vals AI για τη νομική συνδρομή δείχνει ότι τα μοντέλα υστερούν στην παροχή τοπικής βοήθειας

Οι NextLadder Ventures και Vals AI ανακοίνωσαν τον Δείκτη Αξιολόγησης Πρόσβασης στη Δικαιοσύνη στις 10 Νοεμβρίου 2026, αναφέροντας ότι κανένα από τα 23 μοντέλα τεχνητής νοημοσύνης δεν έφτασε το όριο του 80% για να θεωρηθεί αξιόπιστο ως πρώτο σημείο επαφής σε 252 σενάρια νομικής συνδρομής.

Τα αποτελέσματα και η μεθοδολογία του δείκτη αξιολόγησης αναδεικνύουν μια έντονη απόκλιση ανάμεσα στην εξήγηση του νόμου και στον εντοπισμό πρακτικής βοήθειας. Η Vals AI αναφέρει ότι τα μοντέλα πληρούσαν το 78% έως 87% των κριτηρίων των ειδικών για γενικές νομικές εξηγήσεις, αλλά μόλις το 30% έως 50% για τον εντοπισμό συγκεκριμένων πόρων, όπως ένα τοπικό πρόγραμμα νομικής συνδρομής, ένα κέντρο αυτοεξυπηρέτησης δικαστηρίου ή ένα συγκεκριμένο έντυπο. Είκοσι ένα μοντέλα υπέδειξαν έναν εθνικό κατάλογο, όπως το LawHelp.org, την υπηρεσία Find Legal Help της ABA ή το 211, σε τουλάχιστον 70% των τελικών απαντήσεών τους, αντί να εντοπίζουν με συνέπεια το σχετικό τοπικό πρόγραμμα ή γραφείο.

Η κοινή ανακοίνωση κατατάσσει πρώτο το Qwen 3.8 Max, με το 76,4% των κριτηρίων να πληρούνται, και ακολουθούν το Claude Sonnet 5.5 με 74,9% και το Wonder Full με 74,7%, ενώ οι επιδόσεις και των τριών βρίσκονται εντός του περιθωρίου σφάλματος η μία της άλλης. Αυτή η συγκέντρωση των αποτελεσμάτων σημαίνει ότι η αριθμητική σειρά κατάταξης δεν αναδεικνύει ξεκάθαρο νικητή.

Η Meghana Kotcherlakota, ερευνήτρια στη Vals AI, αντιπαρέβαλε το έργο με δείκτες αξιολόγησης νομικής τεχνητής νοημοσύνης που εστιάζουν σε δικηγορικά γραφεία και εταιρικούς πελάτες: «Δημιουργήσαμε τον Δείκτη Αξιολόγησης Πρόσβασης στη Δικαιοσύνη για να δείξουμε πόσο καλά εξυπηρετούν αυτά τα μοντέλα τους ανθρώπους που χρειάζονται περισσότερο βοήθεια, πρόβλημα προς πρόβλημα, και να παρακολουθούμε αν βελτιώνονται».

Η ανακοίνωση τοποθετεί τα αποτελέσματα στο πλαίσιο της μελέτης του 2022 για το χάσμα στη δικαιοσύνη της Legal Services Corporation, σύμφωνα με την οποία οι Αμερικανοί με χαμηλά εισοδήματα δεν έλαβαν καθόλου ή έλαβαν ανεπαρκή νομική βοήθεια για το 92% των αστικών νομικών τους υποθέσεων. Από όσους δεν αναζήτησαν βοήθεια, το 46% ανέφερε ως αιτία το κόστος. Η έρευνα βασίστηκε σε δημοσκόπηση περίπου 5.000 ενηλίκων, την οποία διεξήγαγε η NORC στο University of Chicago, καθώς και σε στοιχεία από οργανισμούς νομικής συνδρομής που χρηματοδοτούνται από την εταιρεία.

Πώς βαθμολόγησε ο δείκτης την παροχή βοήθειας κατά την πρώτη επαφή

Ο δείκτης αξιολόγησης αντιμετωπίζει κάθε μοντέλο ως πρώτο σημείο επαφής, αντίστοιχο με έναν υπάλληλο υποδοχής ή ένα κέντρο αυτοεξυπηρέτησης δικαστηρίου, που παρέχει γενικές νομικές πληροφορίες και όχι νομικές συμβουλές. Δύο επαγγελματίες του νομικού κλάδου υπέβαλαν ερωτήματα από πραγματικές υποθέσεις και στη συνέχεια έξι ειδικοί στη νομική συνδρομή τα προσαρμόσαν στις πολιτείες που τους είχαν ανατεθεί: Καλιφόρνια, Λουιζιάνα, Βιρτζίνια, Νέα Υόρκη, Μέριλαντ και Τέξας. Οι ειδικοί συνέταξαν τις αρχικές ερωτήσεις, τα στοιχεία του ιστορικού που αποκρύπτονταν εκτός αν προέκυπταν από τη συζήτηση, βαθμολογίες δυσκολίας και κριτήρια αξιολόγησης, τα οποία περιλάμβαναν κατά μέσο όρο 15,4 ανεξάρτητα κριτήρια.

Το πλήρες σύνολο δεδομένων περιλαμβάνει 504 σενάρια, χωρισμένα ισόποσα ανάμεσα στο δημόσιο σύνολο δοκιμών και σε ένα ιδιωτικό σύνολο επικύρωσης. Κάθε υπό αξιολόγηση μοντέλο μπορούσε να κάνει αναζητήσεις στον ιστό, να ανοίγει σελίδες και να υποβάλλει ερωτήσεις σε έναν προσομοιωμένο πελάτη του GPT-5, προτού ο Decider v1.2, ένας αυτοματοποιημένος αξιολογητής, βαθμολογήσει ολόκληρη τη συνομιλία. Παρεχόταν μόνο η πληροφορία που ζητούσε το υπό αξιολόγηση μοντέλο, ενώ ο προσομοιωμένος πελάτης ούτε πρόσθετε άλλα στοιχεία ούτε αμφισβητούσε εσφαλμένες παραδοχές. Η βαθμολογία ενός μοντέλου ήταν το συνολικό ποσοστό των κριτηρίων αξιολόγησης που πληρούσε στα σενάρια δοκιμών.

Οι επιλογές στη συνομιλία και στις πηγές αποκάλυψαν αδυναμίες

Οι νόμοι, οι δικαστικοί κανονισμοί και η νομολογία αντιστοιχούσαν στο 42% των σελίδων που διάβασαν τα μοντέλα, ενώ οι ιστότοποι νομικής συνδρομής και αυτοβοήθειας μη κερδοσκοπικών οργανισμών αντιστοιχούσαν στο 10%. Η Vals AI συνδέει αυτό το μοτίβο με τη διαφορά στις βαθμολογίες: η ανάγνωση νόμων μπορεί να υποστηρίξει μια γενική σύνοψη, αλλά δεν παρέχει το όνομα του οργανισμού ή του δικαστικού γραφείου με το οποίο θα πρέπει να επικοινωνήσει στη συνέχεια ο χρήστης.

Η ανάλυση συνομιλιών της Vals AI έδειξε ότι ο μέσος όρος ήταν περίπου 3,5 ανταλλαγές μηνυμάτων, με τα περισσότερα μοντέλα να δίνουν ολοκληρωμένη απάντηση ήδη στην πρώτη τους απόκριση, πριν κάνουν ερωτήσεις — αν έκαναν καθόλου. Το GPT-6.1 Sol ολοκλήρωνε την πρώτη του απόκριση με ερώτηση στο 88% των περιπτώσεων, αλλά κατατάχθηκε 18ο, με 68,1%, ως προς την άντληση πληροφοριών, δηλαδή το κριτήριο αξιολόγησης για το κατά πόσο ένα μοντέλο ζητούσε τα απαιτούμενα στοιχεία. Η αντίθεση δείχνει ότι οι συχνές ερωτήσεις δεν έφερναν κατ’ ανάγκη στο φως τα στοιχεία που είχαν ορίσει οι ειδικοί. Τα μοντέλα που δεν έκαναν ερωτήσεις μερικές φορές υπέθεταν στοιχεία, όπως την πολιτεία στην οποία βρισκόταν ο χρήστης ή αν υπήρχε ήδη δικαστική απόφαση.

Στα αποτελέσματα ανά θεματική ενότητα της Vals AI, οι υποθέσεις στέγασης και σχέσεων ιδιοκτήτη-ενοικιαστή συγκέντρωσαν την υψηλότερη βαθμολογία, 75,4% σε όλα τα μοντέλα, ενώ οι δημόσιες παροχές τη χαμηλότερη, 57,3%, αν και η συγκεκριμένη κατηγορία περιλάμβανε μόλις πέντε σενάρια. Το οικογενειακό δίκαιο περιλάμβανε 110 σενάρια και είχε μέσο όρο 71,2%· στο πλαίσιό του, η επικοινωνία με τα παιδιά βαθμολογήθηκε με 61,3% και η συγγενική αναδοχή με εμπλοκή υπηρεσιών προστασίας παιδιών με 63,0%.

Δύο παραδείγματα στην ανακοίνωση δείχνουν πώς αυτές οι αδυναμίες επηρέασαν την καθοδήγηση. Σε υπόθεση μικροδιαφορών στη Λουιζιάνα, η οποία αφορούσε προφορική υπόσχεση αποπληρωμής, μόνο οκτώ μοντέλα ρώτησαν αν το χρέος σχετιζόταν με ακίνητο, τέσσερα προειδοποίησαν ότι η παρέλευση της προθεσμίας των 10 ετών για την κατάθεση αγωγής θα απέκλειε την είσπραξη και τρία παρέπεμψαν τον χρήστη στον ιστότοπο του γραμματέα του δικαστηρίου για τα έντυπα αξίωσης και απαλλαγής από τα δικαστικά τέλη. Σε σενάριο στη Νέα Υόρκη σχετικά με εγγύηση ενοικίου, όπου ο ενοικιαστής είχε ήδη μετακομίσει, 14 μοντέλα έχασαν βαθμούς επειδή συνέστησαν ως βήμα μια εξώδικη επιστολή απαίτησης, ενέργεια την οποία τα κριτήρια αξιολόγησης των ειδικών προειδοποιούσαν να αποφεύγεται, και μόνο τέσσερα παρέπεμψαν τον ενοικιαστή στο δημοτικό πρόγραμμα «Δικαίωμα σε νομική εκπροσώπηση».

Βαθμολογίες δωρεάν και επί πληρωμή μοντέλων

Σε ξεχωριστή σύγκριση μεγάλων παρόχων chatbot, η εκτιμώμενη ομάδα δωρεάν βαθμίδας της Vals AI είχε μέσο όρο 69,7%, έναντι 70,4% για τα μοντέλα ανώτερης βαθμίδας. Το Claude Sonnet 5.5 σημείωσε βαθμολογία κατά 1,2 ποσοστιαίες μονάδες υψηλότερη από το Claude Opus 5.5, ενώ μόνο το μοντέλο ανώτερης βαθμίδας της xAI παρουσίασε σαφές πλεονέκτημα έναντι του μοντέλου δωρεάν βαθμίδας του παρόχου του. Οι αντιστοιχίσεις των βαθμίδων στη σύγκριση είναι εκτιμήσεις και όχι επιβεβαιωμένες αντιστοιχίσεις παρόχων, ενώ οι ίδιες δοκιμές API δεν μπορούν να αποτυπώσουν πλήρως τη συμπεριφορά των chatbot για καταναλωτές· τα μοντέλα με ανοικτά βάρη δεν συμπεριλήφθηκαν.

Οι οργανισμοί ανέφεραν ότι συνεργάζονται για μια πληρέστερη ανάλυση και ένα επιπλέον ενημερωτικό σημείωμα, με στόχο να βοηθήσουν τους επαγγελματίες πρώτης γραμμής να κατανοήσουν τα κενά που εξακολουθούν να υπάρχουν. Για τους οργανισμούς νομικής αρωγής που αξιολογούν αυτά τα συστήματα, η πρακτική σημασία είναι ότι η επεξήγηση του νόμου αποτελεί μόνο ένα μέρος της απόδοσης κατά την πρώτη επαφή: το σημείο αναφοράς αξιολογεί επίσης κατά πόσο τα μοντέλα αναδεικνύουν γεγονότα που μπορούν να αλλάξουν την έκβαση της υπόθεσης και προτείνουν ένα συγκεκριμένο επόμενο βήμα σε τοπικό επίπεδο.