Η Scale AI λανσάρει σημείο αναφοράς για τον νομικό συλλογισμό στη Σιγκαπούρη με την IMDA

Η Scale AI και η Αρχή Πληροφορικής και Μέσων Ενημέρωσης της Σιγκαπούρης (IMDA) παρουσίασαν το SG-LegalClarify στις 12 Νοεμβρίου 2026, δοκιμάζοντας 19 γλωσσικά μοντέλα σε 1.860 σενάρια που κάλυπταν 10 τομείς του δικαίου της Σιγκαπούρης. Το σημείο αναφοράς εξετάζει τόσο τη νομική ακρίβεια όσο και το κατά πόσο τα μοντέλα ζητούν τα δεδομένα που λείπουν προτού απαντήσουν.

Η Scale περιγράφει το SG-LegalClarify ως την πρώτη ερευνητική πρωτοβουλία στο πλαίσιο συνεργασίας που επισημοποιήθηκε τον Απρίλιο του 2026 και παρουσιάστηκε δημόσια στις 7 Ιουλίου 2026. Στόχος του έργου είναι να βοηθήσει τις κυβερνήσεις να αξιολογούν συστήματα τεχνητής νοημοσύνης με βάση τους δικούς τους νόμους και θεσμούς, αντί να θεωρούν ότι τα αποτελέσματα σε διεθνή σημεία αναφοράς ισχύουν αυτομάτως σε κάθε εθνικό πλαίσιο.

Η ερευνητική εργασία παρουσιάζει τη Σιγκαπούρη ως απαιτητική δοκιμασία, επειδή το αγγλικό κοινό δίκαιο που κληρονόμησε συνυπάρχει με τοπικές τροποποιήσεις και νόμους ειδικά για τη Σιγκαπούρη. Έτσι, ένα μοντέλο που βασίζεται σε γενικευμένο συλλογισμό του κοινού δικαίου μπορεί να παραβλέψει τον εφαρμοστέο τοπικό κανόνα. Το SG-LegalClarify εξετάζει επίσης μια διαφορετική δεξιότητα: αν το μοντέλο μπορεί να κρίνει κατά πόσο ένα ερώτημα περιέχει αρκετές νομικά ουσιώδεις πληροφορίες ώστε να απαντηθεί.

Η διάκριση αυτή έχει σημασία και σε συνηθισμένα ερωτήματα. Ένας οδηγός που ρωτά για την ποινή υπέρβασης του ορίου ταχύτητας μπορεί να χρειάζεται να αναφέρει τον τύπο του οχήματος, την πραγματική ταχύτητα και τους υπάρχοντες βαθμούς ποινής. Ένας βοηθός που αναφέρει ποινή χωρίς αυτά τα στοιχεία μπορεί να δώσει μια απάντηση που ακούγεται έγκυρη, αλλά είναι νομικά λανθασμένη.

Ζεύγη ερωτήσεων εξετάζουν πότε τα μοντέλα ζητούν διευκρινίσεις

Το σύνολο δεδομένων ξεκινά με 1.100 ερωτήσεις-πηγές στα αγγλικά: 340 πλήρως προσδιορισμένες και 760 ανεπαρκώς προσδιορισμένες. Κάθε ανεπαρκώς προσδιορισμένη ερώτηση έχει ένα αντίστοιχο πλήρως προσδιορισμένο ερώτημα που περιλαμβάνει τα κρυφά δεδομένα. Τις ερωτήσεις συνέταξαν 23 επαληθευμένοι δικηγόροι, επτά από τους οποίους συμμετείχαν και ως αξιολογητές. Η νομική τους εμπειρία κυμαινόταν από δύο έως 37 χρόνια, με διάμεσο τα έξι χρόνια.

Για κάθε ερώτηση, δικηγόρος συνέταξε ένα πλαίσιο αξιολόγησης που καλύπτει τον εντοπισμό του νομικού ζητήματος, την ανάκληση του κανόνα, την εφαρμογή του και το συμπέρασμα, με συνολικά 12.546 κριτήρια σε όλο το σύνολο δεδομένων. Από αυτά, το 89,0% είναι υποχρεωτικά για μια ουσιαστικά ορθή απάντηση· στα βασικά αποτελέσματα υπολογίζονται μόνο τα υποχρεωτικά κριτήρια.

Ένα αρχικό φίλτρο επάρκειας ζητά πρώτα από κάθε μοντέλο να επιλέξει αν θα απαντήσει απευθείας ή αν θα συλλέξει περισσότερα δεδομένα. Όταν επιλέγει τη συλλογή δεδομένων, ένας προσομοιωμένος χρήστης αποκαλύπτει τα κρυφά στοιχεία μόνο αν το μοντέλο τα ζητήσει ρητά. Μια επιτροπή τριών μοντέλων τεχνητής νοημοσύνης, η οποία επιλέχθηκε μέσω συγκρίσεων με αξιολογήσεις ανθρώπων δικηγόρων, βαθμολογεί κάθε κριτήριο με βάση την πλειοψηφία.

Η αναζήτηση βελτίωσε τις βαθμολογίες, αλλά οι διευκρινίσεις παρέμειναν αδύναμο σημείο

Η εργασία αναφέρει ότι το Claude Fable 5 βρέθηκε στην πρώτη θέση στις δοκιμές χωρίς εξωτερικές πληροφορίες, ικανοποιώντας το 69,8% των υποχρεωτικών κριτηρίων, έναντι μέσου όρου 53,8%. Με αναζήτηση στον ιστό, το Kimi K3 βρέθηκε στην πρώτη θέση με 77,8%, ενώ ο μέσος όρος ανέβηκε στο 63,0%· όλα τα μοντέλα βελτιώθηκαν, αν και τα κέρδη διέφεραν. Η ανάκληση κανόνων ήταν το πιο αδύναμο στοιχείο της αξιολόγησης, με ποσοστά επιτυχίας 43,2% χωρίς αναζήτηση και 56,5% με αναζήτηση.

Σύμφωνα με τη σύνοψη της Scale, σε περίπου 39% των σεναρίων χωρίς εξωτερικές πληροφορίες, όπου έλειπαν δεδομένα, τα μοντέλα δεν έθεσαν καμία διευκρινιστική ερώτηση, ενώ σε περίπου 28% των σεναρίων που περιείχαν ήδη αρκετές πληροφορίες έθεσαν περιττές ερωτήσεις. Όταν έλειπαν δεδομένα, τα μοντέλα ρωτούσαν κατά μέσο όρο για μόλις το 39% των σχετικών στοιχείων που είχαν εντοπίσει οι νομικοί εμπειρογνώμονες.

Σε περιγραφική σύγκριση δοκιμών με δυνατότητα αναζήτησης στον ιστό, στις οποίες τα μοντέλα ζήτησαν όλα τα σχετικά δεδομένα που έλειπαν, η εργασία αναφέρει ότι το 55,6% κατέληξε στο σωστό νομικό συμπέρασμα, το 32,1% σε λανθασμένο συμπέρασμα και το 12,3% δεν κατέληξε σε κανένα συμπέρασμα. Επομένως, η πλήρης συλλογή πληροφοριών δεν διασφάλισε την ορθή εφαρμογή του νόμου.

Περιορισμοί της αξιολόγησης και σχέδια δημοσίευσης

Οι συγγραφείς επισημαίνουν αρκετούς περιορισμούς των αποτελεσμάτων: η ανθρώπινη επικύρωση των βοηθητικών εργαλείων τεχνητής νοημοσύνης ήταν περιορισμένη, οι διαφορές μεταξύ παρόχων δεν επέτρεψαν την παροχή πανομοιότυπης πρόσβασης σε εργαλεία αναζήτησης και η αρχική δρομολόγηση ενδέχεται να επηρέασε τη συμπεριφορά των μοντέλων ως προς τις διευκρινίσεις. Δεν είναι απαραίτητη κάθε επισημασμένη μεταβλητή που λείπει για την επίλυση μιας περίπτωσης, επομένως η ελλιπής κάλυψη των αιτημάτων παροχής στοιχείων δεν υποδηλώνει αυτομάτως ανεπαρκή αναζήτηση διευκρινίσεων.

Οι ερευνητές σχεδιάζουν να δημοσιεύσουν το 50% των ερωτήσεων-πηγών σε κάθε κατηγορία, κρατώντας τις υπόλοιπες για ιδιωτική αξιολόγηση και διασφαλίζοντας ότι κάθε ζεύγος ανεπαρκώς και πλήρως προσδιορισμένων ερωτήσεων παραμένει στο ίδιο υποσύνολο. Σχεδιάζεται επίσης η δημοσίευση των αποτελεσμάτων των μοντέλων στο δημόσιο υποσύνολο και της διαδικασίας αξιολόγησης.

Η δήλωση δεοντολογίας της εργασίας αναφέρει ότι οι βαθμολογίες δεν πρέπει να ερμηνεύονται ως ένδειξη ότι ένα μοντέλο είναι ασφαλές για την παροχή νομικών συμβουλών χωρίς επίβλεψη. Για τις κυβερνήσεις που αξιολογούν συστήματα τεχνητής νοημοσύνης για νομικές χρήσεις, τα ευρήματα καθιστούν τις διευκρινίσεις μέρος του ζητήματος της ακρίβειας: ένα σύστημα πρέπει να αναγνωρίζει ποια δεδομένα θεωρεί ουσιώδη η τοπική νομοθεσία και κατόπιν, αφού τα συγκεντρώσει, να εφαρμόζει σωστά τον νόμο.