Η AI Δεν Είναι Έτοιμη για την Πραγματική Εργασία: Γιατί τα Μοντέλα Αποτυγχάνουν σε Πολύπλοκες Εργασίες

Οι επενδυτές στη φούσκα της AI παρακαλούν τους επαγγελματίες λευκού γιακά να παραδώσουν τα πιο δύσκολα προβλήματά τους και υπόσχονται στους εργαζόμενους ότι θα ξανακερδίσουν τα απογεύματά τους εάν απλώς παραχωρήσουν λίγο περισσότερα από τα δεδομένα τους. Η πολύπλοκη ανάλυση, οι κρίσιμες αποφάσεις και οι ροές εργασίας που χρειάστηκαν χρόνια για να αναπτυχθούν απορροφώνται από ένα μοντέλο, υποτιθέμενα ελευθερώνοντας τους ανθρώπους για κάτι καλύτερο. Αυτή είναι η κυρίαρχη αφήγηση στην εταιρική Αμερική αυτή τη στιγμή, και είναι μια παγίδα. 

Το Μύθο της Ικανότητας: Γιατί τα Μοντέλα Αποτυγχάνουν σε Πολύπλοκες Εργασίες

Μια νέα μελέτη από το UC Berkeley έπεισε κορυφαία AI μοντέλα σε πραγματικές επαγγελματικές εργασίες σε 55 βιομηχανίες, από την υγειονομική περίθαλψη μέχρι τις χρηματοοικονομικές υπηρεσίες και το δίκαιο. Η συνολική απόδοση ήταν κάτω από το 25 τοις εκατό. Στη συνέχεια, οι ερευνητές απομόνωσαν την πιο δύσκολη εργασία σε κάθε πεδίο — το είδος της εργασίας που διαχωρίζει έναν ανώτερο επαγγελματία από έναν νεότερο — και κάθε μοντέλο απέτυχε. Οι βαθμολογίες δεν ήταν μόνο χαμηλές. Ήταν μηδενικές. 

Θα νομίζατε ότι ένα τέτοιο αποτέλεσμα θα είχε αλλάξει την αφήγηση από μόνο του, αλλά δεν το έχει κάνει. Σε όλες τις βιομηχανίες, οι επενδυτές AI έχουν πάρα πολλά να κερδίσουν από το να πείσουν τους επαγγελματίες ότι τα περισσότερα τρέχοντα μοντέλα AI είναι πιο προχωρημένα από ό,τι είναι στην πραγματικότητα. Αλλά η πιο ενδιαφέρουσα ερώτηση δεν είναι αν η AI μπορεί να κάνει τα πιο δύσκολα μέρη μιας δουλειάς σήμερα, επειδή εμείς, και όλοι όσοι πουλάνε AI, ήδη γνωρίζουμε την απάντηση σε αυτό. 

Άρα, αυτό οδηγεί σε μια άλλη ερώτηση. Τι συμβαίνει στη διακριτική ικανότητα ενός νέου επαγγελματία όταν αποδέχεται αυτήν την ανταλλαγή δεδομένων, πριν η δική του λογική έχει διαμορφωθεί πλήρως; 

Τα Ευρήματα του Μινεσότα: Πώς η AI Ισοσταθμίζει τις Δεξιότητες προς το Μέσο

Μια νέα εμπειρική μελέτη από τη Νομική Σχολή του Πανεπιστημίου του Μινεσότα προσφέρει μια πραγματική απάντηση, χρησιμοποιώντας το δίκαιο ως δοκιμαστική περίπτωση. Οι ερευνητές έκαναν περίπου εκατό προχωρημένους φοιτητές νομικής να περάσουν από μια σειρά ρεαλιστικών εργασιών: σύνθεση του δικαίου από ακατέργαστο υλικό, απάντηση σε ερωτήσεις κλειστού βιβλίου για να ελέγξουν τι είχαν απορροφήσει, εφαρμογή του δικαίου σε ένα σενάριο γεγονότων, και στη συνέχεια αναθεώρηση της δικής τους εργασίας. Μία ομάδα είχε πρόσβαση στην AI μόνο στα πολύ πρώτα και πολύ τελευταία βήματα. Η άλλη δεν είχε AI μέχρι το τέλος.

Οι φοιτητές που χρησιμοποίησαν AI για να δημιουργήσουν το πρώτο τους προσχέδιο παρήγαγαν πιο ισχυρή εργασία, και το έκαναν πιο γρήγορα, κάτι που δεν είναι εντελώς αξιοσημείωτο. Ωστόσο, το αξιοσημείωτο είναι το τι ακολούθησε. Οι ερευνητές περίμεναν ότι η πρώιμη χρήση AI θα άφηνε ένα κενό κατανόησης που θα εμφανιζόταν αργότερα όταν το εργαλείο αφαιρεθεί. Αυτό δεν συνέβη. Οι φοιτητές που είχαν χρησιμοποιήσει AI για να συνθέσουν το δίκαιο το κατανοούσαν καλύτερα από εκείνους που εργάστηκαν χωρίς αυτό, όταν ελέγχθηκαν σε ψυχρή δοκιμή. Η ανεξάρτητη λογική δεν διαβρώθηκε. Διατηρήθηκε, και σε ορισμένες περιπτώσεις βελτιώθηκε. 

Η ανατροπή ήρθε στο τελικό στάδιο, όταν κάθε φοιτητής είχε AI διαθέσιμη για να αναθεωρήσει την εργασία του. Οι φοιτητές που ξεκίνησαν με ένα πιο αδύναμο σημείωμα χρησιμοποίησαν αυτήν την πρόσβαση για να το βελτιώσουν ουσιαστικά. Οι φοιτητές που ξεκίνησαν με ένα πιο ισχυρό σημείωμα κατέστησαν χειρότερο. Αφήνοντας μόνο με ένα ικανό εργαλείο και χωρίς περαιτέρω δομή για το πώς να το χρησιμοποιήσουν, η δεξιότητα δεν συνάθροιζε αλλά ισοσταθμίζονταν προς το μέσο. 

Αυτές οι δύο μελέτες μαζί παρέχουν μια σκληρή αλήθεια: η AI δεν είναι υποκατάστατο της επαγγελματικής κρίσης, και οι αριθμοί του Berkeley πρέπει να τερματίσουν αυτή τη συζήτηση για πάντα. Αλλά η AI δεν είναι επίσης κάποια διαβρωτική δύναμη που κατασπαράζει τη λογική με την επαφή. Η επίδρασή της εξαρτάται εξ ολοκλήρου από το πού εμφανίζεται στη διαδικασία. 

Διαδοχή έναντι Αντικατάστασης: Διατήρηση της Κρίσης στον Πυρήνα

Αυτό ισχύει και εκτός του νομικού πεδίου. Κάθε γνώση‑πρόχειρο επάγγελμα τρέχει τη δική του έκδοση αυτού του πειράματος αυτή τη στιγμή: ο γιατρός που αποφασίζει αν θα αφήσει ένα μοντέλο να συντάξει μια διαφορική διάγνωση, ο αναλυτής που αποφασίζει αν θα αφήσει ένα μοντέλο να δημιουργήσει το πρώτο προσχέδιο ενός μοντέλου, και ο συνεργάτης που αποφασίζει αν θα αφήσει ένα μοντέλο να δομήσει ένα επιχείρημα πριν το επεξεργαστεί μόνος του. Τα αποτελέσματα του Μινεσότα υποδεικνύουν ότι η απάντηση δεν είναι ένα γενικό ναι ή όχι για όλες τις μορφές AI. Είναι μια ερώτηση διαδοχής. Η AI ανήκει στο αρχικό στάδιο της βαρετής εργασίας και των τμημάτων μιας δουλειάς που δημιουργούν τριβές, αλλά όχι στη λήψη αποφάσεων. Δεν ανήκει στο κέντρο του έργου για το οποίο ο πελάτης πληρώνει πραγματικά, και αυτή τη στιγμή δεν μπορεί να φτάσει εκεί, ακόμη και αν προσπαθήσει. 

Οι εταιρείες που εξακολουθούν να υπόσχονται το αντίθετο πουλούν μια έκδοση της AI που τα δεδομένα λένε ότι δεν υπάρχει. Όσοι χτίζουν τα προϊόντα τους και τις σχέσεις τους με τους πελάτες γύρω από τη γραμμή που η έρευνα πραγματικά σχεδιάζει, θα είναι εκείνοι που οι επαγγελματίες θα εξακολουθούν να εμπιστεύονται σε πέντε χρόνια. Όλοι οι άλλοι θα περάσουν αυτό το χρόνο εξηγώντας μια πολύ δαπανηρή παρεξήγηση.