Η iMerit λανσάρει την πλατφόρμα Scholars για την κλιμάκωση της εκπαίδευσης και αξιολόγησης ΤΝ με επικεφαλής ειδικούς

Ένα μοντέλο μπορεί να δώσει μια πειστική ιατρική εξήγηση ή μια εύστοχη απάντηση σε ένα μαθηματικό πρόβλημα και παρ’ όλα αυτά να κάνει ένα λάθος που μόνο ένας ειδικός θα αναγνωρίσει. Αυτή η ανάγκη για κρίση ειδικών βρίσκεται πίσω από την παρουσίαση από την iMerit της πλατφόρμας iMerit Scholars, ενός συστήματος σχεδιασμένου να οργανώνει τους ανθρώπους που εκπαιδεύουν, αξιολογούν και υποβάλλουν σε δοκιμασία προηγμένα μοντέλα τεχνητής νοημοσύνης.

Η εταιρεία, η οποία ανήκει στην EXL, ανακοίνωσε το λανσάρισμα στις 26 Οκτωβρίου, συγκεντρώνοντας σε μια ενιαία πλατφόρμα τη στρατολόγηση, την ένταξη, την αντιστοίχιση ειδικών, τις αναθέσεις έργων, την επικοινωνία και τις πληρωμές. Σύμφωνα με την ανακοίνωση, το υφιστάμενο πρόγραμμα Scholars περιλαμβάνει περισσότερους από 30.000 προσκεκλημένους και ελεγμένους επαγγελματίες από 118 χώρες, με γλωσσική κάλυψη 106 γλωσσών.

Η πλατφόρμα έχει σχεδιαστεί ώστε να διαχειρίζεται εκατοντάδες χιλιάδες ειδικούς καθώς αυξάνεται η ζήτηση. Αυτό αφορά την προβλεπόμενη επιχειρησιακή κλίμακα και διαφέρει από το σημερινό αναφερόμενο μέγεθος της κοινότητας. Άμεσος στόχος είναι να διευκολυνθεί ο συντονισμός εξειδικευμένης ανθρώπινης συνεισφοράς σε όλο τον κύκλο ζωής της ανάπτυξης και της διάθεσης μοντέλων.

Δημιουργώντας το ανθρώπινο δυναμικό που συμβάλλει στη βελτίωση των μοντέλων

Η κοινότητα Scholars περιλαμβάνει ειδικούς στην ιατρική, τα μαθηματικά, τη γεωργία, τη γλωσσολογία, τα αυτόνομα συστήματα και άλλους εξειδικευμένους τομείς. Οι ειδικοί αυτοί συμβάλλουν στην εποπτευόμενη λεπτομερή προσαρμογή, στην αξιολόγηση μοντέλων, στις δοκιμές red teaming και στην ενισχυτική μάθηση από ανθρώπινη ανατροφοδότηση, η οποία είναι ευρύτερα γνωστή ως RLHF.

Αυτές οι δραστηριότητες απαιτούν διαφορετικά είδη κρίσης. Η λεπτομερής προσαρμογή μπορεί να απαιτεί ένα προσεκτικά διαμορφωμένο παράδειγμα της απάντησης που θα πρέπει να δίνει ένα μοντέλο. Η αξιολόγηση εξετάζει κατά πόσο ένα αποτέλεσμα πληροί προκαθορισμένα κριτήρια. Οι δοκιμές red teaming διερευνούν σκόπιμα ένα σύστημα για να εντοπίσουν αστοχίες, ενώ η ανθρώπινη ανατροφοδότηση μπορεί να παρέχει προτιμήσεις και διορθώσεις που καθοδηγούν την επακόλουθη εκπαίδευση.

Επομένως, η αντιστοίχιση του κατάλληλου ατόμου με κάθε εργασία είναι εξίσου σημαντική με τη διεύρυνση της δεξαμενής ειδικών. Ένας κλινικός με γνώση ενός στενού ειδικού πεδίου μπορεί να εντοπίσει ένα σοβαρό λάθος που θα διέφευγε από έναν αξιολογητή με ευρύτερες γνώσεις. Ένας γλωσσολόγος μπορεί να αναγνωρίσει μια ασάφεια που χάνεται σε μια κατά λέξη μετάφραση.

Η νέα πλατφόρμα αντιστοιχίζει τα έργα με την εξειδίκευση στον αντίστοιχο τομέα και τις γνωστικές δεξιότητες, παρέχοντας παράλληλα την απαραίτητη διοικητική υποδομή για τη διατήρηση της συμμετοχής των ειδικών. Η iMerit περιγράφει τον στόχο ως τη δημιουργία μιας διαρκούς σχέσης με ειδικούς που εξοικειώνονται με το έργο και συμμετέχουν σε κύκλους ανατροφοδότησης.

«Χρειαζόμαστε ανθρώπους με αρκετές γνώσεις, όχι μόνο για να διδάσκουν τα μοντέλα, αλλά και για να αποδεικνύουν ότι κάνουν λάθος και να τα διορθώνουν», δήλωσε η Radha Basu, εκτελεστική αντιπρόεδρος και επικεφαλής της iMerit στην EXL.

Το Ango Hub συνδέει την κρίση των ειδικών με τα δεδομένα εκπαίδευσης

Η τεχνολογία που υποστηρίζει τη λειτουργία της πλατφόρμας Scholars είναι το Ango Hub, η πλατφόρμα της iMerit για την επισήμανση δεδομένων και την αξιολόγηση μοντέλων. Ρόλος της είναι να μετατρέπει την εργασία των ειδικών σε οργανωμένα, ελέγξιμα παραδοτέα, τα οποία μπορούν να ενταχθούν σε μια ροή εργασιών εκπαίδευσης ή αξιολόγησης.

Η υπάρχουσα τεκμηρίωση του Ango Hub περιγράφει ρυθμιζόμενες ροές εργασιών, τη δυνατότητα συμμετοχής πολλών επισημειωτών στο ίδιο στοιχείο, εργασίες αναφοράς και εργαλεία ελέγχου που επιτρέπουν στους αξιολογητές να αποδέχονται, να απορρίπτουν ή να διορθώνουν ετικέτες. Οι οδηγίες έργου και ένα σύστημα καταγραφής ζητημάτων βοηθούν τους αξιολογητές να επιλύουν απορίες, ενώ οι έλεγχοι πρόσβασης βάσει ρόλων καθορίζουν ποιος μπορεί να εργαστεί με συγκεκριμένα δεδομένα.

Η πλατφόρμα υποστηρίζει διάφορες μορφές δεδομένων, όπως εικόνες, βίντεο, ήχο, κείμενο, PDF και ιατρικά δεδομένα DICOM. Αυτό το εύρος έχει σημασία, καθώς η ανάπτυξη μοντέλων συνδυάζει όλο και περισσότερο τη γλώσσα με οπτικές, κλινικές ή πληροφορίες από τον φυσικό κόσμο. Η διεπαφή και η διαδικασία αξιολόγησης πρέπει να προσαρμόζονται στο υλικό που εξετάζει ο ειδικός.

Είναι χρήσιμο να διακρίνουμε τις δύο πλατφόρμες: το Scholars συντονίζει το ανθρώπινο δυναμικό των ειδικών και τη συνεργασία τους στα έργα, ενώ το Ango Hub παρέχει τα εργαλεία και τις ροές εργασιών μέσω των οποίων οι συνεισφορές των ειδικών μετατρέπονται σε αξιοποιήσιμα δεδομένα ΤΝ.

Από τη διόρθωση απαντήσεων στην αξιολόγηση ολόκληρων ροών εργασιών αυτόνομων πρακτόρων

Το Deep Reasoning Lab της iMerit προσφέρει μια πιο λεπτομερή εικόνα αυτής της διαδικασίας. Η εταιρεία αναφέρει ότι οι ειδικοί σχεδιάζουν σενάρια πολλών βημάτων, εξετάζουν τα αποτελέσματα των μοντέλων, κατηγοριοποιούν τα σφάλματα και παρέχουν διορθώσεις μαζί με επεξηγήσεις. Αυτά τα δομημένα παραδείγματα μπορούν να βοηθήσουν τους προγραμματιστές να εντοπίσουν πού ακριβώς σφάλλει μια απάντηση και να δημιουργήσουν στοχευμένο εκπαιδευτικό υλικό.

Τα ίχνη συλλογισμού είναι επιμελημένα τεκμήρια που δημιουργούνται και εξετάζονται για μια συγκεκριμένη εργασία. Δεν θα πρέπει να θεωρείται ότι αποκαλύπτουν κάθε εσωτερικό υπολογισμό που οδήγησε στην απάντηση ενός μοντέλου. Η πρακτική αξία τους έγκειται στο ότι καθιστούν τη διαδρομή αξιολόγησης και τις διορθώσεις της αρκετά σαφείς, ώστε να μπορούν να εξεταστούν και να επαναχρησιμοποιηθούν.

Η υπηρεσία αξιολόγησης αυτόνομων πρακτόρων της εταιρείας επεκτείνει την αξιολόγηση πέρα από την τελική απάντηση, καλύπτοντας τα βήματα σχεδιασμού, τις κλήσεις εργαλείων, τις ενδιάμεσες καταστάσεις και τα αποτελέσματα. Περιγράφει δομημένα κριτήρια αξιολόγησης και κρίση από ειδικούς για ζητήματα όπως η ολοκλήρωση εργασιών, η επιλογή εργαλείων, η τεκμηρίωση και τα όρια των πολιτικών.

Αυτό αποκτά σημασία όταν η ΤΝ μπορεί να αναλαμβάνει δράση. Ένας αυτόνομος πράκτορας μπορεί να συντάξει μια καλογραμμένη σύνοψη, χρησιμοποιώντας όμως λάθος εργαλείο ή αφήνοντας την υποκείμενη εργασία ανολοκλήρωτη. Η εξέταση της ακολουθίας των ενεργειών δίνει στους ειδικούς τη δυνατότητα να εντοπίζουν αυτές τις αστοχίες και να παρέχουν δομημένη ανατροφοδότηση στους προγραμματιστές.

Οι πληρωμές και η συνέχεια των έργων γίνονται μέρος της υποδομής

Η κυκλοφορία της πλατφόρμας ενσωματώνει επίσης το Trolley για πληρωμές σε όλο τον κόσμο. Η iMerit αναφέρει ότι η ενσωμάτωση υποστηρίζει ασφαλείς πληρωμές και διαδικασίες συμμόρφωσης για τη διεθνή κοινότητα ειδικών της.

Οι διαδικασίες πληρωμών μπορεί να φαίνονται άσχετες με την απόδοση των μοντέλων, επηρεάζουν όμως τη δυνατότητα ενός ειδικού να συμμετέχει με συνέπεια. Η πρόσληψη, η ένταξη, η πρόσβαση σε εργασίες και η αμοιβή αποτελούν λειτουργικές εξαρτήσεις όταν ένα έργο βασίζεται σε ειδικούς από πολλές χώρες.

Η πλατφόρμα συνδυάζει αυτές τις λειτουργίες με την αντιστοίχιση και την ενεργοποίηση των ειδικών, αντί να αφήνει κάθε ομάδα έργου να τις οργανώνει ξεχωριστά. Για τους πελάτες, το επιδιωκόμενο όφελος είναι ένα πιο συνεκτικό εργατικό δυναμικό και μια πιο σταθερή διαδικασία αξιολόγησης· για τους ειδικούς, είναι μια σαφέστερη διαδρομή από την ένταξή τους σε ένα έργο έως την ολοκλήρωση της εργασίας και την πληρωμή τους.

«Δεν περιορίζεστε απλώς στην επισήμανση δεδομένων· συμβάλλετε στη διαμόρφωση του τρόπου με τον οποίο αυτά τα συστήματα συλλογίζονται και συμπεριφέρονται στον τομέα σας», δήλωσε στην ανακοίνωση ο Pavel Kopach, M.D., ειδικός στην παθολογία στο Beth Israel Deaconess Medical Center και iMerit Scholar στον τομέα της τεχνητής νοημοσύνης στην υγεία.

Η EXL φέρνει στο προσκήνιο το πλαίσιο επιχειρησιακής εφαρμογής

Η κυκλοφορία της πλατφόρμας ακολουθεί την ολοκλήρωση της εξαγοράς της iMerit από την EXL, η οποία ανακοινώθηκε στις 3 Αυγούστου. Η EXL παρουσίασε τη συμφωνία ως συνδυασμό της τεχνογνωσίας στην εκπαίδευση και την αξιολόγηση μοντέλων με τα δεδομένα, το επιχειρησιακό πλαίσιο και τις δυνατότητές της στην υλοποίηση λύσεων τεχνητής νοημοσύνης για επιχειρήσεις.

Αυτό ανοίγει έναν ευρύτερο δρόμο προς την αγορά για το Scholars. Ο Basu δήλωσε ότι η iMerit επεκτείνεται πέρα από την ανάπτυξη μοντέλων αιχμής, σε ροές εργασιών στους τομείς των τραπεζικών υπηρεσιών, της υγειονομικής περίθαλψης και των ασφαλειών, όπου η προσαρμογή στον εκάστοτε τομέα, η εμπιστοσύνη και η ασφάλεια καθορίζουν αν η τεχνητή νοημοσύνη μπορεί να λειτουργήσει με επιτυχία σε παραγωγικό περιβάλλον.

Η νέα πλατφόρμα δεν αποδεικνύει από μόνη της ότι ένα μοντέλο είναι αξιόπιστο σε κάθε εξειδικευμένο περιβάλλον. Αντιμετωπίζει μια πιο συγκεκριμένη προϋπόθεση: την οργάνωση των ανθρώπων, των εργαλείων και της ανατροφοδότησης που απαιτούνται για να δοκιμαστεί ένα σύστημα με βάση τις απαιτήσεις του συγκεκριμένου περιβάλλοντος. Καθώς η τεχνητή νοημοσύνη ενσωματώνεται όλο και περισσότερο στις επαγγελματικές ροές εργασίας, η δυνατότητα εντοπισμού του κατάλληλου ειδικού, καταγραφής μιας χρήσιμης διόρθωσης και αξιοποίησης αυτής της γνώσης στην ανάπτυξη γίνεται ολοένα σημαντικότερο μέρος της τεχνολογικής υποδομής.