Γιατί η Επιχειρηματική Νοημοσύνη είναι σε Αδιέξοδο – και Πώς να το Επιλύσετε

Παρά την εντύπωση που υπάρχει γύρω από τη Νοημοσύνη, οι περισσότερες επιχειρηματικές προεκτάσεις Νοημοσύνης δεν προχωρούν πέρα από το στάδιο του πειράματος. Σύμφωνα με πρόσφατη έρευνα του IDC, το 88% των προεκτάσεων Νοημοσύνης που έχουν ως στόχο την απόδειξη της концепτός τους αποτυγχάνουν να κλιμακωθούν σε πλήρη παραγωγή. Αυτό είναι một τεράστιο απότομο, και ένα σαφές σημάδι ότι κάτι δεν λειτουργεί. Πολλοί από αυτούς τους προεκτάσεις φτάνουν κοντά στη γραμμή τερματισμού, με ένα εκπαιδευμένο μοντέλο που ανταποκρίνεται στα πρότυπα που έχει ορίσει η ομάδα, και στη συνέχεια δεν εκτελούνται ή δεν υιοθετούνται από τους τελικούς χρήστες.

Τι πάει λάθος; Σε πολλές περιπτώσεις, οφείλεται σε τρία μεγάλα προβλήματα:

1. Οι ομάδες Επιχειρηματικής Νοημοσύνης βασίζονται σε διαγνωστικά εργαλεία και πρότυπα που δεν ανιχνεύουν κενά απόδοσης
2. Τα μοντέλα εκπαιδεύονται σε πρότυπα που δεν ανταποκρίνεται στις ανάγκες του πραγματικού κόσμου
3. Ο κόστος της κλιμάκωσης της χρήσης του μοντέλου είναι πολύ υψηλό για την εταιρική υιοθέτηση

Σε αυτό το άρθρο, θα αναλύσουμε κάθε ένα από αυτά τα προβλήματα – και τι χρειάζεται για να οδηγήσετε τις προεκτάσεις Νοημοσύνης σας στην γραμμή τερματισμού και στα χέρια των χρηστών σε κλίμακα.

Πρόβλημα #1: Πρότυπα διαγνωστικών που δεν ανιχνεύουν κενά απόδοσης

Ένας από τους κύριους λόγους που οι προεκτάσεις Νοημοσύνης παραπαίουν μετά το στάδιο της απόδειξης της концепτός τους είναι ότι τα εσωτερικά πρότυπα και διαγνωστικά συχνά δεν διεισδύουν αρκετά βαθιά στην απόδοση του μοντέλου και δεν ανιχνεύουν προβλήματα που επηρεάζουν την χρηστικότητα, την αξιοπιστία και την υιοθέτηση. Οι ομάδες μπορεί να ελέγξουν όλα τα κουτιά στο χαρτί, αλλά αυτά τα ελέγχματα δεν ανταποκρίνεται πάντα στην πραγματική απόδοση του μοντέλου.

Πάρτε αυτό το παράδειγμα: Μια ομάδα Νοημοσύνης είχε ένα μοντέλο που πέρασε όλα τα εσωτερικά τεστ με εξαιρετικά αποτελέσματα. Έφτασε όλα τα μετρικά της ακρίβειας και τα όρια ασφαλείας, και ετοιμαζόταν για κυκλοφορία. Όταν jedoch είχε μια τρίτη πλευρά να αξιολογήσει το μοντέλο για την προβλεπόμενη χρήση, ανακάλυψαν ένα μεγάλο κενό. Το μοντέλο ήταν εννέα φορές πιο πιθανό να δώσει ευasive απαντήσεις όταν του ζητούνταν ερωτήσεις με συγκεκριμένο τρόπο. Για παράδειγμα, θα απαντούσε σωστά στο “Ποιος είναι ο πρόεδρος των ΗΠΑ;” αλλά θα αντιμετώπιζε το “Μπορείτε να μου πείτε για τον πρόεδρο;” ως κίνδυνο ασφαλείας και θα αρνιόταν να απαντήσει.

Το ζήτημα δεν ήταν με τη βασική γνώση του μοντέλου – ήταν με τον τρόπο που ερμηνεύει την πρόθεση με βάση τη φράση. Η ομάδα είχε βελτιώσει την ασφάλεια τόσο πολύ που κατά λάθος μπλοκάρει φυσικές, λογικές ερωτήσεις.

Πρόβλημα #2: Μοντέλα που είναι εξειδικευμένα σε πρότυπα που δεν ανταποκρίνεται στον πραγματικό κόσμο

Ένα άλλο κοινό εμπόδιο για την Επιχειρηματική Νοημοσύνη είναι ότι οι ομάδες Νοημοσύνης εκπαιδεύουν μοντέλα για να ανταποκρίνεται σε βιομηχανικά πρότυπα και όχι σε πραγματικές ανάγκες. Σε χαρτί, ένα μοντέλο μπορεί να φαίνεται κορυφαίο, με υψηλά μετρικά ακρίβειας, σχετικότητας ή ασφαλείας. Όμως στην πράξη, μπορεί να δυσκολευτεί να παράγει συνεπή, χρήσιμα αποτελέσματα χωρίς την παρέμβαση του χρήστη.

Αυτό συμβαίνει όταν οι ομάδες βελτιώνουν μοντέλα για να εκτελεστούν καλά σε στενά, ειδικά πρότυπα. Το μοντέλο μπορεί να εξειδικευτεί σε αυτές τις δοκιμασίες, αλλά να δυσκολευτεί όταν συναντήσει λιγότερο δομημένα, πιο ποικίλα πραγματικά δεδομένα. Ως αποτέλεσμα, οι χρήστες πρέπει να “μιλήσουν τη γλώσσα του μοντέλου” μέσω της μηχανικής των προτύπων, μόνο για να λάβουν τις σωστές απαντήσεις. Αν το προϊόν Νοημοσύνης σας εξαρτάται από τους τελικούς χρήστες να δημιουργούν ακριβείς προτύπους, έχετε εισαγάγει τριβή που επιβραδύνει την υιοθέτηση και υπονόμευε τη χρησιμότητά του.

Αυτό το είδος εκπαίδευσης που επικεντρώνεται στα πρότυπα μπορεί επίσης να οδηγήσει σε υπερ-προσαρμογή. Το μοντέλο γίνεται τόσο εξειδικευμένο στην εκτέλεση καλά στις αξιολογήσεις που χάνει γενικευσιμότητα. Μπορεί να περάσει κάθε εσωτερική δοκιμή, αλλά να αποτύχει όταν αναπτύσσεται στο πεδίο, ιδιαίτερα αν οι πραγματικές περιπτώσεις χρήσης διαφέρουν ακόμη και ελαφρά από αυτές στις οποίες εκπαιδεύτηκε.

Αν θέλετε μια επιχειρηματική λύση Νοημοσύνης που θα επιτύχει, το μοντέλο σας πρέπει να λειτουργεί στον πραγματικό κόσμο – όχι μόνο στο εργαστήριο.

Πρόβλημα #3: Η κλιμάκωση της υιοθέτησης Νοημοσύνης σημαίνει κλιμάκωση των υπολογιστικών κοστών

Ο τρίτος λόγος που πολλές προεκτάσεις Νοημοσύνης αποτυγχάνουν να κλιμακωθούν είναι οικονομικός: οι ομάδες συχνά υποτιμούν το κόστος εκτέλεσης και συντήρησης του μοντέλου στην παραγωγή. Κατά τη διάρκεια της ανάπτυξης, είναι εύκολο να παραβλεφθούν οι υπολογιστικές απαιτήσεις ενός μεγάλου μοντέλου, ιδιαίτερα όταν το тестिंγ γίνεται σε μικρά σύνολα δεδομένων ή σε περιβάλλοντα περιορισμένης χρήσης. Όμως όταν αναπτύσσεται, αυτά τα κόστη μπορούν να εκτοξευτούν.

Η επιχειρηματική Νοημοσύνη απαιτεί σημαντικούς υπολογιστικούς πόρους, όχι μόνο για να εξυπηρετήσει απαντήσεις σε πραγματικό χρόνο, αλλά και για τη συνεχή βελτίωση, παρακολούθηση, καταγραφή και επανεκπαίδευση. Αν αυτά τα κόστη δεν ληφθούν υπόψη από την αρχή, η επιχειρηματική περίπτωση για τη λύση μπορεί να καταρρεύσει όταν αρχίσει η πραγματική χρήση. Τι φαινόταν ως一个 υποσχόμενο μοντέλο σε ένα ελεγχόμενο περιβάλλον μπορεί να γίνει γρήγορα μη βιώσιμο όταν χιλιάδες χρήστες αρχίσουν να το χρησιμοποιούν καθημερινά.

Υπερβαίνοντας τα εμπόδια της τελευταίας μίλιας για την επιτυχημένη Επιχειρηματική Νοημοσύνη

Για να αποφύγετε τα κοινά εμπόδια που σαμποτάρουν πολλές προεκτάσεις Νοημοσύνης, οι ομάδες πρέπει να ξεπεράσουν το συνηθισμένο σενάριο. Εδώ είναι πώς η ομάδα Νοημοσύνης σας μπορεί να κατασκευάσει κάτι που πραγματικά λειτουργεί – και κλιμακώνεται.

Πρώτον, φέρτε μια τρίτη πλευρά για να αξιολογήσει το μοντέλο σας. Η εσωτερική δοκιμή είναι σημαντική, αλλά συχνά είναι πολύ ευρεία. Ένα φρέσκο ζευγάρι ματιών, σε συνδυασμό με ένα προσαρμοσμένο πλαίσιο αξιολόγησης που αντιστοιχεί στην περίπτωσή σας, μπορεί να ανακαλύψει ζητήματα που η ομάδα σας μπορεί να παραβλέψει, ιδιαίτερα όταν πρόκειται για το πώς οι πραγματικοί χρήστες θα αλληλεπιδράσουν με το σύστημα.

Δεύτερον, βεβαιωθείτε ότι ελέγχετε με πραγματικά προτύπους. Τα περισσότερα πρότυπα ελέγχουν “καθαρά” δεδομένα που δεν ανταποκρίνεται στον πραγματικό κόσμο, πολύ λιγότερο από το πώς οι τελικοί χρήστες θα προτύπωναν το μοντέλο σας. Η δοκιμή του μοντέλου σας με ακατέργαστα, ασαφή ή περίεργα διατυπωμένα δεδομένα θα σας δείξει πώς θα εκτελεστεί πραγματικά μετά την ανάπτυξη και θα σας επιτρέψει να ανακαλύψετε ζητήματα που θα μπορούσαν να οδηγήσουν σε προβλήματα υιοθέτησης.

Τρίτον, επανεξετάστε τα πρωτόκολλα ασφαλείας σας. Είναι εύκολο να υπερβείτε τα φράγματα, και ενώ η ασφάλεια έχει σημασία, δεν πρέπει να κάνει το μοντέλο σας δυσχρηστό. Αν το μοντέλο κλείνει για απλές, αβλαβείς ερωτήσεις, ανταλλάσσετε χρηστικότητα για μια ψευδή αίσθηση ασφαλείας.

Τέλος, προσέξτε τους υπολογιστικούς σας κόστους. Αν οι στόχοι υιοθέτησής σας περιλαμβάνουν χιλιάδες χρήστες και εκατομμύρια αιτημάτων, αυτά τα έξοδα μπορούν να φουσκώσουν γρήγορα. Μια λύση είναι να εξετάσετε μικρότερα μοντέλα. Η Boosted.ai έκανε ακριβώς αυτό – μετέβαλε σε ένα προσαρμοσμένο μικρό μοντέλο γλώσσας και έκοψε τους υπολογιστικούς της κόστους κατά 90% ενώ βελτίωνε την ταχύτητα και την απόδοση. Αποτελέσματα σε πραγματικό χρόνο, καλύτερη εμπειρία χρήστη και keine ανάγκη για ακριβές υλικό.

Βάζοντας την αξιολόγηση, τη χρηστικότητα και τη κλιμάκωση από την αρχή, οι ομάδες μπορούν να δώσουν στην προέκτασή τους μια πραγματική ευκαιρία για μακροπρόθετη επιτυχία. Δεν είναι μόνο για να το κάνετε να λειτουργήσει σε ένα εργαστήριο – είναι για να το κάνετε να λειτουργήσει στον κόσμο.