Η Τεχνολογία Μόνη της Δεν Εγγυάται Υιοθέτηση: Μαθήματα από την Ανάπτυξη ενός Εσωτερικού Chatbot AI

Καθώς η υιοθέτηση του AI επιταχύνθηκε σε όλους τους κλάδους, η ανάπτυξη ενός chatbot για την υποστήριξη μιας νέας εσωτερικής εφαρμογής φάνηκε σαν μια λογική απόφαση. Ωστόσο, η εφαρμογή herself προκάλεσε συμβατικές προσδοκίες χρηστών. Εισήγαγε νέες ροές εργασίας που βασίζονταν σε αναδυόμενη τεχνολογία που ήταν άγνωστη στην πλειονότητα των χρηστών.

Για να μειώσουμε την τριβή και να βελτιώσουμε την υιοθέτηση, ο chatbot σχεδιάστηκε για να απαντάει σε ερωτήσεις σχετικά με την εφαρμογή και την υποκείμενη τεχνολογία. Ο στόχος ήταν να βοηθήσει τους χρήστες να κατανοήσουν όχι μόνο τι να κάνουν, αλλά και γιατί το σύστημα συμπεριφερόταν με τον τρόπο που συμπεριφερόταν. Πιστεύαμε ότι η παροχή περιεκτικών εξηγήσεων θα επιταχύνει την μάθηση και θα μειώσει την σύγχυση.

Από την αρχή, ο एजέντας AI σχεδιάστηκε ως μια λύση με περιορισμένο σκοπό. Σχεδιάστηκε αυστηρά για να υποστηρίξει την τεκμηρίωση και να παρέχει βοήθεια χρηστών. Εννοιολογικά, ο chatbot ήταν προβλεπόμενος να λειτουργήσει ως μια δυναμική αντικατάσταση για ένα παραδοσιακό έγγραφο Συχνών Ερωτήσεων, προσφέροντας μια συνομιλητική, αναζητήσιμη και συνεχώς διαθέσιμη διεπαφή με επεκτάσεις πέρα από το στατικό περιεχόμενο.

Για να ενσωματώσουμε τον एजέντα στο εσωτερικό περιβάλλον chat της οργάνωσης, χρειαζόμασταν να κατανοήσουμε πώς αποδίδονταν τα δομημένα μηνύματα, πώς αποθηκεύονταν η ιστορία συνομιλίας και πώς το σύστημα αναγνώριζε τους συμμετέχοντες μέσα στις νήματα. Αυτό μας επέτρεψε να καθορίσουμε τις βασικές μεταβλητές που απαιτούνταν για να ξεκινήσουμε την επεξεργασία ερωτήσεων χρηστών.

Επίγειαση του Μοντέλου: Από Hallucination σε Αξιόπιστη Πλαίσιο

Τα μεγάλα μοντέλα γλωσσών είναι ισχυρά, αλλά χωρίς контекстουαλική αγκυροβόληση είναι ευάλωτα σε hallucinations. Για να αντιμετωπίσουμε αυτό, υλοποιήσαμε μια τεχνική vector embedding.

Οι οδηγοί χρηστών, η εσωτερική τεκμηρίωση και η οπτική του προϊόντος μετατράπηκαν σε αριθμητικές διανυσματικές αναπαραστάσεις κειμένου. Αυτά τα embeddings κατέγραψαν σημασιολογική σημασία, επιτρέποντας στο σύστημα να αντιστοιχίσει έννοιες αντί να βασίζεται σε απλή αντιστοίχιση λέξεων.

Όταν ένας χρήστης έκανε μια ερώτηση, το σύστημα μετέτρεψε την ερώτηση σε διανυσματική αναπαράσταση και την σύγκρινε με τις αποθηκευμένες αναπαραστάσεις. Ανακαλούσε τα πιο σημασιολογικά σχετικά έγγραφα και τα έμπλεε στο prompt του μοντέλου. Το μοντέλο στη συνέχεια παρήγαγε μια απάντηση που βασίζονταν σε αυτά τα συγκεκριμένα έγγραφα, συχνά συνοψίζοντας τις σχετικές πληροφορίες.

Αυτή η προσέγγιση βελτίωσε σημαντικά την ακρίβεια των απαντήσεων. Αντί να παράγει απαντήσεις που βασίζονταν αποκλειστικά σε γενικές γνώσεις, το μοντέλο απάντησε χρησιμοποιώντας την δική μας τεκμηρίωση ως πλαίσιο.

Η Κρυφή Συμπλοκότητα της Διαχείρισης Πλαίσίου

Ήταν απαραίτητο να περιλαμβάνουμε την ιστορία συνομιλίας στο prompt, ώστε ο chatbot να ερμηνεύει ερωτήσεις που ακολουθούν και να διατηρεί τη συνέχεια. Χωρίς ιστορία, οι αλληλεπιδράσεις έγιναν θραυσματικές και επαναλαμβανόμενες. Οι χρήστες συχνά βελτίωναν τις ερωτήσεις τους σταδιακά, και χωρίς πλαίσιο, ο chatbot δεν μπορούσε να ερμηνεύσει αναφορές όπως «αυτή η επιλογή» ή «το προηγούμενο βήμα».

Ωστόσο, η συμπερίληψη πάρα πολλής ιστορίας δημιούργησε ένα διαφορετικό πρόβλημα: περιορισμοί token. Αυτά συμβαίνουν όταν τα μοντέλα γλωσσών αποκόπτουν εισαγωγές που υπερβαίνουν το μέγιστο παράθυρο контекστου. Αν μια ερώτηση ή συνομιλία γινόταν πολύ μεγάλη, σημαντικές πληροφορίες θα μπορούσαν να χαθούν. Αυτό δεν προέκυψε ως σαφής σφάλμα, αλλά μειώνε την ποιότητα της απάντησης ή επηρέαζε την ακρίβεια ανάκτησης.

Για να μετριάσουμε αυτό, υλοποιήσαμε στρατηγικές για τον έλεγχο του μεγέθους του prompt, την προτεραιότητα του σχετικού περιεχομένου και την παρακολούθηση του μήκους της ερώτησης. Πειραματιστήκαμε με τη σύνοψη παλαιότερων μηνυμάτων και την επιλεκτική συμπερίληψη μόνο των πιο σχετικών частών της συνομιλίας. Το πλαίσιο ήταν κρίσιμο, αλλά έπρεπε να διαχειριστεί προσεκτικά.

Επέκταση Ικανοτήτων και Δημιουργία Συγχύσεων

Πέρα από την απάντηση σε ερωτήσεις που βασίζονται σε τεκμηρίωση, επέκτεινα τις ικανότητες του chatbot προσθέτοντας συναρτήσεις backend που θα μπορούσαν να εξαγάγουν ορισμένες δημόσιες πληροφορίες απευθείας από την εφαρμογή. Αυτό επέτρεψε στους χρήστες να ανακτήσουν δεδομένα από το chat χωρίς να συνδεθούν στην εφαρμογή. Η ιδέα ήταν να μειώσουμε την τριβή και να ενισχύσουμε τον chatbot ως một χρήσιμο διεπαφή, όχι μόνο ως một στατικό στρώμα γνώσεων.

Αυτή η επέκταση δημιούργησε σύγχυση για ορισμένους χρήστες, όμως. Μόλις ο chatbot άρχισε να ανακτά ζωντανούς δεδομένα, οι χρήστες άρχισαν να του ζητούν να εκτελέσει ενέργειες που απαιτούσαν άμεση αλληλεπίδραση μέσα στην πλατφόρμα. Υποθέτησαν ότι ο chatbot θα μπορούσε να αντικαταστήσει τα βήματα λειτουργίας, συμπεριλαμβανομένων εκείνων που απαιτούσαν αυθεντικοποίηση ή σκόπιμη εκτέλεση μέσα στην πλατφόρμα.

Ο chatbot δεν είχε σχεδιαστεί ποτέ για να εκτελέσει αυτές τις ενέργειες, αλλά η διάκριση μεταξύ πληροφοριακής υποστήριξης και λειτουργικής εκτέλεσης δεν ήταν πάντα σαφής.

Η ενοποίηση ζωντανών δεδομένων εισήγαγε επίσης νέες τεχνικές σκέψεις. Χρειαζόμασταν να ορίσουμε πότε μια ερώτηση θα πρέπει να περάσει από ανάκτηση με βάση το embedding και πότε θα πρέπει να προκαλέσει μια κλήση backend. Αυτή η λογική απαιτούσε προσεκτικό σχεδιασμό. Επιπλέον, χρειαζόμασταν να ρυθμίσουμε τις απαντήσεις για να χειριστούν με χάρη τις τεχνικές εξαιρέσεις και να αποφύγουν την έκθεση των χρηστών σε ακατέργαστες συστημικές σφάλματα.

Η Πολυγλωσσία Ικανότητα Δεν Είναι Αυτόματη

Κατά τη διάρκεια του тестινγκ, συνειδητοποιήσαμε ότι ο chatbot εκτελούσε συνεχώς καλύτερα στα αγγλικά παρά σε άλλες γλώσσες που χρησιμοποιούνται μέσα στην Jalasoft. Ο πρωταρχικός λόγος ήταν δομικός: η πλειονότητα της τεκμηρίωσης που χρησιμοποιήθηκε για τη δημιουργία των embeddings ήταν γραμμένη στα αγγλικά, και το μοντέλο embedding που επιλέξαμε ήταν βελτιστοποιημένο για αγγλική σημασιολογική ομοιότητα.

Δεν υποστήριζε διαγλωσσική ανάκτηση ή σημασιολογική σύγκριση μεταξύ γλωσσών. Jako αποτέλεσμα, οι μη αγγλικές ερωτήσεις συχνά ανακτούσαν λιγότερο σχετικές τεκμηρίώσεις, οδηγώντας σε αδύναμες απαντήσεις.

Αυτή η αντίληψη τόνισε μια σημαντική ερμηνεία: η πολυγλωσσία ικανότητα δεν είναι αυτόματη.

Όταν Οι Προσδοκίες Εκτείνονται Πέρα από τον Σκοπό

Για να ελέγξουμε το κόστος χρήσης, υλοποιήσαμε μια ημερήσια限制 στον αριθμό των ερωτήσεων που οι χρήστες θα μπορούσαν να κάνουν. Ωστόσο, δεν ορίσαμε ρητά τον σκοπό των ερωτήσεων. Οι χρήστες ήταν ελεύθεροι να κάνουν οποιαδήποτε ερώτηση.

Αυτή η ανοιχτή προσέγγιση οδήγησε σε απροσδόκητους μοτίβους χρήσης. Ορισμένοι χρήστες άρχισαν να αλληλεπιδρούν με τον chatbot για προσωπικούς ή εξερευνητικούς σκοπούς που δεν σχετίζονταν με την εφαρμογή. Με τον καιρό, οι προσδοκίες ξεπέρασαν τον προβλεπόμενο ρόλο του chatbot, δημιουργώντας ένα χάσμα μεταξύ того που οι χρήστες ήλπιζαν ότι θα μπορούσε να κάνει και τι είχε σχεδιαστεί να υποστηρίξει.

Αυτή η αποσύνδεση σταδιακά μειώνε την αντίληψη της χρησιμότητάς του. Η χρήση μειώθηκε και ο chatbot τελικά αποσύρθηκε, με τις προσπάθειες να ανακατευθυνθούν προς την ανασχεδιασμό της εφαρμογής για να την κάνει πιο εύχρηστη και πιο εύκολη στη χρήση.

Η Πραγματική Διδασκαλία: Σχεδιασμός Αλληλεπίδρασης

Από μια μηχανική σκοπιά, το σύστημα λειτουργούσε λογικά καλά. Ανακτούσε τεκμηρίωση, ενσωμάτωνε ιστορία συνομιλίας, μειώνε τις hallucinations μέσω των embeddings, χειριζόταν κλήσεις backend και διαχειριζόταν το μέγεθος του prompt. Η αρχιτεκτονική λειτουργούσε όπως προοριζόταν.

Αλλά έλλειπε σκόπιμος σχεδιασμός αλληλεπίδρασης.

Ο chatbot δεν σήμανε σαφώς τις συνομιλίες. Δεν ενίσχυε συνεχώς τον σκοπό του. Δεν καθοδηγούσε τους χρήστες με δομημένα παραδείγματα того που θα μπορούσε και δεν θα μπορούσε να κάνει. Απάντησε σε ερωτήσεις, αλλά δεν καθόρισε τις προσδοκίες.

Μάθαμε ότι τα συστήματα αλληλεπίδρασης AI απαιτούν περισσότερα από ισχυρά μοντέλα και δομημένα δεδομένα. Απαιτούν προσεκτικά σχεδιασμένες προσδοκίες. Οι χρήστες χρειάζονται σαφήνεια σχετικά με τον ρόλο του एजέντα, τα όριά του και τις δυνατότητές του. Το σύστημα πρέπει να παρέχει προσεκτικά σχεδιασμένα παραδείγματα, να διευκρινίζει τους περιορισμούς και να ανακατευθύνει ερωτήσεις εκτός του σκοπού του με συνέπεια.

Χωρίς αυτή τη σκόπιμη πλαισίωση, ακόμη και μια τεχνικά σωστή υλοποίηση μπορεί να παλέψει για να διατηρήσει την αξία. Οι χρήστες μπορεί να υπερεκτιμήσουν τις ικανότητες ή να αποσυνδεθούν όταν ανείπωτες προσδοκίες δεν ικανοποιούνται.

Η βασική αντίληψη είναι απλή αλλά ισχυρή.

Η Ανάπτυξη Συμβατικών AI Δεν Είναι Μόνο Một Τεχνική Πρόκληση. Είναι Επίσης Μια Πρόκληση Σχεδιασμού Αλληλεπίδρασης.

Το ισχυρό πλαίσιο, η ακριβής ανάκτηση και η ροβούστα αρχιτεκτονική είναι απαραίτητα, αλλά όχι επαρκή. Η αποτελεσματικότητα του συστήματος εξαρτάται εξίσου από το πώς ορίζει τον ρόλο του, επικοινωνεί τα όριά του και διαμορφώνει τις προσδοκίες των χρηστών.

Η τεχνολογία μόνη της δεν εγγυάται υιοθέτηση. Ο σαφής σχεδιασμός αλληλεπίδρασης το κάνει.