Ηγέτες σκέψης
Μετακίνηση Μεγάλων Γλωσσικών Μοντέλων (LLM) σε Πραγματικές Επιχειρηματικές Εφαρμογές

Βασικά σημείαΗ Persistent Systems χρησιμοποίησε αλυσίδες LLM για να φιλτράρει ασθενείς κλινικών…
Δείτε περισσότερα
- Η Persistent Systems χρησιμοποίησε αλυσίδες LLM για να φιλτράρει ασθενείς κλινικών δοκιμών από έγγραφα και μια βάση δεδομένων SQL.
- Η παραγωγή με ενισχυμένη ανάκτηση ζευγαρώνει διανυσματική αναζήτηση με LLM για να βασίζει απαντήσεις σε εξωτερική γνώση.
- Οι ντετερμινιστικές αλυσίδες LLM προσφέρουν έλεγχο και διαχείριση κόστους έναντι αυτόνομων αλλά επικίνδυνων προσεγγίσεων βασισμένων σε πράκτορες.
Τα μεγάλα γλωσσικά μοντέλα είναι παντού. Κάθε συζήτηση με πελάτες ή παρουσίαση σε επενδυτές περιλαμβάνει ερωτήσεις σχετικά με το πόσο έτοιμη είναι η τεχνολογία LLM και πώς θα οδηγήσει τις μελλοντικές εφαρμογές. Κάλυψα κάποια από τα μοτίβα εφαρμογής σε αυτό το θέμα στο προηγούμενό μου άρθρο. Εδώ θα μιλήσω για κάποια μοτίβα εφαρμογής στον πραγματικό κόσμο για μια εφαρμογή στον φαρμακευτικό κλάδο, πάνω στην οποία εργάστηκε η Persistent Systems (PERSISTENT.BO ).
Μεγάλα Γλωσσικά Μοντέλα και βασικά πλεονεκτήματα
Τα LLM είναι καλά στο να κατανοούν τη γλώσσα, αυτή είναι η ειδικότητά τους. Το πιο συνηθισμένο μοτίβο που βλέπουμε με τις εφαρμογές είναι η παραγωγή επαυξημένη με ανάκτηση πληροφοριών (RAG), όπου η γνώση συλλέγεται εξωτερικά από πηγές δεδομένων και παρέχεται ως προτροπή για το LLM να παραφράσει μια απάντηση. Σε αυτή την περίπτωση, οι εξαιρετικά γρήγορες μηχανές αναζήτησης όπως οι βάσεις δεδομένων διανυσμάτων και οι μηχανές Elasticsearch χρησιμεύουν ως πρώτη γραμμή αναζήτησης. Στη συνέχεια, τα αποτελέσματα αναζήτησης συλλέγονται σε μια προτροπή και στέλνονται στο LLM κυρίως ως κλήση API.
Ένα άλλο μοτίβο είναι η δημιουργία μιας ερώτησης σε δομημένα δεδομένα με την παροχή του LLM με ένα μοντέλο δεδομένων ως προτροπή και μια συγκεκριμένη ερώτηση του χρήστη. Αυτό το μοτίβο θα μπορούσε να χρησιμοποιηθεί για την ανάπτυξη μιας προηγμένης διεπαφής «μιλήστε στα δεδομένα σας» για βάσεις δεδομένων SQL όπως η Snowflake, καθώς και για βάσεις δεδομένων γράφων όπως η Neo4j.
Αξιοποίηση μοτίβων LLM για πρακτικές γνώσεις
Η Persistent Systems εξέτασε πρόσφατα ένα μοτίβο για την Blast Motion, μια εταιρεία τηλεμετρίας αθλημάτων (ανάλυση κίνησης για το μπέιζμπολ, το γκολφ, κ.λπ.), όπου αναλύσαμε χρονοσειρές συνοπτικών δεδομένων παικτών για να λάβουμε συστάσεις.
Για πιο σύνθετες εφαρμογές, συχνά χρειαζόμαστε να συνδέσουμε τις κλήσεις LLM με επεξεργασία μεταξύ των κλήσεων. Για μια φαρμακευτική εταιρεία, αναπτύξαμε μια έξυπνη εφαρμογή που φιλτράρει ασθενείς για κλινικές δοκιμές με βάση κριτήρια που εξάγονται από έγγραφα κλινικών δοκιμών. Εδώ χρησιμοποιήσαμε μια προσέγγιση αλυσίδας LLM. Πρώτα, αναπτύξαμε ένα LLM για να διαβάσει έγγραφα κλινικών δοκιμών σε μορφή PDF και να χρησιμοποιήσει το μοτίβο RAG για να εξαγάγει κριτήρια ένταξης και εξαίρεσης.
Για αυτό, χρησιμοποιήθηκε ένα σχετικά απλό LLM όπως το GPT-3.5-Turbo (ChatGPT). Στη συνέχεια, συνδύασαμε αυτές τις εξαγόμενες οντότητες με το μοντέλο δεδομένων της βάσης δεδομένων SQL των ασθενών στη Snowflake, για να δημιουργήσουμε μια πρόταση. Αυτή η προτροπή παρέχεται σε ένα πιο ισχυρό LLM όπως το GPT4, το οποίο μας δίνει ένα ερώτημα SQL για να φιλτράρουμε τους ασθενείς, η οποία είναι έτοιμη να εκτελεστεί στη Snowflake. επειδή χρησιμοποιούμε αλυσίδες LLM, μπορούμε να χρησιμοποιήσουμε πολλά LLM για κάθε βήμα της αλυσίδας, επιτρέποντας μας να διαχειριζόμαστε το κόστος.
Σήμερα, αποφασίσαμε να διατηρήσουμε αυτήν την αλυσίδα ντετερμινιστική για καλύτερο έλεγχο. Αυτό σημαίνει ότι αποφασίσαμε να έχουμε περισσότερη νοημοσύνη στις αλυσίδες και να διατηρήσουμε την ενορχήστρωση πολύ απλή και προβλέψιμη. Κάθε στοιχείο της αλυσίδας είναι μια σύνθετη εφαρμογή από μόνη της που θα χρειαζόταν μερικούς μήνες για να αναπτυχθεί στις ημέρες πριν από τα LLM.
Ενδυνάμωση Περισσότερων Προηγμένων Χρήσεων
Για μια πιο προηγμένη περίπτωση, θα μπορούσαμε να χρησιμοποιήσουμε Πράκτορες όπως το ReAct για να προτρέψουμε το LLM να δημιουργήσει βήμα προς βήμα οδηγίες για μια συγκεκριμένη ερώτηση του χρήστη. Αυτό θα χρειαζόταν ένα υψηλής απόδοσης LLM όπως το GPT4 ή το Cohere ή το Claude 2. Ωστόσο, τότε υπάρχει ο κίνδυνος ότι το μοντέλο θα πάρει ένα λάθος βήμα που θα χρειαζόταν να ελεγχθεί με μηχανισμούς ασφαλείας. Αυτό είναι ένας συμβιβασμός μεταξύ της μετακίνησης της νοημοσύνης σε ελεγχόμενες συνδέσεις της αλυσίδας ή της πλήρους αυτονομίας ολόκληρης της αλυσίδας.
Σήμερα, καθώς συνηθίζουμε στην εποχή της Παραγωγικής Τεχνητής Νοημοσύνης για τη γλώσσα, η βιομηχανία αρχίζει να υιοθετεί εφαρμογές LLM με προβλέψιμες Αλυσίδες. Όσο αυτή η υιοθέτηση αυξάνεται, σύντομα θα αρχίσουμε να πειραματιζόμαστε με περισσότερη αυτονομία για αυτές τις αλυσίδες μέσω πρακτόρων. Αυτό είναι το θέμα της συζήτησης για τη Γενική Τεχνητή Νοημοσύνη (AGI) και είμαστε ενδιαφερμένοι να δούμε πώς όλα αυτά θα εξελιχθούν με τον καιρό.












