Μετακίνηση Μεγάλων Γλωσσικών Μοντέλων (LLM) σε Πραγματικές Επιχειρηματικές Εφαρμογές

Τα μεγάλα γλωσσικά μοντέλα είναι παντού. Κάθε συζήτηση με πελάτες ή παρουσίαση σε επενδυτές περιλαμβάνει ερωτήσεις σχετικά με το πόσο έτοιμη είναι η τεχνολογία LLM και πώς θα οδηγήσει τις μελλοντικές εφαρμογές. Κάλυψα κάποιους από τους σχηματισμούς σε αυτό το θέμα στο προηγούμενο μου άρθρο. Εδώ θα μιλήσω για κάποιους πραγματικούς σχηματισμούς για μια εφαρμογή στον κλάδο της φαρμακευτικής που εργάστηκε η Persistent Systems.

Μεγάλα Γλωσσικά Μοντέλα και Βασικές Ισχύσεις

Τα LLM είναι καλά στο να κατανοούν τη γλώσσα, αυτή είναι η ειδικότητά τους. Ο πιο συνηθισμένος σχηματισμός που βλέπουμε με τις εφαρμογές είναι η αναζήτηση που ενισχύεται από τη γενετική (RAG), όπου η γνώση συλλέγεται εξωτερικά από πηγές δεδομένων και παρέχεται ως πρόταση για το LLM να παραφράσει μια απάντηση. Σε αυτή την περίπτωση, οι siêu-γρήγορες μηχανές αναζήτησης όπως οι βάσεις δεδομένων διανυσμάτων και οι μηχανές Elasticsearch χρησιμεύουν ως πρώτη γραμμή αναζήτησης. Στη συνέχεια, τα αποτελέσματα αναζήτησης συλλέγονται σε μια πρόταση και στέλνονται στο LLM κυρίως ως κλήση API.

Ένας άλλος σχηματισμός είναι η δημιουργία μιας ερώτησης σε δομημένα δεδομένα με την παροχή του LLM με ένα μοντέλο δεδομένων ως πρόταση και μια συγκεκριμένη ερώτηση του χρήστη. Αυτός ο σχηματισμός θα μπορούσε να χρησιμοποιηθεί για την ανάπτυξη eines προηγμένου “μιλάτε στα δεδομένα σας” διασύνδεσης για βάσεις δεδομένων SQL όπως η Snowflake, καθώς και για γραφικές βάσεις δεδομένων όπως η Neo4j.

Εξαγωγή Σχηματισμών LLM για Πραγματικές Επιπτώσεις

Η Persistent Systems εξέτασε πρόσφατα einen σχηματισμό για την Blast Motion, μια εταιρεία τηλεμετρίας αθλημάτων (ανάλυση κίνησης για το μπέιζμπολ, το γκολφ, κ.λπ.), όπου αναλύσαμε δεδομένα χρόνου-σειράς για να λάβουμε συστάσεις.

Για πιο σύνθετες εφαρμογές, συχνά χρειαζόμαστε να συνδέσουμε τις κλήσεις LLM με επεξεργασία μεταξύ των κλήσεων. Για μια φαρμακευτική εταιρεία, αναπτύξαμε μια έξυπνη εφαρμογή που φιλτράρει ασθενείς για κλινικές δοκιμές με βάση κριτήρια που εξάγονται από έγγραφα κλινικών δοκιμών. Εδώ χρησιμοποιήσαμε μια προσέγγιση αλυσίδας LLM. Πρώτα, αναπτύξαμε ένα LLM για να διαβάσει έγγραφα δοκιμών και να χρησιμοποιήσει τον σχηματισμό RAG για να εξαγάγει κριτήρια ένταξης και εξαίρεσης.

Για αυτό, χρησιμοποιήθηκε ένα σχετικά απλό LLM όπως το GPT-3.5-Turbo (ChatGPT). Στη συνέχεια, συνδύασαμε αυτά τα εξαγόμενα οντότητες με το μοντέλο δεδομένων της βάσης δεδομένων SQL των ασθενών στη Snowflake, για να δημιουργήσουμε μια πρόταση. Αυτή η πρόταση παρέχεται σε ένα πιο ισχυρό LLM όπως το GPT4, το οποίο μας δίνει μια ερώτηση SQL για να φιλτράρουμε τους ασθενείς, η οποία είναι έτοιμη να εκτελεστεί στη Snowflake.既然 χρησιμοποιούμε αλυσίδες LLM, μπορούμε να χρησιμοποιήσουμε πολλά LLM για κάθε βήμα της αλυσίδας, ermögνωντας μας να διαχειριζόμαστε το κόστος.

Σήμερα, αποφασίσαμε να διατηρήσουμε αυτήν την αλυσίδα детерμινιστική για καλύτερο έλεγχο. Αυτό σημαίνει ότι αποφασίσαμε να έχουμε περισσότερη νοημοσύνη στις αλυσίδες και να διατηρήσουμε την ορχήστρα πολύ απλή και προβλέψιμη. Κάθε στοιχείο της αλυσίδας είναι μια σύνθετη εφαρμογή από μόνη της που θα χρειαζόταν vài μήνες για να αναπτυχθεί στις ημέρες πριν από τα LLM.

Ενδυνάμωση Περισσότερων Προηγμένων Χρήσεων

Για μια πιο προηγμένη περίπτωση, θα μπορούσαμε να χρησιμοποιήσουμε Πράκτορες όπως ο ReAct για να προτρέψουμε το LLM να δημιουργήσει βήμα προς βήμα οδηγίες για μια συγκεκριμένη ερώτηση του χρήστη. Αυτό θα χρειαζόταν ένα υψηλής απόδοσης LLM όπως το GPT4 ή το Cohere ή το Claude 2. Ωστόσο, τότε υπάρχει ο κίνδυνος ότι το μοντέλο θα πάρει ένα λάθος βήμα που θα χρειαζόταν να επιβεβαιωθεί χρησιμοποιώντας φρουρά. Αυτό είναι ένα trade-off μεταξύ της μετακίνησης της νοημοσύνης σε ελεγχόμενες συνδέσεις της αλυσίδας ή της δημιουργίας της ολόκληρης αλυσίδας αυτονομίας.

Σήμερα, καθώς συνηθίζουμε στην εποχή της Γενικής Νοημοσύνης για τη γλώσσα, η βιομηχανία αρχίζει να υιοθετεί εφαρμογές LLM με προβλέψιμες Αλυσίδες. Όσο αυτή η υιοθέτηση αυξάνεται, σύντομα θα αρχίσουμε να πειραματιζόμαστε με περισσότερη αυτονομία για αυτές τις αλυσίδες μέσω πρακτόρων. Αυτό είναι το θέμα της συζήτησης για τη Γενική Νοημοσύνη και είμαστε ενδιαφερμένοι να δούμε πώς όλα αυτά θα εξελιχθούν με τον καιρό.