Επιλέγοντας το σωστό μοντέλο AI: ισορροπία κόστους και απόδοσης

Υπάρχει μια ορισμένη αίσθηση σιγουριάς στην επιλογή του ισχυρότερου μοντέλου. Όταν κατασκευάζετε ένα προϊόν που βασίζεται στο AI, φαίνεται υπεύθυνο, σχεδόν αυτονόητο, να επιλέξετε το πιο ισχυρό μοντέλο που είναι διαθέσιμο. GPT-4o. Claude Opus. Gemini Ultra. Αυτά είναι εντυπωσιακά τεχνολογικά προϊόντα, και κανείς δεν έχει απολυθεί ποτέ για την επιλογή του πιο έξυπνου εργαλείου στο δωμάτιο.

Υπάρχει, ωστόσο, μια επιφύλαξη. Τα έργα διογκώνονται. Το κόστος ξεφεύγει. Η καθυστέρηση αρχίζει να αυξάνεται. Και κάπου γύρω στο τρίτο μήνα, η ομάδα αρχίζει να θέτει άβολες ερωτήσεις σχετικά με το γιατί μια απλή λειτουργία αυτόματης συμπλήρωσης καταναλώνει πιστώσεις API σαν νεοφυής επιχείρηση με χρηματοδότηση επιχειρηματικών κεφαλαίων που δεν λογοδοτεί για τις δαπάνες της.

Το ζήτημα είναι το εξής: “το πιο ικανό” και “το πιο κατάλληλο” είναι δύο πολύ διαφορετικά κριτήρια. Οι παρόχοι υπηρεσιών ανάπτυξης εφαρμογών AI επιλέγουν μοντέλα με βάση τις αξιολογήσεις, όχι τις κατατάξεις των leaderboards.

Το μεγαλύτερο δεν είναι αυτόματα το καλύτερο

Ένα frontier μοντέλο εκτελείται εξαιρετικά σε ιδανικές συνθήκες, αλλά κοστίζει πολύ για να λειτουργήσει, χειρίζεται άσχημα τις ατελείς εισόδους και υπερβαίνει τις απαιτήσεις για απλές εργασίες.

Το GPT-4o μπορεί να γράψει ποίηση, να αναλύσει νομικές συμβάσεις με συλλογιστική, να διορθώσει κώδικα και να εξηγήσει την κβαντική διεμπλοκή σε ένα δέκαχρονο παιδί, μερικές φορές στην ίδια απάντηση. Αυτό είναι πραγματικά εντυπωσιακό. Αλλά αν η εφαρμογή σας συνοψίζει tickets υποστήριξης πελατών ή εξάγει δομημένα δεδομένα από τιμολόγια, πληρώνετε για ικανότητες που δεν χρησιμοποιούνται.

Μικρότερα, εξειδικευμένα μοντέλα χειρίζονται εστιασμένες εργασίες με εντυπωσιακή ακρίβεια:

• Το GPT-4o mini καλύπτει τις περισσότερες γλωσσικές εργασίες σε περίπου 15 φορές χαμηλότερο κόστος από το GPT-4o
• Το Claude Haiku είναι κατασκευασμένο για ταχύτητα και αποδοτικότητα σε μεγάλους όγκους δομημένων εργασιών
• Τα Mistral 7B και Llama 3.1 8B είναι επιλογές ανοικτού κώδικα που λειτουργούν γρήγορα και προσφέρονται για λεπτομερή ρύθμιση

Το χάσμα μεταξύ αυτών και των frontier μοντέλων μειώνεται σημαντικά όταν η εργασία είναι στενή και οι προτροπές είναι καλά σχεδιασμένες.

Οι υπολογισμοί κόστους για τους οποίους κανείς δεν μιλά στις συναντήσεις σχεδιασμού

Η τιμολόγηση API για τα frontier μοντέλα μπορεί να κυμαίνεται 10 έως 30 φορές υψηλότερα ανά token από τα ελαφρύτερα αντίστοιχά τους. Αυτό το χάσμα ακούγεται αφηρημένο μέχρι να το μοντελοποιήσετε σε κλίμακα.

Ας υποθέσουμε ότι η εφαρμογή σας κάνει 500.000 κλήσεις API ανά μήνα:

Η ίδια λειτουργία. Πολύ διαφορετική εικόνα περιθωρίων κέρδους.

Ορισμένες ομάδες χρησιμοποιούν υβριδικές αρχιτεκτονικές: δρομολογούν απλές εργασίες ταξινόμησης σε ελαφριά μοντέλα και κρατούν τα βαρύτερα για σύνθετη παραγωγή ή συλλογιστική. Εταιρείες όπως η Martian και η RouteLLM έχουν δημιουργήσει εργαλεία ειδικά για αυτού του είδους τη δρομολόγηση μοντέλων. Δεν είναι εντυπωσιακή μηχανική, αλλά είναι ακριβώς το είδος που κάνει τους οικονομικούς διευθυντές αισθητά πιο ήρεμους.

Η καθυστέρηση είναι ένα πρόβλημα εμπειρίας χρήστη

Υπάρχει ένας λόγος για τον οποίο υπάρχει το fast food. Οι άνθρωποι δεν θέλουν πάντα ένα γεύμα πέντε πιάτων. Μερικές φορές θέλουν την απάντησή τους τώρα.

Τα frontier μοντέλα είναι πιο αργά. Όχι πάντα με πολύ, αλλά αρκετά ώστε να έχουν σημασία σε εφαρμογές πραγματικού χρόνου. Αν οι χρήστες σας περιμένουν απαντήσεις AI σε μια συνομιλιακή διεπαφή χρήστη, μια διεπαφή συνομιλίας ή έναν ζωντανό βοηθό προγραμματισμού, η καθυστέρηση της απάντησης επηρεάζει άμεσα την αίσθηση που δίνει το προϊόν. Ένα μοντέλο που παίρνει 4-6 δευτερόλεπτα για να απαντήσει αρχίζει να φαίνεται αναξιόπιστο, ακόμη και αν η έξοδος είναι τεχνικά ανώτερη.

Ένας πρακτικός κανόνας: αν ο χρήστης βλέπει ένδειξη φόρτωσης, κάθε επιπλέον δευτερόλεπτο μειώνει την εμπιστοσύνη.

Τα Haiku, Mistral και Llama 3.1 8B λειτουργούν σημαντικά ταχύτερα, μερικές φορές τρεις έως πέντε φορές ταχύτερα, υπό παρόμοιο φορτίο. Για λειτουργίες που απευθύνονται στον χρήστη και όπου η αντιληπτή ταχύτητα μετρά, αυτό δεν είναι δευτερεύον ζήτημα αλλά απόφαση προϊόντος.

Η μεταβλητή του σχεδιασμού προτροπών (που αλλάζει τα πάντα)

Εδώ είναι κάτι που παραβλέπεται στις συζητήσεις σύγκρισης μοντέλων: μια καλά σχεδιασμένη προτροπή σε ένα μικρότερο μοντέλο συχνά νικά μια πρόχειρα γραμμένη προτροπή σε ένα frontier μοντέλο.

Η ποιότητα της εξόδου είναι ένα προϊόν της ικανότητας του μοντέλου ΚΑΙ της ποιότητας της προτροπής. Όταν οι ομάδες επενδύουν σε σχεδιασμό προτροπών (σαφείς οδηγίες, δομημένες μορφές εξόδου, λίγα παραδείγματα επίδειξης, σαφώς καθορισμένους περιορισμούς) τα μικρότερα μοντέλα αποδίδουν πολύ πάνω από το φαινομενικό όριο των δυνατοτήτων τους.

Μερικά εργαλεία που αξίζει να γνωρίζετε:

• LangChain και DSPy για σύνθεση και βελτιστοποίηση ροών προτροπών
• Guidance για ελεγχόμενη παραγωγή και δομημένα αποτελέσματα
• PromptFoo για συστηματική αξιολόγηση προτροπών σε διαφορετικά μοντέλα

Μερικές από τις πιο εντυπωσιακές λειτουργίες AI που χρησιμοποιούνται σήμερα στην παραγωγή τρέχουν σε μοντέλα που δεν θα έμπαιναν καν στην πρώτη πεντάδα καμίας κατάταξης δυνατοτήτων. Απλώς χρησιμοποιούν εξαιρετικά σχεδιασμένες προτροπές.

Η λεπτομερής ρύθμιση αλλάζει την εξίσωση

Η σύγκριση ενός γενικού μοντέλου αιχμής με ένα μικρότερο μοντέλο ανοικτού κώδικα αλλάζει πολύ όταν προστεθεί η λεπτομερής ρύθμιση. Ένα μοντέλο Llama 3.1 8B, ρυθμισμένο με δεδομένα του συγκεκριμένου πεδίου σας —την ορολογία σας, τις οριακές περιπτώσεις σας και την προτιμώμενη μορφή εξόδου— μπορεί να ξεπεράσει το GPT-4o στη συγκεκριμένη εργασία σας.

Αυτό δεν είναι υποθετικό. Εταιρείες στην υγειονομική περίθαλψη, τη νομική τεχνολογία και το ηλεκτρονικό εμπόριο το έχουν αποδείξει επανειλημμένα.

Από πού να ξεκινήσετε με τη λεπτομερή ρύθμιση:

• Hugging Face για φιλοξενία μοντέλων ανοικτού κώδικα, σύνολα δεδομένων και υποδομή εκπαίδευσης
• Together AI για γρήγορες και οικονομικές εκτελέσεις λεπτομερούς ρύθμισης σε δημοφιλή ανοικτά μοντέλα
• Replicate για ανάπτυξη προσαρμοσμένων μοντέλων χωρίς διαχείριση δικής σας υποδομής GPU

Η λεπτομερής ρύθμιση απαιτεί αρχική επένδυση σε επιμέλεια δεδομένων, υπολογιστικό χρόνο και αξιολόγηση. Ωστόσο, για εργασίες μεγάλου όγκου και συγκεκριμένου πεδίου, τα οικονομικά δεδομένα συχνά την ευνοούν σημαντικά.

Η ασφάλεια και η τοποθεσία αποθήκευσης δεδομένων δεν μπορούν να εξετάζονται εκ των υστέρων

Ορισμένες εφαρμογές δεν μπορούν να στείλουν δεδομένα σε API τρίτων καθόλου. Σκεφτείτε:

• Πλατφόρμες υγείας που λειτουργούν υπό HIPAA
• Χρηματοοικονομικά εργαλεία που χειρίζονται PII ή ρυθμιζόμενα δεδομένα συναλλαγών
• Εταιρικό λογισμικό με αυστηρές απαιτήσεις τοποθεσίας αποθήκευσης δεδομένων

Αυτά τα περιβάλλοντα έχουν περιορισμούς που κανένα API μοντέλου αιχμής δεν μπορεί να παρακάμψει, ανεξάρτητα από την ικανότητά του. Αυτο-φιλοξενούμενα μοντέλα, είτε στις εγκαταστάσεις του οργανισμού είτε σε ιδιωτικό νέφος, είναι ο μόνος δρόμος προς τα εμπρός. Αυτό σημαίνει ανοικτά μοντέλα όπως Llama 3, Mistral, ή Phi-3 που λειτουργούν στη δική σας υποδομή. Ένα μοντέλο αιχμής που δεν μπορείτε να χρησιμοποιήσετε νόμιμα στην παραγωγή δεν είναι η σωστή επιλογή, τελεία.

Το βήμα αξιολόγησης που οι ομάδες συνεχίζουν να παραλείπουν

Οι περισσότερες ομάδες επιλέγουν ένα μοντέλο με την υπόθεση ότι το πιο ακριβό είναι το καλύτερο χωρίς να το δοκιμάσουν. Αυτό που θα πρέπει να κάνουν είναι να τρέχουν δομημένες αξιολογήσεις σε αντιπροσωπευτικά δείγματα της πραγματικής τους περίπτωσης χρήσης.

Μια διαδικασία που λειτουργεί είναι η εξής:

1. Δημιουργήστε σύνολο αξιολόγησης 100 έως 200 αντιπροσωπευτικών εισόδων με αναμενόμενες εξόδους
2. Εκτελέστε τις σε δύο ή τρία υποψήφια μοντέλα υπό ρεαλιστικές συνθήκες
3. Βαθμολογήστε με βάση τα πραγματικά σας κριτήρια: ακρίβεια, συμμόρφωση μορφής, ύφος, καθυστέρηση και κόστος ανά κλήση
4. Αποφασίστε με βάση τα δεδομένα και όχι το ένστικτο ή τις κατατάξεις

Εργαλεία όπως τα Braintrust, PromptFoo και Weights & Biases Prompts κάνουν αυτή τη συστηματική αξιολόγηση προσιτή χωρίς ερευνητικό υπόβαθρο. Η ρύθμιση χρειάζεται λίγες ώρες. Το όφελος είναι ότι δεν θα περάσετε έξι μήνες με το λάθος μοντέλο.

Όταν το frontier μοντέλο είναι πραγματικά η σωστή επιλογή

Για να είμαστε δίκαιοι: υπάρχουν εργασίες όπου τα frontier μοντέλα πραγματικά δικαιολογούν την τιμή τους.

Χρησιμοποιήστε ένα frontier μοντέλο όταν:

• Η εργασία απαιτεί σύνθετη συλλογιστική πολλών βημάτων χωρίς σαφές πρότυπο
• Η διακύμανση της ποιότητας εξόδου έχει υψηλό κόστος και ο όγκος είναι σχετικά χαμηλός
• Χρειάζεστε ευρεία γνώση του κόσμου ή λεπτή κρίση που δεν μπορεί να υποκατασταθεί με κατάλληλα διατυπωμένες προτροπές
• Αναπτύσσετε ένα πρωτότυπο και δεν έχετε ακόμη ορίσει τα όρια της εργασίας

Μείνετε με ένα ελαφρύτερο μοντέλο όταν:

• Η εργασία είναι καλά καθορισμένη και επαναλαμβανόμενη
• Η ταχύτητα και το κόστος μετράνε στον όγκο εργασίας που επεξεργάζεστε
• Μπορείτε να επενδύσετε σε σχεδιασμό προτροπών ή fine-tuning
• Οι κανόνες τοποθεσίας αποθήκευσης δεδομένων ή συμμόρφωσης αποκλείουν τα API τρίτων

Το ζητούμενο δεν είναι να αποφεύγετε τα ισχυρά μοντέλα. Είναι να επιλέγετε σκόπιμα και βάσει αποδείξεων, αντί να καταφεύγετε αυτόματα στο μεγαλύτερο όνομα της κατάταξης επειδή μοιάζει με την ασφαλή επιλογή.

Συμπερασματικά

Η επιλογή ενός μοντέλου AI για την εφαρμογή σας δεν πρέπει να μοιάζει με διαγωνισμό κύρους. Το πιο ικανό μοντέλο στο χαρτί δεν είναι πάντα, ούτε καν συνήθως, το σωστό μοντέλο για το πρόβλημά σας.

Ταιριάξτε το μοντέλο με την εργασία. Τρέξτε αξιολογήσεις σε πραγματικά δεδομένα. Συμπεριλάβετε την καθυστέρηση, το κόστος, τις απαιτήσεις ασφαλείας και την ικανότητα της ομάδας σας για σχεδιασμό προτροπών ή fine-tuning. Οι καλύτερες αποφάσεις προϊόντων AI βασίζονται σε αυτές τις λεπτομέρειες, όχι σε ποια εταιρεία δημοσίευσε τα πιο εντυπωσιακά νούμερα το προηγούμενο τρίμηνο.

Οι ομάδες που κυκλοφορούν εξαιρετικά προϊόντα AI δεν τρέχουν πάντα τα πιο ισχυρά μοντέλα. Τρέχουν τα πιο κατάλληλα.