Γιατί το πιο ικανό μοντέλο AI σπάνια είναι η σωστή επιλογή για την εφαρμογή σας

Υπάρχει μια bestimmμένη άνεση στη sélection του πιο ισχυρού μοντέλου. Όταν κατασκευάζετε ένα προϊόν που βασίζεται στο AI, feels responsible (σχεδόν λογικό) να επιλέξετε το πιο ισχυρό μοντέλο που είναι διαθέσιμο. GPT-4o. Claude Opus. Gemini Ultra. Αυτά είναι εντυπωσιακά τεχνολογικά προϊόντα, και κανείς δεν έχει απολυθεί ποτέ για την επιλογή του πιο έξυπνου εργαλείου στο δωμάτιο.

Εξαιρείται, ωστόσο, μια λεπτομέρεια. Τα projects bloat. Τα έξοδα spiral. Η latency creeps in. Και κάπου γύρω στο τρίτο μήνα, η ομάδα αρχίζει να κάνει άβολα ερωτήσεις σχετικά με το γιατί μια απλή λειτουργία autocomplete καίει API credits σαν ένα startup με venture funding και χωρίς ευθύνη.

Το ζήτημα είναι το εξής: “το πιο ικανό” και “το πιο κατάλληλο” είναι δύο πολύ διαφορετικά standards. Οι παρόχοι υπηρεσιών ανάπτυξης εφαρμογών AI επιλέγουν μοντέλα με βάση τις αξιολογήσεις, όχι τις κατατάξεις των leaderboards.

Το μεγαλύτερο δεν είναι αυτόματα το καλύτερο

Ένα frontier μοντέλο εκτελείται εξαιρετικά σε ιδανικές συνθήκες, αλλά κοστίζει πολύ για να λειτουργήσει, χειρίζεται άσχημα τις ατελείς εισόδους και υπερβαίνει τις απαιτήσεις για απλές εργασίες.

Το GPT-4o μπορεί να γράψει ποίηση, να συλλογιστεί μέσω νομικών συμβάσεων, να διορθώσει κώδικα και να εξηγήσει την κβαντική ενέργεια σε ένα δέκαχρονο παιδί, μερικές φορές στην ίδια απάντηση. Αυτό είναι πραγματικά εντυπωσιακό. Αλλά αν η εφαρμογή σας συνοψίζει tickets υποστήριξης πελατών ή εξάγει δομημένα δεδομένα από τιμολόγια, πληρώνετε για ικανότητες που δεν χρησιμοποιούνται.

Μικρότερα, εξειδικευμένα μοντέλα χειρίζονται εστιασμένες εργασίες με εντυπωσιακή ακρίβεια:

• Το GPT-4o mini καλύπτει τις περισσότερες γλωσσικές εργασίες σε περίπου 15 φορές χαμηλότερο κόστος από το GPT-4o
• Το Claude Haiku είναι κατασκευασμένο για ταχύτητα και αποδοτικότητα σε υψηλής όγκου, δομημένες εργασίες
• Τα Mistral 7B και Llama 3.1 8B είναι ανοικτά μοντέλα που τρέχουν γρήγορα και fine-tune καλά

Ο χάσμα μεταξύ αυτών και των frontier μοντέλων μειώνεται σημαντικά όταν η εργασία είναι στενή και οι προτροπές είναι καλά σχεδιασμένες.

Η μαθηματική σχέση του κόστους που κανείς δεν μιλάει στις συναντήσεις σχεδιασμού

Η τιμολόγηση API για τα frontier μοντέλα μπορεί να κυμαίνεται 10 έως 30 φορές υψηλότερα ανά token από τα ελαφρύτερα αντίστοιχά τους. Αυτό το χάσμα ακούγεται αφηρημένο μέχρι να το μοντελοποιήσετε σε κλίμακα.

Λέτε ότι η εφαρμογή σας κάνει 500.000 κλήσεις API ανά μήνα:

Η ίδια λειτουργία. Πολύ διαφορετική ιστορία κερδών.

Ορισμένες ομάδες χρησιμοποιούν υβριδικές αρχιτεκτονικές: δρομολογούν απλές εργασίες ταξινόμησης σε ελαφριά μοντέλα και κρατούν τα βαρύτερα για σύνθετη παραγωγή ή συλλογιστική. Εταιρείες όπως η Martian και η RouteLLM έχουν δημιουργήσει εργαλεία ειδικά για αυτού του είδους τη δρομολόγηση μοντέλων. Δεν είναι εντυπωσιακή μηχανική, αλλά είναι ακριβώς το είδος που κάνει τους οικονομικούς διευθυντές αισθητά πιο ήρεμους.

Η.latency είναι ένα πρόβλημα εμπειρίας χρήστη

Υπάρχει ένας λόγος για τον οποίο υπάρχει το fast food. Οι άνθρωποι δεν πάντα θέλουν το πέντε πιάτο γεύμα. Μερικές φορές θέλουν την απάντησή τους τώρα.

Τα frontier μοντέλα είναι πιο αργά. Όχι πάντα με πολύ, αλλά αρκετά για να μετρήσουν σε πραγματικές εφαρμογές. Αν οι χρήστες σας περιμένουν απαντήσεις AI σε μια διαδικτυακή διεπαφή, μια διεπαφή συνομιλίας ή έναν ζωντανό βοηθό προγραμματισμού, η καθυστέρηση της απάντησης επηρεάζει άμεσα την αίσθηση που δίνει το προϊόν. Ένα μοντέλο που παίρνει 4-6 δευτερόλεπτα για να απαντήσει αρχίζει να φαίνεται αναξιόπιστο, ακόμη και αν η έξοδος είναι τεχνικά ανώτερη.

Ένας πρακτικός κανόνας: αν ο χρήστης βλέπει ένδειξη φόρτωσης, κάθε επιπλέον δευτερόλεπτο μειώνει την εμπιστοσύνη.

Τα Haiku, Mistral και Llama 3.1 8B λειτουργούν σημαντικά ταχύτερα, μερικές φορές τρεις έως πέντε φορές ταχύτερα, υπό παρόμοιο φορτίο. Για λειτουργίες που απευθύνονται στον χρήστη και όπου η αντιληπτή ταχύτητα μετρά, αυτό δεν είναι δευτερεύον ζήτημα αλλά απόφαση προϊόντος.

Η μεταβλητή του προγραμματισμού προτροπής (που αλλάζει τα πάντα)

Εδώ είναι κάτι που γίνεται αόρατο στις συζητήσεις σύγκρισης μοντέλων: μια καλά σχεδιασμένη προτροπή σε ένα μικρότερο μοντέλο συχνά νικά μια lax προτροπή σε ένα frontier μοντέλο.

Η ποιότητα της έξοδου είναι ένα προϊόν της ικανότητας του μοντέλου ΚΑΙ της ποιότητας της προτροπής. Όταν οι ομάδες επενδύουν σε προγραμματισμό προτροπής (σαφείς οδηγίες, δομημένα formats εξόδου, few-shot παραδείγματα, καλά καθορισμένες περιορισμοί) τα μικρότερα μοντέλα εκτελούνται πολύ πάνω από το φανερό τους όριο.

Μερικά εργαλεία που αξίζει να γνωρίζετε:

• LangChain και DSPy για σύνθεση και βελτιστοποίηση ροών προτροπών
• Guidance για ελεγχόμενη παραγωγή και δομημένα αποτελέσματα
• PromptFoo για συστηματική αξιολόγηση προτροπών σε διαφορετικά μοντέλα

Μερικές από τις πιο εντυπωσιακές λειτουργίες AI που χρησιμοποιούνται σήμερα στην παραγωγή τρέχουν σε μοντέλα που δεν θα έμπαιναν καν στην πρώτη πεντάδα κάποιας κατάταξης δυνατοτήτων. Απλώς χρησιμοποιούν εξαιρετικά σχεδιασμένες προτροπές.

Η fine-tuning αλλάζει την εξίσωση

Η σύγκριση μεταξύ eines γενικού frontier μοντέλου και eines μικρότερου ανοικτού μοντέλου φαίνεται πολύ διαφορετική μια φορά η fine-tuning μπαίνει στη σκηνή. Ένα Llama 3.1 8B μοντέλο fine-tuned στο συγκεκριμένο σας domaine δεδομένων (η ορολογία σας, οι περιπτώσεις σας, το προτιμώμενο format εξόδου) μπορεί να ξεπεράσει το GPT-4o στο συγκεκριμένο σας έργο.

Αυτό δεν είναι υποθετικό. Εταιρείες στην υγειονομική περίθαλψη, τη νομική τεχνολογία και το ηλεκτρονικό εμπόριο το έχουν αποδείξει επανειλημμένα.

Από πού να ξεκινήσετε με τη λεπτομερή ρύθμιση:

• Hugging Face για φιλοξενία μοντέλων ανοικτού κώδικα, σύνολα δεδομένων και υποδομή εκπαίδευσης
• Together AI για γρήγορες και οικονομικές εκτελέσεις λεπτομερούς ρύθμισης σε δημοφιλή ανοικτά μοντέλα
• Replicate για ανάπτυξη προσαρμοσμένων μοντέλων χωρίς διαχείριση δικής σας υποδομής GPU

Η λεπτομερής ρύθμιση απαιτεί αρχική επένδυση σε επιμέλεια δεδομένων, υπολογιστικό χρόνο και αξιολόγηση. Ωστόσο, για εργασίες μεγάλου όγκου και συγκεκριμένου πεδίου, τα οικονομικά δεδομένα συχνά την ευνοούν σημαντικά.

Ασφάλεια και κατοικία δεδομένων δεν είναι μετάνοιες

Ορισμένες εφαρμογές δεν μπορούν να στείλουν δεδομένα σε τρίτους APIs καθόλου. Σκεφτείτε:

• Πλατφόρμες υγείας που λειτουργούν υπό HIPAA
• Χρηματοοικονομικά εργαλεία που χειρίζονται PII ή ρυθμιζόμενη δεδομένα συναλλαγών
• Εταιρικό λογισμικό με αυστηρές απαιτήσεις κατοικίας δεδομένων

Αυτά τα περιβάλλοντα έχουν περιορισμούς που κανένα frontier μοντέλο API δεν μπορεί να εργαστεί γύρω, ανεξάρτητα από την ικανότητά του. Αυτο-φιλοξενούμενα μοντέλα, είτε σε προσωπικό υπολογιστή είτε σε ιδιωτική cloud, είναι ο μόνος δρόμος προς τα εμπρός. Αυτό σημαίνει ανοικτά μοντέλα όπως Llama 3, Mistral, ή Phi-3 που τρέχουν στην δική σας υποδομή.

Το βήμα αξιολόγησης που οι ομάδες συνεχίζουν να παραλείπουν

Οι περισσότερες ομάδες επιλέγουν ένα μοντέλο με την υπόθεση ότι το πιο ακριβό είναι το καλύτερο χωρίς να το δοκιμάσουν. Αυτό που θα πρέπει να κάνουν είναι να τρέχουν δομημένες αξιολογήσεις σε αντιπροσωπευτικά δείγματα της πραγματικής τους περίπτωσης χρήσης.

Μια διαδικασία που λειτουργεί είναι η εξής:

1. Δημιουργήστε σύνολο αξιολόγησης 100 έως 200 αντιπροσωπευτικών εισόδων με αναμενόμενες εξόδους
2. Εκτελέστε τις σε δύο ή τρία υποψήφια μοντέλα υπό ρεαλιστικές συνθήκες
3. Βαθμολογήστε με βάση τα πραγματικά σας κριτήρια: ακρίβεια, συμμόρφωση μορφής, ύφος, καθυστέρηση και κόστος ανά κλήση
4. Αποφασίστε με βάση τα δεδομένα και όχι το ένστικτο ή τις κατατάξεις

Εργαλεία όπως τα Braintrust, PromptFoo και Weights & Biases Prompts κάνουν αυτή τη συστηματική αξιολόγηση προσιτή χωρίς ερευνητικό υπόβαθρο. Η ρύθμιση χρειάζεται λίγες ώρες. Το όφελος είναι ότι δεν θα περάσετε έξι μήνες με το λάθος μοντέλο.

Όταν το frontier μοντέλο είναι πραγματικά η σωστή κλήση

Για να είμαστε δίκαιοι: υπάρχουν εργασίες όπου τα frontier μοντέλα πραγματικά κερδίζουν το Preis τους.

Χρησιμοποιήστε ένα frontier μοντέλο όταν:

• Η εργασία απαιτεί σύνθετη, πολλαπλή-βήμα reasoning με κανένα σαφές template
• Η ποιότητα της έξοδου variance είναι κοστοβόρα και ο όγκος είναι σχετικά χαμηλός
• Χρειάζεστε ευρεία γνώση του κόσμου ή ναυANCED κρίση που δεν μπορεί να προγραμματιστεί γύρω
• Είστε πρωτότυπο και δεν έχετε ακόμη ορίσει τα όρια της εργασίας

Μείνετε με ένα ελαφρύτερο μοντέλο όταν:

• Η εργασία είναι καλά καθορισμένη και επαναλαμβανόμενη
• Η ταχύτητα και το κόστος μετράνε στο όγκο που τρέχετε
• Μπορείτε να επενδύσετε σε προγραμματισμό προτροπής ή fine-tuning
• Οι κανόνες κατοικίας δεδομένων ή συμμόρφωσης αποκλείουν τρίτους APIs

Το ζητούμενο δεν είναι να αποφεύγετε τα ισχυρά μοντέλα. Είναι να επιλέγετε σκόπιμα και βάσει αποδείξεων, αντί να καταφεύγετε αυτόματα στο μεγαλύτερο όνομα της κατάταξης επειδή μοιάζει με την ασφαλή επιλογή.

Συμπερασματικά

Η επιλογή ενός μοντέλου AI για την εφαρμογή σας δεν πρέπει να feels σαν μια διαγωνισμός prestíge. Το πιο ικανό μοντέλο στο χαρτί δεν είναι πάντα το σωστό μοντέλο για το πρόβλημά σας, ή ακόμη και συνήθως.

Ταιριάξτε το μοντέλο με την εργασία. Τρέξτε αξιολογήσεις σε πραγματικά δεδομένα. Συμπεριλάβετε την καθυστέρηση, το κόστος, τις απαιτήσεις ασφαλείας και την ικανότητα της ομάδας σας για προγραμματισμό προτροπής ή fine-tuning. Οι καλύτερες αποφάσεις προϊόντων AI βασίζονται σε αυτές τις λεπτομέρειες, όχι σε ποια εταιρεία δημοσίευσε τα πιο εντυπωσιακά νούμερα την τελευταία περίοδο.

Οι ομάδες που κυκλοφορούν εξαιρετικά προϊόντα AI δεν τρέχουν πάντα τα πιο ισχυρά μοντέλα. Τρέχουν τα πιο κατάλληλα.