Γιατί το πιο ικανό μοντέλο AI σπάνια είναι η σωστή επιλογή για την εφαρμογή σας

Υπάρχει μια bestimmμένη άνεση στη sélection του πιο ισχυρού μοντέλου. Όταν κατασκευάζετε ένα προϊόν που βασίζεται στο AI, feels responsible (σχεδόν λογικό) να επιλέξετε το πιο ισχυρό μοντέλο που είναι διαθέσιμο. GPT-4o. Claude Opus. Gemini Ultra. Αυτά είναι εντυπωσιακά τεχνολογικά προϊόντα, και κανείς δεν έχει απολυθεί ποτέ για την επιλογή του πιο έξυπνου εργαλείου στο δωμάτιο.

Εξαιρείται, ωστόσο, μια λεπτομέρεια. Τα projects bloat. Τα έξοδα spiral. Η latency creeps in. Και κάπου γύρω στο τρίτο μήνα, η ομάδα αρχίζει να κάνει άβολα ερωτήσεις σχετικά με το γιατί μια απλή λειτουργία autocomplete καίει API credits σαν ένα startup με venture funding και χωρίς ευθύνη.

Το ζήτημα είναι το εξής: “το πιο ικανό” και “το πιο κατάλληλο” είναι δύο πολύ διαφορετικά standards. Οι παρόχοι υπηρεσιών ανάπτυξης εφαρμογών AI επιλέγουν μοντέλα με βάση τις αξιολογήσεις, όχι τις κατατάξεις των leaderboards.

Το μεγαλύτερο δεν είναι αυτόματα το καλύτερο

Ένα frontier μοντέλο εκτελείται εξαιρετικά σε ιδανικές συνθήκες, αλλά κοστίζει πολύ για να λειτουργήσει, χειρίζεται άσχημα τις ατελείς εισόδους και υπερβαίνει τις απαιτήσεις για απλές εργασίες.

Το GPT-4o μπορεί να γράψει ποίηση, να συλλογιστεί μέσω νομικών συμβάσεων, να διορθώσει κώδικα και να εξηγήσει την κβαντική ενέργεια σε ένα δέκαχρονο παιδί, μερικές φορές στην ίδια απάντηση. Αυτό είναι πραγματικά εντυπωσιακό. Αλλά αν η εφαρμογή σας συνοψίζει tickets υποστήριξης πελατών ή εξάγει δομημένα δεδομένα από τιμολόγια, πληρώνετε για ικανότητες που δεν χρησιμοποιούνται.

Μικρότερα, εξειδικευμένα μοντέλα χειρίζονται εστιασμένες εργασίες με εντυπωσιακή ακρίβεια:

• Το GPT-4o mini καλύπτει τις περισσότερες γλωσσικές εργασίες σε περίπου 15 φορές χαμηλότερο κόστος από το GPT-4o
• Το Claude Haiku είναι κατασκευασμένο για ταχύτητα και αποδοτικότητα σε υψηλής όγκου, δομημένες εργασίες
• Τα Mistral 7B και Llama 3.1 8B είναι ανοικτά μοντέλα που τρέχουν γρήγορα και fine-tune καλά

Ο χάσμα μεταξύ αυτών και των frontier μοντέλων μειώνεται σημαντικά όταν η εργασία είναι στενή και οι προτροπές είναι καλά σχεδιασμένες.

Η μαθηματική σχέση του κόστους που κανείς δεν μιλάει στις συναντήσεις σχεδιασμού

Η τιμολόγηση API για τα frontier μοντέλα μπορεί να κυμαίνεται 10 έως 30 φορές υψηλότερα ανά token από τα ελαφρύτερα αντίστοιχά τους. Αυτό το χάσμα ακούγεται αφηρημένο μέχρι να το μοντελοποιήσετε σε κλίμακα.

Λέτε ότι η εφαρμογή σας κάνει 500.000 κλήσεις API ανά μήνα:

Η ίδια λειτουργία. Πολύ διαφορετική ιστορία κερδών.

Η.latency είναι ένα πρόβλημα εμπειρίας χρήστη

Υπάρχει ένας λόγος για τον οποίο υπάρχει το fast food. Οι άνθρωποι δεν πάντα θέλουν το πέντε πιάτο γεύμα. Μερικές φορές θέλουν την απάντησή τους τώρα.

Τα frontier μοντέλα είναι πιο αργά. Όχι πάντα με πολύ, αλλά αρκετά για να μετρήσουν σε πραγματικές εφαρμογές. Αν οι χρήστες σας περιμένουν απαντήσεις AI σε μια διαδικτυακή διεπαφή, μια διεπαφή chat ή einen ζωντανού βοηθό κωδικών, η καθυστέρηση της απάντησης επηρεάζει直接ώς το πώς αισθάνεται το προϊόν. Ένα μοντέλο που παίρνει 4-6 δευτερόλεπτα για να απαντήσει αρχίζει να feels αξιόπιστο, ακόμη και αν η έξοδος είναι τεχνικά ανώτερη.

Η μεταβλητή του προγραμματισμού προτροπής (που αλλάζει τα πάντα)

Εδώ είναι κάτι που γίνεται αόρατο στις συζητήσεις σύγκρισης μοντέλων: μια καλά σχεδιασμένη προτροπή σε ένα μικρότερο μοντέλο συχνά νικά μια lax προτροπή σε ένα frontier μοντέλο.

Η ποιότητα της έξοδου είναι ένα προϊόν της ικανότητας του μοντέλου ΚΑΙ της ποιότητας της προτροπής. Όταν οι ομάδες επενδύουν σε προγραμματισμό προτροπής (σαφείς οδηγίες, δομημένα formats εξόδου, few-shot παραδείγματα, καλά καθορισμένες περιορισμοί) τα μικρότερα μοντέλα εκτελούνται πολύ πάνω από το φανερό τους όριο.

Η fine-tuning αλλάζει την εξίσωση

Η σύγκριση μεταξύ eines γενικού frontier μοντέλου και eines μικρότερου ανοικτού μοντέλου φαίνεται πολύ διαφορετική μια φορά η fine-tuning μπαίνει στη σκηνή. Ένα Llama 3.1 8B μοντέλο fine-tuned στο συγκεκριμένο σας domaine δεδομένων (η ορολογία σας, οι περιπτώσεις σας, το προτιμώμενο format εξόδου) μπορεί να ξεπεράσει το GPT-4o στο συγκεκριμένο σας έργο.

Ασφάλεια και κατοικία δεδομένων δεν είναι μετάνοιες

Ορισμένες εφαρμογές δεν μπορούν να στείλουν δεδομένα σε τρίτους APIs καθόλου. Σκεφτείτε:

• Πλατφόρμες υγείας που λειτουργούν υπό HIPAA
• Χρηματοοικονομικά εργαλεία που χειρίζονται PII ή ρυθμιζόμενη δεδομένα συναλλαγών
• Εταιρικό λογισμικό με αυστηρές απαιτήσεις κατοικίας δεδομένων

Αυτά τα περιβάλλοντα έχουν περιορισμούς που κανένα frontier μοντέλο API δεν μπορεί να εργαστεί γύρω, ανεξάρτητα από την ικανότητά του. Αυτο-φιλοξενούμενα μοντέλα, είτε σε προσωπικό υπολογιστή είτε σε ιδιωτική cloud, είναι ο μόνος δρόμος προς τα εμπρός. Αυτό σημαίνει ανοικτά μοντέλα όπως Llama 3, Mistral, ή Phi-3 που τρέχουν στην δική σας υποδομή.

Το βήμα αξιολόγησης που οι ομάδες συνεχίζουν να παραλείπουν

Οι περισσότερες ομάδες επιλέγουν ένα μοντέλο με την υπόθεση ότι το πιο ακριβό είναι το καλύτερο χωρίς να το δοκιμάσουν. Αυτό που θα πρέπει να κάνουν είναι να τρέχουν δομημένες αξιολογήσεις σε αντιπροσωπευτικά δείγματα της πραγματικής τους περίπτωσης χρήσης.

Όταν το frontier μοντέλο είναι πραγματικά η σωστή κλήση

Για να είμαστε δίκαιοι: υπάρχουν εργασίες όπου τα frontier μοντέλα πραγματικά κερδίζουν το Preis τους.

Χρησιμοποιήστε ένα frontier μοντέλο όταν:

• Η εργασία απαιτεί σύνθετη, πολλαπλή-βήμα reasoning με κανένα σαφές template
• Η ποιότητα της έξοδου variance είναι κοστοβόρα και ο όγκος είναι σχετικά χαμηλός
• Χρειάζεστε ευρεία γνώση του κόσμου ή ναυANCED κρίση που δεν μπορεί να προγραμματιστεί γύρω
• Είστε πρωτότυπο και δεν έχετε ακόμη ορίσει τα όρια της εργασίας

Μείνετε με ένα ελαφρύτερο μοντέλο όταν:

• Η εργασία είναι καλά καθορισμένη και επαναλαμβανόμενη
• Η ταχύτητα και το κόστος μετράνε στο όγκο που τρέχετε
• Μπορείτε να επενδύσετε σε προγραμματισμό προτροπής ή fine-tuning
• Οι κανόνες κατοικίας δεδομένων ή συμμόρφωσης αποκλείουν τρίτους APIs

Συμπερασματικά

Η επιλογή ενός μοντέλου AI για την εφαρμογή σας δεν πρέπει να feels σαν μια διαγωνισμός prestíge. Το πιο ικανό μοντέλο στο χαρτί δεν είναι πάντα το σωστό μοντέλο για το πρόβλημά σας, ή ακόμη και συνήθως.

Ταιριάξτε το μοντέλο με την εργασία. Τρέξτε αξιολογήσεις σε πραγματικά δεδομένα. Συμπεριλάβετε την καθυστέρηση, το κόστος, τις απαιτήσεις ασφαλείας και την ικανότητα της ομάδας σας για προγραμματισμό προτροπής ή fine-tuning. Οι καλύτερες αποφάσεις προϊόντων AI βασίζονται σε αυτές τις λεπτομέρειες, όχι σε ποια εταιρεία δημοσίευσε τα πιο flash numbers την τελευταία περίοδο.

Οι ομάδες που στέλνουν伟τικά προϊόντα AI δεν τρέχουν πάντα τα πιο ισχυρά μοντέλα. Τρέχουν τα πιο κατάλληλα.