Γιατί το μοντέλο AI Orca-2 της Microsoft σηματοδοτεί einen σημαντικό βήμα προς τη βιώσιμη AI;

Παρά τις αξιοσημείωτες προόδους που έχει κάνει η τεχνητή νοημοσύνη την τελευταία δεκαετία, οι οποίες περιλαμβάνουν τη νίκη των ανθρώπινων πρωταθλητών σε στρατηγικούς αγώνες όπως το Σκάκι και Go και προβλέποντας τη τρισδιάστατη δομή των πρωτεϊνών, η ευρεία υιοθέτηση των μεγάλων μοντέλων γλώσσας (LLMs) σηματοδοτεί μια παραλλαγή. Αυτά τα μοντέλα, τα οποία είναι έτοιμα να μεταμορφώσουν τις αλληλεπιδράσεις ανθρώπου-υπολογιστή, έχουν γίνει απαραίτητα σε διάφορους τομείς, συμπεριλαμβανομένης της εκπαίδευσης, των υπηρεσιών πελατών, της ανάκτησης πληροφοριών, της ανάπτυξης λογισμικού, των μέσων ενημέρωσης και της υγείας. Ενώ αυτές οι τεχνολογικές προόδους ξεκλειδώνουν επιστημονικές ανακαλύψεις και τροφοδοτούν την βιομηχανική ανάπτυξη, μια αξιοσημείωτη πλευρά για τον πλανήτη υπάρχει.

Η διαδικασία εκπαίδευσης και χρήσης των LLMs καταναλώνει τεράστια ποσότητα ενέργειας, με αποτέλεσμα μια σημαντική περιβαλλοντική επίδραση που χαρακτηρίζεται από αύξηση του ιχνηλιχίου άνθρακα και των εκπομπών αερίων του θερμοκηπίου. Μια πρόσφατη μελέτη από το Κολλέγιο Πληροφοριών και Επιστημών Υπολογιστών του Πανεπιστημίου του Μασαχουσέτη αποκάλυψε ότι η εκπαίδευση των LLMs μπορεί να εκπέμπει πάνω από 626.000 λίβρες διοξείδιου του άνθρακα, που αντιστοιχούν περίπου στις εκπομπές πέντε αυτοκινήτων σε όλη τη διάρκεια της ζωής τους. Η Hugging Face, μια εταιρεία τεχνητής νοημοσύνης, βρήκε ότι η εκπαίδευση του BLOOM, ενός μεγάλου μοντέλου γλώσσας που κυκλοφόρησε νωρίτερα στον χρόνο, οδήγησε σε 25 μετρικούς τόνους εκπομπών διοξείδιου του άνθρακα. Παρόμοια, το μοντέλο AI της Facebook , Meena, συσσωρεύει ένα ιχνηλício άνθρακα που αντιστοιχεί στην περιβαλλοντική επίδραση της οδήγησης ενός αυτοκινήτου για πάνω από 240.000 μίλια κατά τη διάρκεια της διαδικασίας εκπαίδευσής του.

Παρά την εκπαίδευση των LLMs, η ζήτηση για υπολογιστική δύναμη, απαραίτητη για τα LLMs, συμβάλλει τώρα περισσότερο στις εκπομπές παρά ολόκληρη την αεροπορική βιομηχανία. Ένας seul κέντρο δεδομένων μπορεί να καταναλώσει τόσο πολύ ρεύμα όσο 50.000 σπίτια. Μια άλλη μελέτη υπογραμμίζει ότι η εκπαίδευση ενός seul μεγάλου μοντέλου γλώσσας μπορεί να εκπέμπει τόσο CO2 όσο πέντε αυτοκίνητα που χρησιμοποιούν ενέργεια σε όλη τη διάρκεια της ζωής τους. Προβλέψεις δείχνουν ότι οι εκπομπές της τεχνητής νοημοσύνης θα αυξηθούν κατά 300% μέχρι το 2025, υπογραμμίζοντας την επείγουσα ανάγκη για ισορροπία της προόδου της τεχνητής νοημοσύνης με την περιβαλλοντική ευθύνη και προωθώντας πρωτοβουλίες για να κάνουν την τεχνητή νοημοσύνη πιο οικολογική. Για να αντιμετωπιστούν οι αρνητικές περιβαλλοντικές επιπτώσεις των προόδων της τεχνητής νοημοσύνης, η βιώσιμη τεχνητή νοημοσύνη αναδύεται ως ένα κρίσιμο πεδίο μελέτης.

Βιώσιμη Τεχνητή Νοημοσύνη

Η βιώσιμη τεχνητή νοημοσύνη αντιπροσωπεύει μια παραλλαγή στην ανάπτυξη και ανάπτυξη συστημάτων τεχνητής νοημοσύνης, εστιάζοντας στην ελαχιστοποίηση της περιβαλλοντικής επίδρασης, τις ηθικές σκέψεις και τις μακροχρόνιες κοινωνικές ωφέλειες. Η προσέγγιση στοχεύει στην δημιουργία ευφυών συστημάτων που είναι ενεργειακά αποδοτικά, περιβαλλοντικά υπεύθυνα και ευθυγραμμισμένα με τις ανθρώπινες αξίες. Η βιώσιμη τεχνητή νοημοσύνη εστιάζει στην उपयποίηση καθαρής ενέργειας για τους υπολογιστές, έξυπνους αλγόριθμους που χρησιμοποιούν λιγότερη δύναμη και τη따ρηση ηθικών οδηγιών για να διασφαλίσει δίκαιες και διαφανείς αποφάσεις. Είναι σημαντικό να σημειωθεί ότι υπάρχει μια διαφορά μεταξύ τεχνητής νοημοσύνης για τη βιωσιμότητα και βιώσιμης τεχνητής νοημοσύνης· η πρώτη μπορεί να περιλαμβάνει τη χρήση της τεχνητής νοημοσύνης για να βελτιώσει τις υπάρχουσες διαδικασίες χωρίς να λαμβάνει υπόψη τις περιβαλλοντικές ή κοινωνικές συνέπειες, ενώ η δεύτερη ενσωματώνει ενεργά τις αρχές της βιωσιμότητας σε κάθε φάση της ανάπτυξης της τεχνητής νοημοσύνης, από το σχέδιο έως την ανάπτυξη, για να δημιουργήσει μια θετική και μακροχρόνια επίδραση στον πλανήτη και την κοινωνία.

Από τα LLMs προς τα Μικρά Μοντέλα Γλώσσας (SLMs)

Στην προσπάθεια για βιώσιμη τεχνητή νοημοσύνη, η Microsoft (MSFT ) εργάζεται για την ανάπτυξη Μικρών Μοντέλων Γλώσσας (SLMs) για να ευθυγραμμιστεί με τις ικανότητες των Μεγάλων Μοντέλων Γλώσσας (LLMs). Σε αυτή την προσπάθεια, πρόσφατα παρουσίασε το Orca-2, σχεδιασμένο να συλλογιστεί όπως το GPT-4. Σε αντίθεση με τον προκάτοχό του, Orca-1, που διαθέτει 13 δισεκατομμύρια παραμέτρους, το Orca-2 περιέχει 7 δισεκατομμύρια παραμέτρους χρησιμοποιώντας δύο βασικές τεχνικές.

1. Εκπαίδευση με Οδηγίες: Το Orca-2 βελτιώνεται μαθαίνοντας από παραδείγματα, βελτιώνοντας την ποιότητα του περιεχομένου, τις ικανότητες zero-shot και τις ικανότητες συλλογισμού σε διάφορες εργασίες.
2. Εξήγηση Εκπαίδευσης: Αναγνωρίζοντας τις περιορισμούς στην εκπαίδευση με οδηγίες, το Orca-2 εισάγει την Εξήγηση Εκπαίδευσης. Αυτό περιλαμβάνει τη δημιουργία λεπτομερών εξηγήσεων για τα μοντέλα διδασκάλων, εμπλουτίζοντας τους σήματα συλλογισμού και βελτιώνοντας την συνολική κατανόηση.

Το Orca-2 χρησιμοποιεί αυτές τις τεχνικές για να επιτύχει υψηλά αποτελεσματικό συλλογισμό, συγκρίσιμο με αυτό που τα LLMs επιτύχουν με πολλές περισσότερες παραμέτρους. Η κύρια ιδέα είναι να επιτρέψει στο μοντέλο να βρει τον καλύτερο τρόπο για να λύσει ένα πρόβλημα, είτε είναι να δώσει μια γρήγορη απάντηση είτε να σκεφτεί το πρόβλημα βήμα προς βήμα. Η Microsoft ονομάζει αυτό το “Προσεκτικός Συλλογισμός”.

Για να εκπαιδεύσει το Orca-2, η Microsoft δημιουργεί ένα νέο σύνολο δεδομένων εκπαίδευσης χρησιμοποιώντας FLAN annotations, Orca-1 και το σύνολο δεδομένων Orca-2. Ξεκινά με εύκολες ερωτήσεις, προσθέτει μερικές δυσκολότερες και στη συνέχεια χρησιμοποιεί δεδομένα από μοντέλα ομιλίας για να το κάνει ακόμα πιο έξυπνο.

Το Orca-2 υποβάλλεται σε μια διεξοδική αξιολόγηση, που καλύπτει τον συλλογισμό, την ολοκλήρωση κειμένου, την εναρμόνιση, την αλήθεια και την ασφάλεια. Τα αποτελέσματα δείχνουν το δυναμικό της βελτίωσης του συλλογισμού των SLMs μέσω εξειδικευμένης εκπαίδευσης σε συνθετικά δεδομένα. Παρά μερικά περιορισμένα, τα μοντέλα Orca-2 δείχνουν υποσχόμενο για μελλοντικές βελτιώσεις στον συλλογισμό, τον έλεγχο και την ασφάλεια, αποδεικνύοντας την αποτελεσματικότητα της στρατηγικής εφαρμογής συνθετικών δεδομένων μετά την εκπαίδευση.

Σημασία του Orca-2 προς τη Βιώσιμη Τεχνητή Νοημοσύνη

Το Orca-2 αντιπροσωπεύει einen σημαντικό βήμα προς τη βιώσιμη τεχνητή νοημοσύνη, αμφισβητώντας την κυρίαρχη πεποίθηση ότι μόνο τα μεγαλύτερα μοντέλα, με την σημαντική κατανάλωση ενέργειας, μπορούν πραγματικά να προωθήσουν τις ικανότητες της τεχνητής νοημοσύνης. Αυτό το μικρό μοντέλο γλώσσας παρουσιάζει μια εναλλακτική προοπτική, υποδεικνύοντας ότι η επίτευξη αριστείας στα μοντέλα γλώσσας δεν απαιτεί απαραίτητα τεράστιους συνόλους δεδομένων και εκτεταμένη υπολογιστική δύναμη. Αντίθετα, υπογραμμίζει την_importance του έξυπνου σχεδιασμού και της αποτελεσματικής ενσωμάτωσης.

Αυτή η πρόοδος ανοίγει νέες δυνατότητες, υποστηρίζοντας μια μετατόπιση της εστίασης – από την απλή αύξηση της τεχνητής νοημοσύνης στην εστίαση στο πώς σχεδιάζουμε. Αυτό σηματοδοτεί einen κρίσιμο βήμα για να κάνουμε την προηγμένη τεχνητή νοημοσύνη πιο προσιτή σε ένα ευρύτερο κοινό, διασφαλίζοντας ότι η καινοτομία είναι περιεκτική και φτάνει σε ένα ευρύτερο φάσμα ανθρώπων και οργανισμών.

Το Orca-2 έχει το δυναμικό να επηρεάσει σημαντικά την ανάπτυξη μελλοντικών μοντέλων γλώσσας. Είτε πρόκειται για τη βελτίωση εργασιών που σχετίζονται με την επεξεργασία φυσικής γλώσσας είτε για την ενεργοποίηση πιο σύνθετων εφαρμογών της τεχνητής νοημοσύνης σε διάφορους τομείς, αυτά τα μικρότερα μοντέλα είναι έτοιμα να φέρουν σημαντικές θετικές αλλαγές. Επιπλέον, λειτουργούν ως πρωτοπόροι στην προώθηση πιο βιώσιμων πρακτικών της τεχνητής νοημοσύνης, ευθυγραμμίζοντας την τεχνολογική πρόοδο με μια δέσμευση για περιβαλλοντική ευθύνη.

Η Κύρια Ιδέα:

Το Orca-2 της Microsoft αντιπροσωπεύει einen πρωτοποριακό βήμα προς τη βιώσιμη τεχνητή νοημοσύνη, αμφισβητώντας την πεποίθηση ότι μόνο τα μεγαλύτερα μοντέλα μπορούν να προωθήσουν την τεχνητή νοημοσύνη. Προωθώντας τον έξυπνο σχεδιασμό έναντι του μεγέθους, το Orca-2 ανοίγει νέες δυνατότητες, προσφέροντας μια πιο περιεκτική και περιβαλλοντικά υπεύθυνη προσέγγιση για την ανάπτυξη προηγμένης τεχνητής νοημοσύνης. Αυτή η μετατόπιση σηματοδοτεί einen σημαντικό βήμα προς einen νέο парадίγματος στο σχεδιασμό ευφυών συστημάτων.