Dlaczego model AI Orca-2 firmy Microsoft oznacza znaczący krok w kierunku zrównoważonego AI?

Pomimo doniosłych postępów, które artificial intelligence odniósł w ciągu ostatniej dekady, w tym pokonania mistrzów gier strategicznych, takich jak szachy i GO oraz przewidzenie struktury trójwymiarowej białek, powszechne stosowanie dużych modeli językowych (LLM) oznacza zmianę paradygmatu. Te modele, które mają potencjał zmienić interakcje między ludźmi a komputerami, stały się niezastąpione w różnych sektorach, w tym edukacji, obsłudze klienta, wyszukiwaniu informacji, rozwoju oprogramowania, mediach i opiece zdrowotnej. Podczas gdy te postępy technologiczne otwierają drogę do przełomów naukowych i napędzają wzrost gospodarczy, istnieje również znacząca wada dla planety.

Proces szkolenia i wykorzystania LLM wymaga ogromnej ilości energii, co skutkuje znaczącym wpływem na środowisko, objawiającym się zwiększonym śladem węglowym i emisjami gazów cieplarnianych. Recentne badanie przeprowadzone przez College of Information and Computer Sciences na Uniwersytecie w Amherst ujawniło, że szkolenie LLM może emitować ponad 626 000 funtów dwutlenku węgla, co jest równoważne z emisjami pięciu samochodów przez cały ich okres użytkowania. Firma Hugging Face, startup zajmujący się sztuczną inteligencją, stwierdziła, że szkolenie modelu BLOOM, dużego modelu językowego uruchomionego na początku roku, skutkowało 25 tonami emisji dwutlenku węgla. Podobnie, model AI firmy Facebook , Meena, gromadzi ślad węglowy porównywalny z wpływem na środowisko jazdy samochodem przez ponad 240 000 mil w trakcie procesu szkolenia.

Pomimo szkolenia LLM, popyt na chmury obliczeniowe, niezbędne dla LLM, przyczynia się obecnie do większych emisji niż cały przemysł lotniczy. Jedno centrum danych może zużywać tyle energii, co 50 000 domów. Kolejne badanie podkreśla, że szkolenie jednego dużego modelu językowego może wyemitować tyle CO2, co pięć samochodów przez cały ich okres użytkowania. Przewidywania wskazują, że emisje AI wzrosną o 300% do 2025 roku, co podkreśla pilną potrzebę równoważenia postępu AI z odpowiedzialnością za środowisko i inicjatywami mającymi na celu uczynienie AI bardziej ekologicznym. Aby rozwiązać problem negatywnego wpływu postępów AI na środowisko, zrównoważone AI staje się kluczowym obszarem badań.

AI zrównoważone

Zrównoważone AI reprezentuje zmianę paradygmatu w rozwoju i wdrożeniu systemów sztucznej inteligencji, koncentrując się na minimalizowaniu wpływu na środowisko, uwzględnianiu etyki i długoterminowych korzyści społecznych. Podejście to ma na celu stworzenie systemów inteligentnych, które są efektywne energetycznie, odpowiedzialne za środowisko i zgodne z wartościami ludzkimi. Zrównoważone AI koncentruje się na wykorzystaniu czystej energii do komputerów, inteligentnych algorytmów, które zużywają mniej energii, oraz przestrzeganiu wytycznych etycznych, aby zapewnić sprawiedliwe i przejrzyste decyzje. Ważne jest, aby zauważyć, że istnieje różnica między AI dla zrównoważenia a zrównoważonym AI; pierwsze może obejmować wykorzystanie AI do optymalizacji istniejących procesów bez koniecznego uwzględniania ich wpływu na środowisko lub społeczeństwo, podczas gdy drugie aktywnie integruje zasady zrównoważenia we wszystkich fazach rozwoju AI, od projektowania do wdrożenia, aby stworzyć pozytywny i trwały wpływ na planetę i społeczeństwo.

Od LLM do małych modeli językowych (SLM)

W poszukiwaniu zrównoważonego AI, Microsoft (MSFT ) pracuje nad rozwojem małych modeli językowych (SLM), aby dostosować się do możliwości dużych modeli językowych (LLM). W tym wysiłku niedawno wprowadzili Orca-2, zaprojektowany, aby rozumować jak GPT-4. W przeciwieństwie do swojego poprzednika, Orca-1, który posiada 13 miliardów parametrów, Orca-2 zawiera 7 miliardów parametrów, wykorzystując dwie kluczowe techniki.

1. Dostosowanie do instrukcji: Orca-2 ulega poprawie, ucząc się z przykładów, polepszając jakość treści, zdolności zero-shot i umiejętności rozumowania w różnych zadaniach.
2. Dostosowanie do wyjaśnień: Rozpoznając ograniczenia w dostosowaniu do instrukcji, Orca-2 wprowadza dostosowanie do wyjaśnień. Obejmuje to tworzenie szczegółowych wyjaśnień dla modeli nauczycielskich, wzbogacanie sygnałów rozumowania i poprawę ogólnego zrozumienia.

Orca-2 wykorzystuje te techniki, aby osiągnąć wysoce efektywne rozumowanie, porównywalne z tym, co LLM osiągają z o wiele większą liczbą parametrów. Głównym celem jest umożliwienie modelowi znalezienia najlepszego sposobu rozwiązania problemu, niezależnie od tego, czy jest to udzielenie szybkiej odpowiedzi, czy przemyślenie go krok po kroku. Microsoft nazywa to “ostrożnym rozumowaniem.”

Aby przeszkolić Orca-2, Microsoft tworzy nowy zestaw danych szkoleniowych, wykorzystując adnotacje FLAN, Orca-1 i zestaw danych Orca-2. Zaczynają od łatwych pytań, dodają trudniejsze, a następnie wykorzystują dane z modeli rozmów, aby uczynić go jeszcze bardziej inteligentnym.

Orca-2 przechodzi gruntowną ocenę, obejmującą rozumowanie, uzupełnianie tekstu, ugruntowanie, prawdziwość i bezpieczeństwo. Wyniki pokazują potencjał poprawy rozumowania SLM za pomocą specjalistycznego szkolenia na danych syntetycznych. Pomimo pewnych ograniczeń, modele Orca-2 pokazują obietnicę dla przyszłych ulepszeń w rozumowaniu, kontroli i bezpieczeństwie, udowadniając skuteczność zastosowania danych syntetycznych w doskonaleniu modelu po szkoleniu.

Znaczenie Orca-2 dla zrównoważonego AI

Orca-2 reprezentuje znaczący krok w kierunku zrównoważonego AI, wyzwając dominujące przekonanie, że tylko większe modele, ze znacznym zużyciem energii, mogą naprawdę przyczynić się do postępu AI. Ten mały model językowy prezentuje alternatywny punkt widzenia, sugerując, że osiąganie doskonałości w modelach językowych nie wymaga koniecznie ogromnych zbiorów danych i rozległych możliwości obliczeniowych. Zamiast tego, podkreśla wagę inteligentnego projektowania i skutecznego wdrożenia.

Przełom ten otwiera nowe możliwości, promując zmianę focusu – od zwiększania AI do koncentrowania się na tym, jak je projektujemy. Oznacza to kluczowy krok w uczynieniu zaawansowanego AI bardziej dostępnym dla szerszego grona ludzi i organizacji, zapewniając, że innowacje są inkluzywne i sięgają większej liczby osób i instytucji.

Orca-2 ma potencjał, aby znacząco wpłynąć na rozwój przyszłych modeli językowych. Niezależnie od tego, czy chodzi o poprawę zadań związanych z przetwarzaniem języka naturalnego, czy umożliwienie bardziej zaawansowanych aplikacji AI w różnych branżach, te mniejsze modele są gotowe przynieść znaczące pozytywne zmiany. Co więcej, działają one jako pionierzy w promowaniu bardziej zrównoważonych praktyk AI, łącząc postęp technologiczny z zaangażowaniem na rzecz odpowiedzialności za środowisko.

Podsumowanie

Model AI Orca-2 firmy Microsoft reprezentuje przełomowy krok w kierunku zrównoważonego AI, wyzwając przekonanie, że tylko duże modele mogą przyczynić się do postępu AI. Poprzez priorytet inteligentnego projektowania nad rozmiarem, Orca-2 otwiera nowe możliwości, oferując bardziej inkluzywny i odpowiedzialny za środowisko sposób rozwoju zaawansowanego AI. Ta zmiana oznacza znaczący krok w kierunku nowego paradygmatu w projektowaniu systemów inteligentnych.