Aby obniżyć koszty AI, zacznij od wydatków na chmurę

Tzw. „brudny środek” AI może właśnie osiągnąć największy bałagan.

Gdy globalny kryzys sprzętu zderza się z ogromnym popytem, koszty AI wzrosły. W desperackiej walce o więcej obliczeń, firmy świadczące usługi AI musiały podnieść ceny i zmienić swoje modele rozliczeń, wywracając budżety i powodując, że innowacje zostały zablokowane, gdy wiele organizacji dopiero zaczynało osiągać swoje cele.

Wynik jest bardziej niż szok cenowy: to kryzys egzystencjalny dla świata biznesu, który skutecznie miał tylko jeden. Firmy przeprojektowały swoje mapy drogowe, aby uwzględnić wpływ AI. Zespoły zmieniły swoje przepływy pracy w zgodzie z możliwościami AI. Włączenie AI stało się podstawowym czynnikiem konkurencyjnym organizacji. AI wkroczyło na rynek, rozpoczynając ogromne przekształcenia, a teraz zespoły są proszone o powstrzymanie się, gdy dopiero zaczynają operacjonalizować je.

Firmy takie jak Uber znalazły się na czołówkach wiadomości, ustanawiając agresywne limity na korzystanie z AI, aby powstrzymać przepływ. Ale podczas gdy limity użytkowania mogą być skutecznym środkiem oszczędności, nie są one jedynym sposobem, w jaki firmy mogą ograniczyć wydatki na obliczenia.

Pierwszym miejscem, w którym powinny szukać, jest ich rachunek za chmurę.

Wygląda to na sprzeczność. Podczas gdy formuła zawsze brzmiała: im większa moc obliczeniowa, tym większy wpływ AI, niekoniecznie oznacza to większą efektywność. Przedsiębiorstwa tracą swoje budżety na usługi AI, nadal polegając na przewymiarowanych i drogich infrastrukturach; rosnące koszty AI jedynie ujawniają głęboko zakorzeniony problem, którego przedsiębiorstwa nie mogą już dłużej ignorować.

Jak nakładają się wydatki na chmurę

Wydatki na infrastrukturę IT są często drugim co do wielkości punktem w wydatkach organizacji, stanowiąc średnio 10% rocznych przychodów firmy – kwotę, którą popyt na AI w ostatnich latach podniósł do góry. Ale wiele z nich dodaje objętość do już nadmiernie rozrosłej struktury IT.

Członkowie zarządu i inni decydenci technologiczni są przyciągani przez to, co jest im znane i niezawodne. Niestety, to również powoduje wzrost ich rachunków za chmurę. Przyjmując sprawdzone i niezawodne rozwiązania, zamykają się w drogich umowach ze wszystkimi dużymi dostawcami, za które płacą za rozwiązania, które nie generują wartości.

Z biegiem czasu okazuje się, że płacą za nieużywane lub nieaktywne usługi, niezoptymalizowane sprzęty i puste miejsce na dysku, kiedy mogliby zainwestować te pieniądze w innowacje AI. Z AI stając się coraz droższym, będą potrzebować każdego dolara, jaki mogą dostać.

Dostosowanie infrastruktury do efektywności AI

Uzyskanie kontroli nad rozproszeniem chmury wymaga połączenia natychmiastowych, krótkoterminowych działań i długoterminowej ewolucji. Rozwiązywanie tego, co jest możliwe do rozwiązania dzisiaj, daje przedsiębiorstwom przestrzeń do planowania większych readaptacji w ciągu najbliższego roku.

Przechodzenie na nową infrastrukturę zajmuje czas, a organizacje potrzebują rozwiązań teraz, aby ich zespoły mogły nadal pracować z AI. Oto trzy kroki, które przedsiębiorstwa mogą podjąć natychmiast, aby uregulować swoje wydatki na chmurę:

1 – Analiza użycia procesora i pamięci

Istnieje coś takiego jak „zbyt dobre” wykonanie. Zespoły IT powinny przeprowadzić dogłębną diagnozę użycia usług chmury, a następnie obniżyć wersje, które przekraczają wymagania dotyczące wydajności. Głębokie zanurzenie w użyciu chmury pomaga również zespołom odkryć funkcje i infrastrukturę, które w ogóle nie są używane; jeśli ich obecna umowa na to pozwala, mogą być w stanie zlikwidować te usługi lub negocjować niższą płatność na okres trwania umowy. W przeciwnym razie identyfikacja nieużywanych funkcji zapewnia cenną ramę do określenia parametrów ich zrekonfigurowanego podejścia do chmury.

Podczas przechodzenia na nową strategię infrastruktury, przedsiębiorstwa będą chciały wybrać usługi chmury, które oszczędzają pamięć. Na przykład infrastruktura zoptymalizowana pod kątem pamięci i vCPUs dostarczają bardziej przystępne wsparcie dla wsparcia klasy przedsiębiorstw w porównaniu z optymalizacjami opartymi na Arm, które są zwykle oferowane przez dostawców chmury. To ulżyło części z ciężaru monitorowania zespołom IT, jednocześnie zmniejszając ogólne wydatki na chmurę.

2 – Ustawienie surowych limitów wydatków

Limity wydatków i użycia były odpowiedzią branży technologicznej na wzrost cen AI, ale to nie tylko ustawienie limitów ma znaczenie. To, jak te limity są definiowane, komunikowane i egzekwowane.

Po pierwsze, limity wydatków powinny być specyficzne dla użycia. Liderzy powinni móc ich używać jako przewodnika do planowania projektów i zasobów, umożliwiając im strukturyzowanie budżetów, terminów i poszczególnych zespołów projektowych z myślą o efektywności.

Jeśli chodzi o komunikację, jest to niezwykle ważne, aby cały personel zrozumiał dlaczego limity. Jesteśmy przyzwyczajeni do postrzegania cyfrowego jako nieskończonego, ale na tym etapie boomu AI jesteśmy napotykani przez prawa fizyki. Podczas gdy niedobory i zmiany rozliczeń wpływają na codzienną pracę pracowników, limity wydatków powinny być przedstawione jako zrównoważony sposób utrzymania ich nowej zależności od narzędzi AI, a nie jako ograniczenie.

3 – Wymuszanie protokołów znaczników

Protokoły znaczników zapobiegają niekontrolowanemu użyciu IT, które potajemnie zwiększa koszty obliczeń. Z solidnym kodem znacznika liderzy IT mogą lepiej zrozumieć ruch w usługach chmury, umożliwiając zespołom celowanie w źródło nadużycia i robienie strategicznych dostosowań, aby obciąć zasoby, gdzie występuje nadmiar. Jednocześnie protokoły znaczników mogą również pokazać, gdzie zespoły mogą potrzebować ulepszenia.

Gdy ich obecne umowy na chmurę wygasają, przedsiębiorstwa mają okazję zrestrukturyzować swoją ekosystem obliczeniowy z podejściem chmury składanej, wielochmurowej. Nie oznacza to koniecznie porzucenia długoletnich partnerów dostawców chmury, ale raczej zmniejszenie ich umów, aby uzgodnić je z bardziej efektywną infrastrukturą w innych miejscach w stosie. Alternatywne chmury, rozwiązania krawędziowe, które przerzucają ciężar na infrastrukturę opartą na GPU, oraz rozwiązania oprogramowania open source składają się na elastyczną, wielodostawczą strategię, która robi więcej niż tylko oszczędza koszty: zwiększa zwrot z inwestycji każdej inicjatywy AI, maksymalizując cenę za wydajność, umożliwiając przedsiębiorstwom inwestowanie oszczędności z powrotem w innowacje AI.

Przebudowanie myślenia o efektywności

Zarządzanie wydatkami na AI to również kwestia kulturowa. Zespoły wspierane przez AI są szczególnie zafascynowane efektywnością. Dlatego budują agenci, automatyzują swoją komunikację i pozwalają AI wykonywać pracę, podczas gdy oni rozszerzają swoją zdolność do kreatywności i innowacji. Ale nieodpowiednie korzystanie z tych narzędzi ma odwrotny skutek.

„Tokenmaxxing” i inne trendy, które zachęcają do marnowania AI, są niezgodne z tendencją do efektywności. Jeśli zespoły chcą naprawdę zrobić więcej z mniej, ich interakcje z AI powinny odzwierciedlać ten princip.

Wymaga to zmiany kultury i technologii w zgodzie. Zachęcanie do korzystania z lepszych wskazówek, aby zmniejszyć obciążenie inferencji, ale także przyjęcie infrastruktury, która automatycznie oszczędza inferencję. Przyjęcie mniejszych modeli AI z przypadkami użycia o wysoką precyzją. Przyjęcie modeli i oprogramowania open source, aby zmniejszyć obciążenie szkolenia. Umożliwienie deweloperom rozwiązywania problemów w sposób efektywny i edukowanie niefachowych użytkowników AI. Firmy, które chcą zachęcić swoich pracowników do korzystania z AI, muszą to robić w sposób odpowiedzialny.

Pomimo wzrostu cen, nie zatrzymaliśmy się w transformacji AI. Operacjonalizacja AI w skali była zawsze kosztownym przedsięwzięciem, wymagającym starannego planowania i strategicznego alokowania kapitału, aby pozostać zrównoważonym. Gdzie jesteśmy, to punkt ściskania: ruchy, które liderzy IT podejmują teraz, określą, kto przejdzie przez, a kto zostanie pozostawiony.

Podczas gdy branża mobilizuje się, aby rozwiązać zbliżający się kryzys obliczeniowy, przedsiębiorstwa muszą znaleźć sposoby, aby radzić sobie z tym, co mają. Firmy mogą chronić się przed astronomicznymi wydatkami na AI, zajmując się nadmiernymi wydatkami na rozwiązania chmury, oszczędzając inferencję w chmurze rozproszonej i inwestując w infrastrukturę, która promuje prawdziwy zwrot z inwestycji.