AI 비용을 절감하기 위해 클라우드 지출부터 시작하세요

AI의 так называем한 “messy middle”은 아마도 가장 큰 문제에 직면해 있습니다.

전 세계 하드웨어 부족과 거대한 수요가 충돌하면서, AI 비용이 폭등했습니다. AI 서비스 회사들은 더 많은 컴퓨팅을 위해 가격을 인상하고 청구 모델을 변경해야 했으며, 이는 예산을 불균형으로 만들고 혁신을 방해했습니다.

결과는 단순한 가격 상승이 아닙니다. 이는 비즈니스 세계에 대한 존재론적인 위기입니다. 회사는 AI의 영향을 고려하여 로드맵을 변경했습니다. 팀은 AI 기능에 따라 워크플로우를 재구성했습니다. AI 활성화는 조직의 주요 경쟁 차별점이 되었습니다. AI는 분야에 진입하여 대규모 변화를 시작했으며, 이제 팀은 이를 운영화하는 데 방해를 받고 있습니다.

우버와 같은 회사들은 AI 사용을 제한하여 비용을 절감하기 위해 노력하고 있습니다. 그러나 사용 제한은 비용을 줄이는 유일한 방법은 아닙니다.

첫 번째로 살펴보아야 할 곳은 클라우드 비용입니다.

이것은 직관에 반하는 것처럼 보일 수 있습니다. 컴퓨팅 파워가 더 많을수록 AI의 영향이 더 크다는 공식이 항상 성립하지만, 이것이 반드시 더 효율적인 것은 아닙니다. 기업은 AI 서비스에 예산을 허비하면서도 과대평가된 인프라에 의존하고 있습니다. AI 비용의 상승은 기업이 더 이상 무시할 수 없는 깊은 문제를 노출하고 있습니다.

클라우드 지출이 누적되는 방식

IT 인프라 비용은 종종 조직의 두 번째로 큰 비용 항목입니다. 이는 평균적으로 기업의 연간 수익의 10%를 차지하며, 이는 AI 수요로 인해 최근 몇 년 동안 상승했습니다. 그러나 많은 기업이 이미 과대평가된 IT 프레임워크에 볼륨을 추가하고 있습니다.

CTO와 다른 기술 결정자들은 익숙하고 신뢰할 수 있는 것을 선호합니다. 그러나 이것이 클라우드 비용을 상승시키는 것입니다. 익숙한 것을 선택함으로써, họ는 가치가 없는 솔루션을 위해 대형 하이퍼스케일러와의 비싼 일괄 거래에 묶여 있습니다.

시간이 지남에 따라, họ는 사용하지 않거나 비활성화된 서비스, 최적화되지 않은 하드웨어 및 빈 저장소에 대해 비용을 지불하는 것을 발견합니다. 이는 AI 혁신에 투자할 수 있는 돈입니다. AI가 더 비싸질수록, 그들은 모든 돈을 필요로 할 것입니다.

AI 효율성을 위한 인프라 최적화

클라우드 스프롤을 제어하는 것은 단기적인 즉각적인 행동과 장기적인 진화를 모두 필요로 합니다. 오늘 해결할 수 있는 것을 다루면 기업은 더 큰 조정을 계획할 수 있는 호흡을 얻을 수 있습니다.

새로운 인프라로의 전환에는 시간이 필요하며, 기업은 팀이 AI와 함께 작업할 수 있도록 즉시 솔루션이 필요합니다. 기업은 클라우드 비용을 조절하기 위해 즉시 취할 수 있는 세 가지 단계가 있습니다.

1 – CPU 및 메모리 사용량 분석

과도한 성능은 존재합니다. IT 팀은 클라우드 서비스 사용을 철저히 진단한 다음, 성능 요구 사항을 초과하는 인스턴스를 降급해야 합니다. 클라우드 사용에 대한 심층 분석은 팀이 사용되지 않는 기능과 인프라를 발견하는 데에도 도움이 됩니다. 현재 계약이 허용하는 경우, 그들은 이러한 서비스를 중단하거나 계약 기간 동안 낮은 요금으로 협상할 수 있습니다. 그렇지 않으면 사용되지 않는 기능을 식별하면 재구성된 클라우드 접근 방식의 매개변수를 결정하는 데 유용한 프레임워크를 제공합니다.

기업이 인프라 전략을 전환함에 따라, 그들은 메모리 사용을 절약하는 클라우드 서비스를 선택하고 싶을 것입니다. 예를 들어, 메모리 최적화 인프라와 vCPU는 하이퍼스케일러가 제공하는 Arm 기반 최적화와 비교하여 기업급 지원에 대해 더 저렴한 지원을 제공합니다. 이것은 IT 팀의 일부 모니터링 부담을 줄여주고 동시에 전체 클라우드 비용을 줄입니다.

2 – 엄격한 지출 제한 설정

지출 및 사용 제한은 기술 산업의 AI 가격 상승에 대한 면역 반응입니다. 그러나 제한을 설정하는 것이 아니라, 제한을 정의, 통신 및 시행하는 것이 중요합니다.

지출 제한은 사용 특정이어야 합니다. 리더는 프로젝트 계획 및 자원 배치에 대한 지침으로 사용할 수 있어야 하며, 이는 효율성을 고려하여 예산, 타임라인 및 개별 프로젝트 팀을 구조화하는 데 도움이 됩니다.

통신에 관해서는, 제한의 이유를 전체 직원이 이해하는 것이 중요합니다. 우리는 디지털이 무한하다고 생각하는 경향이 있지만, 현재의 AI 붐에서 우리는 물리 법칙에 직면해 있습니다. 부족과 청구 변경이 직원의 일일 워크플로우에 영향을 미치면서, 지출 제한은 AI 도구에 대한 새로운 의존성을 유지하는 지속 가능한 방법으로 пози셔닝되어야 합니다.

3 – 태깅 프로토콜 시행

태깅 프로토콜은 비관리 IT 사용으로 인한 컴퓨팅 비용의 상승을 방지합니다. 강력한 태깅 코드를 통해 IT 리더는 클라우드 서비스 트래픽을 더 잘 이해할 수 있으며, 팀은 오버사용의 원인을 타겟팅하여 자원에서 발생하는 부풀림을 줄이는 전략적인 조정을 할 수 있습니다.同時에, 태깅 프로토콜은 업그레이드가 필요한 곳도 보여줄 수 있습니다.

기존 클라우드 계약이 만료되면, 기업은 컴퓨팅 에코시스템을 재구성하여 조합 가능한 멀티 클라우드 접근 방식을 사용할 수 있는 기회를 얻습니다. 이는 하이퍼스케일러 파트너와의 계약을 포기하는 것을 의미하지 않지만, 더 효율적인 인프라와 조화를 이루는 계약을 축소하는 것을 의미합니다. 대체 클라우드, 에지 솔루션이 GPU 기반 인프라의 부담을卸荷하는 솔루션 및 오픈 소스 소프트웨어 솔루션은 모두 비용을 절감하는 것 이상을 제공하는 유연한 다중 벤더 전략을 구성하며, 이는 성능에 대한 가격을 최대화하여 AI 이니셔티브의 ROI를 증가시키고, 기업이 AI 혁신에 대한 절약을 재투자할 수 있도록 합니다.

효율성 마인드를 재연결

AI 비용을 관리하는 것은 또한 문화적인 문제입니다. AI를 사용하는 워크フォ스는 효율성에 대한 강한 집착을 가지고 있습니다. 이것이 그들이 에이전트를 구축하고, 의사소통을 자동화하며, AI가 하찮은 작업을 수행하도록 하면서 창의성과 혁신을 확장하는 이유입니다. 그러나 이러한 도구의 무책임한 사용은 반대의 효과를 낳습니다.

“토큰 맥스”와 같은 트렌드는 효율성에 대한 편향과 양립할 수 없습니다. 팀이 실제로 더 적은 것으로 더 많은 것을 하려면, 그들의 AI와의 상호작용은 그 원칙을 반영해야 합니다.

이것은 기술과 문화의 동시적인 전환을 필요로 합니다. 추론 부하를 줄이기 위한 더 나은 프롬프트의 사용을 장려하지만, 또한 추론을 자동으로 절약하는 인프라를 채택합니다. 더 작은 AI 모델과 정밀한 사용 사례를 채택합니다. 오픈 소스 모델과 소프트웨어를 채택하여 훈련 워크로드를 줄입니다. 개발자가 효율적으로 문제를 해결하도록 교육하고, 비기술적인 AI 사용자를 교육합니다. 기업이 직원에게 AI를 사용하도록 장려하려면, 책임감 있게 해야 합니다.

비용 상승에도 불구하고, 우리는 AI 변화를 중단하지 않았습니다. 대규모로 AI를 운영하는 것은 항상 비싼 일이었습니다. 이를 지속적으로 유지하기 위해서는慎重한 계획과 전략적인 자본 할당이 필요합니다. 현재의 상황은 비용을 절감하기 위한 기회입니다. IT 리더가 지금 취하는 조치는 누가 통과하고, 누가 남아있는지 결정할 것입니다.

산업이 컴퓨팅 위기를 해결하기 위해 동원되는 동안, 기업은 그들이 가지고 있는 것을 사용하여 방법을 찾을 필요가 있습니다. 기업은 클라우드 솔루션에 대한 과도한 지출, 분산 클라우드에서 추론을 절약하고, 실제 ROI를 촉진하는 인프라에 투자함으로써 천문학적인 AI 비용에 대비할 수 있습니다.