악순환 끊기: 조직이 비관론을 피하고 성공을 거두는 방법

1950년대 이론적 개념이 등장한 이후, 인공지능(AI)은 특히 머신러닝 시스템을 비롯한 다양한 기술을 통해 기업들에게 향상된 기회와 생산성을 제공하는 길을 열어주었습니다. 이러한 도구와 기술들은 예측 및 의사결정 능력을 개선하고 미래 기술 발전의 토대를 마련했습니다. 최근에는 생성형 AI가 기존의 업무 방식을 완전히 뒤바꿀 것이라는 기대를 모으며 AI 경험을 민주화했습니다. 이제 사용자들은 ChatGPT와 같은 AI 모델과 "프롬프트"를 통해 상호작용하며, AI 모델과 의견을 주고받습니다. 그러나 이러한 이점에는 새로운 문제점, 즉 "둠프롬프트"가 존재합니다. 이는 명확한 목표 없이 온라인 콘텐츠에서 끊임없이 정보를 탐색하는 것과 유사하며, 사용자를 정보의 굴레에 가두는 결과를 초래합니다. AI의 경우, 이러한 굴레는 사용자에게 질문을 던집니다. 완벽한 결과물을 얻으려는 욕구(때로는 명확한 목표 없이 프롬프트를 사용하는 행위)로 인해 생성형 및 에이전트형 모델 모두에서 AI 프롬프트가 지속적으로 개선되면서 비용은 증가하고 효율성은 감소합니다. 이는 성공의 주요 장애물이 되며, AI 기술을 사용하는 본래의 목적을 무색하게 만듭니다.

기업들이 인공지능 관련 예산을 늘림에 따라, 의사결정권자들은 투자에 대한 실질적인 수익을 창출하는 경로와 그 가치가 무엇인지 이해해야 합니다. IEEE의 2025년 보고서에 따르면, '인공지능의 숨겨진 비용: 작은 비효율들이 어떻게 누적되는가'이는 사소한 조정이 누적되어 상당한 경제적 부담으로 이어질 수 있음을 보여줍니다. 이러한 비용이 많이 드는 문제에 휘말리지 않으려면 조직은 LLM을 활용하여 직원 교육을 개선하고 AI 투자 잠재력을 최대한 활용해야 합니다.

생성형 AI는 최적화와 효율성이라는 약속을 가져다줍니다. 그러나 팀이 끝없는 개선(또는 방향성 없는 방황)의 악순환에 빠지게 되면 비효율성이 이러한 기반을 무너뜨립니다.

"업무 속 잡동사니" 정리하기

팀이 완벽한 답변을 만들어내기 위해 지속적으로 결과물을 다듬는 이유 중 하나는 '워크슬롭(workslop)' 때문입니다. 하버드 비즈니스 리뷰에서 처음 설명된 워크슬롭은 '겉보기에는 훌륭한 결과물처럼 보이지만, 주어진 과제를 의미 있게 진전시킬 만한 실질적인 내용이 부족한 AI 생성 결과물'을 의미합니다.

AI가 만들어낸 이러한 '엉성한 결과물'은 악순환의 첫 번째 도미노가 되어 악순환을 초래합니다. 수준 이하의 콘텐츠를 반복 수정하는 것은 중요하지만, 효율성이 떨어지는 지점에 도달하기 전에 언제 멈춰야 할지 아는 것이 중요합니다. 조직은 AI 교육에 투자하는 시간을 신중하게 배분해야 합니다. 필요한 품질 수준을 명확히 인식하는 동시에, 과도한 투자는 금물이라는 점도 명심해야 합니다. 최적의 피드백과 명확한 목표 설정을 통해 직원들이 AI 모델을 더욱 효과적으로 활용할 수 있도록 교육하는 것 또한 유용할 것입니다.

재앙을 예고하는 것을 방지하기 위해 에이전트형 AI 활용

최근 몇 년 동안 기업들은 운영 효율성 향상 능력으로 인정받는 에이전트형 AI에 대한 관심과 투자를 크게 늘렸습니다. 에이전트형 AI는 복잡한 작업을 처리하고, 여러 에이전트(RAG 및 액션 에이전트 포함)와 협력하여 행동 방침을 결정하고, 작업을 자율적으로 실행하여 전체 작업을 완료할 수 있습니다.

이러한 특성은 AI가 부정적인 메시지를 반복적으로 제시하는 것을 완화하거나 완전히 차단하는 데 도움이 될 수 있습니다. 이는 인공지능 인터페이스에 작업을 완료하기 위해 여러 번의 프롬프트를 통해 지시해야 하는 필요성을 없애줍니다. 이러한 예는 AI 기반 IT 운영(AIOps)에서 찾아볼 수 있는데, 이는 AI를 일상 업무에 통합하여 IT를 현대화하고 있습니다. 기존에는 팀들이 시스템을 수동으로 조정하는 데 시간을 많이 소비했지만, 21세기의 IT 부서는 AI를 활용하여 문제 해결, 사고 대응, 자원 할당과 같은 핵심 기능을 자율적으로 처리합니다.

또 다른 적절한 예는 에이전트형 AI 시스템이 복잡한 사건을 자율적으로 처리하는 방식입니다. 이러한 에이전트는 IT 운영팀과 협력하여 문제를 맥락적으로 이해하고, 추론 에이전트와 조율하여 해결 방안을 결정하고, 실행 에이전트를 통해 IT 시스템에 대한 최종적인 문제 해결을 수행하며, 학습 에이전트를 활용하여 해결책을 학습하고 향후 유사한 사건에 더욱 효과적으로 적용할 수 있습니다.

에이전트형 AI의 지능형 자동화는 사람의 개입을 최소화하고 자율적으로 작업을 처리합니다. 변화하는 비즈니스 요구에 부응하기 위해 반복적인 작업과 운영은 자율적인 AI에 맡겨야 합니다. 이러한 위임은 반복적인 지시와 개선 작업으로 인해 발생하는 불필요한 오류 발생을 방지합니다. 자율적인 운영을 통해 AI 모델은 수동 입력 없이 지속적으로 최적화되고 변화하는 변수에 대응할 수 있으므로, 사람의 개입을 최소화하면서 더 빠른 결과를 도출할 수 있습니다.

숙련된 전문가들은 인적 개입 방식을 통해 일상적인 운영에서 여전히 중요한 역할을 수행하겠지만, 그들의 시간은 결과 검증을 위한 스캔 작업에 더욱 효율적으로 활용될 것입니다. 이러한 접근 방식은 오류 발생이나 과도한 조정의 위험을 최소화합니다.

파국적 예언을 예방하는 데 있어 정부의 역할

최근에 맥킨지 설문조사응답자의 88%가 적어도 하나의 비즈니스 기능에서 AI를 활용하고 있다고 답했습니다. 이는 2024년 대비 10% 증가한 수치이며, 2023년 이후로는 무려 33%나 급증한 것입니다. 에이전트 기반 AI의 경우, 이러한 증가세는 더욱 두드러졌습니다. 2023년 33%에서 2025년에는 거의 80%까지 증가할 것으로 예상됩니다.

이처럼 광범위한 도입으로 인해 기업들은 AI 프로젝트의 실패 가능성을 미리 예측하는 것에 대한 새로운 해결책을 모색해야 합니다. 그러한 해결책 중 하나가 바로 견고한 거버넌스 프레임워크입니다. 이러한 프레임워크는 AI 프로젝트가 비즈니스 목표와 일치하고 끝없는 최적화의 굴레에 빠지지 않도록 신중하게 설계되어야 합니다. 팀이 이러한 프레임워크를 개발할 때 고려해야 할 사항은 다음과 같습니다.

• 지침 수립인공지능 모델로 들어오고 나가는 데이터 흐름은 점점 더 복잡해지고 있습니다. 이를 단순화하기 위해 인공지능 가이드라인은 팀이 데이터를 처리하고, 의사 결정을 내리고, 인공지능 결과물을 책임감 있게 관리할 수 있는 프레임워크를 제공해야 합니다.
• 사용자 교육: 신속한 사용법에 대한 적절한 교육은 최적의 생산성 달성에 도움이 될 수 있습니다.
• 특수 모델 사용: 산업 및 목적별 AI 모델은 맥락에 맞는 의미 있는 결과를 더 빠르게 제공할 가능성이 높습니다.
• AI 모델 학습: (가능한 경우) 산업/작업/조직별 특정 데이터로 AI 모델을 학습시키면 작업 오류를 줄이고 더 적합한 결과물을 더 빠르게 얻을 수 있습니다.
• 규칙 개발명확한 규칙을 수립하고 시행하는 것은 AI 개발 및 배포를 안내하는 데 필수적입니다. 팀이 운영 경계를 설정하면 도입된 시스템이 조직 목표, 윤리 기준 및 규제 요건에 부합하도록 보장할 수 있습니다.

AI 솔루션 도입률은 증가하고 있지만, 거버넌스는 그렇지 못합니다. 2025년 PEX 산업 보고서에 따르면 그렇습니다.절반 미만 대부분의 기업은 AI 거버넌스 정책을 보유하고 있는 반면, 25%만이 정책을 수립 중이었고, 거의 3분의 1은 AI 거버넌스 정책 자체가 없었습니다. 이러한 프레임워크는 기업이 허용 가능한 성과 기준을 명확히 설정하는 데 결정적인 역할을 할 수 있습니다.

파멸을 예고하는 악순환에서 벗어나기

기업은 끝없는 최적화 과정에 매몰되는 악순환을 피하기 위해 결과 중심의 AI 전략을 도입해야 합니다. 신속한 학습, 목적에 특화된 AI 모델, 그리고 기업의 상황적 데이터를 기반으로 학습된 모델을 활용하면 반복적인 최적화 작업의 필요성을 줄일 수 있습니다. 에이전트형 AI, 자율적인 IT 운영, 그리고 강력한 거버넌스 프레임워크를 활용하는 기업은 끝없는 최적화 과정에 매달리지 않고 핵심 자원을 비즈니스 목표 달성에 재분배할 수 있습니다. 성공은 팀이 끊임없는 개선에서 벗어나 실행에 집중하고 측정 가능한 결과를 도출하는 사고방식으로 전환할 때 비로소 가능해집니다.