대규모 AI: 진정한 과제는 비용 절감이 아니라 가치 관리입니다

AI는 기술의 경제 구조를 바꿉니다

전통적인 기업용 기술은 일반적으로 라이선스, 구독, 인프라 약정, 구현 프로그램처럼 비교적 예측 가능한 방식으로 구매되었습니다. 비용은 대개 직원 수, 시스템 용량 또는 합의된 작업 범위를 통해 산정할 수 있었습니다.

하지만 AI는 이러한 모델에 잘 맞지 않습니다.

AI의 비용은 실제 사용량에 따라 결정됩니다. 사용하는 모델, 처리되는 정보의 양, 응답 길이, 워크플로 설계, 자동화 에이전트가 다른 시스템이나 모델을 호출하는 횟수에 따라 비용이 달라질 수 있습니다.

따라서 겉보기에 비슷한 두 작업도 비용이 크게 다를 수 있습니다.

이 문제는 AI가 비즈니스 프로세스에 내장될 때 특히 중요해집니다. 단 한 번의 상호작용이 검색, 모델 호출, 검증, 재시도로 이어지는 일련의 과정을 촉발할 수 있습니다. 단순한 사용자 요청 하나처럼 보이는 것이 무대 뒤에서는 놀랄 만큼 리소스 집약적인 워크플로가 될 수 있습니다.

동시에 AI에 대한 접근은 더 이상 기술 부서만이 통제하지 않습니다. 직원들은 비교적 적은 기술 지식만으로도 새로운 도구를 구독하고, 자신만의 어시스턴트를 구축하며, 자동화 프로세스를 만들 수 있습니다. 이러한 접근성은 강력한 혁신의 원천이지만, 분산된 구매, 중복된 기능, 그리고 누구도 전체를 파악하지 못하는 사용량을 낳을 수도 있습니다.

이것이 기존의 연간 예산 편성만으로는 부족한 이유입니다. AI에는 능동적인 수요 관리가 필요합니다.

사용량 가시화부터 시작해야 합니다

AI가 어디에서 사용되고 있는지 모른다면 조직은 AI를 효과적으로 관리할 수 없습니다.

첫 번째 우선순위는 부서, 애플리케이션, 공급자, 클라우드 플랫폼 전반에 걸친 AI 사용량을 통합적으로 볼 수 있는 시각을 구축하는 것입니다. 이 시각은 청구서 이상의 정보를 담아야 합니다. 리더는 어떤 비즈니스 프로세스가 AI를 사용하고 있는지, 누가 소유하고 있는지, 비용이 얼마인지, 어떤 결과를 만들어내는지 볼 수 있어야 합니다.

모델 호출 수나 처리량 같은 기술적 지표는 엔지니어에게 유용하지만, 비즈니스 의사결정에는 충분하지 않습니다. 보다 의미 있는 지표는 다음과 같을 것입니다.

• 해결된 고객 문의 건당 비용
• 검토된 문서 건당 비용
• 검증된 영업 기회 건당 비용
• 소프트웨어 릴리스 건당 비용
• 처리된 청구, 케이스 또는 거래 건당 비용
• AI 기반 워크플로가 창출한 매출, 처리 능력 또는 위험 감소

이는 대화의 방향을 바꿉니다. 조직이 AI를 너무 많이 사용하고 있는지 묻는 대신, 리더는 특정 AI 활용이 충분한 가치를 만들어내고 있는지 물을 수 있습니다.

가시성은 책임성도 만들어냅니다. 사용량이 식별 가능한 제품, 프로세스 또는 사업 부문과 연결되면 AI는 더 이상 설명되지 않는 중앙 기술 비용으로 보이지 않습니다. 소유자와 기대 수익이 있는 비즈니스 투자가 됩니다.

작업에 적합한 수준의 지능을 사용하십시오

조직은 모든 활동에 가장 유능한 인력을 투입하지 않습니다. 마찬가지로 모든 요청에 가장 강력하고 대개 가장 비싼 AI 모델을 사용해서도 안 됩니다.

분류, 추출, 기본 요약, 구조화된 초안 작성 등 많은 일상적인 작업은 더 작거나 덜 비싼 모델로도 효과적으로 처리할 수 있습니다. 더 강력한 모델은 심층적인 추론, 더 높은 정확도 또는 전문적인 성능이 실제로 필요한 작업에 아껴 두면 됩니다.

목표는 모든 상황에서 가장 저렴한 모델을 선택하는 것이 아닙니다. 필요한 기준을 안정적으로 충족하는 가장 경제적인 옵션을 선택하는 것입니다.

이러한 결정은 가격만 고려해서는 안 됩니다. 품질, 속도, 프라이버시, 복원력, 위험 모두 중요합니다. 어떤 경우에는 프리미엄 모델이 충분히 정당화될 것입니다. 다른 경우에는 더 작은 호스팅 모델, 내부에서 운영하는 모델, 심지어 기기에서 로컬로 실행되는 모델이 더 적합할 수 있습니다.

중요한 역량은 유연성입니다. 즉, 서로 다른 워크로드를 서로 다른 모델로 보낼 수 있고, 기술과 가격, 요구 사항이 변화함에 따라 그러한 결정을 바꿀 수 있는 능력입니다.

모델을 최적화하기 전에 워크플로를 개선하십시오

모델 선택은 많은 주목을 받지만, 비효율적인 워크플로 설계는 더 큰 낭비의 원인이 될 수 있습니다.

AI 시스템은 필요하지 않은 정보를 반복적으로 처리하거나, 불필요하게 긴 대화 기록을 보유하거나, 작업에 필요한 수준보다 훨씬 상세한 응답을 생성할 수 있습니다. 자동화 에이전트는 생산성 없는 루프에 빠지거나, 실패한 작업을 반복하거나, 더 간단한 규칙으로 충분했을 상황에서 비싼 서비스를 호출할 수 있습니다.

이러한 문제는 조달만으로는 거의 해결되지 않습니다. 신중한 엔지니어링과 프로세스 설계가 필요합니다.

조직은 다음과 같은 것이 가능한지 검토해야 합니다.

• 작업에 관련된 정보만 전송하기
• 이미 생성된 결과 재사용하기
• 명확한 응답 형식과 적절한 길이 제한 정의하기
• 자동 재시도 및 도구 사용에 경계 설정하기
• 단순한 요청은 더 간단한 모델로 라우팅하기
• 실제로 복잡한 사례만 에스컬레이션하기
• 형편없는 프로세스에 AI를 더하기 전에 프로세스를 재설계하기

마지막 항목이 중요합니다. 비효율적인 프로세스를 자동화한다고 해서 반드시 효율적으로 되는 것은 아닙니다. 단지 그 비효율이 더 빠르고 더 큰 규모로 작동하도록 만들 수 있을 뿐입니다.

거버넌스를 경험 자체에 내장하십시오

정책과 교육은 계속 중요하겠지만, 기업 AI 관리의 모든 책임을 질 수는 없습니다.

대부분의 직원이 모든 모델, 프롬프트, 자동화된 워크플로의 경제성을 이해하기를 기대하는 것은 무리입니다. AI 서비스를 사용할 때마다 정책 문서를 확인해야 하는 것도 아닙니다.

따라서 좋은 거버넌스는 기술 자체에 내장되어야 합니다.

조직의 AI 환경은 승인된 접근 규칙을 적용하고, 비정상적인 사용량을 식별하며, 합리적인 한도를 강제하고, 요청을 가장 적합한 서비스로 전달할 수 있어야 합니다. 추가 비용이나 위험이 정당화되는 경우에는 승인 또는 에스컬레이션을 위한 명확한 경로가 있어야 합니다.

이렇게 하면 책임 있는 사용이 사용자에게 자연스러운 경로가 됩니다. 또한 거버넌스가 청구서가 도착하는 몇 주 후가 아니라, 결과에 영향을 줄 수 있는 활동이 일어나는 바로 그 시점에 작동할 수 있습니다.

동일한 원칙이 가이드에도 적용됩니다. 누군가 AI 워크플로를 만들고 있을 때 제공되는 맥락에 맞는 조언은 몇 달 전에 이수한 일회성 교육 과정보다 더 유용할 가능성이 높습니다.

AI 경제성을 영구적인 역량으로 다루십시오

AI 수요 관리는 기술 팀만이 주도하는 일시적인 비용 절감 활동이 되어서는 안 됩니다.

이를 위해서는 기술, 재무, 조달, 리스크, 비즈니스 리더십 간의 지속적인 협력이 필요합니다. 이러한 기능들이 함께 수요를 예측하고, 사용량을 모니터링하며, 공급자를 평가하고, 지출을 측정 가능한 결과와 연결해야 합니다.

이 역량은 시장이 계속 변화한다는 사실 또한 인식해야 합니다. 오늘 가장 성능이 좋은 모델이 내일 최고의 가치를 제공하지 않을 수 있습니다. 새로운 공급자, 상업 구조, 배포 옵션은 계속해서 등장할 것입니다.

따라서 단일 모델 또는 공급자에 대한 장기적인 의존은 재무적 위험과 운영상 위험을 모두 초래할 수 있습니다. 조직은 워크로드를 이동하고, 소싱 결정을 재평가하며, 구매한 역량과 내부 개발 역량, 호스팅 역량을 결합할 수 있는 능력을 유지해야 합니다.

구매할 것인가 직접 만들 것인가라는 오래된 질문은 이제 너무 좁습니다. 더 나은 질문은 각 워크로드에 맞는 서비스, 모델, 운영 방식의 적절한 조합을 어떻게 구성하고 지속적으로 조정할 것인가입니다.

비용 통제는 야망을 뒷받침해야 합니다

AI 지출 증가로 인해, 기술이 의미 있는 결과를 만들어내기 시작하는 바로 그 시점에 조직이 지나치게 신중해질 위험이 있습니다.

그것은 실수가 될 것입니다.

강력한 재무 관리는 혁신의 적이 아닙니다. 오히려 지속적인 혁신을 가능하게 하는 것입니다. 조직이 낭비를 식별할 수 있으면 자원을 가장 잠재력이 큰 워크플로로 재배치할 수 있습니다. 성과의 비용을 이해하면 어디를 확장할지에 대해 정보에 입각한 선택을 할 수 있습니다. 거버넌스가 환경에 내장되어 있으면 직원들은 명확하고 실용적인 경계 안에서 혁신할 수 있습니다.

AI로 성공하는 조직은 반드시 가장 많이 지출하는 조직도, 가장 많이 삭감하는 조직도 아닐 것입니다. 성공하는 조직은 AI가 어디에서 독특한 가치를 창출하는지 이해하고 그에 맞춰 사용량을 조정할 수 있는 조직입니다.

따라서 기업 AI의 다음 단계는 모델에 대한 접근보다는 관리 규율에 의해 더 많이 정의될 것입니다.

이제 질문은 단순히 “우리는 AI를 얼마나 사용하고 있는가?”가 아닙니다. “우리는 AI로 무엇을 달성하고 있으며 — 그 결과가 투자할 가치가 있는가?”입니다.