텔레메트리 데이터 - 옵저버빌리티의 가장 큰 가변 비용
왜 텔레메트리 데이터는 그렇게 빨리 증가할까요? 클라우드 마이그레이션과 디지털 트랜스포메이션의 가속화로 인해 옵저버빌리티에서 텔레메트리 데이터가 가장 큰 가변 비용이 되었습니다. 온프레미스에서 클라우드로, 모놀리식에서 마이크로서비스 아키텍처로 이동하면서, 몇 개의 대규모 서비스가 아닌 수백 개의 소규모 서비스를 사용하게 되었기 때문입니다.
보편적인 시나리오는 다음과 같습니다.
- 온프레미스 또는 물리적 서버에서 클라우드 가상 머신(VM)으로 워크로드 이동
- 서버 및 VM에서 쿠버네티스와 컨테이너로 워크로드 이동
- 모놀리식에서 마이크로서비스로 애플리케이션 재설계
- 더욱 빈번한 애플리케이션 릴리스
- 블루/그린 배포
- 서버리스 기능 도입
고객들에 의하면, 텔레메트리 데이터의 양은 2-10배 이상 증가했습니다. 그리고 데이터는 2-3년마다 두 배로 늘어날 수 있습니다. 데이터가 폭발적으로 증가하면 그와 연결된 네트워크, 스토리지 및 컴퓨팅 비용 역시 빠르게 늘어나기 마련입니다.
클라우드 마이그레이션과 디지털 트랜스포메이션으로 인해 지속적으로 증가하는 텔레메트리 데이터
텔레메트리(Telemetry) 데이터란?
텔레메트리 데이터는 옵저버빌리티를 위한 핵심적인 데이터인 메트릭, 이벤트, 로그, 트레이스(MELT)를 포함하는 외부 출력입니다. 모든 것을 계측하고 있고 MELT를 사용해 시스템의 관계와 종속성에 대한 기본적인 실무 지식과 세부적인 성능 및 상태 정보를 확보했다면 옵저버빌리티 관행을 시행하고 있는 것입니다.
데이터 폭증으로 인한
요금 폭탄
문제는 비용 예측에 필요한 로그 볼륨을 예측할 수 없다는 것입니다.
그 예로 주요 공급업체들의 요금 모델을 살펴보겠습니다.
- 예상치 못한 코드 변경과 시스템 및 사용자 부하로 인해 Datadog의 로그 관리 비용은 폭발적으로 증가할 수 있습니다. Datadog는 로그 사용 방식을 계산하는 데 복잡한 공식을 적용하기 때문에 30일의 데이터 보존 기간 동안 로깅 이벤트 백만 개당 US$2.50–$3.75 이상의 비용이 추가될 수 있습니다. 이벤트 백만 개당 평균 1.5-2GB라고 하면, GB당 $1.00-$2.50에 달합니다! 이는 광고된 데이터 인제스트 비용인 $0.10/GB보다 훨씬 더 높습니다.1
- Splunk는 로그 GB당 약 $4.00를 부과합니다.23
- Elastic은 Elasticsearch 클러스터의 서버당 요금을 부과하며, 데이터 로깅이 증가하면 Elasticsearch 서버를 늘려야 합니다.4
따라서 데이터 인제스트가 두 배로 늘어나면 클러스터 크기와 비용도 두 배가 될 수 있습니다.
낮은 로그 관리 증가 비용
GB당 데이터 비용이 낮은 뉴렐릭 같은 옵저버빌리티 공급업체를 사용해 클라우드 도입을 준비할 필요가 있습니다. 일부 공급업체의 요금은 언뜻 보기에 합리적으로 보일지 모르지만, 계약 조건에 숨겨진 비용, 초과 사용에 대한 할증 요금 및 페널티가 알아보기 쉽지 않은 작은 글씨로 포함되어 있을 수 있습니다.
레거시 로깅 솔루션에서 뉴렐릭으로 전환하면, 로그 데이터를 통해 상당한 비용을 절감할 수 있는 사실을 알 수 있습니다. 예를 들어, 스마트 농업 솔루션 공급업체인 Intelligent Growth Solutions (IGS)는 모니터링 및 로깅 비용을 월 £20,000-£24,000에서 월 £8,000-£10,000로 58% 감소했습니다.
다른 옵저버빌리티 공급업체들의 로그 비용이 뉴렐릭과 어떻게 비교되는지 알아보겠습니다.
요금제/청구의 함정:
- 낮은 요금을 미끼로 구매 유도 후 요금 전환(낮은 기본 요금, 높은 추가 기능 요금)
- 낮은 도입 요금 및 확장 시, 예측하기 힘들고 복잡한 비용 구조
- 월 약정 초과 시 페널티
- 청구 한도 초과 시 할증 요금 부과
- OpenTelemetry에 대한 추가 요금
- 로그 인덱싱, 보관 및 복원에 대한 데이터 이그레스 요금 및 추가 요금
- 피크 사용량 기준 청구 또는 실제 사용량이 아닌 평균 사용량 기준
Amazon CloudWatch vs 뉴렐릭
로그 관리 비용을 비교해 보면 Amazon CloudWatch가 뉴렐릭보다 최대 2배 더 높을 수 있음을 알 수 있습니다.
300GB와 30일 보존에 대한 Amazon CloudWatch와 뉴렐릭의 월별 로그 관리 비용 비교
요금제의 함정
Amazon CloudWatch의 로그 데이터 인제스트 비용은 US$0.50/GB이지만 데이터 보존($0.03/GB), 쿼리($0.005/GB 스캔 데이터) 및 데이터 보호($0.12/GB 스캔 데이터)에 대한 추가 요금을 고려하면 GB당 총 비용은 더 높아집니다. 이 경우 $0.54/GB입니다.5
반대로 뉴렐릭 데이터 인제스트 비용은 $0.30/GB이며, 여기에는 최대 30일 보존, 쿼리, 대시보드 등이 포함됩니다.
Datadog vs 뉴렐릭
동일하게 로그 관리 비용을 비교해 보면 Datadog가 뉴렐릭보다 최대 4배 더 높습니다.
300GB와 30일 보존에 대한 Datadog와 뉴렐릭의 월별 로그 관리 비용 비교
요금제의 함정
언뜻 보기에 Datadog는 로그에 대한 데이터 인제스트 요금이 낮은 것처럼 보이지만($0.10/GB 인제스트) 데이터 보존에 대한 추가 요금(월 $2.50/백만 로그 이벤트)은 GB당 총 비용을 크게 증가시킵니다. 이 경우 인제스트된 GB당 US$1.23입니다. 따라서 Datadog를 사용하면 데이터를 인제스트하는 것보다 보존하는 데 더 많은 비용이 들 수 있습니다! 또한 인덱싱할 양을 선택해야 합니다.6
반대로 뉴렐릭은 모든 인제스트 데이터를 $0.30/GB에 액세스할 수 있으며, 여기에는 최대 30일의 보존과 쿼리, 대시보드 등도 포함됩니다.
ELK vs 뉴렐릭
기본 스프레드시트에 기반한 아래 차트는 Elasticsearch, Logstash 및 Kibana(ELK)의 로그 비용이 뉴렐릭보다 2-3배 더 높을 수 있음을 보여줍니다.
10,000GB에 대한 ELK와 뉴렐릭의 월별 로그 관리 비용 비교
예를 들어, 온라인 보험사인 Simply Business는 ELK를 포함해 여러 로그 툴을 사용하며, 옵저버빌리티 툴에만 연간 백만 달러를 지출하고 있었습니다. 이는 지속 불가능한 비용이었고, 이러한 지출을 정당화할 투자 수익(ROI)도 부족했습니다. Simply Business의 DevOps 엔지니어를 지낸 미키오 츠네마츠(Mikio Tsunematsu)는 뉴렐릭 로그 관리로 전환한 후 "하나의 툴에 집중함으로써 비용과 정신적 에너지를 절약할 수 있었다"고 말했습니다.
요금제의 함정
ELK를 실행하려면 이 소프트웨어를 실행할 인프라도 구입해야 합니다. 따라서 로그에 대한 총 비용에는 인프라와 하드웨어 비용도 포함됩니다.7
뉴렐릭은 SaaS 기반이기 때문에 인제스트된 데이터 외에 추가적인 할증 요금 없이 수요에 따라 자동으로 확장할 수 있습니다. 예를 들어, 피크타임이라고 해서 더 높은 비용을 지불할 필요가 없습니다.
Sumo Logic vs 뉴렐릭
기본 스프레드시트에 기반한 아래 차트는 Sumo Logic의 로그 비용이 뉴렐릭보다 2-4배 더 높을 수 있음을 보여줍니다.
5,000GB, 10,000GB, 30,000GB에 대한 Sumo Logic과 뉴렐릭의 월별 로그 관리 비용 비교
요금제의 함정
ELK와 마찬가지로, Sumo Logic을 실행하려면 인프라를 구입해야 합니다. 따라서 로그에 대한 총 비용은 인프라 및 하드웨어 비용을 반영합니다. 일반적으로 Sumo Logic 로그 비용이 높을 뿐만 아니라($3.00/GB 이상!) GB당 요금은 연간 약정이 있고 미국에서 하루 평균 1GB의 로그를 인제스트해 배포한다고 가정하여 계산됩니다.8
뉴렐릭은 SaaS 기반이기 때문에 인제스트된 데이터 외에 추가적인 할증 요금 없이 수요에 따라 자동으로 확장할 수 있습니다. 예를 들어, 피크타임이라고 해서 더 높은 비용을 지불할 필요가 없습니다.
데이터 인제스트 최적화
로그 관리 증분 비용이 낮은 것 이외에도, 로깅 솔루션은 사용한 만큼만 비용을 지불하도록 데이터 인제스트를 최적화하는 방법을 제공해야 합니다.
데이터 드로핑 규칙
인제스트되는 데이터의 양(및 데이터 인제스트 요금)을 줄이려면, 중요하지 않거나 가치가 낮거나 불필요한 데이터와 잠재적으로 민감한 데이터를 필터링해주는 데이터 드로핑 규칙을 설정하여 데이터 인제스트를 관리할 수 있어야 합니다.
로그-메트릭 규칙
로그에는 많은 정보가 포함되어 있습니다. 어떤 정보는 짧은 기간 동안만 유지할 필요가 있고, 어떤 정보는 장기적으로 추적할 수 있도록 메트릭으로 요약해야 합니다. 공급업체가 최적의 비용으로 두 가지 장점을 모두 제공하는 로그-메트릭 규칙(비메트릭 데이터에서 메트릭 데이터 생성)을 지원하는지 확인해야 합니다.
쿼리, 추적 및 알림 기능
청구와 관련된 사용량을 조회 및 추적하고 알림을 받을 수 있는 기능이 필요합니다. 정확하게 필요한 용량을 가늠하고 요금을 더 쉽게 예측할 수 있어야 하기 때문입니다. 예를 들어, 데이터 사용량이 기가바이트 단위로 설정한 월별 임계값을 초과할 때 알림을 받을 수 있어야 합니다. 모든 옵저버빌리티 공급업체가 이러한 기능을 제공하는 것은 아니므로 기능을 제공하는지, 그리고 제공한다면 어떤 방식으로 작동하는지 물어보아야 합니다.
뉴렐릭의 장점
뉴렐릭은 모든 메트릭, 이벤트, 로그 및 트레이스(MELT)가 단일 데이터 저장소에 함께 저장되는 통합 텔레메트리 데이터 플랫폼으로, 전체 스택의 모든 텔레메트리 데이터를 한 곳에서 상호 연관시킬 수 있습니다. 애플리케이션 성능 모니터링(APM), 인프라, 쿠버네티스 또는 트레이스를 탐색할 때, 바로 로그를 활용할 수 있습니다. 확장성이 뛰어난 플랫폼에서 로그 파일을 빠르게 검색하고 모든 텔레메트리 데이터와 함께 플랫폼 전체에서 관련된 문맥으로 로그 데이터를 찾을 수 있습니다. 선별된 UI를 사용하면 문제를 훨씬 더 빠르게 감지하고 해결할 수 있습니다.
사용량 기반 요금제 및 청구
뉴렐릭의 올인원 옵저버빌리티 플랫폼의 요금은 가장 안정적인 과금 단위 중 하나인 사용자와 데이터 인제스트를 기반으로 합니다. 데이터 인제스트는 최대 30일의 데이터 보존을 포함해 GB당 $0.30에서 시작하며, 확장에 대한 페널티가 없습니다.
이와 달리, 대부분의 다른 옵저버빌리티 공급업체들은 기본 인프라와 데이터 인제스트를 기반으로 요금을 부과합니다. 따라서 이러한 공급업체들의 경우 인프라와 데이터가 두 배로 늘어나면 비용이 두 배로 증가할 수 있습니다. 하지만, 뉴렐릭의 비용은 평균적으로 30%만 증가합니다. 데이터는 일반적으로 사용자 수보다 훨씬 빠르게 증가하기 때문입니다.
프로비저닝된 사용자는 로그 관리를 포함해 30여 가지 기능에 자동으로 액세스할 수 있기 때문에, 모든 데이터, 툴 및 팀들이 한 곳에 있습니다. 사용량 기반 청구 모델은 사용한 만큼만 비용을 지불한다는 의미입니다. (피크 타임 요금이 없습니다!) 또한 플랫폼에는 청구와 관련된 데이터 인제스트 양, 사용량 조회, 추적 및 알림을 관리하는 데 도움이 되는 다양한 기능이 포함되어 있습니다.
뉴렐릭은 기업들이 이전보다 훨씬 낮은 비용으로 모든 텔레메트리 데이터를 활용할 수 있도록 함으로써 옵저버빌리티의 경제성을 변화시키고 있습니다.
전환 방법
이제 뉴렐릭 같은 옵저버빌리티 솔루션을 검토하고 이러한 솔루션이 어떻게 로그 관리 요구 사항을 더 잘 충족해주는지 평가해봐야 합니다. 뉴렐릭은 개발 및 운영(DevOps 및 ITOps) 팀이 고립된 모니터링 툴에서 강력한 올인원 옵저버빌리티 플랫폼으로 전환하는 데 도움을 줄 수 있습니다.
15,000여 곳의 뉴렐릭 고객이 이미 뉴렐릭 옵저버빌리티 플랫폼으로 비즈니스 가치를 실현하고 있습니다.
다음은 뉴렐릭 고객이 경험한 비즈니스 가치에 대한 몇 가지 고객 사례입니다.
뉴렐릭으로 모든 것을 한 곳에서 확인할 수 있어 큰 도움이 되었습니다. 애플리케이션에 로그를 연결하고 영향을 주는 요인을 파악하기 위해 세 가지 다른 툴 대신 한 곳만 확인하면 됩니다.
다음 단계
전환은 쉽습니다. 단 몇 분 안에 로그를 뉴렐릭으로 마이그레이션 할 수 있습니다. 뉴렐릭의 요금 체계를 살펴보고 무료 계정에 가입해 직접 확인해 보십시오. 신용 카드는 필요하지 않습니다!
지금 뉴렐릭에 연락해 보다 자세한 내용과 예상되는 절감액을 알아보고 마이그레이션을 계획해 보세요.
리소스
Amazon Web Services (AWS). n.d. “Amazon CloudWatch 가격 정책.” Amazon AWS. 2023년 3월 21일 기준 https://aws.amazon.com/cloudwatch/pricing/.
Datadog. n.d. “Datadog Log Management Pricing.” Datadog. 2023년 3월 17일 기준 https://www.datadoghq.com/pricing/?product=log-management#log-management.
Elasticsearch. n.d. “Elastic 클라우드 가치 예측기.” Elastic. 2023년 3월 21일 기준 https://www.elastic.co/cloud/value-calculator.
Elasticsearch. n.d. “Elastic 가격 정책 FAQ.” Elastic. 2023년 3월 17일 기준 https://www.elastic.co/pricing/faq.
Splunk. n.d. “Splunk 옵저버빌리티 가격 정책.” Splunk. 2023년 3월 17일 기준 https://www.splunk.com/en_us/products/pricing/observability.html.
Splunk. n.d. “Splunk 옵저버빌리티 SC 번들.” Splunk. 2023년 3월 17일 기준 https://www.splunk.com/en_us/legal/o11y-sc-bundle.html.
Sumo Logic. n.d. “Sumo Logic Pricing Tiers.” Sumo Logic 2023년 3월 21일 기준 https://www.sumologic.com/pricing/tiers.
