개요
로그 관리는 업계를 불문하고 모든 기업들에게 매우 중요합니다. 적절한 로그 관리 방법과 관행이 구축되어 있으면, 소프트웨어 엔지니어는 시스템과 운영의 성능을 최적화하고 기술 문제를 식별 및 해결하며 리소스를 보다 효율적으로 관리하고 보안을 강화할 수 있습니다.
뉴렐릭의 로그 현황 보고서는 로그 관리의 성장과 성숙도에 대한 현황과 인사이트를 제공합니다. 이 보고서는 뉴렐릭의 옵저버빌리티 플랫폼을 사용하는 수백만 개 애플리케이션에서 수집된 페타바이트 단위의 데이터를 기반으로 합니다. 뉴렐릭은 로그가 어떻게 사용 및 관리되고 있는지에 대한 일반적인 개요를 제공하기 위해 관련 데이터를 익명 처리한 후 개괄적으로 분류했습니다. 공격자 및 기타 악의적인 행위자에게 도움이 될 수 있는 세부적인 정보는 의도적으로 포함하지 않았습니다.
다음과 같은 카테고리를 살펴보았습니다.
소프트웨어 엔지니어들은 로그가 고립된 상태로 존재하는 것을 원하지 않습니다.
로깅 데이터는 전년 대비 35%나 증가했습니다. 로그 파일의 양이 증가함에 따라, 트랜잭션, 오류 및 보안 인시던트를 신속하게 감지하고 대응할 수 있도록 로그 데이터를 한 곳에서 사용하길 원하는 소프트웨어 엔지니어들이 늘고 있습니다. 인시던트를 정확히 파악하고 해결하기 위해 소프트웨어 엔지니어들이 여러 소스에서 수천 개의 로그 파일을 검토하는데 들어가는 많은 시간과 수고를 덜기위해 중앙화된 로그 관리가 생겨났습니다. 비교적 규모가 작은 기업에서도 여러 로깅 소스와 툴을 관리하는 작업은 점점 복잡해져서, 정보 사일로가 생겨나고 데이터에 대한 적절한 구문 분석이나 액세스가 가능하지 않은 경우가 발생하고 있습니다.
로그관리에대한기존의분산된접근방식은트랜잭션,오류및보안 인시던트의 감지와 대응 속도가 느리고 비용도 많이 들 뿐만 아니라, 각 작업마다 별도의 툴을 사용해야 하기 때문에 혼란을 야기합니다. 뉴렐릭의 데이터에 따르면, 소프트웨어 엔지니어들은 오류.
발생률이 증가하거나 메모리 사용량이 급증할 때 오류의 원인을 파악하기 위해 애플리케이션 성능 모니터링(APM)과인프라 모니터링 이외에 로그 데이터에 액세스할 필요가 있는 것으로 나타났습니다. 다음 차트에서는 56%의 고객들이 로그를 인프라 모니터링과 함께 사용하고 있고, 약 14%가 로그를APM 모니터링과 함께 사용하고 있음을 보여 줍니다. 지금까지 소프트웨어 엔지니어에게 애플리케이션 로그를 수집하고 유용하게 만드는 것은 골칫거리였습니다. 뉴렐릭의 자동화된 문맥적로그와 APM 에이전트로부터의 전달 같은 기능이 출시되면서, 이제모래사장속에서바늘을더쉽게찾을수있게되었습니다. 그결과,로그와함께APM을사용하는고객이전년동기대비68% 증가했으며, 이 비율은 지속적으로 증가할 것으로 예상됩니다.
Fluent Bit는 로그에 가장 많이 사용되는 오픈소스 툴입니다.
최근 몇 년간 소프트웨어 엔지니어들이 로그를 수집하고 전달하는 데 사용하는 툴에 변화가 생겼습니다. 이 보고서에서는 로그 데이터를 수집하는 데 사용되는 가장 주목할 만한 10가지 오픈소스 로깅 프레임워크를 살펴봅니다. 위의 차트는 Fluent bit가 뉴렐릭 사용자들이 가장 많이(38%) 사용하는 오픈소스 프로세서 및 전달자 툴임을 보여줍니다. Fluent Bit는 도커(Docker)와 쿠버네티스(Kubernetes) 같은 컨테이너화된 환경에서 로깅 문제를 해결하는 데 도움을 주기위해 2017년에 출시된 툴입니다. 클라우드 네이티브, 사물인터넷 (IoT) 및 베어 메탈 환경 전반에서 대규모로 옵저버빌리티 데이터를 관리할수있는역량때문에사용이크게늘었으며이제업계표준 기술로 자리를 잡았습니다. 쿠버네티스 환경에서 쉽게 사용할 수 있기때문에그인기는앞으로도계속유지될것입니다.그다음 툴은 뉴렐릭 인프라 에이전트(16%)이고, HTTP 엔드포인트를 통해 로그 데이터를 뉴렐릭으로 직접 전송(14%)하는 방법이 그 뒤를 이었습니다. 뉴렐릭 인프라 에이전트, APM 에이전트 및 커스텀 코드를 통해 로그 데이터를 직접 전송하는 경우가 여전히 많다는 사실은 개발자가 데이터에 보다 쉽게 액세스할 수 있도록 만드는 것이 얼마나 중요한지를 잘 보여줍니다. 뉴렐릭의 최신 APM 언어에이전트를 사용하면 개발자들은 별도의 설정이나 구성 없이도 메트릭, 트레이스, 이벤트와 함께 로그를 수집할 수 있습니다. 더많은애플리케이션개발팀이통합로그전송을모색함에따라, APM 에이전트의 인기는 계속 증가할 것으로 보입니다.
CloudFlare는 상위 10개 목록에 포함되었습니다. 이는 강력한 통합을 위해 뉴렐릭과 파트너십을 맺은 결과일 수 있습니다.
OpenTelemetry 로그 소스는 상위 10위 안에는 들지 못했지만, OpenTelemetry의 도입이 계속 증가하고 로깅 사양이 안정적인 상태에 도달하면서 그 인기가 늘어날 것으로 예상됩니다. OpenTelemetry는 클라우드 네이티브 애플리케이션에 계측을 추가하는 중요한 표준으로 간주되고 모든 서비스에 공통된 포맷을 제공하기 때문에, 툴 통합에 대한 요구와도 일치한다고 생각됩니다.
Nginx가 가장 보편적인 로그 유형입니다.
가장 많이 사용되는 로그 유형을 살펴보면, NGINX가 38%로 가장 많이 사용되고 있고 Syslog(25%), ALB(20%), Microsoft IIS W3C(9%)가 그 뒤를 따르고 있습니다. 소프트웨어 엔지니어들은 보통 웹 서버, 로드 밸런서, 콘텐츠 전송 네트워크(CDN)를 사용해 애플리케이션에 대한 상태 검사를 수행합니다. 애플리케이션은 에이전트로쉽게모니터링되지않기때문에이세가지로그유형이 뉴렐릭으로 전송되는 가장 일반적인 로그 유형입니다.
Firehose는 곧 AWS 서버리스 사용자들을 위한 실질적인 로그 전달자가 될 것입니다.
클라우드 환경에서 가장 많이 사용되는 Amazon Web Services(AWS)를 살펴보면, Amazon Lambda가 가장 높은 자리를 차지했습니다. 다음 표에서 AWS를 사용하는 뉴릴릭 고객 중 46%가 Amazon Lambda를 활용하고 있음을 볼 수 있습니다. Lambda는 소프트웨어 엔지니어가 로그와 메트릭을 CloudWatch로 자동 전송하는 데 사용할 수 있는 주요 서버리스 툴이지만, 도입하는 사용자 수가 급속하게 증가하고 있는 Amazon Firehose가올해 말이나 2023년 초에 선두자리를 차지하게 될 것으로 보입니다.
현재 AWS를 사용하는 뉴릴릭 고객 중 불과 32%만이 Firehose 기술을 도입한 반면, Lambda가 전년 동기 대비 23% 성장한데 비해 Firehos는 사용량이 62%나 증가했습니다. 뉴렐릭의 데이터에 따르면, 소프트웨어 엔지니어들은 계속해서 Lambda로부터 로그를 전달하고 있지만 새로 배포의 경우는 Firrehose로 전달하는 것을 점점 더 선호하고 있습니다. AWS Firehose의 인기가 높아지고 있다는 사실은 파트너 에코시스템 전반에서 광범위한 가용성을 제공하고, 통합에 상당한 투자를 했기 때문으로 볼 수 있습니다.
Java는 가장 많은 애플리케이션 로그 데이터로 선두를 달리고 있습니다.
언어와 관련된 인기도 조사 결과, 언어 에이전트에서 인제스트한 전체 로그의 50%가 Java에서 비롯된다는 사실을 알 수 있었습니다. Java는 .Net(26%), Ruby(22%), Node.js(2%)를 큰 폭으로 앞서고 있습니다. 소프트웨어 개발자들 사이에서 Java가 전반적으로 인기가 있고 Apache Log4j의 도입이 늘고 있다는 사실과도 일맥상통하는 부분입니다.
Java와 관련된 동향에 대한 보다 자세한 내용은 뉴렐릭의 Java 에코시스템에 대한 동향 보고서를 참조하십시오.
요약
로그관리는적절한정보를빠르게찾을수있도록지원함으로써 운영 효율성을 높여줄 뿐만 아니라 시장 출시 시간을 단축하고 복잡성을 줄이며 고객 경험을 개선하는 데 중요한 요소로 자리를 잡아가고 있습니다. 작년 한 해에만 이러한 필수 텔레메트리 데이터의 양은 35%나 증가했습니다. 이보고서는전세계적인로그관리와관행의미래를형성하고있는기술에대한 스냅샷을 제공합니다. 이는 조직이 기술 동향을 파악하고 개발과 운영 관행에 새로운 기술을구현할때더큰그림을볼수있도록해줄것입니다.
로그 모니터링 솔루션에 어떤 기술을 사용할지 결정할 때는 많은 요소를 고려해야 합니다. 광범위한 클라우드 기술, 컨테이너, 마이크로서비스 아키텍처를 통해 다양한 로그들이 생성됩니다. 전체 스택에 대한 옵저버빌리티를 확보하려면 이러한 많은 로그 데이터 소스에 액세스할 수 있어야 합니다. 또한 로그는 고립된 상태에서 운영되지 않습니다. 올바른 정보를 빠르게 찾기 위해 얼마나 많은 뉴렐릭 사용자들이 로그 데이터를 애플리케이션 데이터나 인프라 성능 데이터와 함께 사용하고 있는지를 보면 알 수 있습니다. 이 보고서의 데이터가 현대적인 개발 환경, 고품질 디지털서비스를빠르게구축하는데필요한툴,모니터링모범사례등에대한 유용한 인사이트를 제공하길 바랍니다.
조사방법
이 보고서의 데이터는 모두 2022년7월 및 8월에 뉴렐릭으로 보고되는 애플리케이션들에서 추출되었습니다. 뉴렐릭은로그의배포및관리에대한 일반적인 개요를 제공하기 위해 적절한 데이터를 익명 처리한 후 개괄적으로 분류했습니다. 공격자 및 기타 악의적인 행위자에게 도움이 되지 않도록 세부적인 정보는 의도적으로 포함시키지 않았습니다.
