메시지 흐름에 대한 옵저버빌리티를 지원하는 큐 및 스트림 모니터링

이벤트 기반 아키텍처는 이벤트를 생성하고 이벤트에 반응함으로써 애플리케이션들이 서로 통신할 수 있도록 합니다. 예를 들어, 차량 공유 앱은 이벤트 스트림을 사용해 승차 요청을 처리하고, 이벤트는 매핑, 운전자 배정, 결제 처리 같은 서비스를 트리거합니다. 마찬가지로, 이커머스 플랫폼은 재고를 업데이트하고, 확인 이메일을 보내고, 배송을 시작하고, 고객 계정을 업데이트하는 등의 이벤트를 통해 주문을 처리합니다. 이러한 유형의 아키텍처가 디지털 경험에 얼마나 중요한지는 두말할 나위가 없습니다. 그러나 애플리케이션들이 메시지 큐와 스트리밍 데이터에 점점 더 많이 의존하게 되면서 복잡한 시스템을 모니터링하는 일도 한층 더 까다로워졌습니다. 이벤트 볼륨이 늘어나면 병목 현상, 제한, 데이터 레이턴시 같은 문제를 해결하기가 더욱 어려워지고, 문제가 사용자에게 영향을 미치고 나서야 발견되는 경우가 많습니다.

오늘 뉴렐릭이 이벤트 기반 아키텍처 전반에서 양방향 인사이트를 제공하는 업계 최초의 완전 통합 모니터링 솔루션 큐 및 스트림 모니터링을 출시했습니다. 이 포괄적인 기능은 Kafka 클러스터에 대한 세부적인 실시간 인사이트와 추세 데이터를 기반으로 즉시 사용 가능한 알림 조건을 제공하여 선제적 모니터링을 지원하며, 다른 Kafka 모니터링 솔루션이 가진 '2분 지연'의 제약을 받지 않습니다.

통합 클러스터 뷰: Kafka 상태에 대한 신속한 평가 

뉴렐릭의 큐 및 스트림은 메시지 큐와 스트림에 대한 풍부한 문맥과 포괄적인 가시성을 제공합니다. 고유한 양방향 분석 기능은 토픽을 프로듀서와 컨슈머 서비스 모두에 연결하여, 데브옵스 팀이 느린 프로듀서나 컨슈머, 과부하 토픽 같은 문제를 신속하게 식별하고 해결할 수 있도록 합니다. 주요 이점은 다음과 같습니다.

• 클러스터에서, 파티션, 브로커, 토픽, 프로듀서, 컨슈머 수준까지, Kafka 상태에 대한 세부적인 인사이트를 확보할 수 있습니다.
• 서비스에서 토픽으로, 토픽에서 서비스로 양방향 세부 분석이 가능해 근본 원인과 성능을 빠르게 파악할 수 있습니다.
• 즉시 사용 가능한 알림 조건과 실시간 이상 감지를 통해 잠재적인 문제를 선제적으로 식별할 수 있습니다.

양방향 분석을 통한 신속한 문제 해결 

메시지 기반 애플리케이션에서 문제가 발생하면 근본 원인을 정확히 찾아내는 것이 가장 큰 골치거리가 됩니다. 뉴렐릭의 양방향 분석 기능은 Kafka 클러스터와 프로듀서 및 컨슈머(APM 서비스) 간에 얻어진 인사이트를 실시간으로 상호 연관시킵니다. 문맥적 가시성을 통해 엔지니어는 문제가 과도하게 활동적인 프로듀서로 인한 것인지, 느린 컨슈머나 브로커 리소스 제약으로 인해 발생하는지를 신속하게 파악하여 평균 탐지 시간(MTTD)과 평균 해결 시간(MTTR)을 크게 줄이고, 시스템 복원력을 향상하며, 분산된 아키텍처 전반에서 원활한 데이터 흐름을 보장할 수 있습니다.

즉각적인 이상 감지 및 선제적 알림

Kafka 스트림을 모니터링하다 보면 지연이 발생해 즉각적인 조치가 어려워지는 경우가 많습니다. 뉴렐릭은 Java 에이전트를 통해 실시간 Kafka 메트릭을 제공하여 이러한 문제를 해결하고, 팀이 모든 Kafka 클라이언트 구성 요소(프로듀서, 컨슈머 등)에서 즉시 이상을 발견할 수 있도록 지원합니다. 또한 선제적 알림(곧 제공 예정)은 Kafka에 내재된 모니터링 지연을 완화하고 문제가 심각해지기 전에 팀에 신속하게 알려 모니터링 경험을 향상해줍니다.

데이터 처리량 식별 및 최적화

성능을 유지하려면 효율적인 데이터 흐름이 중요합니다. 뉴렐릭은 레이턴시, 제한 속도, 큐 깊이, 재시도 횟수 등의 지표에 대한 자세한 정보를 제공하여 처리량에 영향을 미치는 병목 현상을 신속하게 찾아낼 수 있도록 합니다. 이외에도 뉴렐릭의 솔루션은 압축되지 않은 데이터 스트림을 식별하여 효과적인 압축 전략으로 시스템을 최적화하고 전반적인 성능을 개선할 수 있도록 지원합니다.

포괄적인 Kafka 토픽에 대한 인사이트

개별적인 토픽의 성과를 이해하는 것이 필수적입니다. 뉴렐릭의 세부 토픽 뷰는 클러스터의 상위 20개 토픽 엔터티에 빠르게 액세스하여, 수신 및 발신 처리량, 메시지 속도 같은 실시간 메트릭을 바로 확인할 수 있도록 합니다. 이러한 세부적인 데이터를 통해 팀은 토픽별 성능과 리소스 할당을 효과적으로 관리하고 최적화할 수 있습니다.

시작하기

큐 및 스트림 모니터링은 간단하고 직관적으로 워크플로우에 통합할 수 있습니다.

1단계: 통합 설정

• Kafka 공급업체(Amazon MSK 또는 Confluent Cloud)를 선택하고 안내에 따라 설치합니다.

2단계: 뉴렐릭 UI로 이동

• 뉴렐릭에 로그인한 후 one.newrelic.com > All capabilities > Queues & Streams로 이동합니다.
• 직관적인 필터와 검색 기능을 사용하여 Kafka 클러스터를 빠르게 식별합니다.

3단계: 모니터링 및 진단

• 시각적 Kafka Navigator를 사용해 클러스터가 정상적인지 문제가 있는지 즉시 파악합니다.
• APM 서비스와의 상관관계와 심층적인 메트릭을 자세히 살펴봅니다.

보다 자세한 설정 지침은 뉴렐릭 큐 및 스트림 문서를 참조하십시오.