블랙박스 해부: 차세대 AI 에이전트 모니터링

AI의 역할이 바뀌었습니다. 단순한 "채팅" 인터페이스에서 정교한 에이전틱 AI 시스템으로 빠르게 발전해 왔으며, 에이전트가 단순히 텍스트를 처리하는 데 그치지 않고 자율성을 갖고 의사 결정을 내리며, 도구를 호출하고, 다른 에이전트와 협력하여 복잡한 비즈니스 워크플로우를 실행하는 아키텍처를 개발합니다.

하지만 이러한 시스템의 유지 관리를 책임지는 엔지니어들에게 이러한 변화는 엄청난 투명성 간극을 초래했습니다. 기존 APM 툴은 예측 가능하고 선형적인 서비스 호출에 맞게 설계되었습니다. 하지만 에이전트 기반 환경은 역동적이고, 확률적이며, 비선형적입니다. 에이전트 기반 워크플로우가 실패하는 경우, 단순한 오류 조건 때문인 경우는 드뭅니다. 오히려 이는 계획 에이전트가 작업을 인계하지 못하거나, 코딩 에이전트가 도구의 출력을 잘못 해석하거나, 비효율적인 에이전트 간 통신이 반복되어 API 예산을 낭비하면서 유용한 결과를 제공하지 못하는 경우에 발생합니다.

2026년 2월 개최된 뉴렐릭 어드밴스(New Relic Advance) 이벤트에서 뉴렐릭은 그 투명성의 간극을 해소하는 솔루션을 발표했습니다. 뉴렐릭은 기존 AI 모니터링 제품의 기능을 확장한 AI 에이전트 모니터링을 선보였습니다. 이 솔루션은 복잡한 멀티 에이전트 시스템의 오케스트레이션을 시각화, 디버깅 및 최적화하도록 설계된 다양한 기능을 제공하며, 현재 프리뷰 버전으로 제공되고 있습니다.

가시성 간극: 기존 모니터링 방식이 에이전트를 지원하지 못하는 이유

에이전틱 생태계에서 워크로드는 단순한 서버들의 모음이 아니라 동적인 의사 결정 그래프가 됩니다. 일반적인 소프트웨어 어시스턴트를 생각해볼 수 있습니다. 계획 에이전트는 사용자 요청을 해석하고, 연구 에이전트에게 작업을 위임하고, 연구 에이전트는 외부 검색 도구를 호출한 다음, 데이터를 홍보 에이전트에게 다시 전달합니다. 최종 결과가 미흡하다면, 어떤 부분이 문제였을까요? 첫 번째 에이전트의 프롬프트 로직일까요? 서드파티 도구에 오류가 있었을까요? 아니면 에이전트 간 인계 과정에서 레이턴시가 급증한 탓일까요?

기존 도구로는 이러한 상호작용을 파악하기가 매우 어렵습니다. 현재 엔지니어링 팀은 세 가지 중요한 문제에 직면하고 있습니다.

1. 보이지 않는 상호 작용: 추적 기록에는 LLM 호출이 표시되는 경우가 많지만, 어떤 특정 에이전트가 어떤 도구를 사용하여 통화를 했는지에 대한 구체적인 정보는 알 수 없습니다.
2. 단편적인 컨텍스트: 에이전트에 대한 서비스 맵이 없습니다. 팀원들이 에이전트 A와 에이전트 B 사이의 연결 고리를 파악할 수 없어 종속성 맵에 사각지대가 발생합니다.
3. 느린 근본 원인 분석(RCA): SRE 및 AI 엔지니어는 수작업으로 로그를 분석하여 이벤트 체인을 재구성하는 데 몇 시간을 소비하므로 MTTR이 길어지고 수익 손실이 발생합니다.

뉴렐릭 AI 에이전트 모니터링은 적절한 APM 컨텍스트로 AI 옵저버빌리티를 체계화하여 인프라 계층부터 에이전트의 의사 결정 로직까지 전체 스택에 대한 뷰를 제공함으로써 이러한 문제를 해결합니다. 현재 사용 중인 AI 에이전트가 뉴렐릭의 포괄적인 엔드투엔드 옵저버빌리티 생태계에 완벽하게 통합된다는 의미입니다. 예를 들어, AI 텔레메트리를 APM 경험 내에 바로 통합하면, 프런트엔드 브라우저에서 시작된 단일 사용자 요청이 기본 클라우드 인프라 및 데이터베이스 호출을 거쳐 AI 에이전트의 복잡한 추론 루프에 이르기까지의 전체 과정을 추적할 수 있습니다.

이러한 고급 가시성 기능은 뉴렐릭의 핵심 APM 플랫폼에 포함된 기본 확장 기능이므로, 고객은 기존 APM 에이전트를 사용하여 즉시 이 솔루션을 활용할 수 있습니다. 이를 통해 추가 비용 없이 AI 성능과 시스템 상태를 연관시켜 엔지니어링 투자와 수익을 보호할 수 있습니다.

2026년 2월 신규 출시: AI 전략 본부

이번 최신 릴리스에서는 AI 모니터링을 단순한 로깅에서 전략 본부로 탈바꿈시키는 세 가지 획기적인 기능을 선보입니다.

에이전트 서비스 맵을 사용한 생태계 시각화

이제 처음으로 여러 에이전트가 협업하는 과정 전체를 한눈에 볼 수 있습니다. 에이전트 서비스 맵은 모든 상호 작용을 실시간으로 시각화하여 보여줍니다. 에이전트 A가 에이전트 B를 호출할 때마다 링크가 생성됩니다.

이는 종속성의 사각지대를 없애줍니다. 사소한 유틸리티 에이전트의 오류가 어떻게 주요 사용자 인터페이스 에이전트에 영향을 미치는지 확인할 수 있습니다. 시스템의 상호 연결성을 파악함으로써 중복 호출을 줄이고 전반적인 정보 흐름을 개선하도록 오케스트레이션을 최적화할 수 있습니다.

세부적인 행동 인사이트

옵저버빌리티는 단순히 서비스가 "작동 중인지 또는 중단되었는지"를 아는 것 이상의 의미를 지닙니다. AI의 세상에서는 행동이 곧 성능입니다. 서비스 맵에서 에이전트를 클릭하면 엔지니어는 전용 에이전트 성능 대시보드에 액세스할 수 있습니다.

• 요청량: 에이전트가 계속해서 호출을 반복하거나 과도한 호출을 하고 있는가?
• 평균 레이턴시: 추론 체인에서 마찰이 발생하는 지점은 어디인가?
• 오류율: 특정 에이전트가 특정 도구 호출을 지속적으로 실패하는가?

이 데이터를 통해 AI 프로덕트 매니저는 에이전트의 투자 수익률(ROI)을 정량화할 수 있으며, SRE는 에이전트 사용량이 증가함에 따라 기본 인프라가 적절하게 확장되는지 확인할 수 있습니다.

에이전트 상세 분석

이상 징후가 감지되면 속도가 무엇보다 중요해집니다. 새로운 에이전트 드릴다운 기능을 사용하면 상위 수준 서비스 맵에서 특정 에이전트 또는 도구의 트레이스로 바로 이동할 수 있습니다.

더 이상 GUID를 검색할 필요가 없습니다. 호출 순서, 에이전트의 입력/출력, 그리고 오류와 관련된 구체적인 메타데이터를 정확하게 확인할 수 있습니다. 이처럼 명확한 정보 덕분에, 팀은 기술적 타임아웃과 논리적 오류를 구분할 수 있어 평균 해결 시간(MTTR)을 크게 줄이고 수익성을 유지할 수 있습니다.

통합 오케스트레이션

일부 경쟁업체는 개별 LLM 모델 모니터링과 개별적인 에이전트 단계 평가를 제공하는 데 중점을 두지만, 뉴렐릭은 통합 오케스트레이션 가시성을 제공합니다. 뉴렐릭은 에이전틱 시스템을 하나의 응집된 시스템으로 간주합니다. 뉴렐릭의 모니터링 시스템은 엔터티 플랫폼을 기반으로 구축되었기 때문에, AI 에이전트는 로그에 단순히 "객체"로만 존재하는 것이 아니라, 옵저버빌리티 스택에서 핵심적인 역할을 수행합니다.

• 수동 계측 불필요: LangGraph, AutoGen, Strands 등 광범위하고 지속적으로 확장되는 프로토콜이 지원되어 에이전트 간 통신에 대한 자세한 정보를 즉시 확인할 수 있습니다.
• 확장된 프로토콜 지원: 뉴렐릭은 ConverseAPI(AWS Bedrock) 및 기타 새로운 프로토콜에 대한 지원을 통해 시장을 선도하며, 고객의 모니터링 스택이 AI 환경의 빠른 변화에 발맞춰 발전할 수 있도록 지원합니다.
• 컨텍스트 기반 분산 추적: AI 에이전트 스팬이 워터폴 뷰에 통합되어 데이터베이스 쿼리 및 구형 API 호출과 함께 AI 호출을 바로 확인할 수 있습니다.

엔지니어링과 비즈니스의 정렬

AI 분야에서 가장 큰 도전 과제 중 하나는 이해 관계자마다 필요로 하는 데이터 세트가 다르다는 점입니다. 뉴렐릭 AI 에이전트 모니터링은 조직 전체에 도움이 되는 단일 데이터 소스를 제공합니다.

• AI/ML 엔지니어: 디버거가 필요합니다. 에이전트의 의사 결정을 추적하고, 도구 사용량을 모니터링하며, 실시간 성능 데이터를 기반으로 동작을 세밀하게 조정할 수 있습니다.
• SRE 및 데브옵스 팀: 안전망이 필요합니다. 인프라 관련 다운타임을 방지하고, AI 워크로드의 비용을 관리하며, 리소스를 정밀하게 확장할 수 있습니다.
• 프로덕트 매니저: 투자 수익률(ROI)을 극대화할 도구가 필요합니다. 작업의 성공률을 자동으로 측정하고 AI가 최종 사용자에게 실제로 비즈니스 가치를 제공하는지 확인할 수 있습니다.
• 보안 및 규정 준수팀: 감사 추적 기록이 필요합니다. 민감한 데이터에 대한 에이전트의 접근을 모니터링하고 에이전트가 윤리적으로 규제 범위(예: GDPR) 내에서 운영되도록 보장할 수 있습니다.

혁신을 촉진하는 옵저버빌리티

신뢰할 수 없는 AI 시스템은 기술적인 문제만 야기하는 것이 아니라 고객 신뢰를 무너뜨리고 매출 손실을 초래합니다. 복잡하고 역동적이며 확률적인 AI 아키텍처를 모니터링할 수 없다면 기업은 편향을 감지하고 한계를 이해하며 병목 현상을 파악하는 데 상당한 어려움을 겪을 수 밖에 없습니다.

뉴렐릭 AI 에이전틱 모니터링은 에이전틱 AI의 "블랙 박스"를 투명하고 관리 가능한 성장 엔진으로 전환하고 기존 AI 모니터링 제품에 새로운 기능을 추가합니다. 문제 해결 속도를 높이고, 컨텍스트 간 전환을 없애주며, 포괄적인 풀 스택 뷰를 제공함으로써 에이전트 기반 워크플로우를 안심하고 운영 환경에 배포할 수 있도록 지원합니다.

AI를 실질적으로 정밀하게 관리할 수 있게 됩니다.

에이전트들의 활약을 직접 확인해 보실 준비가 되셨나요?

• AI 에이전트 모니터링은 뉴렐릭 AI 모니터링의 일부로 제공됩니다. 지금 바로 데모를 요청하거나 무료로 사용해 보세요. 
• 위에 설명된 기능의 프리뷰 버전을 사용해 보시려면 여기에서 계정을 신청하세요.