AI 기반 옵저버빌리티의 이중성

AI 혁신의 속도가 계속해서 빨라지면서, 최근에는 에이전트 오케스트레이션과 워크플로우에 초점이 맞춰지고 있습니다. 에이전틱 AI로의 전환은 1년 전의 대규모 언어 모델(LLM)의 사용 사례에서 자연스럽게 진화한 것이며, 에이전틱 AI는 인시던트 대응부터 연구, 소프트웨어 개발에 이르기까지 다양한 도메인에서 생산성을 높이는 매력적인 새로운 방법을 제시합니다. 하지만 이러한 새로운 기능들은 복잡성을 상당히 증가시킵니다. LLM의 비교적 선형적인 시스템에 비해 복잡한 에이전틱 시스템을 모니터하고 디버깅하고 관리하는 것은 점점 더 어려워지고 있습니다. 이로인해 옵저버빌리티에 대한 기존 관념을 완전히 바꿔 놓는 두 가지 기회가 생겨났습니다.

두 가지 상호 보완적인 혁명이 동시에 일어나고 있습니다.

1. 에이전틱 AI를 위한 옵저버빌리티: 그 속을 알 수 없는 AI 시스템을 투명하고 디버깅 할 수 있게 만들어, AI 도입을 촉진하는 데 필요한 가시성을 제공합니다.
2. 옵저버빌리티를 위한 AI: 복잡한 워크플로우에서 지능적인 인사이트와 자동화된 작업을 활용해 기존의 사후 대응적 모니터링을 선제적 예측 운영으로 전환합니다.

AI를 위한 옵저버빌리티: 투명성 향상

많은 최신 AI 기반 애플리케이션은 각 에이전트 상호작용에 다음이 관련됩니다.

• 외부 API를 사용한 툴 호출
• 에이전트 간 컨텍스트 전달
• 병렬 처리 분기
• 오류 처리 및 재시도 로직
• 성능 최적화 결정

기존의 애플리케이션 성능 모니터링(APM)은 이렇게 복잡한 상호작용에 투명성을 제공할 수 없습니다. HTTP 요청 기간은 볼 수 있지만 AI의 의사 결정 과정은 전혀 볼 수 없습니다. 

AI의 모든 가치를 끌어내려면 에이전트 수준의 상호작용에 대한 심층적인 가시성이 필요합니다. 동시에 AI 구성 요소 관련 문제를 신속하게 식별하고 해결하기 위해서는 APM 엔터티 내에서의 성능도 필요합니다. AI 도입을 확대하고 경쟁에서 뒤처지지 않으려면 이러한 시스템의 성능과 그 이유에서 알려지지 않은 사항을 줄이고 궁극적으로 제거해야 합니다.

에이전틱 AI 모니터링을 통해, 뉴렐릭은 자동적이고 세부적인 가시성을 제공하는 기존 AI 모니터링 기능을 다중 에이전트 협업 내의 모든 에이전트와 툴 호출로 한층 더 확장하고 있습니다. 어떤 에이전트와 툴이 어떤 순서로 호출되었는지, 주요 성능 데이터가 표시되는 화면에서 툴 활용도, 성능 및 오류에 대한 세부적인 인사이트를 얻을 수 있습니다. 수동 계측이 필요하지 않습니다. AI 에이전트 스팬을 사용한 분산 추적 기능이 포함되어 있어 AI 에이전트와 해당 에이전트가 호출하는 툴 간의 모든 상호작용을 추적할 수 있습니다. 또한 AI 구성 요소의 통신 방식에서 변경된 사항이 강조 표시되며, 모든 내용은 단일 보기에서 확인할 수 있습니다.

이외에도, 카탈로그 뷰에서 AI 관련 호출을 즉시 필터링하여 문제를 더 빠르게 파악하고 해결 및 수정할 수 있는 AI 응답 필터링 기능도 출시될 예정입니다. 문제가 있는 프롬프트나 응답을 찾기 위해 수천 개의 로그를 수동으로 걸러내야 했던 시대는 지났습니다. 물론, 뉴렐릭은 LLM 모니터링을 지속적으로 개선하여 새로운 API와 프로토콜을 포함시키고 있으며, 이제 ConverseAPI(LLM으로 AI 애플리케이션을 구축하기 위한 AWS Bedrock의 API)에 대한 지원도 포함됩니다.

AI를 신속하게 도입하고 강력하지만 복잡한 다중 에이전트 시스템을 구축하기 위해 애쓰고 있는 시나리오를 생각해 볼 수 있습니다. 눈을 감고 달리는 것과 다르지 않은 상황입니다. AI 앱에 오류가 발생하면 무엇이 잘못되었는지 전혀 알 수 없어 막대한 AI 투자가 위험에 처하게 됩니다. 이커머스 기업의 엔지니어링 팀장 데빈의 예를 들어보겠습니다. 그의 팀은 매우 복잡한 새로운 AI 추천 엔진을 구축하고 있는데, 본질적으로는 AI 에이전트 팀입니다. 각 에이전트는 특정한 일을 담당합니다.

• 한 에이전트는 관련이 있는 제품을 찾습니다.
• 다른 에이전트는 고객 리뷰를 분석합니다.
• 세 번째 에이전트는 사용자 선호도에 따라 최종 추천을 개인화합니다.

추천 엔진이 사용자에게 느리거나 잘못된 추천을 제공하는 경우, 데빈과 그의 팀은 문제를 해결하기 위해 번거로운 추측을 해야 합니다. AI 에이전트 간의 복잡한 상호작용을 파악할 수 없기 때문에 근본 원인 분석이 더디고 다운타임이 길어집니다. 비즈니스는 매출 손실 위기에 처해 있으며, 데빈의 팀은 디버깅 작업에 파묻혀 혁신하는 데 어려움을 겪습니다.

단절된 툴이나 일반적인 APM과 달리 뉴렐릭 AI 모니터링은 추측 작업을 없애고 에이전틱 AI 애플리케이션에 대한 완전한 가시성을 제공합니다. 뉴렐릭 에이전틱 AI 모니터링은 AI 성능을 전체 스택과 자동으로 연관시킵니다. 이 솔루션은 시스템의 모든 에이전트와 툴 호출을 매핑하고 모니터링하여 병목 지점을 즉시 찾아내고, 오류를 식별하고, 툴이 어떻게 사용되고 있는지 정확히 이해할 수 있도록 해줍니다. 이것이 바로 AI를 위해 설계된 옵저버빌리티입니다.

새로운 에이전트 서비스 맵은 AI 에이전트 간의 모든 상호작용을 완벽하게 보여줍니다. AI 트레이스 뷰를 사용하면 호출된 에이전트, 레이턴시, 오류 등을 포함해 모든 단계를 확인할 수 있습니다. 특정 에이전트와 툴 트레이스를 자세히 살펴보면 몇 초 만에 문제의 근본 원인을 찾을 수 있습니다. Autogen 모니터링을 사용하면 이미 알고 있는 워터폴 뷰에서 에이전트 간 통신을 볼 수 있습니다. AI 인벤토리는 관리 중인 모든 AI 에이전트와 서비스를 한 곳에 표시해줍니다. 이를 통해 관리 체계가 간소화되고 엔지니어는 자신이 담당하는 특정 툴에 빠르게 집중할 수 있습니다.

이는 게임 체인저입니다. 며칠에 걸려 디버깅을 하는 대신, 몇 분 안에 문제를 식별하고 해결한 후, 혁신 기능을 구축하는 데 전념할 수 있습니다. 뉴렐릭은 에이전틱 AI 서비스의 문제 해결을 가속화함으로써 매출 손실을 방지하고 운영 비용을 절감하는 데 도움을 줍니다. 이를 통해 AI 투자의 위험이 줄어들고 기업은 신뢰할 수 있는 AI 결과를 기반으로 더 나은 결정을 내릴 수 있습니다.

옵저버빌리티를 위한 AI: 모든 계층의 인텔리전스

이러한 에이전틱 워크플로우를 구동하는 AI 기술을 옵저버빌리티 자체에도 적용하면, 엔지니어가 생각하는 방식으로 인프라를 생각하는 지능적인 시스템을 머신 속도와 규모로 만들 수 있습니다. 뉴렐릭 MCP 서버는 MCP와 호환되는 모든 AI 에이전트에 AI 기능을 제공하는 데 필요한 해답입니다. 특정 툴에 얽매이지 않고 자유롭게 선택할 수 있어야 합니다. 단일 AI 에이전트에 묶인 다른 솔루션과 달리, 뉴렐릭의 MCP 서버는 특정 AI 클라이언트에 종속되지 않도록 구축되었습니다. GitHub CoPilot부터 ChatGPT와 Claude에 이르기까지, MCP 호환 에이전트와 함께 작동하도록 설계된 확장 가능한 툴킷입니다. 선택은 여러분의 몫입니다.

모든 옵저버빌리티 데이터를 선호하는 생성형 AI 툴로 바로 가져와 기존 워크플로우 내에서 바로 조치를 취할 수 있다는 의미입니다. 이를 통해 다음이 가능해집니다.

• 자연어로 알림 및 인시던트 가져오기
• 통합 개발 환경(IDE) 또는 AI 어시스턴트를 벗어나지 않고 인텔리전스 보고서 생성
• 여러 툴에서 대화형 쿼리를 사용해 배포 분석

뉴렐릭은 고객이 실제로 작업하는 환경으로 갑니다. 컨텍스트 전환, 탭 전환, 창 전환을 강제하지 않습니다. 뉴렐릭 MCP 서버는 뉴렐릭과 MCP를 지원하는 AI 툴 생태계 간에 원활하고 표준화된 상호작용이 가능하도록 설계되었습니다. GitHub Copilot과 같은 AI 어시스턴트는 개발자에게 필수적인 기능이 되었지만, 일반적으로 고립된 환경에서 작동합니다. 이러한 환경에서 엔지니어는 문제를 해결하기 위해 옵저버빌리티 툴로 컨텍스트를 전환해야 하며, 이로 인해 추가적인 시간과 노력이 소모됩니다. 뉴렐릭은 개발자에게 익숙한 대화형 워크플로우로 옵저버빌리티를 가져다주는 유일한 플랫폼입니다.

대형 소셜 미디어 기업의 엔지니어링 팀장인 에이미의 예를 들어보겠습니다. 그녀의 팀은 AI 어시스턴트를 활용해 코드를 더 빠르게 작성하고 배포합니다. 프로덕션 문제가 생기면 엔지니어들은 끊임없이 컨텍스트를 바꿔야 합니다. AI 어시스턴트를 벗어나 별도의 옵저버빌리티 툴에 로그인하고, 올바른 데이터를 찾기 위해 쿼리를 실행한 다음, 다시 코드로 돌아가는 식입니다. 단절된 데이터와 워크플로우는 느리고 비효율적이며, 생산성을 저하시키고 인시던트 대응 속도를 늦춥니다. 사용자 경험이 모든 것인 소셜 미디어 플랫폼의 경우, 이러한 지연은 사용자 참여와 광고 수익에 영향을 미칠 수 있습니다.

여러 툴을 비교해본 결과, Datadog의 MCP 모니터링 방식은 AI에 연결하기 위해서만 수동 "스킬 팩"이 필요해 문제가 될 수 있다는 사실을 발견했습니다. Dynatrace는 개발자들이 이미 사용하고 있는 어시스턴트 대신 독점적인 AI를 사용해야 하는 등 너무 제한적이었습니다. 두 옵션 모두 엔지니어링 팀이 필요로 하는 원활한 대화형 워크플로우를 제공하지 못했습니다.

뉴렐릭 AI MCP 서버는 팀에서 이미 사용 중인 AI 어시스턴트에 직접 옵저버빌리티를 제공하여 이러한 문제를 해결해 주었습니다. 서버는 뉴렐릭 AI를 모든 MCP 호환 에이전트에 통합하여 엔지니어가 자연스러운 워크플로우에서 데이터를 쿼리하고 인사이트를 확보할 수 있도록 합니다. 엔지니어가 AI 어시스턴에게 "마지막 배포 이후 플랫폼의 오류율을 알려줘?"라고 묻는 상황을 가정해볼 수 있습니다. 뉴렐릭을 통해 코딩 환경을 벗어나지 않고도 즉각적인 답변을 얻을 수 있습니다. 옵저버빌리티가 대화의 속도를 따라갑니다.

뉴렐릭의 인사이트를 AI 에이전트에 직접 내장함으로써, 엔지니어는 단일 통합 워크플로우에서 문제를 진단 및 해결할 수 있어 즉각적인 생산성 향상 효과를 얻을 수 있습니다. 엔지니어는 일상적인 언어를 사용해 텔레메트리 데이터를 즉시 쿼리하고, 배포에 미치는 영향을 분석하고, 알림 보고서를 생성하여, 평균 해결 시간(MTTR)을 획기적으로 단축할 수 있습니다. 이 때문에, 쿼리 언어에 대한 지식 수준에 관계없이 팀의 모든 구성원이 옵저버빌리티 데이터를 활용할 수 있습니다. 질문만 하면 뉴렐릭에서 인사이트를 얻을 수 있고, 이를 통해 전반적으로 더 현명하고 빠른 의사 결정을 내릴 수 있습니다.

뉴렐릭은 인시던트 대응을 가속화하고 소프트웨어 개발 수명주기(SDLC)에 직접 옵저버빌리티를 내장함으로써 개발자 생산성을 향상하고 사용자 경험을 보호합니다. 이러한 원활한 통합을 통해 주요 IT 서비스 관리(ITSM) 및 IT 운영 관리(ITOM) 워크플로우가 간소화되고, 운영 비용이 절감되며, 팀이 더 빠르게 혁신할 수 있는 역량이 강화됩니다.

전략적 혁신

AI를 위한 옵저버빌리티는 복잡한 시스템을 이해하기 쉽고 안정적으로 만들어 AI 도입의 장벽을 제거합니다. 옵저버빌리티를 위한 AI는 운영을 사후 대응형에서 예측형으로, 수동형에서 자동형으로 전환해줍니다. 이러한 요소들이 함께 작용하여, AI 시스템은 더 관찰 가능하고 안정적이 되며, 옵저버빌리티 플랫폼은 더욱 지능적이고 선제적이 되는 지능적인 피드백 루프가 생성됩니다. 뉴렐릭은 이러한 방식으로 AI로 가속화되는 세상에서 소프트웨어 속도로 혁신할 수 있는 역량을 지원합니다.