업계 최초의 AI용 APM, 뉴렐릭 AI 모니터링

AI는 현대의 애플리케이션들을 새로운 수준으로 끌어 올려주고 있지만, AI 기반 애플리케이션을 구축하고 실행하는 엔지니어에게는 고유한 도전과제를 안겨줍니다. 기존 애플리케이션과 달리, AI 애플리케이션에는 대규모 언어 모델(LLM), 벡터 데이터 스토어 등의 고급 구성 요소가 통합된 새로운 기술 스택이 필요합니다. 또한 AI 애플리케이션은 안전, 보안, 신뢰성을 보장하기 위해 고려해야 하는 품질과 비용 같은 추가적인 텔레메트리 데이터를 생성합니다. AI의 미래를 위해서는 복잡성을 해결하고 이러한 새로운 애플리케이션을 최적화하는 것이 반드시 필요합니다. 신뢰할 수 있는 안전하고 윤리적인 AI 시스템의 개발과 배포를 보장하는 표준을 수립하라는 미국 행정부의 최근 행정 명령에 비추어 볼 때 더욱 그렇습니다.

오늘 뉴렐릭은 모든 AI 기반 애플리케이션에 대해 엔드-투-엔드 가시성을 제공하는 업계 최초의 APM 솔루션 '뉴렐릭 AI 모니터링(AIM)'을 발표했습니다. 현재 얼리 액세스가 가능한 AIM은 엔지니어에게 전체 AI 스택에 대한 전례 없는 가시성과 인사이트를 제공하여 안전하고 책임감 있는 AI 애플리케이션을 구축하고 실행할 수 있도록 지원합니다.

AIM의 기술적인 측면을 살펴보기 전에, AI 모니터링이 중요한 이유와 AI 애플리케이션이 제대로 작동하는지 확인하려면 스택의 어떤 구성 요소들을 모니터링해야 하는지 알아보겠습니다.

AI 애플리케이션을 모니터링해야 하는 이유는?

AI 애플리케이션을 모니터링해야 하는 이유는 다음과 같습니다.

• 품질 및 정확성: 복잡한 AI 모델에서 편향, 독성 및 환각이 있는지 모니터링하여 공정하고 신뢰할 수 있는 결과를 보장해야 합니다.
• 성능 조율: 컴퓨팅 병목 지점을 식별하고 해결하여 응답성이 뛰어나고 효율적인 AI 애플리케이션을 유지해야 합니다.
• 비용 관리: 토큰 처리를 추적하여 AI 모델 비용을 효과적으로 관리하고 예산을 한도 내에서 유지해야 합니다.
• 책임감 있는 사용: AI 응답에서 해를 끼칠 수 있는 편향과 독성을 제거해야 합니다.
• 보안: AI 애플리케이션의 취약점을 모니터링하고 잠재적인 보안 공격을 완화하기 위한 수정 조치를 취해야 합니다.

뉴렐릭 AIM은 AI 애플리케이션을 디버깅, 모니터링 및 개선에 필요한 인사이트를 제공하여, AI 작업을 하는 엔지니어에게 옵저버빌리티의 역량을 가져다 주며, AI 애플리케이션이 의도한 대로 작동하고 정확한 결과를 제공하며 책임 있는 사용을 위한 새로운 표준을 충족하도록 보장합니다.

AI 스택 디코딩

AI 스택은 AI 애플리케이션을 개발하고 배포하는 데 사용되는 복잡한 도구와 기술 세트입니다. 앞서 언급했듯이 AI 스택은 새로운 텔레메트리 데이터 세트를 생성할 뿐만 아니라 전통적인 기술 스택보다 더 많은 데이터, 더 많은 컴퓨팅 리소스, 더 전문화된 도구와 기술이 필요한 경우가 많습니다. 

AI 기술 스택의 주요 구성 요소는 다음과 같습니다.

• 인프라 계층: AI의 개발과 배포를 위한 기반을 제공합니다. 여기에는 AI 모델을 교육 및 배포하기 위한 강력한 GPU 및 CPU를 비롯해, AI 애플리케이션 배포를 확장하는 방법을 제공하는 AWS, Azure 및 Google Cloud Platform(GCP) 같은 클라우드 컴퓨팅 플랫폼이 포함됩니다.
• 데이터 스토리지/벡터 데이터 저장소: AI 애플리케이션은 대량의 데이터를 저장하고 액세스해야 합니다. 벡터 데이터베이스는 AI 애플리케이션에서 자주 사용되는 고차원적인 데이터를 저장하고 쿼리하도록 설계된 특수 데이터베이스입니다. 
• 모델 계층: 예측을 하거나 출력을 생성하는 데 사용되는 AI 모델을 포함합니다. 콘텐츠 생성에 자주 사용되는 AI 모델로는 GPT-4, Anthropic, COHERE, Llama 2, Amazon Bedrock이 있습니다.
• 오케스트레이션 프레임워크: LangChain 같은 오케스트레이션 프레임워크는 데이터 처리, 모델 호출, 후처리 등 AI 애플리케이션의 다양한 구성 요소를 서로 연결시키는 방법을 제공합니다. 
• 애플리케이션 계층: AI 모델과 상호 작용하는 사용자용 애플리케이션을 포함합니다.

뉴렐릭 AIM: AI를 위한 APM 

뉴렐릭 AIM은 전체 스택에 옵저버빌리티의 역량을 가져다 줍니다. 뉴렐릭 APM이 애플리케이션 스택을 모니터링할 수 있도록 지원하는 것처럼, 뉴렐릭 AIM은 엔지니어에게 AI 스택의 모든 구성 요소에 대한 완벽한 가시성을 제공하여 성능, 품질, 비용의 측면에서 AI 애플리케이션을 쉽게 모니터링, 디버깅 및 개선하고 규정을 준수할 수 있도록 지원합니다. 

빠르고 쉬운 설정

뉴렐릭 에이전트는 AI 모니터링을 위한 빠르고 쉬운 설정을 지원하며 추가적인 계측은 필요하지 않습니다. OpenAI 및 AWS Bedrock 같은 인기 모델은 물론 LangChain 같은 오케스트레이션 프레임워크를 기본적으로 지원합니다. 이를 통해 AI 스택 전반에서 완전한 엔드 투 엔드 가시성과 심층적인 트레이스 인사이트를 확보할 수 있으므로, 개별 구성 요소의 성능을 쉽게 식별 및 분석하고, 데이터 흐름을 추적하며, AI 애플리케이션에서 잠재적 병목 지점을 정확히 찾아낼 수 있습니다.

전체 AI 스택에 대한 완벽한 가시성으로 디버깅 속도 향상

뉴렐릭 AIM은 뉴렐릭 APM 360과 밀접하게 통합되어 서비스 계층에서 인프라, AI 모델에 이르기까지, 전체 AI 스택에 걸쳐 완벽한 가시성을 제공합니다. 이제 AI 애플리케이션 성능을 업스트림 및 다운스트림 추세와 연관시켜 문제가 애플리케이션의 다른 부분에 어떤 영향을 미치는지 실시간으로 이해할 수 있습니다. 이를 통해 추측에 의존하지 않고 모든 엔지니어가 직관적이고 효율적으로 문제를 해결할 수 있습니다.

아래는 통합 AIM 뷰가 내장된 뉴렐릭 APM 360 요약 화면의 스크린샷입니다. 이러한 통합된 뷰는 총 요청 수, 평균 응답 시간, 토큰 사용량, 사용자 피드백, 응답 오류율 등 AI 계층의 주요 메트릭에 대한 즉각적인 인사이트는 물론 APM 황금 신호, 인프라 인사이트, 로그를 함께 제공합니다. 뉴렐릭 APM 360 요약 뷰에서 애플리케이션의 오류와 AI 응답 오류가 급증하고 있음을 발견했다고 가정해보겠습니다. 문제를 AI 계층으로 신속하게 분리하고 문제의 근본 원인에 대한 AI 응답 뷰를 세부적으로 분석할 수 있습니다.

심층적인 인사이트를 통해 AI 애플리케이션의 성능, 품질 및 비용 최적화

뉴렐릭 AIM은 모든 응답에 대한 심층적인 추적 역량과 가시성을 제공하여, AI 애플리케이션이 어떻게 작동하는지 파악하고 성능을 조율하며 편향, 독성, 환각 같은 AI의 품질 문제를 해결하고 비용을 관리하는 방법에 대해 정보에 입각한 결정을 내릴 수 있도록 해줍니다. 뉴렐릭 AIM Response UI에서 다음을 수행할 수 있습니다.

• 이상치 및 추이 파악: AIM은 모든 AI 응답에 대한 통합된 개괄적인 뷰를 제공합니다. 이를 통해 응답에서 이상치와 추이를 쉽게 식별할 수 있습니다.

• 모든 응답의 전체 수명 주기 추적: 뉴렐릭 AIM을 사용하면 응답의 전체 수명 주기를 파악할 수 있습니다. 아래 스크린샷에서 볼 수 있듯이 쉽게 이해할 수 있는 워터폴 뷰를 통해 프롬프트에서 시작해 애플리케이션 구성 요소의 모든 단계를 확인할 수 있습니다.

또한 각 응답에 대한 프롬프트, 부정적인 피드백, 메타데이터를 포함한 세부 정보를 확인하여 성능 또는 품질과 관련된 문제를 신속하게 찾아 수정할 수 있습니다.

모델 간 성능 및 비용 비교

모델 비교는 AI 모니터링의 핵심 부분입니다. 이를 통해 요구 사항에 가장 적합한 모델을 식별하고, 시간 경과에 따른 성능 변화를 추적하며, 비용을 최적화할 수 있습니다. 뉴렐릭 AIM은 모든 모델에서 환각, 편향, 독성 같은 품질 문제와 성능, 비용에 대한 LLM 프롬프트와 응답을 쉽게 비교하고 문제를 진단하며 최적화하는 데 필요한 단일 뷰를 제공합니다.

AI 애플리케이션 비용 최적화는 AIM의 모델 비교를 위한 일반적인 사용 사례 중 하나입니다. AI 모델 전반에서 토큰 사용량을 추적함으로써, 어떤 모델을 실행하는 데 가장 비용이 많이 드는지 파악할 수 있습니다. 그런 다음 더 낮은 비용의 모델을 선택하여 AI 애플리케이션 아키텍처를 최적화할 수 있습니다.

최대 규모의 통합 세트로 모든 AI 생태계를 즉시 모니터링

뉴렐릭 AIM은 AI 생태계를 위해 50여 개의 통합을 제공합니다. 여기에는 널리 사용되는 LLM, 머신 러닝(ML) 라이브러리, 벡터 데이터베이스는 물론 현재 뉴렐릭 에이전트로 지원되지 않는 프레임워크들도 포함됩니다. 이러한 통합에는 AI 애플리케이션의 성능과 상태에 대한 즉각적인 가시성을 제공하도록 사전 구성된 대시보드, 알림 및 기타 옵저버빌리티 구성 요소들이 포함됩니다.

뉴렐릭: AI 모니터링을 통한 선도

뉴렐릭은 AIM을 출시하며 옵저버빌리티 분야를 선도하고 있습니다. AIM은 전체 AI 스택에 대한 전례 없는 가시성, 원활한 통합, 심층적인 인사이트를 제공합니다. 뉴렐릭 APM 360과의 통합을 통해, AI 애플리케이션에 영향을 미치는 성능, 비용 및 품질 문제를 쉽게 식별할 수 있습니다. AIM은 AI 옵저버빌리티로 한 걸음 더 나아감으로써, 조직이 애플리케이션에 AI를 자신 있게 도입하고, 고객 및 파트너와 신뢰를 구축하며, 끊임없이 변화하는 인공 지능 환경에서 규제 기관보다 앞서 갈 수 있도록 지원합니다.