모델 성능 모니터링을 통해 풀스택 옵저버빌리티를 머신 러닝으로 확장

오늘 뉴렐릭은 옵저버빌리티 경험을 확장해 인공 지능(AI) 및 머신 러닝(ML) 팀이 가시성을 가로막는 장벽을 허물수 있도록 지원하는 새로운 기능을 발표했습니다. 이 기능은 AI/ML 및 데브옵스 팀이 앱 및 인프라와 더불어, 리콜, 정밀도, 모델 정확도 같은 중요한 신호를 모니터링하고 시각화할 수 있는 단일한 장소를 제공합니다.

몇 분 내에 ML 성능을 측정할 수 있습니다. 이 동영상에서, AI 및 ML 애플리케이션의 가치 실현 시간을 단축할 수 있도록 뉴렐릭의 ML Model Performance Monitoring을 설정하는 방법을 확인해보시기 바랍니다.

자체 ML 모델 데이터를 New Relic One으로 가져오기

AI/ML 엔지니어와 데이터 과학자들은 이제 모델 성능에 대한 텔레메트리 데이터를 New Relic One으로 전송하고, 주요 머신 러닝 운영(MLOps) 플랫폼과 통합하여 운영 환경에서 ML 모델 문제를 선제적으로 모니터링할 수 있습니다. ML 투자의 성과를 보여주는 맞춤 대시보드와 시각화를 통해, 데이터 팀에게 완전한 가시성을 제공할 수 있습니다.

ML 기반 애플리케이션에 대한 완전한 가시성

일반 소프트웨어와 달리, AI 및 ML 모델은 코드와 기본 데이터를 모두 사용합니다. 현실 세계는 끊임없이 변화하기 때문에, 정적 데이터로 개발된 모델은 시간이 지남에 따라 관련성이 줄어들고 정확도가 떨어지는 ‘드리프트(drift)’ 상태가 됩니다. 관련성 있는 고객 경험을 지속적으로 제공하려면, 실제 운영 환경에서 ML 모델의 성능을 모니터링해야 합니다.

New Relic One을 ML 모델 성능 모니터링에 사용해, 개발 및 데이터 과학 팀은 다음과 같은 혜택을 얻을 수 있습니다.

• 자체적인 ML 데이터를 가져오거나 데이터 과학 플랫폼과 통합하여, ML 모델과 인프라 같은 다른 애플리케이션 구성 요소와의 상호 종속성을 모니터링하고 문제를 더 빨리 해결할 수 있습니다.
• 맞춤 대시보드를 생성해 보다 정확한 ML 모델에 대한 신뢰와 인사이트를 확보할 수 있습니다.
• New Relic Alerts and Applied Intelligence에서 ML 모델에 예측 가능한 알람을 적용하여 비정상적인 변경과 알려지지 않은 사항이 고객에게 영향을 미치기 전에 감지할 수 있습니다.
• ML 모델의 텔레메트리 데이터를 검토해 중요한 신호를 파악함으로써 높은 성능을 유지할 수 있습니다.
• 실제 운영 환경에서 협업하며, 비즈니스에 영향을 미치기 전에 알람, 공지 및 인시던트를 문맥화할 수 있습니다.
• 제공된 데이터에 기반해 혁신, 계획, 안정성, 고객 경험 등과 관련해 효과적으로 의사 결정을 내릴 수 있습니다.

자체 ML 모델 데이터를 New Relic One으로 가져오기

AI/ML 엔지니어와 데이터 과학자들은 이제 모델 성능에 대한 텔레메트리 데이터를 New Relic One으로 전송하고, 주요 머신 러닝 운영(MLOps) 플랫폼과 통합하여 운영 환경에서 ML 모델 문제를 선제적으로 모니터링할 수 있습니다. ML 투자의 성과를 보여주는 맞춤 대시보드와 시각화를 통해, 데이터 팀에게 완전한 가시성을 제공할 수 있습니다.

ML 기반 애플리케이션에 대한 완전한 가시성

일반 소프트웨어와 달리, AI 및 ML 모델은 코드와 기본 데이터를 모두 사용합니다. 현실 세계는 끊임없이 변화하기 때문에, 정적 데이터로 개발된 모델은 시간이 지남에 따라 관련성이 줄어들고 정확도가 떨어지는 ‘드리프트(drift)’ 상태가 됩니다. 관련성 있는 고객 경험을 지속적으로 제공하려면, 실제 운영 환경에서 ML 모델의 성능을 모니터링해야 합니다.

New Relic One을 ML 모델 성능 모니터링에 사용해, 개발 및 데이터 과학 팀은 다음과 같은 혜택을 얻을 수 있습니다.

• 자체적인 ML 데이터를 가져오거나 데이터 과학 플랫폼과 통합하여, ML 모델과 인프라 같은 다른 애플리케이션 구성 요소와의 상호 종속성을 모니터링하고 문제를 더 빨리 해결할 수 있습니다.
• 맞춤 대시보드를 생성해 보다 정확한 ML 모델에 대한 신뢰와 인사이트를 확보할 수 있습니다.
• New Relic Alerts and Applied Intelligence에서 ML 모델에 예측 가능한 알람을 적용하여 비정상적인 변경과 알려지지 않은 사항이 고객에게 영향을 미치기 전에 감지할 수 있습니다.
• ML 모델의 텔레메트리 데이터를 검토해 중요한 신호를 파악함으로써 높은 성능을 유지할 수 있습니다.
• 실제 운영 환경에서 협업하며, 비즈니스에 영향을 미치기 전에 알람, 공지 및 인시던트를 문맥화할 수 있습니다.
• 제공된 데이터에 기반해 혁신, 계획, 안정성, 고객 경험 등과 관련해 효과적으로 의사 결정을 내릴 수 있습니다.

머신 러닝 모델 텔레메트리 데이터로부터 즉각적인 가치 확보

월 100GB 무료 사용 및 사전 구축된 라이브러리를 통해, 자체적인 ML 모델 인퍼런스와 성능 데이터를 주피터 노트북(Jupyter Notebook)이나 클라우드 서비스에서 몇 분 만에 뉴렐릭으로 직접 전송하여 통계 데이터, 기능, 예측 분포 같은 메트릭을 확보할 수 있습니다.

또한, 뉴렐릭의 오픈소스 에코시스템이 제공하는 유연한 퀵스타트를 사용해, ML 모델 데이터에서 더 빠르게 가치를 얻을 수 있습니다.AWS SageMaker, DataRobot (Algorithmia), Aporia, Superwise, Comet, DAGsHub, Mona, TruEra 등 주요 데이터 과학 플랫폼과의 광범위한 통합에는 사전 구성된 성능 대시보드는 물론 모델에 대한 즉각적인 가시성을 제공하는 기타 옵저버빌리티 구성 요소가 포함되어 있습니다. New Relic One을 사용하면 ML 모델 데이터에서 그 어느 때보다 쉽게 가치를 얻을 수 있습니다.

머신 러닝 모델 성능 모니터링 시작하기

뉴렐릭은 모든 엔지니어들이 옵저버빌리티를 일상적으로 활용할 수 있도록 만들기 위해 노력을 기울이고 있습니다. 새로 출시된 ML Model Performance Monitoring은 통합 데이터 옵저버빌리티 플랫폼으로 ML/AI 및 데브옵스 팀들에게 ML 기반 앱의 성능에 대한 전례 없는 가시성을 제공합니다. 필요한 모든 것을 한 곳에 모음으로써, 뉴렐릭은 옵저버빌리티를 미래로 확장해가고 있습니다.

사용 가능한 모든 ML Model Performance Monitoring 통합은 New Relic Instant Observability 에코시스템의 일부로 제공되며, 앞으로 더 많은 기능이 추가될 예정입니다.

ML 모델 텔레메트리 데이터를 New Relic One으로 가져오는 자세한 방법은 뉴렐릭의 Python 라이브러리와 단계별 통합 방법이 포함된 XGBoost 모델의 노트북 예시를 참고하시기 바랍니다.