응답자 제안 기능(Suggested Responders)을 통한 신속한 운영 문제 해결

작성자: 아야 벨리차(Aya Bellicha) 

• 2021년 3월 4일 • 뉴렐릭 뉴스 및 제품

응용 인텔리전스, 인시던트 대응, 머신 러닝

보편적인 시나리오를 가정해보겠습니다. 새로운 인시던트가 발생할 경우, 팀원들이 호출되고, 많은 사람들이 문제 해결을 위해 협업 플랫폼으로 모입니다. 무엇이 잘못되었는지 알아내기 위해 많은 이야기가 오갑니다.

하지만 필요 이상의 사람들이 모여 있다는 것은 금방 알 수 있습니다. 정말 있어야 하는 인원은 사실 절반도 안됩니다. 소음만 많고, 인시던트의 근본 원인에 대한 명확한 정보는 불충분합니다. 너무 여러 사람이 관여하면, 효율성은 떨어지고 인시던트 해결에 소요되는 시간은 늘어납니다.

인시던트의 초기 대응에서 가장 중요한 것은 무엇이 잘못되었고 어디서 잘못되었는지를 이해하는 것이기 때문에, 올바른 사람을 참여시키는 것이 중요합니다. 처음에는 모든 질문에 즉시 답을 하기가 어렵기 때문에, 더 많은 사람들을 불러와 인시던트를 신속하게 해결하려고 합니다. 그러나, 실제로는 생각처럼 되지 않기에, 장기적으로는 팀의 생산성과 효율성이 저하됩니다.

이 블로그에서는 뉴렐릭의 응용 인텔리전스(Applied Intelligence) 제품을 사용해 인시던트와 운영 문제를 보다 신속하게 해결하는 방법을 알아보고, 그 원리를 자세히 살펴보겠습니다. 인시던트 인텔리전스 기능에는 가장 관련성 높은 팀원을 실시간으로 식별하여 모든 새로운 인시던트를 보완해주는 ‘응답자 제안(suggested responders)’ 기능이 포함되어 있습니다. 머신 러닝(ML)을 적용해 과거의 상호 작용을 분석함으로써, 뉴렐릭은 조직 내에서 인시던트 해결에 도움을 줄 가장 관련 있는 사용자를 파악합니다.

인시던트 인텔리전스를 사용하는 고객은 별도로 설치나 설정을 하지 않아도 응답자 제안(suggested responders) 기능을 기본적으로 사용할 수 있습니다.

머신 러닝 지원

인시던트 인텔리전스를 선택하면, 자동으로 ML 모델이 학습을 하여 계정의 인시던트 이력 데이터와 전체 뉴렐릭 사용자의 상호 작용을 분석합니다. 시스템과 상호 작용하는 사용자가 늘어나 모델 교육이 완료되면, 문제 해결에 가장 적합한 사용자 목록이 인시던트 정보에 실시간으로 추가됩니다. 응답자 목록은 뉴렐릭 이슈 페이지와 이슈 알림 페이로드에 모두 표시되므로, 보편적인 인시던트 대응 위치에서 바로 확인할 수 있습니다.

각 추천에 대해 수락/거부의 형태로 피드백을 제공하여 모델을 더욱 정확하게 만들 수 있습니다.

머신 러닝 모델의 작동 원리

응답자 제안(suggested responders) 모델은 사용자 분석 데이터와 과거의 위반 사항을 결합하여, 새로운 위반에 가장 효과적인 대응을 예측합니다. 이 모델은 감독 패턴 인식(supervised pattern recognition), 라벨 확산(label spreading), 추천 엔진(recommender engine)의 세 단계로 구성됩니다.

감독 패턴 인식: 이 단계는 사용자가 과거에 뉴렐릭 플랫폼과 상호 작용한 방식 즉, 사용자의 위반 종결 여부를 기반으로 예측합니다. 특정 사용자가 확실하게 종결된 위반에 대한 데이터만 추려 라벨을 지정합니다. 그런 다음 사용자의 행동을 하나의 특징으로 간주하고, 위반 종결 여부를 타깃으로 삼아 이진(binary) 분류기를 훈련시킵니다. 다음 단계에서 이 훈련된 모델이 사용됩니다.

라벨 확산: 이 단계의 목적은, 라벨이 정해진 데이터 세트에서 누가 종결했는지 알려지지 않은  위반까지 적용 범위를 확대하는 것입니다. 위반이 아직 종결되지 않은 상태일 때 이뤄진 사용자 조치와 각 위반을 연결해, 라벨이 지정되지 않은 데이터 세트를 구축합니다. 그런 다음 라벨이 지정되지 않은 데이터 세트를 학습된 모델에서 실행합니다. 이 단계의 아웃풋은 각 위반-사용자 세트에 대해 사용자가 위반을 종료했을 가능성을 할당하는 응답자 테이블입니다. 이 테이블은 다음 단계에서 특정 위반을 해결할 가능성이 가장 높은 사용자를 식별하는 데 사용됩니다. 가장 최근의 위반 사항들이 반영되도록, 테이블은 정기적으로 업데이트됩니다.

추천 엔진: 모델의 세 번째이자 마지막 단계는 이전 단계에서 생성된 응답자 테이블을 사용해 새로운 위반에 대한 대응을 제안합니다. 새로운 위반이 발생하면, 모델은 해당 위반과 대응자 테이블에 나타나는 위반 간의 유사성 점수를 계산합니다. 유사성 점수는 제품 유형, 타깃 ID, 정책 ID, 조건 ID, 골든 신호, 당면한 위반의 구성 요소 같은 많은 항목을 기반으로 계산됩니다. 그런 다음, 유사성 점수를 가중치로 사용해 테이블의 위반별로 각 사용자에 대한 가중치 점수를 계산합니다. 가중치가 적용된 점수는 과거 유사한 위반에 대한 사용자의 관여(예측된) 수준으로 해석될 수 있습니다. 모델은 가장 높은 가중치를 받은 사용자를 반환합니다. 이것이 바로 응답자 제안 모델입니다.

응답자 제안을 통해 인시던트 알림을 라우팅하는 방법

이제 응답자 제안을 알았으니, 새로운 방식으로 이 기능을 사용하며 대응 효율성을 높이고 운영 문제를 더 빠르게 해결할 수 있게 됩니다. 이를 활용하는 한 가지 방법은 경로로직을 설정하는 것입니다. 예를 들어, 특정 사용자가 특정 인시던트에 추천 대응자로 예측될 때마다 경고 알림이 특정 채널로 라우팅되도록 하는 로직이 포함됩니다. 이를 통해, 인시던트별로 항상 적절한 사용자가 알림을 받을 수 있습니다.

운영 문제 해결 가속화

인시던트 인텔리전스를 선택하고 위반 수집을 허용하면, 응답자 추천 기능을 사용할 수 있습니다. 이 모델은 스스로 학습하며, 허용 후 약 24시간 후부터 추천을 제공합니다. 상호 작용이 늘어날수록, 더 많은 추천이 가능해집니다. 예를 들어, New Relic One 엔터티와 상호 작용하거나, 계정에 더 많은 알람 조건과 정책을 정의하면 모델의 추천 수도 증가합니다

응용 인텔리전스를 아직 사용하고 있지 않은 고객은 영구 무료 계정을 신청하여 뉴렐릭의 응용 인텔리전스를 경험해보실 수 있습니다.

응용 인텔리전스, 인시던트 대응, 머신 러닝

아야 벨리차는 뉴렐릭의 응용 인텔리전스 연구 팀의 선임 데이터 과학 연구원입니다. 아야 벨리차의 다른 게시물을 확인해보시기 바랍니다.