진화한 로그 관리: 페더레이티드 로그 및 노-코드 파싱 소개

운영 중에 인시던트가 발생하면 거의 항상 가장 먼저 하게되는 질문은 "로그에 뭐라고 나와 있나요?"입니다.하지만 로그가 원격 스토리지나 로컬 스토리지에 저장되어 있어 쿼리할 수 없는 경우가 너무 많습니다. 물론 팀에서 커스텀 스키마를 만들거나 수동으로 데이터를 다시 인제스트하는 방법도 있지만 그러기엔 시간이 촉박합니다. 엄격한 주권 규정을 충족하기 위해 이동할 수 없는 데이터는 어떻게 처리해야 할까요?

로그에 접근할 수는 있겠지만, 원본 형태가 아닙니다. 수동으로 정규 표현식을 작성하고 테스트하는 데 몇 시간씩 허비하지 않고 어떻게 데이터를 이해할 수 있을까요?

규정 준수와 가시성 사이에서 선택을 강요받거나, 필요한 인사이트를 얻기 위해 원시 데이터를 분석하는 데 수많은 시간을 허비할 필요가 없습니다.

오늘 뉴렐릭이 이러한 문제들을 해결하는 데 도움이 되는 두 가지 새로운 기능을 발표했습니다. 현재 프리뷰 버전으로 제공되는 페더레이티드 로그(Federated Logs)를 사용하면, 기술적 장벽이나 엔지니어링 작업 없이 노-코드 파싱을 통해 로컬에서 로그를 처리 및 쿼리하고 인사이트 도출 시간을 몇 시간에서 몇 분으로 단축할 수 있습니다. 

페더레이티드 로그: 데이터를 로컬로 유지하며, 전체 로그를 문맥으로 확인 

뉴렐릭의 페더레이티드 로그는 여러 개의 분리된 로그 툴과 스토리지 소스를 개별적으로 관리해야 하는 불편함을 해소하고, 문제 해결 과정에서 이러한 데이터 소스 간에 중요한 문맥이 누락되는 문제를 해결합니다. 뉴렐릭은 로그가 어디에 저장되었는지에 관계없이 로그 문맥에 대한 통합 뷰를 제공하는 동시에, 가시성과 인사이트를 희생하지 않고 데이터 경계 규정을 준수할 수 있도록 지원합니다. 이제 도메인 또는 VPC 내의 Amazon S3 버킷에서 로그를 직접 쿼리하고, 커스텀 스키마 관리 또는 리인제스트의 복잡성 없이 세부적인 인사이트를 얻을 수 있습니다.

뉴렐릭의 파이프라인 컨트롤 게이트웨이(PCG)에 기반한 이 아키텍처는 이전 방식과는 근본적으로 다른 통합된 경험을 제공합니다.

• 로컬 데이터, 글로벌 옵저버빌리티: 로그를 로컬에서 처리하고 쿼리하는 동시에 스택의 나머지 부분과 함께 문맥으로 확인할 수 있습니다. 이를 통해 단일 사용자 인터페이스에서 세부적인 인사이트를 얻을 수 있어, 수동 프로세스와 문맥 전환이 사라지고, 문제 해결 속도를 높일 수 있습니다.
• 최적화된 로그 관리: PCG를 활용하여 소스에서 로그를 자동으로 처리하고 형식을 지정할 수 있습니다. 이 기능은 스키마 관리를 자동으로 처리하여 복잡성을 최소화하면서 완전한 값 추출을 지원합니다.
• 레지던시 바이 디자인(Residency-by-Design): 원시 로그 데이터를 로컬 고객 환경 경계 내에 안전하게 보관하여 엄격한 규정 준수를 보장합니다. 아키텍처 수준의 이러한 보장이 데이터 외부 전송의 필요성을 없애주므로 민감한 데이터를 안전하게 관리할 수 있습니다.

뉴렐릭은 "사일로 페널티"를 효과적으로 제거합니다. 이제 더 이상 이동할 수 없는 로그 데이터에 접근하기 위해 복잡한 파이프라인을 구축할 필요가 없습니다. 쿼리 엔진을 스토리지에 직접 통합함으로써 엄격한 거버넌스를 유지하는 동시에, 동일한 구문과 UI를 사용해 필요한 순간에 모든 텔레메트리에 즉시 액세스하여 인시던트를 해결할 수 있습니다. 

이러한 기능들이 로그 관리 전략을 어떻게 재정의하고 있는지 살펴보겠습니다.

문맥 전환 없는 통합된 문제 해결

“로컬 데이터, 글로벌 옵저버빌리티”라는 개념은 아키텍처를 근본적으로 변화시킵니다. 격리된 환경에서는 엔지니어가 민감한 로그를 검색한 다음 레이턴시를 확인하기 위해 실시간 텔레메트리로 전환해야 했습니다. 페더레이티드 로그를 사용하면 단일 인터페이스에서 두 저장소 모두에 대한 쿼리를 수행할 수 있습니다. 이 시스템은 로컬 저장소를 실시간으로 쿼리하고 결과를 취합합니다.

이를 통해 여러 시스템을 오가지 않고 단일 UI 내에서 세부적인 인사이트를 확보해 평균 해결 시간(MTTR)을 크게 단축할 수 있습니다.

소스에서의 자동화

로컬에 저장되거나 Amazon S3 버킷에 격리된 로그는 불필요한 정보가 많고 정형화되지 않은 경우가 많습니다. ​​데브옵스(DevOps) 엔지니어들이 가장 많은 시간을 소모하는 작업 중 하나가 바로 로그 스키마 관리입니다. 개발자가 로그 형식을 변경하면 하위 파서가 제대로 작동하지 않습니다.

파이프라인 설정 생성기(PCG)는 소스에서 핵심적인 작업을 처리합니다. 복잡한 정규 표현식 규칙을 작성하거나 스키마를 수동으로 유지 관리할 필요 없이, 로컬에서 "완벽한 값 추출"을 지원하여 스택의 나머지 부분과 연관된 문맥으로 세부적인 인사이트와 쿼리 가능한 데이터를 얻을 수 있습니다.

엄격한 규정 준수 보장

규정 준수는 나중에 고려하거나 필요에 따라 켜고 끄는 "기능"이 되어서는 안되며, 아키텍처에 내재되어 있어야 합니다. 금융, 의료, 정부 기관 같이 규제가 엄격한 분야에서는 원시 데이터가 로컬로 유지되는 것이 매우 중요합니다.

레지던시 바이 디자인(Residency-by-Design)원칙은 명시적으로 구성하지 않는 한 원시 로그 데이터가 로컬 환경을 벗어나지 않도록 보장합니다. PCG 덕분에 대부분의 데이터 처리는 로컬에서 이루어지고, 집계된 인사이트나 특정 쿼리 결과만 전역적으로 표시되므로 대량 데이터 외부 전송이나 수동 처리가 필요 없어집니다.

이러한 접근 방식을 통해 기업은 자사 데이터가 다른 관할 지역의 제3자 클라우드로 복제되지 않는다는 것을 확신하면서 데이터에 대한 완전한 통제권을 유지할 수 있습니다. 이는 가시성과 규정 준수 사이의 기존 상충 관계를 해소함으로써 조직의 엔지니어링 부서와 규정 준수 부서 간의 신뢰를 구축해 줍니다.

노-코드 파싱: 원시 로그에서 몇 분 만에 인사이트 도출

데이터 사일로를 허무는 것은 절반의 성공일 뿐입니다. 그 데이터를 이해하고 의미를 부여하는 작업, 소위 "전문가 분석"도 필요합니다.

기존의 로그 파싱(구문 분석)은 복잡한 정규 표현식(regex)을 다루거나, 데이터 가시성의 사각지대를 해결하거나, 테스트되지 않은 설정으로 인해, 운영 환경의 안정성이 위협 받는 경우가 많습니다. 이렇게 마찰이 많은 워크플로우로 인해 문제 해결 속도가 늦어지고 가장 경험이 많은 엔지니어조차도 좌절하게 됩니다.

이러한 상황에서는 정규 표현식이나 코딩 지식 등 심도 있는 기술을 갖춘 경험 많은 엔지니어가 부족하여 제대로 된 인사이트를 도출해내지 못하기 때문에 데이터가 "어둠 속"에 남아 있습니다. 이전에는 이를 위해 취약한 정규 표현식이나 커스텀 코드를 작성해야 했습니다. 소수의 고급 사용자에게만 데이터 변환을 허용하는 수동 프로세스였습니다.

뉴렐릭의 노-코드 파싱 기능은 이러한 워크플로우를 모두가 사용할 수 있도록 합니다. 이는 데이터 인제스트 파이프라인에 직접 내장된 비주얼 빌더로, 모든 엔지니어가 몇 분 만에 로그를 구조화할 수 있도록 해줍니다.

• 코딩이 필요 없는 비주얼 빌더: 텍스트 강조 표시 기능을 통해 로그 속성 추출을 간소화하여, 복잡한 정규 표현식이나 수동 작업 없이도 도메인 지식을 추출할 수 있도록 합니다.
• 자동 구문 분석 규칙: 지능형 형식 감지 기능을 통해 JSON 및 CSV와 같은 일반적인 스키마를 즉시 식별하고 효율적인 검색 분석 및 인사이트 도출을 위한 규칙을 생성합니다.
• 실시간 규칙 검증: 저장하기 전에 실제 로그 샘플에 대한 구문 분석 규칙을 실시간으로 미리 볼 수 있으므로 평가 주기가 사라집니다.

옵저버빌리티를 향상하려는 팀에게 이제 중요한 질문은 "이 로그의 구문을 어떻게 분석할까?"가 아니라 "다음 단계에서 어떤 인사이트를 얻을 수 있을까?"입니다. 이제 단순히 로그를 관리하는 것을 넘어, 데이터를 최대한 활용해 비즈니스 경쟁에서 앞서나가는 데 필요한 투명성과 속도를 확보할 수 있게 되었습니다.

그렇다면 이러한 기능들이 어떻게 도움을 주는지 살펴보겠습니다.

간단함과 강력함의 만남

로그에서 인사이트를 얻기 위한 첫 번째 단계는 구문 분석의 진입 장벽을 제거하는 것입니다. 노-코드 비주얼 빌더는 수동 정규 표현식을 작성해야 하는 필요성을 없애 줌으로써 게임의 판도를 바꿉니다.

엔지니어는 사용자 ID의 시작과 끝 위치를 시스템에 알려주기 위해 복잡한 코드를 작성하는 대신, 로그 UI 내에서 관련 데이터를 직접 강조 표시할 수 있습니다. 그러면 시스템이 백그라운드에서 자동으로 구문 분석 로직을 생성합니다.

데브옵스 엔지니어가 특정 마이크로서비스의 레이턴시를 추적해야 하는 상황을 예로 들 수 있습니다. 과거에는 샘플 로그를 복사하고, 정규 표현식 테스터를 열고, (?<=latency=)\d+와 같은 패턴을 작성하고, 테스트한 다음 배포했습니다.

• 비주얼 속성 추출을 사용하면 다음과 같이 간단하게 수행할 수 있습니다.
• 로그 스트림을 엽니다.
• 레이턴시 값을 강조 표시합니다.
• 속성 이름을 "service_latency"로 지정합니다.
• 규칙을 저장합니다.

이러한 변화는 단순히 시간을 절약하는 것 이상의 효과를 가져옵니다. 모든 사용자가 로그 관리를 할 수 있게 됩니다. 데이터를 정형화하기 위해 정규 표현식 전문가가 될 필요가 없습니다. 주니어 엔지니어와 개발자는 데브옵스 팀의 작업을 방해하지 않고 자체적인 구문 분석 규칙을 만들 수 있으므로 셀프 서비스 옵저버빌리티 문화가 조성됩니다.

지연 없는 분석

데이터는 이해할 수 있을 때만 유용하며, 운영에서 인시던트가 발생했을 때는 일분일초가 중요합니다.

레거시 시스템에서는 로그를 효과적으로 쿼리하고 분석하기 전에 스키마를 정의해야 하는 경우가 많습니다. 애플리케이션이 새 속성과 관련하여 예기치 않은 오류를 발생시키는 경우, 스키마를 업데이트하기 전까지는 해당 속성이 분석 도구에서 사실상 보이지 않을 수 있습니다. 하지만 데이터를 다시 색인화하거나 설정을 업데이트할 시간이 없습니다.

자동 구문 분석 규칙은 이러한 모델을 완전히 바꾸어 놓습니다. 로그 내의 구조를 자동으로 감지하고 색인화합니다. JSON 로그에 새 필드가 나타나면 즉시 필터링 및 집계에 사용할 수 있으며, 알림을 발생시킨 새로운 오류 코드 또는 트랜잭션 ID를 즉시 검색할 수 있다는 의미입니다. 인시던트 해결 작업 중 수작업을 크게 줄여 엔지니어가 데이터에 접근하는 방식보다는 인시던트 원인에 집중할 수 있도록 해줍니다.

평가 주기 제거

로그 관리에서 가장 중요한 측면은 아마도 안정성일 것입니다. 실제 운영 환경에 적용하기 전에 구문 분석 규칙이 제대로 작동하는지 확인해야 합니다. 실시간 구문 분석 규칙 검증을 통해 이러한 확신을 얻을 수 있습니다.

지금까지 구문 분석 로직을 업데이트하는 것은 위험한 작업이었습니다. 규칙을 작성하고 배포한 다음, 유입되는 데이터 스트림을 관찰하여 제대로 작동하는지 확인해야 했습니다. 실수를 하면 의도치 않게 로그를 삭제하거나 팀 전체의 데이터를 손상 시킬 수 있었습니다. 이러한 "일단 배포하고 문제가 없길 기도하는" 접근 방식은 현대의 빠르게 변화하는 엔지니어링 환경에서는 용납될 수 없습니다.

실시간 검증은 팀이 파이프라인을 통해 현재 흐르고 있는 실제 샘플 데이터를 기반으로 새로운 구문 분석 규칙을 테스트할 수 있도록 합니다. 실제 운영 로그에서 규칙이 어떻게 작동할지 즉각적인 피드백을 받을 수 있습니다.

이러한 기능은 안전망 역할을 합니다. 이 기능은 옵저버빌리티 데이터에 영향을 미치기 전에 회귀 오류 및 예외 상황을 감지합니다. 이를 통해 팀은 실제 환경에서 결과가 검증되었으므로 안심하고 로그 설정을 반복적으로 수정할 수 있습니다.

로그 관리 패러다임의 전환

패더레이티드 로그 같은 고급 로그 기능과 노-코드 파싱 기능의 결합은 운영 효율성 측면에서 획기적인 전환점을 의미합니다. 규정 준수와 가시성 사이에서 선택할 필요가 없고, 원시 데이터에 대한 즉시 접근할 수 있으며, 알림이 발생하는 즉시 모든 로그와 텔레메트리를 조치를 취할 수 있는 구조화된 문맥 형태로 확인할 수 있습니다.

뉴렐릭의 지능형 플랫폼은 팀이 로그 데이터와 상호 작용하고, 관리하고, 인사이트를 얻는 방식을 근본적으로 변화시킵니다. 이는 단순한 개선이 아니라, 엔지니어들이 툴과 씨름하지 않고 이전보다 훨씬 빠르게 문제를 해결할 수 있는 역량을 갖춘다는 것을 의미합니다.