AI는 개발 속도를 높여주지만, 운영 환경에 배포되는 결과물을 이해하고 관리하는 일을 더 어렵게 만들 수 있습니다.
AI는 엔지니어링 팀이 그 어느 때보다 빠르게 소프트웨어를 개발하도록 돕고 있습니다. 하지만, 개발 속도가 빠르다고 해서 안정적인 운영 환경이 자동으로 보장되지는 않습니다. AI로 생성된 코드, 애플리케이션, 에이전트가 디지털 자산으로 편입되면서, 모든 시스템의 원활한 운영을 책임지는 팀은 새로운 종속성, 운영상의 사각지대, 그리고 새로운 형태의 복잡성을 직면하고 있습니다.
올 10월에 열린 New Relic Now에서는 AI의 속도와 운영 환경에 대한 신뢰 사이를 가로막는 세 가지 과제와 이를 해결하기 위해 뉴렐릭이 구축 중인 세 가지 핵심 요소를 집중적으로 다루었습니다. 플랫폼 엔지니어링 팀은 실행 중인 모든 것을 파악할 수 있어야 합니다. 이를 위해, '플랫폼 엔지니어링'은 포괄적인 인프라를 바탕으로 서비스, 소유자, 종속성 및 AI 구성 요소를 실시간 자체 유지 관리하는 데 필요한 맵을 제공합니다. AI는 운영 환경에서 검증할 추가적인 방법이 필요합니다. 이를 위해 'AI 옵저버빌리티'는 실시간 트래픽에서 AI 응답의 품질과 안전성을 평가하고, 모델과 에이전트의 비용을 추적할 뿐만 아니라 모델 드리프트도 추적합니다. 인시던트에는 증거에 기반한 답이 필요합니다. 이를 위해 '자율 운영'은 공유되는 컨텍스트를 바탕으로 각 조사를 수행하며, 사람이 통제권을 유지한 상태에서 팀이 알림 확인부터 승인된 조치까지 원활하게 이동할 수 있도록 지원합니다. 이 세 가지 핵심 요소는 모두 연결되고 신뢰할 수 있는 컨텍스트라는 동일한 기반 위에서 작동합니다.
AI가 소프트웨어 구축 방식과 운영 환경에서 애플리케이션, 인프라, AI 워크로드 및 에이전트가 작동하는 방식 전반에 영향을 미침에 따라 이러한 기반은 점점 더 중요해지고 있습니다. 연결되고 신뢰할 수 있는 컨텍스트는 텔레메트리, 종속성, 소유권, 조직적 지식 및 비즈니스 컨텍스트를 하나로 통합하여, 사람과 AI 모두에게 현재 무슨 일이 일어나고 있는지, 그것이 왜 중요한지, 다음에 어떤 조치를 취해야 하는지 이해할 수 있는 더 강력한 근거를 제공합니다.
뉴렐릭에서 발표된 세 가지 핵심 요소는 그 전략을 지원합니다.
1. AI 옵저버빌리티
AI Lifecycle에 운영 신뢰성 확보
생성형 AI는 이제 많은 기업의 핵심 요소로 자리 잡았지만, 이를 둘러싼 운영 모델은 그 속도를 따라가지 못하고 있습니다. 문제는 AI 애플리케이션이 운영 환경에 도달하기도 전에 시작됩니다. 엔지니어링 팀이 놀라운 속도로 AI 코딩 어시스턴트를 도입하고 있기 때문에, 조직은 이러한 툴이 어떻게 사용되고 있는지, 비용은 얼마나 드는지, 개발자 워크플로우에 어떤 영향을 미치는지, 민감한 정보가 적절하게 처리되고 있는지 파악할 수 있는 더 나은 방법이 필요하게 되었습니다.
AI 애플리케이션이 운영 환경에 도달하면 문제는 더욱 확대됩니다. 기존 애플리케이션의 상태도 여전히 중요하지만, 팀은 모델의 동작, 프롬프트 및 응답, 토큰 소비, 레이턴시, 검색 품질, 그리고 모델, 에이전트, 툴 및 서비스 간의 점점 더 복잡해지는 상호작용에 대한 가시성도 확보해야 하기 때문입니다.
뉴렐릭은 엔지니어링 팀이 개발부터 운영까지 보다 연결된 뷰를 확보할 수 있도록 AI 수명주기 전반으로 옵저버빌리티를 확장하고 있습니다.
- AI 코딩 옵저버빌리티: 도입, 사용량, 비용, 잠재적인 보안 위험 등 엔지니어링 팀 전반에서 AI 코딩 어시스턴트가 어떻게 사용되고 있는지 파악할 수 있습니다.
- AI 평가: 팀이 사용자에게 영향을 미치기 전에 문제를 파악하고 경험을 개선할 수 있도록 품질, 관련성 및 성능의 측면에서 AI 애플리케이션의 응답을 평가합니다.
- AI 에이전트 모니터링: 에이전트 동작, 툴 호출, 핸드오프 및 워크플로우에 대한 가시성을 확보하여 AI 에이전트의 성능을 파악하고 문제를 더 빠르게 해결할 수 있습니다.
- OpenTelemetry용 AI 옵저버빌리티: OpenTelemetry 생성형 AI 텔레메트리를 사용하여 여러 모델과 툴 전반에서 AI 애플리케이션와 에이전트를 모니터하고, 그 데이터를 연결된 옵저버빌리티 환경으로 가져옵니다.
이러한 기능들을 통해 팀은 AI의 동작, 품질, 비용, 종속성 및 위험을 이해할 수 있는 컨텍스트를 확보하게 되며, 결과적으로 개발부터 운영에 이르기까지 AI 혁신을 더욱 쉽게 관찰하고 측정하며 신뢰할 수 있게 됩니다.
2. 자율 운영
단편화된 근거를 신뢰할 수 있는 조사로 전환
알림은 무엇이 변경되었는지, 환경의 어느 부분이 영향을 받는지, 또는 팀이 다음에 무엇을 해야 하는지에 대한 완전한 설명을 제공하지 못하는 경우가 많습니다. 운영 팀의 실질적인 어려움은 보통 알림이 도착한 후에 시작됩니다. 조치를 취하기 전에 가설을 세우고, 증거를 비교하며, 인시던트에 대한 공통된 이해를 확립하는 과정은 점점 더 까다로워지고 있습니다. 환경이 더 동적으로 변함에 따라, 운영 팀이 불완전한 정보를 바탕으로 조치를 취할 때 발생하는 결과는 배가됩니다.
알림을 수신한 운영 팀들에게는 문제에 대해 신뢰할 수 있는 공통된 이해를 형성하는 것이 매우 중요합니다. 뉴렐릭 그라운드 트루스(Ground Truth), 뉴렐릭 오토파일럿(Autopilot), 뉴렐릭 그라운드 트루스 CLI(Ground Truth CLI)는 팀들이 더 빠르게 이러한 이해에 도달할 수 있도록 지원합니다.
- 뉴렐릭 그라운드 트루스: 뉴렐릭의 신뢰할 수 있는 운영 컨텍스트를 개발자의 터미널로 가져와, 개발자와 SRE가 기존 워크플로우를 벗어나지 않고도 관련 텔레메트리, 변경 사항, 종속성 및 조직적 지식에 액세스할 수 있도록 지원합니다.
- 뉴렐릭 오토파일럿: 뉴렐릭의 운영 인텔리전스를 사용하여 운영 문제를 조사하고, 사용 가능한 증거를 평가하며, 팀이 무슨 일이 일어났는지, 그것이 왜 중요한지, 다음에 어디를 조사해야 하는지 이해할 수 있도록 지원합니다.
- 뉴렐릭 그라운드 트루스 CLI: 뉴렐릭의 신뢰할 수 있는 운영 컨텍스트를 터미널로 가져와, 개발자와 SRE가 기존 워크플로우를 벗어나지 않고도 관련 텔레메트리, 변경 사항, 종속성 및 조직적 지식에 액세스할 수 있도록 지원합니다.
이러한 기능들은 함께, 팀이 증거를 수집하고 대조하는 데 걸리는 시간을 줄이고, 더 빨리 공통된 이해에 도달하며, 더 큰 확신을 가지고 의사 결정을 내리는 데 도움을 줍니다. 뉴렐릭이 다음에 수행할 작업을 결정하는 데 필요한 컨텍스트, 증거 및 지침을 제공하며, 사용자는 대응에 대한 통제를 상시 유지합니다.
이러한 신뢰할 수 있는 조사는 더 폭넓은 자율 운영이라는 비전을 실현하는 데 필요한 기반을 제공합니다. 신뢰, 거버넌스 및 AI 기능이 점점 성숙해져가면서, 팀은 사람의 감독과 통제를 유지하면서 더 많은 운영 작업을 조율할 수 있습니다.
3. 플랫폼 엔지니어링
변화하는 플랫폼 엔지니어링을 위한 기반 구축
이제 플랫폼 엔지니어링 팀은 단편화된 인프라, 증가하는 옵저버빌리티 비용, 단절된 인벤토리, 거버넌스 요구 사항, 확장되는 AI 사용 영역을 관리하는 동시에 개발자가 빠르고 안정적으로 배포할 수 있도록 지원해야 합니다. 많은 팀이 여전히 스프레드시트, CMDB, 맞춤형 포털, 단절된 뷰에 의존해, 어떤 리소스가 존재하고, 누가 소유하고 있으며, 무엇이 변경되었고, 시스템이 어떻게 연관되어 있는지에 대한 답을 찾고 있습니다. 그리고 엔지니어링 리더들은 대규모 서비스 환경 전반에서 표준과 옵저버빌리티 성숙도가 향상되고 있다는 증거와 향후 투자처에 대한 명확한 시야를 확보하기를 원합니다. 플랫폼 엔지니어링 팀은 개발자에게 소프트웨어를 구축하고 운영할 수 있는 더 간단하고 안정적인 경로를 제공할 뿐 아니라 환경을 지속적으로 반영하는 연결된 운영 기반이 필요합니다. 뉴렐릭은 대규모 엔지니어링 우수성과 대규모 인프라 옵저버빌리티라는 두 가지 연결된 요소로 이러한 기반을 제공합니다.
- 서비스 아키텍처 인텔리전스는 추가 비용 없이 뉴렐릭에 포함된 내부 개발자 플랫폼을 제공합니다. 실시간 텔레메트리를 기반으로 구축된 이 플랫폼은 서비스들과 그 관계에 대한 카탈로그, 팀과 소유권, 태그, 알림 범위 같은 표준을 서비스 전반의 자동화된 성숙도 모델로 변환하는 스코어카드를 제공합니다.
- 인프라 360(Infrastructure 360)은 인프라 리소스에 대한 통합된 뷰를 제공합니다. 퍼블릭 클라우드 자산을 검색하고 누락된 범위를 표시하며, 쿠버네티스, 네트워크, 로드 밸런서 및 애플리케이션 게이트웨이 전반에서 앱과 인프라 간의 종속성을 연결하고, 팀이 성능 문제와 연관시킬 수 있도록 설정에서 변경된 사항을 추적합니다.
이러한 기능들을 통해 플랫폼 엔지니어링 팀은 수동으로 관리되는 인벤토리와 단편화된 운영 뷰에서 벗어나, 서비스와 인프라가 연결된 카탈로그, 공통된 소유권, 일관된 스코어카드를 공유하는 실시간 텔레메트리와 개방형 표준에 기반한 연결된 경험으로 전환할 수 있습니다. 개발자는 컨텍스트를 검색하고 여러 내부 툴들을 오가는 데 소요되는 시간을 줄일 수 있으며, 플랫폼 팀은 비즈니스 지원에 필요한 더 높은 가시성, 더 강력한 거버넌스 및 더 확장 가능한 기반을 확보할 수 있습니다. 엔지니어링 리더들은 자체적인 목표와 업계 기준으로 벤치마크된 측정 가능한 우수성 지표를 얻게 됩니다.
신뢰를 바탕으로 인간의 한계를 넘어서는 AI 운영
일상적인 운영 전반에서 안정성과 업타임을 유지하면서 운영 환경에서 AI를 실행하는 방법을 결정해야 하는 기술 리더에게 이 세 가지 핵심 요소는 "AI의 도움을 받아 구축, 실행 및 운영되는 결과물을 신뢰할 수 있는가?"라는 중요한 질문에 대한 답을 제시합니다. 플랫폼 엔지니어링, AI 옵저버빌리티 및 자율 운영은 각각 이 질문의 각기 다른 측면을 다루지만, 모두 서로 연결되고 신뢰할 수 있는 운영 컨텍스트에 의존합니다.
- 플랫폼 엔지니어링은 이러한 컨텍스트를 활용해 전체 환경에 무엇이 존재하는지, 어떻게 연결되어 있는지, 소유자가 누구인지, 그리고 어떻게 변화하고 있는지를 보여줍니다.
- AI 옵저버빌리티는 이러한 컨텍스트를 활용해 비용을 포함해 개발부터 운영에 이르기까지 AI가 어떻게 작동하는지 증명합니다.
- 자율 운영은 이러한 컨텍스트를 활용해 분산된 증거를 신뢰할 수 있는 조사로 전환하고, 시간이 지남에 따라 체계적으로 관리되는 더 나은 자율성을 구현합니다.
이러한 컨텍스트가 바로 뉴렐릭의 기반입니다. 텔레메트리, 서비스 간 관계, 변경 사항, 소유권, 조직적 지식, 비즈니스 컨텍스트는 하나의 인텔리전스 기반을 구성합니다. 그리고 팀이 연결하는 모든 자산은 이러한 인텔리전스를 사람과 AI에게 더욱 유용하게 만듭니다.
소프트웨어가 더 빠르게 변화하고 AI가 엔지니어링 수명주기의 모든 단계에 통합되면서, 개발, 플랫폼 엔지니어링, 운영 간의 경계는 점점 모호해지고 있습니다. 이는 옵저버빌리티에 더 큰 역할을 부여합니다. 즉, 텔레메트리와 운영 컨텍스트를 개발자, 운영자, 플랫폼 팀, 에이전트, 워크플로우, 고객 경험 및 비즈니스 성과와 연결하는 신뢰할 수 있는 인텔리전스 기반으로서의 역할입니다.
차세대 AI는 시스템이 얼마나 자율적으로 운영되는지 뿐만 아니라 팀이 시스템을 얼마나 신뢰할 수 있는지로 평가될 것입니다. 신뢰는 컨텍스트에서 시작됩니다. 무엇이 실행 중인지, 어떻게 연결되는지, 무엇이 변경되었는지, 증거가 무엇을 보여주는지, 그리고 어디에 여전히 사람의 판단이 중요한지 파악할 수 있어야 합니다. 디지털 자산 전반에 걸친 이러한 컨텍스트를 통해, 사람과 AI는 현재에 확신을 갖고 결정을 내리고 더 큰 미래의 자율성을 향해 나아갈 수 있습니다.
신뢰할 수 있는 컨텍스트. 신뢰할 수 있는 AI. 신뢰할 수 있는 조치. 이것이 바로 기업이 AI와 그 외 디지털 자산을 자신 있게 운영할 수 있도록 지원하는 뉴렐릭만의 방식입니다.
2026년 10월 New Relic Now에 참여하여 플랫폼 엔지니어링, AI 옵저버빌리티 및 자율 운영이 실제로 작동하는 모습을 확인하고, 차세대 디지털 자산을 연결해 보십시오.
뉴렐릭 제품 프리뷰를 통해 최신 AI와 플랫폼 혁신 기술에 대한 조기 액세스를 이용해 보시거나, 현재 제공되는 모든 기능을 무료로 시작해 보십시오.
이 블로그에 표현된 견해는 저자의 견해이며 반드시 New Relic의 견해를 반영하는 것은 아닙니다. 저자가 제공하는 모든 솔루션은 환경에 따라 다르며 New Relic에서 제공하는 상용 솔루션이나 지원의 일부가 아닙니다. 이 블로그 게시물과 관련된 질문 및 지원이 필요한 경우 Explorers Hub(support.newrelic.com)에서만 참여하십시오. 이 블로그에는 타사 사이트의 콘텐츠에 대한 링크가 포함될 수 있습니다. 이러한 링크를 제공함으로써 New Relic은 해당 사이트에서 사용할 수 있는 정보, 보기 또는 제품을 채택, 보증, 승인 또는 보증하지 않습니다.