AI 코딩 어시스턴트는 현대 개발 워크플로우의 핵심적인 부분이 되었습니다. Claude Code, Cursor, GitHub Copilot, Windsurf를 사용하는 개발자들은 이제 더 빠르게 코드를 배포하고 있지만, 이러한 속도의 이면에는 사각지대가 존재합니다. 세션은 토큰을 소비하고 토큰은 비용을 야기하지만, 대부분의 팀은 이러한 지출이 실제 성과로 이어지는지 파악할 수 있는 가시성이 부족합니다. 개발자가 긴 코딩 세션을 마치면, 대개는 비용이 얼마나 들었는지, AI가 효율적으로 작동했는지, 또는 매 세션마다 동일한 실수가 반복되고 있지는 않은지 알지 못합니다.
AI 코딩 옵저버빌리티라는 이름으로 첫선을 보였던 '뉴렐릭 프리플라이트(New Relic Preflight)'는 AI로 지원되는 개발에 대한 완전한 옵저버빌리티를 제공하는 오픈소스 MCP 서버입니다. 이 서버는 AI 코딩 어시스턴트에 직접 연결되어, 세션 메트릭, 비용 내역, 행동 패턴, 효율성 점수 등 구조화된 텔레메트리를 캡처합니다. 별도의 계정 없이 로컬에서 실행하거나 뉴렐릭을 연결하면, 수집된 데이터를 기존 옵저버빌리티 플랫폼으로 가져와 프로덕션 시스템과 함께 NRQL로 쿼리할 수 있습니다.
프리플라이트가 워크플로우에서 어떤 데이터를 시각화하는지 살펴보겠습니다.
AI 지원 개발의 숨겨진 비용
AI 코딩 어시스턴트는 토큰 단위로 청구됩니다. 집중적이고 생산적인 세션과 갈팡질팡하며 겉도는 세션은 겉보기에 완전히 똑같아 보일 수 있습니다. 적어도 청구서가 날아오기 전까지는 말입니다. 프리플라이트는 세션, 일일 및 주간 수준에서 토큰 비용을 추적하며, 모델 및 툴 유형별로 분류가 가능합니다. 무엇보다 필요한 임계값을 설정할 수 있다는 점이 중요합니다. 세션, 일일 또는 주간 예산 한도를 설정하고 예산이 초과되기 전에 알림을 받을 수 있습니다. 이를 통해 예측할 수 없는 항목이었던 AI 비용을 다른 클라우드 비용처럼 계획하고 관리할 수 있습니다.
AI가 의도와 다르게 작동하는 시점 감지
모든 AI 활동이 생산적인 것은 아닙니다. 가장 비용이 많이 드는 상호 작용이 가장 낭비가 심할 수도 있으며, 세션 도중에는 이를 발견하기가 쉽지 않습니다. 안티패턴 탐지기는 다음과 같은 네 가지 보편적인 실패 모드를 식별합니다.
- 쓰래싱(Thrashing): 진전 없이 동일한 툴을 연속해서 반복적으로 호출
- 반복 읽기: AI가 이미 컨텍스트에 가지고 있는 파일을 다시 가져와 불필요하게 토큰 사용량 증가
- 무검증 수정: 출력을 먼저 확인하지 않고 코드를 변경
- 루프 정체: 결코 해결되지 않는 순환적 의사 결정 체인
이러한 패턴은 모든 개발자의 워크플로우에서 때때로 나타납니다. 패턴을 명확히 파악하는 것이 해결을 위한 첫걸음입니다. 시간이 지남에 따라 어떤 패턴이 가장 비용이 많이 드는 세션과 관련이 있는지 파악하면 프롬프트를 작성하고 작업을 구조화하는 방식을 근본적으로 바꿀 수 있습니다.
자동화된 개인 효율성 점수
Preflight는 메트릭을 context로 제공하는 주간 코칭 보고서를 생성합니다. 효율성 점수는 시간 경과에 따른 결과당 비용, 작업 완료율, 툴 선택 품질, 안티패턴 빈도를 추적할 수 있는 단일 숫자로 결합합니다.
개인 코칭 보고서는 여기서 한 단계 더 나아갑니다. 현재 주를 과거의 기준과 비교하여 개선되고 있는 부분을 표출하고, 결과에 비해 비용이 지나치게 많이 드는 특정 세션 유형을 강조해 보여줍니다. 이는 대부분의 개발자가 수동으로 수행할 여력이 없는 회고록의 일종으로, 매주 말에 자동으로 생성됩니다.
뉴렐릭과의 연동 또는 단독 사용
프리플라이트는 즉시 모든 기능을 사용할 수 있으며, 뉴렐릭 계정이 필요하지 않습니다. 로컬 모드에서는 전체 대시보드, 세션 기록, 주간 요약, 효율성 코칭 및 알림 기능을 제공하며, 이 모든 데이터는 사용자의 컴퓨터에 저장됩니다.
이러한 데이터를 기존 옵저버빌리티 플랫폼으로 가져올 준비가 되면, 뉴렐릭 계정에 쉽게 연결할 수 있습니다. AI 코딩 텔레메트리는 프로덕션 시스템과 함께 저장되며, NRQL로 쿼리하고, 클라우드 대시보드에서 확인하며, 뉴렐릭의 알림 워크플로우를 통해 관리할 수 있습니다. 팀의 경우, 서로 연결하면 NerdGraph를 통해 조직 전체의 데이터 집계도 가능해지므로 엔지니어링 리더는 개발자별 설정 없이도 전체 개발자를 아우르는 뷰를 확보할 수 있습니다.
몇 분 내에 시작
프리플라이트는 기존 AI 코딩 어시스턴트와 함께 설치됩니다. Claude Code, Cursor, GitHub Copilot, Windsurf, Zed, Continue.dev, Amazon Q 등 모든 일반 MCP 지원 클라이언트를 지원합니다.
5분 이내에 실행할 수 있으며, 시작하는 데 필요한 것은 다음과 같습니다:
- 저장소를 복제하고 빌드합니다:
git clonehttps://github.com/newrelic-experimental/preflight&& cd preflight && npm install && npm run build && npm link - 상호작용이 가능한 설정 마법사를 실행합니다:
preflight setup - 마법사가 훅 스크립트를 설치하고, 뉴렐릭에서 키를 검증하며, 개발자 이름을 미리 채워 넣습니다.
- AI 코딩 어시스턴트에서 세션을 시작합니다. 메트릭이 즉시 유입되기 시작합니다.
뉴렐릭 계정이 없으신가요? 마법사에서 키 프롬프트를 건너뛰고 로컬 모드를 선택합니다. 그러면 모든 항목이 컴퓨터에 저장되며 나중에 뉴렐릭에 연결할 수 있습니다.
핵심 요약
New Relic Preflight는 AI coding assistants를 시간 경과에 따라 관찰하고, 측정하며, 개선할 수 있는 인프라로 간주합니다. 예상치 못한 비용이 발생하기 전에 토큰 비용을 시각화하고, 생산성을 저하시키는 안티패턴을 찾아내며, 수작업 없이 주간 효율성 보고서를 제공할 뿐만 아니라, 알림 및 교차 세션 분석을 원하는 팀을 위해 뉴렐릭과 직접 통합됩니다. 또한 로컬 모드는 뉴렐릭 계정이 필요하지 않으므로, 리포지터리를 복제하고 설정 마법사를 실행하기만 하면 누구나 빠르게 사용을 시작할 수 있습니다.
다음 단계
프리플라이트는 현재 오픈소스 프로젝트로 GitHub에서 이용할 수 있습니다. 사전 구축된 대시보드를 둘러보고 AI 코딩 어시스턴트가 어떤 작업을 수행하고 있는지 직접 확인해 보십시오.
이 블로그에 표현된 견해는 저자의 견해이며 반드시 New Relic의 견해를 반영하는 것은 아닙니다. 저자가 제공하는 모든 솔루션은 환경에 따라 다르며 New Relic에서 제공하는 상용 솔루션이나 지원의 일부가 아닙니다. 이 블로그 게시물과 관련된 질문 및 지원이 필요한 경우 Explorers Hub(discuss.newrelic.com)에서만 참여하십시오. 이 블로그에는 타사 사이트의 콘텐츠에 대한 링크가 포함될 수 있습니다. 이러한 링크를 제공함으로써 New Relic은 해당 사이트에서 사용할 수 있는 정보, 보기 또는 제품을 채택, 보증, 승인 또는 보증하지 않습니다.
