Logs im Kontext von APM-Daten – jetzt ganz ohne manuelle Konfiguration

Von unserer Nutzer-Community immer wieder angefragt wurde ein Feature, das Logs zu Anwendungen in Kontext mit Metriken fürs APM (Application Performance Monitoring) setzt. Verständlich, denn so ließen sich Performance-Probleme doch deutlich effizienter diagnostizieren und beheben. Bis zur Einführung unserer aktualisierten APM Agents sah der Workflow nämlich so aus: Entwickler:innen mussten einzelne Hosts manuell abfragen und dabei zudem Forwarder für sämtliche nicht-standardmäßige Logs konfigurieren. Erfasst wurden die Anwendungslogs dann separat von den zugehörigen APM-Metriken, -Traces und -Events.

Dieser Problematik haben wir uns nun im Zuge der Updates unserer APM Agents für Java, .NET, Ruby, Python, Node.js, Go und PHP umfassend angenommen – und ganz ohne manuellen Einrichtungsaufwand Ihrerseits.

APM und Logging

Als Erstes müssen wir uns über den Zusammenhang von Logging und APM klar werden. Logging wird als die Aufzeichnung von Events oder Nachrichten durch eine Anwendung in einer Logdatei definiert. Diese Logs können Sie analysieren und zur Diagnose und Behebung von Fehlern in der App verwenden. Durch Logging werden alle Vorgänge in einer Anwendung dokumentiert, was für das Debugging hilfreich ist.

APM bietet ein umfassenderes Monitoring von Anwendungen, das über das pure Logging hinausgeht. Mit APM-Tools können Sie die Performance von Anwendungen live beobachten und messen. So erhalten Sie Einblicke in das App-Verhalten, die Code-Ausführung, Datenbankabfragen, Netzwerklatenz und andere leistungsrelevante Metriken. Dieser ganzheitliche Überblick über die Anwendungs-Performance erlaubt eine rasche Diagnose eventueller Performance-Probleme.  Und noch einfacher wird die Fehlersuche, wenn Sie Logs im Kontext von APM-Daten einsetzen.

Gute Gründe fürs APM Agent-Update

Mit den aktualisierten APM Agents lassen sich die zugehörigen Konfigurationen genau auf Ihre Anforderungen rund um Abrechnung und Security zuschneiden. Ein Opt-out und damit die Deaktivierung der Log-Erfassung ist dabei ebenfalls jederzeit möglich. Ein Agent-Update liefert Ihnen diese drei Hauptvorteile: 

• Keine aufwändige manuelle Konfiguration und Verwaltung bei Log-Erfassung und -Forwarding an New Relic
• Anzeige von Anwendungs-Logs im Kontext mit APM-Metrics, -Traces und -Events – und damit kein kompliziertes Hin- und Herwechseln zwischen Tools mehr
• Direktzugriff auf Logs und sämtliche weitere relevante Telemetriedaten innerhalb des APM-Toolsets mit optimierter UI zur schnelleren Problemdiagnose und -behebung

Sicherheit, Compliance, Kontrolle

In punkto Logging sind außerdem die drei Aspekte Sicherheit, Compliance und Kontrolle zentral. Diesen tragen wir anhand folgender Features Rechnung: 

• Jederzeit möglicher Opt-out: Die Deaktivierung von automatischem Forwarding ist zu jedem beliebigen Zeitpunkt möglich. Dies entweder über die Agent-Konfiguration oder über den Data Management Hub in New Relic. 
• Ingest-Kontrolle: Log-Sampling direkt im Agent ermöglicht die Steuerung des Volumens erfasster Daten. Auch unterbinden Sie damit die Erfassung von Duplikaten – und erhalten damit einen 3-mal höheren Leistungs-Gegenwert als bei anderen Lösungen für Log-Management. 
• Compliance: Für Benutzerkonten, für die HIPAA-Compliance konfiguriert sind, sowie für solche im High Security Mode ist die Log-Erfassung deaktiviert. Diese Einstellungen werden auch beim Agent-Upgrade weiterhin beibehalten.
• Datenschutz: Anhand von custom anpassbaren Security-Konfigurationen ist es möglich, die Übermittlung sensibler Daten aller Art wie personenbezogene oder Patientendaten komplett zu blockieren. 

Hinweis: Anwendungs-Logs sind in APM erst verfügbar, wenn Sie das Update für den APM-Agent vornehmen. Andernfalls bleibt bei Ihrem Benutzerkonto alles unverändert.

Werfen wir nun einen Blick auf die neuen Features im Einzelnen:

Log-Erfassung via APM-Agent

Für Troubleshooting-Prozesse rund um die Anwendungs-Performance und -Health sind Logs absolut essenziell. Ihre Erfassung ist ob der damit verbundenen Komplexität allerdings nicht selten ein eher frustrierendes Unterfangen. Denn neben dem nicht zu unterschätzenden Know-how, das dafür vonnöten ist, braucht es auch Zugriff auf die zugrunde liegende Umgebung.

Mit dem Upgrade Ihrer APM-Agents wird dies nun für die unterstützten Programmiersprachen erheblich vereinfacht: Erfassung und Forwarding sämtlicher zugehörigen Logs an New Relic erfolgen damit ohne jedwede manuelle Einrichtungs- oder Konfigurationsschritte komplett automatisch. Passé sind damit auch Container-Sidecars oder die Zuschaltung von Drittanwendungen.¹ Ihr gesamtes Monitoring rund um Anwendungen und Logs lösen Sie nun kompakt und automatisch in einem Deployment.

Aktuell werden nicht alle Sprachen und Logging-Frameworks unterstützt. Die APM Agents für die hier aufgeführten Sprachen unterstützen jetzt automatische Logs im Kontext:

Näheres zur Logging-Konfiguration für den APM Agent finden Sie hier.

Anwendungslogs im Kontext

Logs erfassen ist eine Sache. Sie in den richtigen Kontext zu setzen eine andere. New Relic ermöglicht dies durch Metadaten: Angehängt an Ihre Logs, liefern sie plattformübergreifend Kontext zu den Ihren Telemetriedaten zugehörigen Event-Typen und Entitäten wie APM. Auf diese Weise wird es möglich, sämtliche Logs einer Anwendung in einer Ansicht zusammenzuführen. Ihre Daten analysieren Sie so ganz ohne Hin- und Herwechseln zwischen Fenstern oder Tools, was die Problemermittlung und -behebung enorm vereinfacht.

Die neue UI: Alle Logs dort, wo sie gebraucht werden

Ihre Logs wie auch sämtliche weitere für Sie relevante Telemetriedaten haben Sie jetzt direkt im Blick. Von Errors Inbox bis zu Anwendungs-Traces liefert Ihnen die optimierte UI detaillierte Logs über verschiedenste Komponenten der New Relic Plattform hinweg – nahtlos zusammengeführt mit Ihren APM-Daten für den schnellsten Weg zur Ursache und zur Lösung von Problemen.

Logmanagement für optimalen Datenschutz

Wo Daten erfasst werden, schwimmt immer auch das Risiko einer versehentlichen Preisgabe sensibler Informationen mit. Und auch Logs können Daten dieser Art enthalten, die auf keinen Fall aus Ihrer Umgebung herausgelangen dürfen – ganz gleich, in welcher Form die Log-Übermittlung erfolgt.  Mit New Relic behalten Sie stets die direkte Kontrolle über Ihre Systeme und darüber, welche Daten Sie an unsere Technologie übermitteln. Dabei bleiben selbstverständlich auch die in Ihrem Unternehmen geltenden Richtlinien unberührt. Sie können Personen- oder patientenbezogene ebenso wie beliebige andere vertrauliche Daten maskieren, unkenntlich machen oder ihre Übermittlung auch komplett blockieren.

Näheres zu Sicherheit und Datenschutz im Kontext von Logmanagement finden Sie in unserer Dokumentation.

Deaktivierung von automatischem Log-Forwarding (Opt-out)

Ganz unabhängig von Sicherheitsrichtlinien Ihres Unternehmens, die der Log-Erfassung entgegenstehen könnten, möchten Sie das Feature eventuell auch zur Kostenkontrolle deaktivieren. Möglich ist dies entweder über die lokale Agent-Konfigurationsdatei oder auf Kontoebene über den Data Management Hub.

Für Benutzerkonten, für die HIPAA-Compliance konfiguriert oder der „High Security Mode“ aktiviert ist, ist die Log-Erfassung standardmäßig deaktiviert. Dies gilt auch dann noch, wenn Sie das Agent-Upgrade vorgenommen haben.

Ebenso können Sie jederzeit veranlassen, dass die Log-Erfassung wieder aufgenommen wird, und zwar einfach innerhalb der New Relic UI für das Datenmanagement. Weitere Einzelheiten rund um die Aktivierung und Deaktivierung der Log-Erfassung finden Sie hier.

¹ In bestimmten Fällen sind möglicherweise weiterhin externe Log-Forwarder erforderlich.