Wir freuen uns, bekannt geben zu können, dass Amazon Virtual Private Cloud (VPC) Flow-Logs ab sofort nahtlos an unsere Observability-Plattform übermittelbar sind. So können Sie VPC Flow-Logs aus Ihrer gesamten AWS-Infrastruktur in New Relic erfassen, um wichtige Insights für Performance-Analysen zu gewinnen und Probleme mit Netzwerkverbindungen effizienter zu adressieren.
Amazon VPC ist ein Service, der das Aufsetzen von virtuellen Netzwerken für Ressourcen in einem isolierten Bereich der AWS-Cloud ermöglicht. So bleiben sämtliche Ressourcen darin sicher, zugleich sind alle Vorteile rund um die Skalierbarkeit der AWS-Infrastruktur nutzbar.
Die Integration von New Relic und Amazon VPC Flow-Logs macht dabei Folgendes möglich:
- Traffic-Monitoring und -Alerting für Ihr VPC-Netzwerk direkt in New Relic
- Visualisierung von Metrics zur Netzwerk-Performance wie Bytes/Pakete pro Sekunde und Accepts/Rejects pro Sekunde an sämtlichen TCP- und UDP-Ports
- Analyse von Abweichungen in Flow-Logs auf abrupte Veränderungen im Traffic-Volumen oder Health-Status des Netzwerks
- Ermittlung von übermäßig restriktiven Regeln für Sicherheitsgruppen oder potenziell schädlichem Traffic
Wir sind hoch erfreut über diesen weiteren Meilenstein in der strategischen Zusammenarbeit mit New Relic. Denn unser gemeinsames Ziel – schnelle Cloud-Migration mit innovativen Technologien für unsere Kunden – wird hier erneut eindrucksvoll erfüllt. Dies gelingt uns mit dem Verbund aus der zentral konsolidierten UX für Amazon VPC Flow-Logs von New Relic und Kinesis Data Firehose nahtlos. So erhalten Kunden nun direkt Aufschluss über die Performance ihrer Netzwerke, können die Traffic-Flows sämtlicher VPC-Ressourcen einfach und unkompliziert auswerten und dabei auch etwaige Probleme rascher beheben.
Selbst ausgewiesene Expert:innen im Bereich Network Engineering stellt die damit verbundene Telemetrie vor besondere Herausforderungen. Denn für Observability in Netzwerken der Größenordnung wie bei einem VPC gilt es, ihre Performance und Health über diverse Konten und Regionen hinweg schnell und mit Kontextdetails validieren zu können. Erst so lässt sich dann durch genauere Analysen verbundener Endpunkte das Netzwerk als Ursache etwaiger Probleme eingrenzen oder ausschließen.
Gelöst haben wir dies mit der Hilfe von Kinesis Data Firehose, über das VPC Flow-Logs effizient an New Relic übermittelt und so zudem Kosteneinsparungen bei geringerer Pipeline-Komplexität realisiert werden können. In unserer UI erfolgt dies einfach über die Option Add Data. In Minutenschnelle lassen sich darüber VPC Flow-Logs via AWS CLI konfigurieren oder ein CloudFormation Template erstellen.
Die mühselige Aufgabe, die Rohdaten aus Logs diverser Konten zu prüfen, ist damit für alle Engineering-Teams passé: Über ihre spezifische Amazon EC2 Instanz erhalten sie nun direkt Einsicht in sämtliche relevanten Daten – unabhängig von AWS Konto oder Region.
Entitäten, für die VPC Flow-Logs erfasst werden, sind dabei mühelos über ein Sankey-Diagramm auffindbar. Bekannte Hosts, deren Monitoring über den Agent von New Relic Infrastructure erfolgt, werden darin automatisch zugeordnet. Über Facetten wie instanceId und IP-Adresse ist zudem einfach per Mausklick eine Übersicht zum jeweiligen Host aufrufbar. Sie umfasst ausgelöste Alerts und Events ebenso wie Tags, Metrics zu goldenen Signalen und andere wichtige Datenpunkte. So können Sie Performance-Indikatoren zu VPC-Netzwerk und -Host klar in Zusammenhang setzen.
Für Analysen von VPCs über mehrere AWS-Regionen und zugehörige Verfügbarkeitsbereiche und Konten hinweg bietet das Toolset für Netzwerk-Monitoring eine konsolidierte Ansicht mit Insights zu Traffic-Mustern und zur Paket-Verlustrate.
Noch tiefergehend ausleuchten lässt sich die VPC-Performance anhand differenzierter Visualisierungen. In New Relic können Sie mühelos sämtliche in VPC Flow-Logs enthaltenen Dimensionen abbilden, dabei auch zwischen übertragenen Bytes und Paketen hin- und herwechseln, um Klarheit über beide Aspekte des Traffics zu erhalten.
Abweichungen zwischen den Attributen innerhalb der Flow Logs lassen sich ebenfalls präzise untersuchen. Im Bereich rechts sind hierzu Vergleichsanalysen sämtlicher Facetten des Netzwerk-Traffics möglich.
Zur Visualisierung der Abweichungen zwischen den einzelnen Facetten der Flow-Logs klicken Sie auf die Schaltfläche Explore flow log deviations. Daraufhin wird New Relic Lookout geöffnet, wo Sie für eine Liste bekannter Anwendungen sowohl die übertragenen Bytes und Pakete als auch die Accepts und Rejects pro Sekunde an TCP- und UDP-Ports visualisieren können.
New Relic Explorer liefert Ihnen eine Liste aller VPC-Netzwerke, die über die erfassten Flow-Logs erkannt wurden, sowie eine Übersicht der wichtigsten jeweils zugehörigen Metrics. Über unsere als Open Source verfügbaren Definitionen für Entitäten erhalten Sie dabei kuratierte Metrics zu goldenen Signalen. Anhand dieser können Sie schnell VPCs ausmachen, bei denen Fluktuationen in Volumen oder Health auf potenzielle Probleme hindeuten.
Performance-Visualisierungen für umfangreiche AWS-Infrastrukturen sind in New Relic Navigator möglich. Dort können Sie Netzwerke einfach nach Health-Status und anderen Metadaten gruppieren. An der Darstellung nach dem Ampelprinzip in rot, gelb oder grün erkennen Sie dabei direkt, bei welchen Entitäten Alerts von New Relic ausgelöst wurden, und haben auch die jeweils zugehörigen Performance-Metrics im Blick.
Inwieweit diese Insights tatsächlich Anomalien darstellen, können Sie dann durch Visualisierung der vier Kern-Metrics Egress Bytes, Unique Sources, Ingress Bytes und Unique Destinations in New Relic Lookout ermitteln. Das Tool vergleicht automatisch die in den vergangenen 5 Minuten erfassten Werte mit denen der diesen vorangehenden 60 Minuten.
Auf dem Weg zu einem höheren Observability-Reifegrad bildet Netzwerk-Telemetrie ein entscheidendes Element, insbesondere auch für Amazon VPC Flow-Logs. Mit dieser Integration binden sie dies umfassend in Ihre Gesamt-Methodik ein.
Zu unserer Architektur gehören mehr als 200 Microservices, die über AWS ausgeführt werden. Treten Probleme auf, ist es wichtig, die Fehlerquelle schnell auszumachen, um diesen Brandherd zu bekämpfen. Mit New Relic gelingt uns genau das: Wir können das zugrunde liegende Problem und die davon betroffenen Services rasch identifizieren und im gleichen Atemzug Lösungswege erarbeiten. New Relic vermittelt uns Observability – und hilft uns dank ihr, unser Kundenerlebnis weiter zu optimieren.
So konfigurieren Sie die Integration
Der Konfigurationsvorgang erfolgt komplett geführt – bei Verwendung der AWS CLI ebenso wie bei CloudFormation. So sind die VPCs zur Übermittlung der Flow-Logs in kürzester Zeit definiert, dies wahlweise mit Sampling-Option oder in vollem Umfang. Im Anschluss können Sie die VPC-Telemetrie direkt über das Toolset für Network Performance Monitoring in New Relic analysieren.
- Falls Sie New Relic noch nicht nutzen, können Sie sich direkt hier für ein kostenloses Konto registrieren.
- Gehen Sie in New Relic zu Add Data und geben Sie den Suchbegriff „VPC flow logs“ ein.
- Starten Sie die geführte Installation und konfigurieren Sie Ihre AWS-Umgebung entsprechend den Anweisungen, um VPC Flow-Logs via Kinesis Data Firehose an New Relic zu übermitteln.
- Im Toolset für Network Performance Monitoring können Sie die VPC Flow-Logs nun über New Relic Explorer, Navigator und Lookout analysieren.
- In New Relic Infrastructure Monitoring erhalten Sie eine kuratierte Ansicht der Flow-Logs.
Weitere Einzelheiten zur Integration finden Sie außerdem in unserer Dokumentation sowie im nachfolgenden Nerd Byte Video.
Nächste Schritte
Setzen Sie auf Observability für Ihren Gesamt-Stack mit New Relic. Der Einstieg ist komplett kostenlos – 100 GB zur Datenerfassung, eine Komplettlizenz und unbegrenzte Basic-Lizenzen inklusive.
Die in diesem Blog geäußerten Ansichten sind die des Autors und spiegeln nicht unbedingt die Ansichten von New Relic wider. Alle vom Autor angebotenen Lösungen sind umgebungsspezifisch und nicht Teil der kommerziellen Lösungen oder des Supports von New Relic. Bitte besuchen Sie uns exklusiv im Explorers Hub (discuss.newrelic.com) für Fragen und Unterstützung zu diesem Blogbeitrag. Dieser Blog kann Links zu Inhalten auf Websites Dritter enthalten. Durch die Bereitstellung solcher Links übernimmt, garantiert, genehmigt oder billigt New Relic die auf diesen Websites verfügbaren Informationen, Ansichten oder Produkte nicht.
