Live Archives

Ab heute allgemein verfügbar: New Relic Live Archives, die bahnbrechende Lösung für die Langzeitspeicherung von Logs – kostengünstig und sofort abfragbar. Compliance-Risiken sind ab jetzt einfach zu handhaben und regulatorische Vorgaben lassen sich mühelos einhalten.

Warum sind Logs zur Compliance notwendig?

Unternehmen müssen heutzutage strikte Vorgaben einhalten – eine langfristige Logaufbewahrung ist daher nicht nur empfehlenswert, sondern gesetzlich vorgeschrieben. Hintergrund sind verschiedene regulatorische und zum Teil branchenspezifische Vorgaben, z. B. HIPAA (Health Insurance Portability and Accountability Act), US Executive Order 14028, Basel II Accord, Center for Internet Security (CIS) Critical Security Controls, PCI DSS (Payment Card Industry Data Security Standard), SOX (Sarbanes-Oxley Act) und SOC 2 (System and Organization Controls 2). Im Gesundheitswesen beispielsweise schreibt HIPAA eine Datenaufbewahrung für sechs Jahre vor, im Bankensektor ist zur Erfüllung des Basel II Accord eine drei- bis siebenjährige Logaufbewahrung Pflicht. Bei Nichteinhaltung der Vorschriften drohen nicht nur hohe Geldstrafen, sondern auch schwerwiegende rechtliche Konsequenzen und ein Reputationsverlust. 

Diese Logs stellen nicht nur betriebliche Informationen dar, sondern bilden auch einen Eckpfeiler der regulatorischen Compliance, durch die sichergestellt wird, dass Unternehmen die strengen Standards ihrer jeweiligen Branche erfüllen. Mit der bloßen Aufbewahrung dieser Logs ist es allerdings nicht getan. Erhebliche Kosten und Herausforderungen gehen mit der Speicherung und vor allem dem Zugriff auf diese wichtigen Daten zu Compliance- und Audit-Zwecken einher. Das wirft die Frage auf, wie Unternehmen diese wichtigen, aber schwierigen Anforderungen effizient und kostengünstig bewältigen können.

Die Problematik herkömmlicher Langzeit-Speicherlösungen

Die langfristige Speicherung von Logs wirft ein Dilemma auf: die Wahl zwischen Hot und Cold Storage mit den jeweiligen Vor- und Nachteilen. Hot Storage ist schneller und einfacher zugänglich und eignet sich damit perfekt für Logs, auf die oft zugegriffen wird, und für Analysen in Echtzeit. Allerdings sind die Kosten bei Hot Storage langfristig höher – bis zum Dreifachen der Cold Storage. Cold Storage dagegen ist für selten benötigte Daten günstiger, allerdings ist der Datenzugriff langwieriger und die Datenverwaltung komplexer. Der Zugriff auf Daten in Cold Storage ist mühselig und zeitaufwendig und erfordert Rehydrieren, erneutes Laden und Indexieren sowie Verschieben von Daten zwischen mehreren Speicherorten oder Ebenen, was oft zu unerwarteten zusätzlichen Kosten führen kann. 

Kurz gesagt: Hot Storage ist sehr benutzerfreundlich, für die langfristige Logspeicherung allerdings viel zu teuer. Cold Storage wiederum ist zwar zunächst günstiger, aber Pflege und Abfragen können zum Albtraum werden und unerwartete Zusatzkosten und Schwierigkeiten bereiten. Unternehmen müssen also einen schmerzhaften Kompromiss zwischen günstigem Preis und Benutzerfreundlichkeit eingehen – es stellt sich die Frage, ob das nicht besser geht. Wie lassen sich Kosteneffizienz und einfache Bedienung in Einklang bringen?

New Relic Live Archives: die Antwort auf die Probleme herkömmlicher Lösungen

New Relic Live Archives sind eine bahnbrechende Logspeicherlösung, in der sich Erschwinglichkeit, einfache Bedienung und hohe Performance perfekt ergänzen. Dank der besonderen Speicherfunktionen können Sie regulatorische Vorgaben mühelos einhalten, denn die Logs werden bis zu sieben Jahre lang in einem aktiven, hydrierten und angereicherten Zustand gespeichert. Das Ergebnis? Sie können Ihre historischen Logs schneller und effektiver analysieren, ohne die Hydration, das Laden und das Indexieren der Logdaten jedes Mal wiederholen zu müssen oder die Daten an mehrere Orte oder Ebenen zu verschieben. Zusätzlich kostet es nur ein Viertel des Preises anderer Langzeitspeicherlösungen und ist damit eine der kostengünstigsten Methoden zur langfristigen Logspeicherung.

Hauptvorteile der Live Archives:

  • Sofortiger Zugriff auf historische Logs: Da Ihre Logs die New Relic Datenbank (NRDB) nie verlassen, können Sie die Daten mühelos und ohne Verzögerung abfragen. Die Verwaltung der historischen Logs und der Zugriff darauf gehen ebenso schnell wie bei allen anderen Logtypen – und bequem über dieselbe Benutzeroberfläche. Ohne zusätzlichen Aufwand.
  • Schluss mit der Plackerei: Mit den Live Archives entfallen die zeitaufwändigen manuellen Schritte, die bei herkömmlichen Lösungen notwendig waren – wie z. B. das Rehydrieren, Laden und Indexieren von Logs oder das Verschieben von Daten zwischen Speicherorten oder Ebenen zur Analyse. Sie müssen auch nicht mehr Ihre eigenen Speicherlösungen wie S3-Buckets bereitstellen oder historische Logs einzeln abrufen.
  • Geringere Kosten: Schluss mit den bei herkömmlichen Langzeitspeicherlösungen üblichen Zusatzkosten z. B. für Ingress und Egress, Indexierung sowie Neuformatierung von Logdaten oder Lizenzgebühren für zusätzliche Logtools.

Einrichtung und Einsatz der Live Archives

New Relic Live Archives bieten eine bahnbrechende Methode zur Langzeitspeicherung und Analyse von Logs, alles in nur wenigen Schritten: 

  • Logs senden: Sie senden Ihre Logs wie gewohnt zu Observability-Zwecken für Anwendungen, Infrastruktur usw. an New Relic.
  • Aufbewahrungsdauer festlegen: Legen Sie die jeweils gewünschte Aufbewahrungsdauer fest, um Ihre Compliance-Vorgaben zu erfüllen. Ihr New Relic Account-Administrator kann die Aufbewahrungseinstellungen für den Namespace „Logging live archives“ über die Datenmanagement-Schnittstelle anpassen (siehe Abbildung unten). Als Aufbewahrungsdauer können Sie einen beliebigen Zeitraum von einem Tag bis zu sieben Jahren wählen. Sobald Ihre Logs die Standard-Retention überschritten haben (je nach Abo 30 Tage oder länger), werden sie automatisch in die Live Archives verschoben und sind dort für den verbleibenden von Ihnen festgelegten Aufbewahrungszeitraum sicher und leicht zugänglich gespeichert.
  • Partitionen zur Archivierung auswählen: Sie müssen nicht alle Logs archivieren, um gesetzlichen Vorschriften zu genügen. Ihr New Relic Administrator kann bestimmte Logpartitionen zur Archivierung auswählen und dazu eine Standardpartition einrichten. Mit einer NRQL-WHERE-Klausel können Sie festlegen, welcher Teilsatz Ihrer Logs aus Compliance-Gründen aufbewahrt werden soll, und so die Speicherkosten gering halten. Sobald Sie die gewünschte Partition ausgewählt haben, werden neue Logdaten in dieser Partition nach Ablauf ihrer Nutzungsdauer automatisch in den Live Archives gespeichert.
  • Daten in der Logs-UI abfragen: Logs in Live Archives lassen sich zusammen mit Ihren anderen Logs und allen anderen Telemetriedaten abfragen. Datensilos, wie sie bei anderen Lösungen zur Langzeitspeicherung vielleicht vorkommen, sind hier kein Thema.
  • Zugriffsberechtigungen verwalten: Standardmäßig ist die Abfrage der Live Archives durch Benutzer:innen deaktiviert, da hierbei Abfragekosten entstehen, die über die der üblichen Datenabfragen hinausgehen. Sobald Sie allerdings entschieden haben, wer in Ihrem Unternehmen Abfragen in Live Archives durchführen soll, können Ihre New Relic Administratoren diesen Benutzer:innen problemlos individuelle Rollen mit Abfrageberechtigung zuweisen.

Weitere Informationen zu Live Archives finden Sie in der Dokumentation. Sehen Sie sich auch das Data-Bytes-Video am Ende dieses Blogs an.