Sportradar stärkt Open Source und DevOps durch Observability

Ganz gleich, ob in der Formel 1 oder bei der Snooker-WM, beim Fußball, beim Baseball oder bei einer Vielzahl anderer Sportarten – ohne Sportradar wäre das Fanerlebnis nicht dasselbe.

Als weltweit führender Anbieter im Bereich Sportdaten und Sporttechnologie erfasst und analysiert Sportradar jährlich mehr als 400.000 Sportereignisse in 60 verschiedenen Kategorien. Das Unternehmen ist offizieller Partner der FIFA und der UEFA sowie von NBA, NHL und NASCAR und ist außerdem der einzige Anbieter, der offiziell mit den US-Sportligen zusammenarbeitet, um weltweit Sportdaten (NBA und NHL) an Anbieter von Sportwetten zu liefern. Mehr als 1.000 Unternehmen in 80 Ländern verlassen sich auf die Produkte und Dienstleistungen von Sportradar in den Bereichen Sportwetten, Unterhaltung und Integrität.

„Unsere Technologie steht hinter jedem großen Sportverband und jeder großen Sportorganisation auf der ganzen Welt“, so Scott Dunbar, Global Head of DevOps Engineering bei Sportradar. „Wir sind in erster Linie ein Softwareunternehmen, das modernste Technologien wie künstliche Intelligenz und Computer Vision einsetzt, um die bestmögliche Sporttechnologie und die bestmöglichen Produkte zu liefern.“

Funktionsübergreifende Zusammenarbeit statt isoliertes Fachwissen

Als Scott Dunbar und Chief Technology Officer Ben Burdsall ihre Arbeit bei Sportradar aufnahmen, arbeiteten die einzelnen Engineering-Teams völlig isoliert voneinander. „Es war das größte Start-up, das ich je gesehen hatte, bei denen die Teams völlig voneinander abgeschottet waren“, so Dunbar. „Es gab zwar einzelne Bereiche, in denen hervorragende Arbeit geleistet wurde, aber es gab kaum Austausch, Zusammenarbeit oder Abstimmung zwischen den Teams.“

Burdsall wollte das Organisationsmodell der Engineering-Gruppe in ein agiles „Sportify“-Modell umwandeln. „Wir nahmen uns vor, ein Modell zu schaffen, das wir das Sportify-Modell nennen, bei dem die technischen Kapazitäten in Tribes, Squads, Chapters und Guilds organisiert sind“, erklärt Dunbar. „Das letztendliche Ziel besteht darin, funktionsübergreifende Teams zu befähigen, Transparenz hinsichtlich Rollen und Verantwortlichkeiten zu schaffen und das Engineering auf eine klare Strategie auszurichten.“

Inzwischen haben sie dieses Ziel erreicht und die mehr als 500 Engineers in 17 Tribes aufgeteilt. Jeder Tribe konzentriert sich auf ein bestimmtes Produktportfolio. Zur Vervollständigung der funktionsübergreifenden Teams werden DevOps-Fachleute in Tribes und Squads integriert. „Als DevOps-Engineers konzentrieren wir uns auf die Herausforderung der Observability im Software-Lieferzyklus“, erklärt Dunbar. „Wir definieren Observability als die Schaffung eines Systems, in dem wir unbekannte Unbekannte debuggen können. Unser Team bringt diese Kompetenzen und eine Leidenschaft für das Erfassen der App-Health innerhalb unserer Tribes mithilfe von Daten ein.“

Autonome Teams und eine zentrale Observability-Strategie

Einer der Grundsätze des Unternehmens, der auch in der neuen Organisationsstruktur beibehalten wird, ist die Autonomie der Teams. „Wir sind der Meinung, dass unsere Squads und Tribes selbst entscheiden sollten, welche Technologie oder welches Werkzeug sie verwenden möchten und was ihrer Meinung nach ihren Anforderungen am besten gerecht wird“, so Dunbar. „Wir haben eine Governance- und Alignment-Ebene eingerichtet, die die Autonomie der Teams gewährleistet und gleichzeitig für Konsistenz bei der Ermittlung wichtiger Metriken sorgt. Natürlich spielt New Relic dabei eine sehr große Rolle.“

Zu Beginn seiner Tätigkeit bei Sportradar stellte Dunbar fest, dass die Teams zur Analyse der System-Health eine Vielzahl verschiedener Monitoring-Tools nutzten und unterschiedliche Ansätze verfolgten. „Es fehlte an Konsistenz und es wurden kaum Service-Level-Metriken und KPIs eingesetzt oder Service-Level Objectives mit Service-Level-Indikatoren abgeglichen“, sagt er.

Dank New Relic sind unsere Teams deutlich autonomer geworden: Beim Tracking und Reporting von Metrics agieren sie nun in weiten Teilen in Eigenregie, können dabei aber den Status quo bis hoch zur C-Ebene stets transparent und teamübergreifend einheitlich abbilden. Diese umfassende Sicht ist gerade für ein so komplexes Produkt- und Service-Portfolio wie unseres enorm wertvoll. „New Relic ist sehr flexibel und unterstützt Open Source, sodass unsere Teams ihre vertrauten OpenTelemetry-Tools weiterhin verwenden können, sich wichtige Metriken aber jetzt auf einer Single Pane of Glass anzeigen lassen“, so Dunbar. „Wir haben jetzt einen konsistenten Überblick über die Service-Health in unserem gesamten Bestand von mehr als 200 Business Services.“

Überwachung von Metriken, um SLAs zu erfüllen

Für jeden technischen Service erwartet Sportradar von seinen Teams, dass sie Metriken zu Verfügbarkeit, Zuverlässigkeit und Performance erfassen und diese mit einem Service-Level Objective (SLO) abgleichen. „Wir fassen die technischen Services dann zu einem Business-Service zusammen, vergleichen die Service-Level-Indikatoren (SLI) mit unseren SLOs und legen dem Unternehmen zuverlässige Service-Level Agreements (SLAs) für diesen bestimmten Business-Service vor“, erläutert Dunbar. „In puncto Verfügbarkeit streben wir für alle unsere Business-Services ein SLO von 99,9 % an.“

Dank der Programmability von New Relic können Dunbar und die Engineering-Teams das Monitoring und die Berechnung von Metriken nun ganz auf ihre Anforderungen abstimmen. „Für uns war es wichtig, Erkenntnisse über die zeitbasierte Verfügbarkeit zu gewinnen, bei der die Verfügbarkeit durch die Dauer eines bestimmten Zustands im technischen Service bestimmt wird“, sagt er. „Wir haben in New Relic eine benutzerdefinierte Observability-App erstellt, die Daten aus New Relic Synthetics abruft und verarbeitet, um uns einen vollständigen Überblick über die zeitbasierte Verfügbarkeit jedes Systems zu geben.“

Häufigere Releases und Einblicke in die Latenz

Mit New Relic lässt sich die Release-Qualität messen und verbessern. Gleichzeitig konnten wir die Release-Häufigkeit um 15 % steigern. „New Relic hat uns geholfen, unsere Denkweise hinsichtlich Performance und Systemtests neu auszurichten“, meint Dunbar. „Als integraler Bestandteil der Bereitstellungspipeline beim Testen von Änderungen dient New Relic als Qualitätskontrolle, die uns hilft, Probleme zu beheben, bevor sie in die Produktion gelangen.“

Für Sportradar ist der Datenaustausch mit geringer Latenz innerhalb eines riesigen Netzwerks miteinander verbundener Systeme absolut unerlässlich. New Relic hilft dem Unternehmen dabei, die Datenlatenz mithilfe von Distributed Tracing zu verstehen und zu verbessern. „Wir erfassen Millionen von Datenpunkten aus buchstäblich Tausenden von Datenquellen im Kopf der Schlange, wie ich es nenne“, erläutert Dunbar. „Im langen Schwanz der Schlange sitzen dann verschiedene Services, die diese Daten nutzen, zum Beispiel zur Bekämpfung von Spielabsprachen oder zur Berechnung von Gewinnquoten.“

„Weil New Relic OpenTelemetry und funktionsreiche APIs unterstützt“, so Dunbar weiter, „kann das Unternehmen Distributed Tracing nutzen, um die Latenzen und die Erfassungszeit von den Datenquellen am Kopf der Schlange bis zu ihrem Ende besser zu verstehen. Ich glaube nicht, dass sich irgendein anderes Tool so an die enorme Vielfalt der Produkte und Services in unserem Portfolio anpassen und dennoch in der Lage sein könnte, einen Trace vom Root Span bis hin zu jedem Verbraucher dieses Datenpunkts zu verfolgen.“

Sportradar stieg im Engineering-Bereich erfolgreich von isolierten Teams auf sein „Sportify“-Modell um und integrierte zusätzlich eine Governance-Ebene, um die Teams auf zentrale Technologie- und Observability-Strategien auszurichten.

„Unser gesamter Engineering-Bereich besteht aus funktionsübergreifenden Teams, die unabhängig voneinander und völlig eigenständig hervorragende Produkte und Services entwickeln, ohne auf Personen außerhalb des Squads oder des Tribes angewiesen zu sein“, sagt Dunbar. „Das Modell funktioniert gut und wir haben unsere Ziele erreicht. New Relic ist ein wesentlicher Bestandteil unseres Erfolgs.“

Dunbar geht davon aus, dass das Unternehmen in Zukunft alles, was es tut, weiter ausbauen und seine Observability weiter verbessern wird. „Ich bin besonders daran interessiert, dass wir New Relic noch besser nutzen, um tiefere Einblicke in die Log Aggregation zu erhalten, und die OpenTelemetry-Funktionen für Distributed Tracing noch umfassender nutzen.“