New Relic hilft CareerVillage beim Einstieg ins KI-Zeitalter

Bei CareerVillage.org helfen mehr als 135.000 erfahrene Fachkräfte Millionen von Schüler:innen und Student:innen aller Altersgruppen, den Berufseinstieg zu meistern und im Beruf ihrer Wahl voranzukommen. CareerVillage.org ist heute die erste Adresse für praxisrelevante Informationen zu Bildungsfragen und zum beruflichen Fortkommen. Vor Kurzem haben wir unser Angebot auf einen KI-basierten Coaching-Dienst ausgeweitet. Wir verwenden eine Reihe von Technologien wie Django und React mit mehreren Umgebungen für Staging und Produktion für das Produktmanagement. Dazu unterhalten wir Datenbanken verschiedenster Art, primär Postgres, sowie Redis, Solar und Celery. Wir haben Daten-Pipelines, die alle nötigen Informationen einspeisen. Und wir nutzen verschiedene Dienste für maschinelles Lernen, die uns bei Aufgaben wie Content-Moderation und beim Tagging unterstützen.

Ganz am Anfang setzten wir auf New Relic, um uns beim Server-Monitoring zu helfen. Vor zwölf Jahren bestand unser Hauptproblem darin, dass sich in Schulen mit Hunderten von Schüler:innen und Lehrer:innen diese nicht zeitgleich einloggen konnten. New Relic half uns, nachzuvollziehen, worin das Problem lag. So erkannten wir, wo die Engpässe lagen, und konnten dagegen vorgehen. New Relic half uns außerdem, die richtigen Technologien einzuführen, wie z. B. den Lastausgleich, wenn es Lücken bei der Observability gab. Wenn wir größere Gruppen hatten, mussten wir damals Schüler:innen bitten, sich in alphabetischer Reihenfolge einzuloggen. Zuerst kamen also alle Schüler:innen, deren Namen mit A anfingen, nach einer Minute kamen diejenigen hinzu, deren Namen mit B anfing, usw. New Relic half uns, die Server- und Lastausgleichprobleme akkurat zu diagnostizieren, sodass wir das nötige Wachstum veranlassen konnten, um das gleichzeitige Einloggen von 700 Schüler:innen möglich zu machen.

Nachdem das Problem mit dem Einloggen behoben war, konnten wir uns der UX zuwenden. Zu den Herausforderungen zählt das Moderieren von Inhalten. Damit wäre unser kleines Backend-Team angesichts der Anzahl der Schüler:innen, die unsere Plattform nutzen, vollkommen überlastet. Daher setzen wir auf Freiwillige. Ihr gleichzeitiger Einsatz ist unverzichtbar für die fortgesetzte Bereitstellung eines sicheren Crowdsourcing-Umfelds. Ein Tool wie New Relic ist daher unabdingbar, um einen effizienten Ablauf zu gewährleisten. Es hilft uns, den Schwerpunkt darauf zu legen, wie wir die User Experience im Hinblick auf die Infrastruktur verbessern können.

Jetzt können wir das Monitoring unserer Umgebungen für Entwicklung, Staging und Produktion sicherstellen. Gleichzeitig überwachen wir eine getrennte Load-Testing-Umgebung, die Uptime und das Reduzieren von Engpässen, u. a. beim gleichzeitigen Schreiben in unseren Datenbanken. Wir verfolgen die MTTR (Mean Time To Recovery) und die Zeit vom leeren Cache zur Laden von Seiten. Das ist unverzichtbar, da ein so großer Teil unseres Traffics von Suchmaschinen kommt. Dank New Relic konnten wir diese Ladezeit von 300 Millisekunden auf unter 100 Millisekunden absenken.

Für unser kleines Team ist es sehr hilfreich, dass New Relic uns beim Ausbau des Monitorings für unsere Crowdsourcing-Plattform unterstützt. Diese ist mit uns gewachsen, um unseren phänomenalen Zuwachs an Benutzer:innen und Lernenden aller Altersgruppen zu unterstützen. Unsere technischen Teams können sich so ganz auf den Ausbau neuer Services und Features konzentrieren. New Relic ist unser wichtigster Stützpfeiler, wenn es um Observability geht: Es ist sozusagen unser wichtigster Mitarbeiter im DevOps-Bereich. Wir möchten keine zusätzlichen Engineers einstellen, die sich nur mit Observability befassen – in unserer Organisation ist das die Aufgabe von New Relic.

Im Laufe des letzten Jahres haben wir in die Entwicklung eines KI-gestützten Career-Coaching-Dienstes investiert. Besonders im technischen Bereich müssen wir agil sein. Dank New Relic konnten wir neue Entwickler:innen zur Arbeit an unseren KI-Features abstellen, statt dass sie sich mit dem Monitoring unserer Infrastruktur befassen mussten. Daran sind eine Menge Technologien beteiligt: eine React-Anwendung im Frontend, eine cloudbasierte Django-Anwendung im Backend, LangChain als KI-Orchestrierungslösung, Agent Management Bibliotheken sowie eine Kombination externer LLMs mit unserem eigenen, trainierten und intern gehosteten LLM, Tools für Retrieval-Augmented Generation sowie Pinecone DB für die Vektordatenbank, die den Abruf unterstützt.

Unser KI-basierter Career-Coaching-Service stellt außerdem einen Wandel in unserem Geschäftsmodell dar. Seit jeher war es unser Ziel, jungen Menschen zu helfen. Jetzt können wir zusätzlich auch erwachsene Lernende unterstützen, die zum Beispiel den Beruf wechseln oder sich beruflich weiterbilden möchten. Das Ziel des KI-basierten Career-Coaching-Dienstes ist es nicht nur, Fragen anhand unserer Crowdsourcing-Daten zu beantworten, sondern auch Übungen wie Rollenspiele zu Vorstellungsgesprächen durchzuführen, Stellenbeschreibungen mit persönlichen Qualifikationen abzugleichen und Unterhaltungen über Networking und die hierzu nötigen Fähigkeiten zu führen. Dabei handelt es sich weniger um eine Frage-Antwort-Funktion, als vielmehr um die Entwicklung einer Lernerfahrung. Wir haben diese Technologie bereits in Schulen, bei gemeinnützigen Organisationen und im Rahmen von Weiterbildungsprogrammen im Einsatz. Der KI-Career-Coach muss zuverlässig, konsistent und vorhersehbar sein. Für Bugs und Fehler ist hier kein Platz.

Unser neues KI-Tool ist ebenfalls in New Relic eingebunden. Hier erfolgt die Überwachung der Uptime, der Performance und der Reaktionszeit. Der hervorragenden Funktion von New Relic haben wir es zu verdanken, dass wir überhaupt in diese neuen Bereiche einsteigen konnten: Unser technisches Kernteam ist von drei auf sieben Mitarbeiter:innen gewachsen, doch die neu eingestellten Kolleg:innen befassen sich nicht mit dem Monitoring. New Relic hilft uns, die Kosten niedrig zu halten, indem es unseren Entwickler:innen den Freiraum gibt, sich auf die Produktfeatures auf Benutzerseite zu konzentrieren, auf die es wirklich ankommt.