Chez CareerVillage.org, nous connectons plus 135 000 professionnels pour soutenir des millions d'élèves et d'étudiants de tous âges à entrer dans le monde du travail et à avancer dans leur carrière. Nous sommes une source de conseils incontournable qui fournit des informations concrètes et pratiques sur l'éducation et l'avancement de carrière. Nous avons récemment élargi nos offres et proposons désormais un coaching de carrière avec l'IA. Nous utilisons toute une gamme de technologies, comme Django et React, pour gérer nos produits avec plusieurs environnements de simulation et de production. Nous disposons de différents types de bases de données, dont les principales sont Postgres, en plus de Redis, Solar et Celery. Nous utilisons des pipelines pour remplir nos entrepôts de données. Et nous avons des services d'apprentissage machine qui aident avec des éléments comme la modération et le balisage de contenus.

Au début, nous utilisions New Relic pour nous aider avec le monitoring du serveur. C'était il y a 12 ans. À cette époque, quand nous allions dans des écoles avec des centaines d'élèves et d'enseignants, notre principal problème était la connexion simultanée de tant de monde. Nous avions besoin de New Relic pour nous aider à comprendre ce qui se passait. La solution nous permettait de voir où se trouvaient les goulots d’étranglement pour que nous puissions les désengorger petit à petit. Elle nous a aidés à intégrer les technologies adéquates, telles que l'équilibrage de charge, lorsqu'il y avait des lacunes dans l'observabilité. Avec les groupes plus importants, nous demandions aux élèves de se connecter dans l'ordre alphabétique. Les élèves dont le nom commençait par « A » se connectaient en premier, puis après une minute, ceux dont le nom commençait par « B », et ainsi de suite. New Relic nous a aidés à identifier les problèmes de serveur et d'équilibrage de charge, ce qui nous a ensuite permis d'avoir 700 élèves connectés en même temps.

Une fois que le problème de connexion a été résolu, nous avons pu nous pencher sur l'amélioration de l'expérience utilisateur. L'une des difficultés que nous rencontrions était la modération du contenu. Si l'on considère le nombre d'élèves et d'étudiants sur notre plateforme, nous ne pouvions vraiment pas y arriver avec notre équipe interne. C'est pourquoi nous avons des bénévoles. Leur utilisation concomitante est vitale pour assurer la disponibilité d'un espace collaboratif sûr. Le fait de disposer d'un outil comme New Relic est essentiel à notre efficacité. Nous pouvons nous concentrer sur l'amélioration de l'expérience utilisateur du point de vue de l'infrastructure.

Désormais, nous pouvons effectuer le monitoring de nos environnements de développement, simulation et production. Nous avons un environnement de test des charges distinct que nous monitorons, en plus des temps de disponibilité et de la réduction des goulots d’étranglement lors des saisies simultanées dans nos bases de données. Nous faisons le suivi du temps moyen de résolution (MTTR) et du temps entre le vidage du cache et le chargement des pages, qui est essentiel lorsqu'une si grande partie du trafic provient de moteurs de recherche. Avec New Relic, nous avons pu réduire ce temps de chargement de 300 millisecondes à moins de 100 millisecondes.

Nous sommes une petite équipe et New Relic nous aide à développer le monitoring pour notre plateforme collaborative. Nous avons grandi ensemble pour soutenir la croissance phénoménale du nombre d'élèves, d'étudiants et d'utilisateurs et elle a permis à notre équipe d'ingénieurs de se concentrer sur le développement de nouveaux services et fonctionnalités. New Relic est notre soutien principal pour l'observabilité : c'est le membre de notre équipe qui est focalisé sur nos fonctions DevOps. Nous ne voulons pas embaucher plus d'ingénieurs qui travaillent uniquement sur l'observabilité, c'est le rôle que joue New Relic dans notre organisation.

Au cours de l'année passée, nous avons investi dans le développement d'un coaching de carrière avec l'IA. Nous devons être une organisation agile, surtout côté ingénieurs. Grâce à New Relic, nos nouveaux ingénieurs peuvent se concentrer sur les fonctionnalités d'IA et non sur le monitoring d'infrastructure. De nombreuses technologies sont utilisées : une application React de frontend, une application Django de backend exécutée dans le cloud, LangChain comme orchestrateur d'IA, des bibliothèques de gestion des agents, mais aussi une combinaison de grands modèles de langage (LLM) tiers et notre propre LLM que nous avons entraîné et que nous autohébergeons, les outils de génération augmentée de récupération et Pinecone pour la base de données vectorielle qui assure la récupération.

Notre coaching de carrière avec l'IA représente également un changement de notre activité. L'objectif, comme toujours, est d'aider les jeunes, mais désormais, nous pouvons aussi soutenir les apprenants adultes qui veulent changer de travail ou souhaitent savoir comment faire progresser leur carrière. L'objectif du coaching de carrière avec l'IA est de non seulement répondre aux questions de nos données collaboratives, mais de faire des exercices comme des simulations d'entretien, l'examen d'une description d'emploi par rapport à vos qualifications ou une conversation sur vos capacités réseau. Il s'agit moins d'une fonctionnalité de question/réponse et plus du développement de l'expérience d'apprentissage. Nous l'avons déployé dans les écoles, les organisations à but non lucratif et les programmes de formation pour le développement de la force de travail. Le coaching de carrière avec l'IA doit être fiable, constant et prévisible. Il n'y a pas beaucoup de tolérance pour les bogues ou les problèmes.

Notre nouvel outil d'IA se connecte aussi à New Relic, où nous effectuons le monitoring des temps de disponibilité, des performances et des temps de réponse. C'est parce que New Relic fonctionne tellement bien que l'entrée dans ces nouveaux domaines a été possible : notre équipe d'ingénierie est en pleine croissance. Elle est passée de 3 ingénieurs clés à 7, mais les nouveaux ingénieurs ne se préoccupent pas du monitoring. Nous maintenons les coûts réduits en permettant à nos développeurs de se concentrer sur les fonctionnalités du produit les plus importantes côté utilisateurs.