Amplie a observabilidade full-stack para machine learning com o monitoramento de desempenho do modelo

Publicado 4 min. de leitura
Linhas azuis interconectadas

Hoje, a New Relic está ampliando sua experiência de observabilidade e trazendo uma nova oferta para que as equipes de inteligência artificial (IA) e machine learning (ML) digam adeus à visibilidade fragmentada. Esse novo recurso fornece às equipes de IA/ML e DevOps um local unificado para monitorar e visualizar sinais críticos como recalls, precisão e desempenho do modelo juntamente com aplicativos e infraestrutura. 

Comece a monitorar seu desempenho de ML em minutos. Neste vídeo, veremos como configurar o monitoramento de desempenho do modelo de ML da New Relic para valorizar rapidamente seus aplicativos de IA e ML:

Incorporação dos dados do seu modelo de ML ao New Relic One

Agora, cientistas de dados e engenheiros de IA/ML podem enviar dados de telemetria sobre o desempenho do modelo para o New Relic One e, com integrações com as principais plataformas de operações de machine learning (MLOps), monitorar proativamente problemas nos modelos de ML ainda na produção. Capacite suas equipes de dados com visibilidade total, exibições e painéis personalizados que mostram o desempenho dos seus investimentos em ML na hora.

Visibilidade total para aplicativos com ML

Diferentemente dos softwares comuns, os modelos de IA e ML são baseados tanto em código quanto em dados subjacentes. Como as mudanças no mundo real não param, os modelos desenvolvidos com dados estáticos se tornam irrelevantes ou obsoletos. Monitorar o desempenho de um modelo de ML durante a produção é essencial para continuar oferecendo experiências relevantes para os clientes.

Usando o New Relic One para monitorar o desempenho do seu modelo de ML, suas equipes de desenvolvimento e ciência de dados podem:

  • Usar seus dados de ML ou fazer integrações com plataformas de ciência de dados, monitorando modelos de ML e interdependências com os outros componentes do aplicativo, incluindo infraestrutura, para acelerar a resolução de problemas.
  • Criar painéis personalizados para melhorar e aprofundar os modelos de ML.
  • Aplicar alertas preditivos aos modelos de ML com New Relic Alerts e Applied Intelligence (Inteligência aplicada) para detectar mudanças e incertezas antes que elas afetem os clientes.
  • Analisar dados de telemetria do modelo de ML para descobrir sinais críticos e manter os modelos de alto desempenho.
  • Colaborar em um ambiente de produção e contextualizar alertas, notificações e incidentes antes que eles afetem as operações.
  • Acessar dados que permitem tomar decisões informadas, por exemplo: ampliar iniciativas de inovação, planejar decisões, aumentar a confiabilidade do sistema e melhorar a experiência do cliente.
NEW RELIC ALGORITHMIA INTEGRATION
Algorithmia logo

Incorporação dos dados do seu modelo de ML ao New Relic One

Agora, cientistas de dados e engenheiros de IA/ML podem enviar dados de telemetria sobre o desempenho do modelo para o New Relic One e, com integrações com as principais plataformas de operações de machine learning (MLOps), monitorar proativamente problemas nos modelos de ML ainda na produção. Capacite suas equipes de dados com visibilidade total, exibições e painéis personalizados que mostram o desempenho dos seus investimentos em ML na hora.

Visibilidade total para aplicativos com ML

Diferentemente dos softwares comuns, os modelos de IA e ML são baseados tanto em código quanto em dados subjacentes. Como as mudanças no mundo real não param, os modelos desenvolvidos com dados estáticos se tornam irrelevantes ou obsoletos. Monitorar o desempenho de um modelo de ML durante a produção é essencial para continuar oferecendo experiências relevantes para os clientes.

Usando o New Relic One para monitorar o desempenho do seu modelo de ML, suas equipes de desenvolvimento e ciência de dados podem:

  • Usar seus dados de ML ou fazer integrações com plataformas de ciência de dados, monitorando modelos de ML e interdependências com os outros componentes do aplicativo, incluindo infraestrutura, para acelerar a resolução de problemas.
  • Criar painéis personalizados para melhorar e aprofundar os modelos de ML.
  • Aplicar alertas preditivos aos modelos de ML com New Relic Alerts e Applied Intelligence (Inteligência aplicada) para detectar mudanças e incertezas antes que elas afetem os clientes.
  • Analisar dados de telemetria do modelo de ML para descobrir sinais críticos e manter os modelos de alto desempenho.
  • Colaborar em um ambiente de produção e contextualizar alertas, notificações e incidentes antes que eles afetem as operações.
  • Acessar dados que permitem tomar decisões informadas, por exemplo: ampliar iniciativas de inovação, planejar decisões, aumentar a confiabilidade do sistema e melhorar a experiência do cliente.
O monitoramento está se tornando um dos aspectos cruciais de MLOps e estamos animados com o lançamento da plataforma de observabilidade de IA da New Relic.   Como os casos de uso das empresas são cada vez mais complexos para IA/ML, a observabilidade full-stack para aplicativos com ML é essencial para equipes avançadas que precisam das ferramentas certas para monitorar seus modelos durante a tomada de decisões de produção. A missão da AI Infrastructure Alliance é reunir as estruturas fundamentais mais importantes para os aplicativos de inteligência artificial de hoje e de amanhã, e estamos muito felizes de ter a New Relic conosco.

Agregue valor instantaneamente com telemetria do modelo de machine learning 

Com 100 GB grátis por mês e bibliotecas prontas, você pode importar as inferências do seu modelo de ML e os dados de desempenho diretamente de um notebook Jupyter ou de um serviço na nuvem para o New Relic em minutos para obter métricas, como dados estatísticos e distribuição de recursos e previsões. 

Além disso, o ecossistema open-source da New Relic oferece uma biblioteca de início rápido para você aproveitar instantaneamente seu modelo de ML. Várias integrações para as principais plataformas de ciência de dados, como AWS SageMaker, DataRobot (Algorithmia), Aporia, Superwise, Comet, DAGsHub, Mona e TruEra, incluem painéis de desempenho pré-configurados e outros recursos fundamentais de observabilidade que oferecem visibilidade instantânea dos seus modelos. Com o New Relic One, nunca foi tão fácil aproveitar seu modelo de dados de ML.  

Recomendações ou previsões de ML imprecisas podem custar milhões a uma empresa. O New Relic Model Performance Monitoring permite que as equipes mensurem o desempenho do modelo de ML e tenham o máximo retorno sobre o investimento.

Introdução ao monitoramento de desempenho do modelo de machine learning

Temos o compromisso de elevar a observabilidade à prática recomendada diária para equipes de engenharia. Com o lançamento do New Relic ML Model Performance Monitoring, temos uma plataforma de observabilidade de dados unificada que oferece visibilidade inédita do desempenho de aplicativos baseados em ML para as equipes de DevOps e ML/IA. Ao reunir tudo em um só lugar, a New Relic está expandindo a capacidade de observabilidade para o futuro.

Todas as integrações de observabilidade disponíveis para o New Relic ML Model Performance Monitoring fazem parte do ecossistema New Relic Instant Observability (Observabilidade instantânea da New Relic), com mais ferramentas em desenvolvimento. 

Para obter mais informações sobre como incorporar a telemetria do seu modelo de ML ao New Relic One, confira nossa biblioteca Python e nosso exemplo com um modelo do XGBoost, incluindo uma explicação passo a passo sobre a integração.