Integrações para monitorar todo o stack de IA

À medida que as organizações integram a IA em seus stacks tecnológicos para aumentar a eficiência e proporcionar melhores experiências aos clientes, começam a surgir diversas ferramentas para o desenvolvimento e a implantação de aplicativos de IA. Contudo, levar esses aplicativos do protótipo até a produção não é uma tarefa sem desafios. Componentes de IA como grandes modelos de linguagem e bancos de dados vetoriais, apesar de poderosos, podem não ser transparentes e ocasionar problemas como resultados imprecisos e preconceituosos, vulnerabilidades de segurança e novos tipos e quantidades esmagadoras de dados de telemetria para análise.

Para ajudar a resolver esse problema, anunciamos o New Relic AI Monitoring (AIM). Essa solução inovadora oferece visibilidade completa e inigualável de seus aplicativos viabilizados por IA, capacitando você a otimizar o desempenho, a qualidade e o custo no desenvolvimento do seu aplicativo de IA. O New Relic AI Monitoring facilita adoção da IA e dá a confiança para aproveitar todo o potencial da IA para estimular a eficiência e o crescimento da empresa.

Para estender a observabilidade para ferramentas e tecnologias especializadas, desenvolvemos mais de 50 integrações de início rápido para ajudar a fornecer visibilidade pronta para uso de cada camada do seu stack de tecnologia de IA, incluindo:

• Modelos básicos (por exemplo, grandes modelos de linguagem ou LLMs)
• Frameworks de orquestração
• Bibliotecas de ML
• Disponibilização de modelo
• Armazenamento e registros
• Infraestrutura

Framework de orquestração: LangChain

Os frameworks de orquestração, como o LangChain, permitem que os desenvolvedores unam diferentes componentes de um aplicativo de IA, como processamento de dados, invocação de modelo e pós-processamento. Isso facilita a construção e a implantação de aplicativos de IA que sejam modulares, extensíveis e dimensionáveis. 

O LangChain é um framework de orquestração popular porque é flexível e fácil de usar. Ele oferece uma biblioteca de componentes predefinidos que podem ser combinados para criar aplicativos de IA personalizados.

A integração de início rápido do LangChain da New Relic fornece uma visão unificada de todos os componentes do seu aplicativo de IA, incluindo modelos, cadeias e ferramentas. O dashboard de início rápido predefinido exibe os tempos de previsão, o uso de tokens e também detalha o conteúdo de comandos e respostas. Isso permite que você monitore o desempenho e a produtividade, identifique gargalos e otimize o aplicativo para ser mais eficiente. Além disso, a integração pode detectar automaticamente modelos diferentes, como OpenAI e Hugging Face, para que você possa comparar e otimizar os LLMs.

Modelos de IA básicos: OpenAI, Amazon Bedrock, PaLM 2, Hugging Face

Os modelos de IA são algoritmos que foram treinados com dados para realizar tarefas específicas, como reconhecer objetos em imagens, traduzir idiomas ou gerar texto. O OpenAI oferece vários modelos populares de IA generativa, além de APIs que você pode usar para integrar essa funcionalidade a seus aplicativos. A New Relic lançou a primeira integração de observabilidade do OpenAI do setor, que ajuda você a monitorar o uso, analisar o desempenho do modelo e otimizar custos de seus aplicativos OpenAI. Ao adicionar apenas duas linhas de código, você pode ter acesso a importantes métricas de desempenho, como custo, solicitações, tempo de resposta e entradas e saídas de exemplo.

Além disso, o New Relic também está integrado ao Amazon Bedrock, um serviço totalmente gerenciado pela AWS que torna mais acessível a construção e o dimensionamento de aplicativos de IA generativa ao fornecer acesso da API aos modelos básicos de empresas líderes em IA, como AI21 Labs, Anthropic, Cohere e Stability AI. Agora, com a integração do Amazon Bedrock, você pode monitorar facilmente o desempenho e o uso da API do Amazon Bedrock e dos LLMs conectados.

Além disso, se você encadear vários modelos com o LangChain, poderá comparar o desempenho de LLMs em um só dashboard predefinido. Isso inclui integrações com modelos e plataformas populares de hospedagem de modelo, como PaLM 2 e Hugging Face.

Bibliotecas de ML: PyTorch, Keras, TensorFlow, scikit-​​learn

As bibliotecas de machine learning são um componente essencial do stack de IA. Elas fornecem as ferramentas e as bibliotecas de que os desenvolvedores precisam para construir e treinar modelos de IA. O New Relic está integrado a bibliotecas de ML populares, como PyTorch, Keras, TensorFlow e scikit-learn, para lidar com a degradação do modelo por meio do monitoramento de métricas de desempenho e saúde, como latência de inferência, uso de memória e imprecisão de dados. Isso possibilita a detecção precoce e ajuda você a identificar quando deve otimizar as bibliotecas de ML.

Disponibilização de modelo: Amazon SageMaker, Azure Machine Learning

A camada de implantação e disponibilização de modelo é responsável por tornar os modelos de IA disponíveis para os usuários. Ela é responsável por carregar e executar modelos de IA, bem como fornecer uma API ou outro tipo de interface para que os usuários interajam com os modelos. Para lidar com o processo complexo e intensivo de recursos do desenvolvimento de aplicativos de IA, é necessário ter uma plataforma centralizada para gerenciar todo o ciclo de desenvolvimento de IA, do design à implantação. 

Entre as plataformas de IA populares que oferecem essa funcionalidade incluem-se Amazon SageMaker e Azure Machine Learning. As integrações de início rápido do Amazon Sagemaker e do Azure Machine Learning fornecem visibilidade dos trabalhos de treinamento, das invocações de endpoint e da eficiência operacional com alertas e dashboards predefinidos. Ao monitorar métricas principais, como execuções de trabalhos, implantações de endpoint e uso de CPU e GPU, você pode garantir que seus projetos de IA tenham suporte adequado da sua infraestrutura enquanto resolve problemas da experiência do usuário.

Saiba mais sobre a integração do Azure Machine Learning lendo esta publicação do blog.

Armazenamento e registros: Pinecone, Weaviate, Milvus, FAISS

Os aplicativos de IA precisam armazenar e acessar grandes quantidades de dados. Os bancos de dados vetoriais são bancos de dados especializados desenvolvidos para armazenar e consultar dados altamente dimensionais com mais eficiência por meio de pesquisa por semelhança em vez de correspondências exatas. Eles costumam ser usados por aplicativos de IA porque podem reduzir o custo e aumentar a velocidade do treinamento e da implantação de modelos de IA.

Para ajudar a monitorar a saúde do banco de dados, o New Relic fornece dashboards de início rápido predefinidos para várias soluções de registro e armazenamento de dados, como Pinecone, Weaviate, Milvus e FAISS. Além das principais métricas de banco de dados, como latência de execução e resposta, solicitações e uso de espaço em disco, eles também permitem que você monitore métricas específicas dos bancos de dados vetoriais, como desempenho de indexação. Você pode conectar seus dados por meio de cadeias no LangChain ou por meio do endpoint Prometheus do Pinecone.

Infraestrutura: AWS, Azure, Google Cloud Platform, Kubernetes

A infraestrutura de IA é a base para o desenvolvimento e a implantação de aplicativos de IA. Ela inclui GPUs e CPUs poderosas para treinar e implantar modelos de IA, bem como plataformas de computação na nuvem, como AWS, Azure e Google Cloud Platform (GCP), que fornecem uma maneira dimensionável de implantar aplicativos de IA. Para construir, clusterizar e implantar aplicativos de IA são necessários workloads intensivos de computação, é essencial ter visibilidade da sua infraestrutura. Isso significa ser capaz de monitorar seus recursos de computação, como uso de GPU e CPU, bem como os recursos de armazenamento e rede.

O New Relic fornece monitoramento flexível e dinâmico de toda a infraestrutura, seja a partir de serviços executados na nuvem ou em hosts dedicados até contêineres executados em ambientes orquestrados. Você pode conectar a saúde e o desempenho de todos os seus hosts a mudanças no contexto do aplicativo, nos logs e na configuração.

O New Relic oferece uma grande variedade de soluções e integrações de monitoramento de infraestrutura, incluindo:

• Nosso agente de infraestrutura para sistemas operacionais Linux, macOS e Windows.
• Nossas integrações com Kubernetes e Pixie.
• Nossas integrações na nuvem para Amazon, Azure e Google Cloud Platform.
• Nossas integrações com Prometheus.
• Nossas integrações no host para serviços como Apache Spark, MySQL, NGINX, Cassandra e Kafka, entre vários outros. A maioria das integrações no host é instalada com o agente de infraestrutura e trabalha em conjunto com ele para enviar dados.

Trabalhando com as mais recentes tecnologias de IA e machine learning, você pode construir experiências incríveis. Mas como em qualquer experiência de software, sua estratégia de monitoramento é a chave para sempre proporcionar boas experiências do usuário. Com nossas integrações para monitoramento de desempenho do modelo e de IA, o New Relic ajuda você a ganhar visibilidade do desempenho de cada camada do seu stack de IA para identificar com facilidade os problemas de desempenho, custo e qualidade que afetam seus aplicativos de IA.