Como a IA Generativa (GenAI) transforma o setor de observabilidade

Nos últimos 40 anos, vi três tecnologias verdadeiramente disruptivas: a World Wide Web no início da década de 1990, a apresentação de Steve Jobs para lançar o iPhone em 2007 e, no fim de 2022, o ChatGPT, hoje o aplicativo com crescimento mais rápido na história.

Todas essas três tecnologias têm um traço em comum: são fractais de inovação ilimitada. Em outras palavras, quanto mais você examina, mais você pensa sobre como elas podem ser aplicadas a setores, empresas e casos de uso diferentes, maior é o número de ideias que são geradas e as ideias parecem não ter fim. A inovação sem limites leva a oportunidades massivas de criação de valor, como os trilhões de dólares em valor para acionistas que foram realizados nas décadas que se seguiram ao lançamento da Web e do iPhone.

O ritmo de inovação continua a aumentar, estimulado pela própria inovação, criando um ciclo virtuoso de aceleração. Tenha em mente que a World Wide Web precisou de sete anos para alcançar 100 milhões de usuários, a app store do iPhone mais de 2 anos enquanto o ChatGPT apenas dois meses.

Quando a Web e o iPhone surgiram, eles forçaram as empresas a adotar novas maneiras de interagir com seus clientes investindo em sites e aplicativos para celulares e também reimaginando processos de negócios. Isso criou oportunidades para empresas como a New Relic para ajudar o mundo a construir aplicativos melhores. De maneira semelhante à Web e ao iPhone, o potencial de tecnologias de IA está fazendo com que as empresas trabalhem arduamente e ajam com rapidez para elaborar sua estratégia de IA. A New Relic está bem posicionada para ajudá-las.

O que é observabilidade de IA?

Observabilidade de IA é a capacidade de monitorar, medir e entender o comportamento e o desempenho de sistemas de inteligência artificial (IA) em tempo real. É um conceito que ganhou destaque à medida que os sistemas de IA se tornaram mais complexos e integrados a vários aplicativos e setores. 
A capacidade da IA de analisar e dar sentido a grandes quantidades de dados tem um impacto profundo no monitoramento. A IA no monitoramento pode ser usada para detectar com mais precisão anomalias e comportamentos que indicam ameaças. Ela também pode ser usada para gerar insights preditivos com base em dados históricos, bem como automatizar tarefas de rotina para dar às equipes mais tempo para cuidar de problemas mais complexos. 

Monitoramento é um subconjunto da observabilidade. Por extensão, o objetivo da IA na observabilidade é fornecer insights sobre o funcionamento interno dos modelos de IA, ajudando desenvolvedores, cientistas de dados e operadores a identificar e resolver problemas, otimizar o desempenho e garantir a confiabilidade e a robustez dos sistemas de IA.

Por que a observabilidade de IA é importante?

A observabilidade da IA é crucial por vários motivos, especialmente porque os sistemas de IA são essenciais para várias aplicações e indústrias. Estes são os principais motivos pelos quais a observabilidade da IA é essencial:

Monitoramento e otimização do desempenho

A observabilidade de IA permite o monitoramento contínuo de métricas de desempenho importantes, como precisão, latência e utilização de recursos. Entender o desempenho dos modelos de IA em cenários do mundo real ajuda as organizações a aumentar a eficiência e oferecer melhores experiências ao usuário.

Detecção e resolução de problemas

O monitoramento e registro em log em tempo real permitem a detecção rápida de problemas ou anomalias nos sistemas de IA. Com logs e métricas detalhados, desenvolvedores e operadores podem solucionar problemas, identificar causas-raiz e implementar soluções oportunas. 

Robustez e confiabilidade aprimoradas

A observabilidade de IA contribui para a robustez e confiabilidade dos sistemas de IA ao fornecer insights sobre seu comportamento sob condições diferentes. Isso é particularmente importante em ambientes dinâmicos onde distribuições de dados podem mudar ao longo do tempo. Entender como modelos respondem às variações nos dados de entrada ajuda a garantir que os sistemas de IA mantenham um desempenho preciso e confiável.

Conformidade e governança

Recursos de observabilidade, como rastreabilidade e explicabilidade, ajudam as organizações a cumprir requisitos regulatórios e de conformidade. Ser capaz de rastrear o fluxo de dados pelo sistema de IA e fornecer explicações para as decisões do modelo é essencial para garantir transparência e responsabilidade, especialmente em setores com frameworks regulatórios rígidos.

Resposta rápida às mudanças

À medida que os sistemas de IA evoluem e se adaptam a novos dados, observar seu comportamento se torna essencial para a adaptação a mudanças. A observabilidade de IA permite que as organizações respondam rapidamente a mudanças nos padrões de dados, imprecisões de modelo ou mudanças no ambiente. Essa agilidade é crucial para manter a eficácia dos aplicativos de IA ao longo do tempo.

Desafios da observabilidade de IA

A observabilidade de IA é desafiadora por muitos motivos, que incluem complexidade de dados, distorção de dados, preconceito, imprecisão de modelo (ou obsolescência), entre outros.

• Complexidade de dados: é necessária uma quantidade enorme de dados para gerar modelos de IA. Por outro lado, os sistemas de IA geram grandes quantidades de diferentes tipos de dados, que devem ser analisados e interpretados para monitorar o desempenho da IA e prever problemas.
• Distorção de dados:  a distorção de dados ocorre quando os dados usados para inferência não refletem mais os dados de treinamento do modelo. Essa incompatibilidade ocorre por vários motivos, incluindo dependências de dados, como evolução do comportamento do usuário e tendências sazonais, ou problemas de integridade de dados, como dados corrompidos, ausentes ou inconsistentes. 
• Preconceito: preconceito em dados de treinamento pode levar a resultados imprecisos. O preconceito pode ter um impacto negativo na imparcialidade e precisão das decisões de IA a partir de inferência. 
• Falta de padronização: com o caráter novo e a rápida evolução da IA e da observabilidade de IA, padrões universalmente aceitos para rastreio de métricas de IA demoram a ser estabelecidos. Isso dificulta a comparação de diferentes modelos e o acompanhamento eficaz do progresso.
• Necessidade de integração: equipes e departamentos de engenharia geralmente trabalham com suas ferramentas de IA com base em iniciativas ou simples preferências; garantir a compatibilidade e o fluxo de dados bidirecional adequado para essas ferramentas torna-se uma necessidade para garantir um ambiente coeso e holístico, sem interrupções no processo ou período de inatividade desnecessário alternando entre ferramentas. 

Essas são características dos sistemas de IA, que apresentam um fluxo de sistema diferente em comparação às práticas estabelecidas de DevOps. Ferramentas de observabilidade tradicionais podem não ser capazes de rastrear e prever o desempenho e a confiabilidade dos sistemas de IA. 

Observabilidade de IA x observabilidade tradicional: qual é a diferença?

Observabilidade de IA é a capacidade de monitorar, medir e entender o comportamento e o desempenho de sistemas de inteligência artificial (IA) em tempo real. A IA observável requer uma abordagem diferente para monitoramento e análise de IA. O conjunto de ferramentas DevOps atual evoluiu ao longo do tempo com abordagens padronizadas para observabilidade de ponta a ponta. Os pipelines de IA devem ter o mesmo nível de observabilidade. Os dados de IA, no entanto, são bem diferentes dos dados de observabilidade tradicionais, exigindo novas ferramentas para monitoramento de IA. 

Sistemas de IA têm seu próprio conjunto de dados observáveis de IA para rastrear além das métricas de infraestrutura. Esses dados levam a uma compreensão crítica da precisão do modelo, da latência de previsão e da integridade do pipeline de dados. A observabilidade de IA deve rastrear ações por todo o pipeline para medir distorção de dados, preconceito e desatualização do modelo, prevendo a ocorrência de problemas e a necessidade de novo treinamento dos modelos. 

GenAI e a indústria de observabilidade

A GenAI se refere a modelos de inteligência artificial que podem gerar novos dados com base em padrões existentes. Esses modelos podem criar qualquer coisa, desde imagens realistas até texto coerente, revelando um universo de possibilidades em diversos setores. Eles também sintetizam e entendem dados em um ritmo e uma escala de magnitude muitas vezes mais eficiente do que as soluções já existentes.

À medida que testemunhamos o avanço rápido da GenAI, torna-se crucial para o setor de observabilidade se adaptar e evoluir para enfrentar novos desafios e aproveitar novas oportunidades. Estas são duas das principais maneiras como a IA generativa vai moldar o setor de observabilidade.

1. A GenAI vai mudar o modo como entregamos insights acionáveis.

Como criadores do primeiro assistente de observabilidade com IA generativa do mercado, entendemos a necessidade de uma tecnologia de IA composta que permita à GenAI analisar grandes quantidades de dados de forma rápida e eficiente, permitindo que as empresas tomem decisões mais informadas. Com isso, as empresas vão poder resolver possíveis gargalos e otimizar seus sistemas de software para ter o melhor desempenho.

A GenAI também pode automatizar tarefas repetitivas e otimizar fluxos de trabalho, simplificando o processo de observabilidade e poupando tempo e recursos valiosos.

A GenAI pode simplificar drasticamente o acesso a insights profundos, eliminando a exigência de conhecimento especializado de interfaces de consulta sofisticadas, democratizando o poder da observabilidade para todos os desenvolvedores, SREs, gerentes de produtos, engenheiros de controle de qualidade e até mesmo executivos de linha de negócios/alto escalão (C-suite).

Trabalhando em conjunto com a GenAI, New Relic oferece integrações de agentes poderosas, fornecendo um sistema de inteligência que traz insights de observabilidade e automação diretamente para as ferramentas e interfaces com as quais os usuários preferem trabalhar. Por exemplo, a integração de agentes da New Relic com ServiceNow vai além de uma simples extração de dados de API para fornecer insights profundos e essenciais, além de recomendações inteligentes para as ferramentas e fluxos de trabalho nos quais os clientes ServiceNow trabalham. Empresas que adotam New Relic e ServiceNow podem automatizar fluxos de trabalho de negócios, maximizar o tempo de operação dos negócios e tomar decisões mais inteligentes a partir de insights em tempo real.

New Relic AI, nosso assistente GenAI na plataforma, trabalha com o ServiceNow para identificar, priorizar e abordar o impacto e a causa-raiz dos problemas em seu cenário digital. A New Relic leva os dados de produção em tempo real, como erros, logs, traces, vulnerabilidades de segurança e alertas, diretamente às experiências e aos fluxos de trabalho do ServiceNow. Todas as informações e insights serão apresentados diretamente nas interfaces do ServiceNow em linguagem natural, eliminando a troca de ferramentas, desbloqueando o acesso para qualquer usuário e acelerando a resolução de problemas. New Relic e ServiceNow fornecem aos usuários relatórios de inteligência de alerta que contêm análises de impacto de alerta e teorias de causa provável com base em análises profundas da integridade de um aplicativo. Usuários também podem consultar serviços, hosts e componentes de sistema específicos quanto a insights de desempenho a partir de dados do desempenho atual e compará-los com as tendências históricas e práticas recomendadas.

A integração de agentes da New Relic com ServiceNow capacita as empresas atuais a transformar dados críticos de negócios em insights. Os melhores agentes com IA da categoria trazem observabilidade inteligente ao Now Assist, resultando em:

• Decisões mais inteligentes: fornece insights integrados e acionáveis de todos os dados de TI e negócios
• Eficiência aprimorada: automatiza tarefas e processos complexos
• Colaboração inteligente: consolida e prioriza equipes, ferramentas e interfaces 

Ao integrar esses recursos de IA à nossa Plataforma de Observabilidade Inteligente, ajudamos as empresas a otimizar seus sistemas de software e reduzir o tempo gasto no diagnóstico e na resolução de problemas.

2. As empresas vão precisar desenvolver suas próprias estratégias de IA para se manterem competitivas.

Assim como a Web e os smartphones tornaram-se essenciais para as estratégias de negócios modernas, em breve a GenAI vai se tornar uma parte integral do plano de crescimento de toda empresa. Com isso, as organizações vão precisar se adaptar e inovar para se manterem competitivas nessa nova era da tecnologia movida por IA ou vão correr o risco de ficarem para trás.

À medida que as empresas correm para implementar funcionalidades de GenAI, elas vão precisar investir em produtos de observabilidade para manter e monitorar essas novas funcionalidades. Prompt engineering, grandes modelos de linguagem concorrentes, ajuste fino e loops de feedback são componentes essenciais para proporcionar uma experiência de usuário excepcional. Cada um desses avanços também vai estimular a demanda por soluções de observabilidade avançadas para enfrentar os desafios específicos apresentados pelas tecnologias movidas por IA.

Como a New Relic transforma a observabilidade de IA

Ao contrário dos aplicativos tradicionais, a observabilidade de IA exige visibilidade em um stack de tecnologia mais amplo:

• Infraestrutura: monitoramento de computação especializada (CPUs, GPUs, TPUs) em ambientes potencialmente distribuídos.
• Dados: acompanhamento da saúde e do desempenho do armazenamento de dados, incluindo bancos de dados vetoriais para modelos de IA.
• Modelo: observação do desempenho, imprecisão, preconceito e explicabilidade do modelo.
• Orquestração: monitoramento da implantação e dimensionamento de fluxos de trabalho de IA e ciclo de vida do modelo.
• Aplicativo: análise do desempenho tradicional junto com interações específicas de IA e seu impacto.

Fundamentalmente, a observabilidade de IA vai além das métricas padrão para abranger indicadores de precisão, segurança e confiabilidade exclusivos de aplicativos de IA. Abordar essas complexidades é vital para o futuro da IA.

O New Relic AI Monitoring oferece visibilidade abrangente e completa de todo o seu stack de aplicativos de IA para otimizar o desempenho, a qualidade e o custo. Recursos importantes incluem:

• Configuração rápida e fácil com instrumentação automática
• Resolução de bugs rápida com visibilidade total do stack de IA 
• Tracing de resposta de ponta a ponta para entender todo o ciclo de vida da interação da IA
• Comparações de desempenho e custos para escolher o modelo ideal
• Mais de 50 integrações em todo o ecossistema de IA

Esta solução oferece aos SREs e engenheiros de dados de IA visibilidade e insights sobre todo o seu stack de IA para que possam criar e executar aplicativos de IA seguros, protegidos e responsáveis com confiança.

Incorporando a inovação e nos preparando para a mudança na era da IA 

Todo setor da economia está sendo transformado pelo poder da IA generativa. Os governos estão percebendo, os investidores estão financiando projetos de inovação por IA e as novas interfaces de linguagem natural estão redefinindo o modo como nos relacionamos com as máquinas. Surgirão novas startups que vão reimaginar o que pode ser feito com a IA generativa e sua trajetória evolucionária, e vão causar ainda mais disrupção para os líderes de mercado, que serão obrigados a encarar escolhas difíceis sobre a sustentabilidade de seus modelos de negócio atuais. 

À medida que mergulhamos nessa nova onda de inovação, é essencial que as empresas de observabilidade se mantenham na linha de frente dessa mudança tecnológica, ajudando a impulsionar o crescimento e a adoção da mudança enquanto essa transformação digital acelera todos os setores da economia. Aqueles que dominarem a aplicação dessa tecnologia serão os novos líderes de mercado, e aqueles que resistirem ficarão para trás. Isso vai levar à Grande Reorganização nos próximos anos, e as abordagens viabilizadas por IA vai estabelecer o novo ranking.

O poder transformador da IA generativa é inegável, e seu potencial para remodelar a observabilidade, especificamente quando combinada com outras tecnologias de ponta do setor, é imenso. As empresas de observabilidade ingerem quantidades gigantescas de dados e fornecem análises, relatórios e alertas que ajudam seus clientes a identificar padrões, anomalias e previsões a partir desses dados. Isso é o que os modelos de IA foram desenvolvidos para fazer melhor que os humanos, e os mecanismos que viabilizam esses modelos, e os modelos propriamente ditos, estão ficando exponencialmente mais rápidos e mais poderosos. A IA inevitavelmente vai desempenhar um papel central na observabilidade e os clientes vão exigir funcionalidades que só poderão ser fornecidas por soluções de observabilidade viabilizadas por IA. Com a integração das funcionalidades de IA às nossas ofertas e o desenvolvimento de soluções de observabilidade adaptadas, esperamos estar na liderança para levar a observabilidade para sua próxima fase, expandindo seu alcance e sua importância no ciclo de vida do desenvolvimento de software.

A IA Generativa já está moldando os negócios, a cultura, a criatividade e a comunicação. Ela está presente em cada aspecto das nossas vidas. E à medida que faz isso, ela também vai moldar o setor de observabilidade. Ao adotar essa tecnologia e seu enorme potencial, podemos promover um mundo mais conectado, eficiente e inovador para todos.