Aprendizado por reforço profundo aplicado à detecção de anomalias

Abstract

A transformação digital e o aumento exponencial no volume de dados gerados diariamente têm impulsionado um cenário global orientado por dados, onde as empresas buscam cada vez mais extrair valor estratégico a partir de grandes conjuntos de informações. Nesse contexto, técnicas de aprendizado de máquina e redes neurais se tornaram ferramentas essenciais para processar e interpretar esses dados de forma eficiente. Nesse cenário, a detecção de anomalias, crucial para identificar padrões incomuns, desempenha um papel fundamental e destaca-se como uma das áreas de maior relevância. Visando a investigação e identificação de comportamentos anômalos em séries temporais, este trabalho estuda a aplicação de redes neurais profundas aliadas a técnicas de aprendizado por reforço. Entre as técnicas estudadas, destaca-se o Double Deep Q-Network (DDQN), que se mostra eficaz em cenários que demandam a generalização de grandes volumes de dados. Particularmente, utilizando o conjunto de dados Numenta Anomaly Benchmark (NAB), este trabalho de conclusão de curso explora dados reais e investiga o potencial do DDQN para detectar anomalias. Os resultados reforçam não apenas a contribuição acadêmica dessa abordagem, mas também seu impacto prático no desenvolvimento de soluções robustas para problemas críticos em ambientes dinâmicos e complexos.

The digital transformation and the exponential growth of data generated daily have driven a global data-driven landscape, where companies increasingly seek to extract strategic value from large datasets. In this context, machine learning techniques and neural networks have become essential tools for efficiently processing and interpreting data. Anomaly detection, crucial for identifying unusual patterns, plays a fundamental role and is a highly relevant research area. To investigate and identify anomalous behaviors in time series, this work explores the application of deep neural networks combined with reinforcement learning techniques. Among the studied approaches, the Double Deep Q-Network (DDQN) stands out as an effective method in scenarios requiring the generalization of large datasets. Using the "Numenta Anomaly Benchmark" (NAB) dataset, this study investigates the effectiveness of DDQN for anomaly detection. The results highlight not only the academic contribution of this approach but also its practical impact on developing robust solutions for critical problems in dynamic and complex environments.