Utilização de aprendizado reforçado para o controle de um sistema carro-pêndulo

Abstract

O sistema carro-pêndulo é um dos problemas mais utilizados didaticamente para apresentação contextual de vários algoritmos de sistemas de controle, como PID e LQR. Porém, com o avanço do campo de inteligência artificial, agora é possível a utilização de algoritmos de aprendizado reforçado para a resolução de problemas clássicos de controle. A ideia dentro do campo de aprendizado reforçado, é ensinar o modelo a aprender sua própria lei de controle, pensando em termos de controle. O sistema interage com seu ambiente, e por meio de recompensas, sabe se suas ações refletem em um bom estado final. Assim como uma criança aprende interagindo com seu ambiente, é assim que os algortimos de aprendizado reforçado tiram sua inspiração. O trabalho faz a simulação de um pêndulo invertido dentro da plataforma Unity3D e por meio do pacote ML-Agents, faz com que o pêndulo aprenda a manter sua estabilidade. Os resultados obtidos do trabalho são satisfatórios, mostrando possível a simulação de um sistema carro-pêndulo de acordo com o esperado fisicamente, além de mostrar que é possível treinar o pêndulo para se manter estável mesmo com modificações de parâmetros.

The cart-pole system is one of the most used problems for contextual presentation of several control system algorithms, such as PID and LQR. However, with the advancement of the field of artificial intelligence, now is possible to use reinforcement learning algorithms to solve classical control problems. The idea within the reinforcement learning field is to teach the model to learn its own law of control, thinking in terms of control. The system interacts with its environment, and through rewards, it knows if its actions reflect a good final state. Just as a child learns by interacting with his environment, this is how reinforced learning algorithms draw inspiration. The work simulates an inverted pendulum within the Unity3D platform and, through the ML-Agents package, makes the pendulum learn to maintain its stability. The results obtained from the work are satisfactory, showing that it is possible to simulate a cart-pole system as expected physically, in addition to showing that it is possible to train the pendulum to keep it stable even with parameter modifications after the training.