Realidade aumentada interativa na Indústria 4.0: monitoramento e ajuste de parâmetros em tempo real

Abstract

A Realidade Aumentada permite apresentar informações contextualizadas direta- mente sobre equipamentos industriais, reduzindo a necessidade de consulta a in- terfaces externas ao processo observado. Este trabalho desenvolveu uma interface homem-máquina aumentada e interativa para monitoramento, supervisão de falhas e ajuste de parâmetros do torno didático MIRAC PC, integrado ao LinuxCNC e ao CLP Siemens S7-1200. A solução adotou uma arquitetura distribuída composta por uma aplicação web progressiva executada em dispositivo móvel, um backend local e uma camada intermediária de comunicação industrial via Modbus TCP. O vídeo perma- neceu no dispositivo cliente, enquanto quadros pontuais foram enviados por HTTPS para análise. O backend retornou respostas estruturadas em JSON, utilizadas pelo frontend para renderizar localmente elementos de sobreposição associados a com- ponentes, estados, comandos e indicações de falha. A identificação visual dos com- ponentes foi realizada sem marcadores artificiais fixados à máquina, utilizando um modelo YOLOv8n treinado com imagens do equipamento e combinado a um meca- nismo leve de rastreamento em OpenCV. A interação do operador foi estruturada por menus contextuais, gestos configuráveis e comandos por voz com reconhecimento offline, todos encaminhados a um fluxo comum de validação e confirmação. Na vali- dação offline, o detector apresentou precisão de 0,917, revocação de 0,907, F1-score de 0,912, mAP50 de 0,955 e mAP50-95 de 0,748. Nos ensaios operacionais, a solu- ção registrou latência percebida média de 114,37 ms, continuidade visual de 60,67% e taxa de sucesso de 100,00% nas operações de comunicação industrial avaliadas. Os resultados constituem evidências exploratórias da viabilidade da arquitetura para integrar reconhecimento visual, dados industriais, supervisão contextual e interação do operador em uma interface aumentada acessível por dispositivos móveis.Augmented Reality enables contextualized information to be displayed directly over in- dustrial equipment, reducing the need to consult interfaces external to the observed process. This study developed an interactive augmented human-machine interface for monitoring, fault supervision, and parameter adjustment of a didactic MIRAC PC lathe integrated with LinuxCNC and a Siemens S7-1200 PLC. The solution adopted a dis- tributed architecture composed of a progressive web application running on a mobile device, a local backend, and an intermediate industrial communication layer based on Modbus TCP. Video remained on the client device, while individual frames were sent through HTTPS for analysis. The backend returned structured JSON responses, which were used by the frontend to render overlay elements locally associated with com- ponents, states, commands, and fault indications. Visual identification of components was performed without artificial markers attached to the machine by using a YOLOv8n model trained with images of the equipment and combined with a lightweight OpenCV tracking mechanism. Operator interaction was structured through contextual menus, configurable gestures, and voice commands with offline recognition, all routed through a common validation and confirmation flow. In offline validation, the detector achieved a precision of 0.917, recall of 0.907, F1-score of 0.912, mAP50 of 0.955, and mAP50-95 of 0.748. During operational tests, the solution achieved an average perceived latency of 114.37 ms, visual continuity of 60.67%, and a success rate of 100.00% for the evalu- ated industrial communication operations. The results provide exploratory evidence of the feasibility of the architecture for integrating visual recognition, industrial data, con- textual supervision, and operator interaction into an augmented interface accessible through mobile devices.