Estudo de interface gestual via Alexa como tecnologia complementar ao comando de voz para aplicação em domótica

Abstract

Este trabalho apresenta um estudo de viabilidade técnica para a integração de um sistema de visão computacional com dispositivos de automação residencial, propondo uma tecnologia complementar ou alternativa aos tradicionais comandos de voz em assistentes virtuais como a Alexa, possibilitando seu uso também como tecnologia assistiva. A metodologia envolve a captura de imagens em tempo real via webcam com a biblioteca OpenCV e a extração de características anatômicas da mão pelo framework MediaPipe Hands. Esses dados estruturam um conjunto de dados (dataset) utilizado para o treinamento e otimização de uma rede neural artificial com TensorFlow Lite para execução em tempo real. O sistema interpreta sequências de gestos e converte essas informações em comandos enviados à assistente virtual, permitindo o controle de dispositivos domóticos. Os resultados demonstram-se promissores, evidenciando a viabilidade da solução em ambientes inteligentes e ampliando significativamente a acessibilidade e a autonomia residencial para indivíduos com restrições físicas ou limitações fonoaudiológicas no uso do recurso da voz.

This paper presents a technical feasibility study for the integration of a computer vision system with home automation devices, proposing a complementary or alternative technology to traditional voice commands in virtual assistants such as Alexa, enabling its use also as an assistive technology. The methodology involves real-time image capture via webcam using the OpenCV library and hand anatomical feature extraction through the MediaPipe Hands framework. These data structure a dataset used to train and optimize an artificial neural network with TensorFlow Lite for real-time execution. The system interprets gesture sequences and converts this information into commands sent to the virtual assistant, enabling the control of home automation devices. The results are promising, demonstrating the system's viability in smart environments and significantly expanding accessibility and home autonomy for individuals with physical restrictions or speech-language limitations in using voice resources.