Desenvolvimento de um sistema de karaokê baseado em inteligência artificial: separação automática de voz e geração de legendas utilizando modelos pré-treinados

Abstract

A convergência entre o Processamento Digital de Sinais e o aprendizado profundo tem possibilitado a automação de tarefas complexas na engenharia de áudio, como o desenvolvimento de sistemas de karaokê. Este trabalho aborda a implementação de um fluxo automatizado para a separação de fontes musicais e a geração de legendas sincronizadas a partir de gravações comerciais. O modelo Mel-Band RoFormer é utilizado para a decompor o sinal em faixas vocal e instrumental, empregando mecanismos de atenção hierárquica e a escala Mel para garantir fidelidade perceptiva. Para a transcrição e sincronização, aplica-se o modelo Whisper. Um aspecto central do desenvolvimento envolveu a configuração de ambientes computacionais distintos, a etapa de separação de fontes utilizou aceleração por hardware (GPU) via CUDA para otimizar o tempo de inferência, enquanto a geração automática de legendas foi executada exclusivamente em CPU. Os resultados indicam um ganho de desempenho (speedup) médio de 2,68 vezes na etapa de separação ao utilizar a GPU. As legendas geradas apresentaram taxas de erro (WER e CER) variáveis conforme a complexidade da faixa, mas mantiveram a legibilidade necessária para a aplicação de karaokê na maioria dos cenários. A integração de modelos pré-treinados de aprendizado profundo é uma alternativa viável para a automação da produção de conteúdos musicais, reduzindo drasticamente o esforço manual tradicional, embora o tempo de processamento ainda represente um desafio para aplicações voltadas ao tempo real

The convergence between Digital Signal Processing and deep learning has enabled the automation of complex tasks in audio engineering, such as the development of karaoke systems. This work addresses the implementation of an automated workflow for music source separation and synchronized lyrics generation from commercial recordings. The Mel-Band RoFormer model is used to decompose the signal into vocal and instrumental tracks, employing hierarchical attention mechanisms and the Mel scale to ensure perceptual fidelity. For transcription and synchronization, the Whisper model is applied. A central aspect of the development involved the configuration of distinct computational environments, the source separation stage utilized hardware acceleration (GPU) via CUDA to optimize inference time, while the automated lyrics generation was executed exclusively on CPU. The results indicate an average performance gain (speedup) of 2.68 times in the separation stage when using the GPU. The generated lyrics presented varying error rates (WER and CER) depending on the track's complexity, yet maintained the necessary legibility for karaoke application in most scenarios. The integration of pre-trained deep learning models is a viable alternative for automating the production of musical content, drastically reducing traditional manual effort, although processing time still represents a challenge for real- time applications.