Talkbox: tradução de libras com Machine Learning

Abstract

Tendo como objetivo facilitar a inclusão de deficientes auditivos, o projeto consiste no desenvolvimento de um sistema inteligente por meio de rede neural artificial para a detecção e tradução da linguagem brasileira de sinais. Para o desenvolvimento da aplicação foram coletadas imagens por meio de Webcam, sendo a captura e identificação de padrões realizada por aprendizado de máquina (Machine Learning) por meio de biblioteca em OpenCV. Os dados resultantes foram processados e treinados por meio do software TensorFlow Lite que identifica comandos da linguagem brasileira de sinais (Libras). Por fim, a rede neural produzida foi embarcada em sistema microprocessado com placa Raspberry Pi que traduz os comandos e os converte em áudio utilizando a biblioteca Pyttsx3. Foi realizada uma análise da precisão da rede para avaliar a necessidade de um novo treinamento, sendo obtido um desempenho significativamente positivo com a detecção das palavras treinadas.