Dispositivo didático infantil para aprendizado da língua brasileira de sinais com redes neurais artificiais

Abstract

Artificial Intelligence is becoming increasingly widespread in the routine of Brazilians, and even deeper studies of Artificial Neural Networks are being sponsored for the computational simulation of human cognitive capacity. Along with this, the field of Assistive Technology is a segment of science that aims to utilize technological developments to meet the needs of people with disabilities, with the hearing-impaired public, who communicate through Brazilian Sign Language (LIBRAS), being one of the most in need of the numerous benefits that society promises to offer to everyone and that are worthy of any individual, such as education in schools from childhood, assistance with labor opportunities, in social interactions, and especially in communication. Therefore, through the use of Artificial Intelligence, the objective of this work was to develop a computational algorithm, based on the methods of Recurrent Neural Networks and LSTM, which have memory cells, for the recognition of sequential and moving signals of LIBRAS, presenting it in the form of an application compatible with any cellphone, for children to interact and learn the language from an early age in a natural way, promoting the educational, social, and labor inclusion of hearing-impaired people in Brazil. Knowing that, it was necessary to follow a sequence of eight processes, which were the analysis and definition of the simplest, childish, and trivial signals in LIBRAS, the choice of Python as the programming language, preparation of the programming environment, coding using Image Processing and TensorFlow library, data collection through a camera to record the signals, training of the LSTM Neural Network, and validation of the results. It was achieved a precision above 80% for all signals, consequentially, ensuring an excellent system functionality and making it possible to move forward as a LIBRAS learning application for thousands of people.

A Inteligência Artificial está cada vez mais difundida na rotina dos brasileiros e estudos ainda mais profundos de Redes Neurais Artificiais são patrocinados para a simulação computacional da capacidade cognitiva dos seres humanos. Associado a isso, a esfera da Tecnologia Assistiva é um segmento da ciência que visa usufruir de desenvolvimentos tecnológicos para suprir e atender as necessidades de pessoas com deficiência, sendo o público deficiente auditivo, que se comunica por meio da Língua Brasileira de Sinais, um dos que mais carecem de inúmeros proveitos que a sociedade promete oferecer para todos e que são dignos de qualquer indivíduo, como o estudo nas escolas desde a infância, auxílio em oportunidades no mercado de trabalho, nas interação sociais e, principalmente, na comunicação. Portanto, por meio do uso da Inteligência Artificial, o objetivo deste trabalho foi desenvolver um algoritmo computacional, baseado nos métodos de Redes Neurais Recorrentes e LSTM, que possuem células de memória, para reconhecimento de sinais sequenciais e em movimento da LIBRAS, apresentando-o em forma de aplicativo compatível com qualquer celular, para as crianças interagirem e aprenderem a língua desde pequenas de forma natural, promovendo a inclusão educacional, social e laboral das pessoas deficientes auditivas no Brasil. Sabendo disso, foi necessário o seguimento de uma sequência de oito de processos, sendo eles a análise e definição dos sinais mais simples, infantis e triviais em LIBRAS, a escolha de Python como a linguagem de programação, a preparação do ambiente de programação, a codificação utilizando o Processamento de Imagens e a biblioteca TensorFlow, a coleta de dados através de uma câmera para a gravação dos sinais, o treinamento da Rede Neural LSTM, e a validação dos resultados. Foi alcançada uma precisão para todos os sinais superior a 80%, garantido um ótimo funcionamento do sistema e possibilitando levá-lo adiante como um aplicativo de aprendizado de LIBRAS para milhares de pessoas.