Estudantes de Curitiba aprimoram luva tradutora de libras

Publicidade

Curitiba

Estudantes de Curitiba aprimoram luva tradutora de libras e usam app para transformar gestos em som

Alex Silveira
Escrito por Alex Silveira

Um projeto de três alunos do curso de Engenharia de Computação Universidade Tecnológica Federal do Paraná (UTFPR), de Curitiba, repaginou a ideia de uma luva que lê sinais de libras para surdos. A novidade é a utilização de um aplicativo de celular que traduz em sons de fala os gestos feitos por quem utiliza a luva. O equipamento mapeia o movimento dos dedos e das mãos e os envia para a letra correspondente no aplicativo do usuário. Eles afirmam se tratar de um produto único no Brasil, capaz de traduzir a linguagem brasileira de sinais. 

“A luva em si não é novidade. Há projetos semelhantes em outros países. No Brasil, também há projetos de luvas, mas nenhum deles utilizou um aplicativo com uso intuitivo e simples. As traduções dos gestos eram feitas em computadores e com o uso de cabos”, explica a estudante Caroline Rosa da Silva, 22 anos, uma das alunos do trio.

Um vídeo sobre o funcionamento da luva foi postado pela Caroline Rosa nas redes sociais. O projeto foi feito para a disciplina de Oficina de Integração 2, entre junho e agosto de 2021. “Buscamos resolver algum problema relevante na sociedade. Optando pelo tema de acessibilidade e deficiência auditiva, surgiu a ideia da luva, pois a maioria dos surdos aprende a ler lábios, mas a maioria das pessoas não é fluente em libras, o que limita a capacidade de comunicação dos deficientes auditivos”, disse a estudante.

Os outros dois alunos do grupo são o Moises de Paulo Dias, 28 anos, e a Bruna Araújo Pinheiro, 21 anos. Cada um ficou responsável por uma parte do projeto. “A Bruna cursou a disciplina de libras. Ela teve bastante contexto sobre o tema com a professora. Isso também nos motivou. E o Moises é o que mais curte essa parte de sistemas. Ele ficou com a parte dos sensores e da placa e a Bruna com o mapeamento das letras e o blog. Eu fiquei com o aplicativo e nos juntamos para montar tudo na luva e testar”, explicou a Caroline Rosa.

Para o futuro, os alunos planejam evoluir com o uso da luva. Por hora, só é possível utilizar a luva na mão direita. “Ela só identifica as letras do alfabeto de libras. Planejamos evoluir o mecanismo de sensores para uma melhor captação do movimento dos dedos e da mão, aplicar técnicas de aprendizagem de máquina para melhorar o processo de identificação dos sinais, incluir outros símbolos e sinais além do alfabeto e adicionar mais funcionalidades no aplicativo”, conta a equipe.

Como funciona a luva

De acordo com os alunos, a luva é composta por um conjunto de sensores, um atuador e um microcontrolador. Os sensores flexíveis (caseiros, feitos pela equipe) captam a dobra de cada um dos cinco dedos. Há também sensores de contato entre o dedo indicador e o dedo do meio e no polegar. Nas costas da mão, fica um módulo giroscópio e acelerômetro, que são sensores capazes de identificar a orientação da mão e movimentos de rotação.

Funcionando em conjunto, segundo os alunos, os sensores conseguem mapear os sinais de cada letra do alfabeto de libras. A leitura desses sensores é realizada pelo ESP32, um microcontrolador que realiza o processo de mapeamento dos sinais em letras do alfabeto, realizando a comunicação via bluetooth com o aplicativo instalado no celular.

“Também há um pequeno motor de vibração na parte do pulso, que é usado para indicar com uma breve vibração cada vez que uma letra é formada pela luva”, explica a Carolina Rosa.

O aplicativo, desenvolvido por eles com o programa React Native para Android, é instalado no celular do usuário e exige que o celular seja pareado com a luva através de bluetooth. Ao iniciar o aplicativo, o usuário precisa fazer o processo de calibragem, para que a leitura dos sensores fique adaptada à mão. Em seguida, o processo de fala pode ser realizado. “O usuário faz o símbolo de uma letra com a mão, a letra é identificada e enviada para o aplicativo via bluetooth, que atualiza a tela exibindo essa letra. Quando o usuário faz o símbolo de quebra de palavra, o aplicativo emite o áudio da palavra formada e armazena o texto na caixa de cima junto com o que já foi soletrado”, explicam.

Divulgação 

No LinkedIn da Caroline Rosa há um texto divulgando o projeto. Lá, ela explica que “Pessoas surdas sofrem diariamente com a falta de intérpretes em situações básicas e locais essenciais, como hospitais e escolas. A principal fonte do problema é que uma parcela minúscula da população compreende a linguagem brasileira de sinais, tornando inviável a comunicação com deficientes auditivos. Mas e se a falta da fluência em libras não fosse um impedimento?”.

Os alunos disseram que ainda não chegaram a pensar em algum pedido de investimento por parte do mercado. “Nada do tipo para agora. Quem sabe com a evolução que planejamos para esse semestre”, apontam. O vídeo completo com detalhes e explicações encontra-se neste link. Há também um blog com o andamento do projeto. Já o repositório com o código do app e do firmware estão neste link.

Sobre o autor

Alex Silveira

Alex Silveira

(41) 9683-9504