O projeto IVLinG compreende o desenvolvimento de uma plataforma digital de interpretação de Língua Gestual (LG) que visa agilizar a comunicação entre a população surda e a comunidade ouvinte.
Na base desta solução estará um intérprete virtual em tempo real de Língua Gestual Portuguesa (LGP), que irá efetuar o reconhecimento automático de gestos e expressões faciais e corporais. Estes movimentos são posteriormente traduzidos para texto e/ou áudio, sendo que a pessoa ouvinte recebe essa informação no computador. O ouvinte, por sua vez, exprime a sua resposta em linguagem natural (LN) via áudio, que é convertido em texto e traduzido para linguagem gestual. A resposta em LGP é visualizada por meio de um avatar. Este sistema de interpretação virtual terá por base a utilização de câmaras de vídeo que captam todos os movimentos da pessoa que comunica através de LG.
IPVC | Co-beneficiária | 187.751,97 €
O problema a resolver pelo IPVC consiste na tradução de LN em LGP. Este processo de tradução envolve dois estágios principais; a tradução da linguagem natural em linguagem gestual através representados por gestos singulares de expressão gestual denominados de glosses. Estes, por sua vez, traduzem termos e expressões definidos na LGP. Cada gloss tem um gesto associado e uma frase consiste num conjunto de glosses sequenciais que representam a expressão gestual dum frase/termo/ideia. Notar que a LGP tem estrutura gramatical própria, pelo que a tradução não é direta.
.