IVLing

IVLing - Intérprete Virtual de Língua Gestual


Luis Miguel Cabrita Romero | romero@estg.ipvc.pt


MAIN GOAL

O projeto IVLinG compreende o desenvolvimento de uma plataforma digital de interpretação de Língua Gestual (LG) que visa agilizar a comunicação entre a população surda e a comunidade ouvinte.









GOALS

Na base desta solução estará um intérprete virtual em tempo real de Língua Gestual Portuguesa (LGP), que irá efetuar o reconhecimento automático de gestos e expressões faciais e corporais. Estes movimentos são posteriormente traduzidos para texto e/ou áudio, sendo que a pessoa ouvinte recebe essa informação no computador. O ouvinte, por sua vez, exprime a sua resposta em linguagem natural (LN) via áudio, que é convertido em texto e traduzido para linguagem gestual. A resposta em LGP é visualizada por meio de um avatar. Este sistema de interpretação virtual terá por base a utilização de câmaras de vídeo que captam todos os movimentos da pessoa que comunica através de LG.









TECHNICAL TEAM
Investigador
Pedro Miguel Teixeira Faria
Investigador
Luis Miguel Cabrita Romero
Datasheet
Project code
068605
intervention region
Nacional
IPVC Financing.
187.751,97 €
Partner Entity

IPVC | Co-beneficiária | 187.751,97 €

start date
2021-01-01
final date
2023-06-30
IPVC reimbursement rate.
75.00%
Total Amount
842.732,01 €
financial support

COMPETE | FEDER | 0,00 €

ACTIVITIES

O problema a resolver pelo IPVC consiste na tradução de LN em LGP. Este processo de tradução envolve dois estágios principais; a tradução da linguagem natural em linguagem gestual através representados por gestos singulares de expressão gestual denominados de glosses. Estes, por sua vez, traduzem termos e expressões definidos na LGP. Cada gloss tem um gesto associado e uma frase consiste num conjunto de glosses sequenciais que representam a expressão gestual dum frase/termo/ideia. Notar que a LGP tem estrutura gramatical própria, pelo que a tradução não é direta. 








>