MoVEROffice - Laboratório de Aplicações de Informática em Saúde

MoVEROffice: Virtual Reality for upper limbs rehabilitation
MoVEROffice: Realidade Virtual na reabilitação de membros superiores
Renan V. Aranha, Luciano V. Araújo, Carlos B. M. Monteiro, Talita D. da Silva, Fátima L. S. Nunes
Laboratório de Aplicações de Informática em Saúde - LApIS
Escola de Artes, Ciências e Humanidades - EACH
Universidade de São Paulo - USP
São Paulo - São Paulo - Brasil
[email protected], [email protected], [email protected], [email protected], [email protected]
Abstract—Considering the complexity involved in the
motor rehabilitation process, this paper presents the
development of a serious game with virtual reality and
natural interaction to act as a support tool for physical
therapy professionals. The objective of the developed
application is to enable that patients acquire skill in
performing tasks in the virtual environment to transfer
them later to the real environment. An experiment was
conducted to compare the performance of people with
and without mobility limitations in the use of the virtual
environment. The results showed that the time spent
for performing tasks tend to be reduced when the users
familiarize them selves with natural interaction, and size
and position of objcts have influence in the interaction. The
study allowed inferring in this sample evaluated that the
motor limitations of the patients did not have influence in
the performance of the volunteers.
Keywords-Virtual Reality, Natural Interaction, Serious
Game, Virtual Rehabilitation.
Resumo—Considerando a complexidade que envolve o
processo de reabilitação motora, este trabalho apresenta o
desenvolvimento de um jogo sério com realidade virtual e
interação natural para atuar como ferramenta de apoio
aos profissionais de fisioterapia. O objetivo da aplicação
desenvolvida é possibilitar que os pacientes adquiram habilidade na realização de tarefas no ambiente virtual para
realizá-las posteriormente no ambiente real. Foi realizado um
experimento para comparar o desempenho de pessoas com e
sem limitações motoras na utilização do ambiente virtual. Os
resultados apontaram que o tempo de realização das tarefas
tende a ser reduzido à medida que os usuários se acostumam
com a interação natural, e que o tamanho e a posição dos
objetos exercem influência na interação. O estudo permite
inferir ainda que, na amostra utilizada, as limitações motoras
não influenciaram o desempenho dos voluntários
Keywords-Realidade Virtual, Interação Natural, Gameterapia, Reabilitação Virtual
I. I NTRODUÇ ÃO
Segundo a Organização Mundial de Saúde (OMS), mais
de um bilhão de pessoas no mundo têm algum tipo de
deficiência e, destas, aproximadamente 200 milhões têm
comprometimento considerável no movimento e, consequentemente, na funcionalidade, que é a capacidade do
indivı́duo de realizar uma tarefa do dia a dia de forma
adequada. Este comprometimento causa limitação nas
atividades e restrição na participação destes sujeitos, o
que gera exclusão dos mesmos de atividades de lazer,
estudo, trabalho, entre outras. Para melhorar esta situação,
os programas de reabilitação fazem parte da rotina das
pessoas com deficiência [1].
O processo de reabilitação motora é, portanto, uma
etapa fundamental para que pessoas acometidas por diferentes doenças ou acidentes recuperem ou melhorem
seus movimentos e, consequentemente, tenham melhor
qualidade de vida [2] [3]. No entanto, tal processo é
marcado por algumas dificuldades enfrentadas pelos pacientes, como a sensação de dor durante a realização
dos movimentos e a elevada quantidade de repetição dos
exercı́cios, que fazem com que grande parte dos pacientes considere o processo desinteressante e desmotivador
[4]. Tais caracterı́sticas, juntamente com outras limitações
como um quadro de depressão, por exemplo, tendem a
contribuir para uma alta taxa de abandono do tratamento,
o que é grave, já que esses pacientes precisam se reabilitar
[5].
Dentre as estratégias utilizadas para a manutenção do interesse do paciente no processo de reabilitação, destacamse os jogos, que têm se apresentado como uma importante
ferramenta para reverter este cenário [6]. A principal
vantagem da utilização dos jogos é a possibilidade de
tornar o processo de reabilitação motora mais atrativo
[7] e, consequentemente, promover maior engajamento
nos pacientes. Isso ocorre porque os jogos despertam
nos usuários a competitividade, fazendo-os ter ânsia de
cumprir os desafios propostos para, por exemplo, ganharem mais pontos [8]. Este tipo de jogo, cuja finalidade
extrapola a ideia central de entretenimento, é denominado
jogo sério (em tradução livre do Inglês, serious games). De
acordo com [9], um jogo sério deve transmitir experiências
adicionais ao usuário, ou seja, além de entreter, ele deve
possibilitar que o jogador adquira algum conhecimento ou
capacidade.
A Realidade Virtual (RV) tem sido utilizada há tempos para oferecer ambientes virtuais tridimensionais em
diversas áreas de aplicação, como ensino, treinamento,
tratamento de fobias, entre outras [10]. Entre as inúmeras
vantagens de sua utilização, destacam-se a possibilidade de
criar diferentes cenários e de transportar os usuários para
estes mundos virtuais, muitas vezes distraindo-os durante
procedimentos dolorosos [11], além de evitar situações que
causem medo ou pânico nos usuários, como em situações
de tratamento de fobias [12]. Por estas razões, a utilização
de RV no processo de reabilitação motora, assim como os
jogos sérios, tende a contribuir significativamente para a
otimização dessa atividade.
A aplicação de técnicas referentes a ambientes virtuais
no processo de reabilitação motora resulta em um abordagem denominada Reabilitação Virtual [13]. Os resultados
alcançados por esta abordagem são promissores e têm
evidenciado que a tecnologia pode ser uma importante
aliada na recuperação funcional dos indivı́duos. Uma
investigação apontou que a utilização de RV no processo
de reabilitação não apenas tem se mostrado eficiente,
como também pode contribuir para uma maior plasticidade
cerebral [14].
Ainda, considerando que o público-alvo deste tipo de
aplicação apresenta limitações motoras, é importante ressaltar que a técnica de Interação Humano-Computador
(IHC) a ser utilizada deve receber especial atenção [15].
Um paciente que tenha limitações para manipular o mouse,
por exemplo, não deve ter que utilizar este dispositivo
para interagir com a aplicação. Nesse contexto, a Interação
Natural apresenta-se como uma abordagem muito promissora, pois não só permite que o usuário interaja com a
aplicação utilizando-se de caracterı́sticas tradicionais do
ser humano (gestos e comandos de voz) [16], minimizando
a necessidade de aprendizado, como também possibilita
que a interação com o jogo aconteça justamente utilizandose os exercı́cios idênticos aos reais para o processo de
reabilitação. Dessa forma, é possı́vel que o usuário precise,
por exemplo, levantar uma das mãos para que o carro do
ambiente virtual (AV) acelere e chegue ao destino, ou seja,
o paciente deverá cumprir uma atividade do protocolo de
reabilitação para avançar no jogo.
Assim, o objetivo deste trabalho é apresentar um jogo
sério com RV e Interação Natural para auxiliar o processo
de reabilitação motora de membros superiores. O artigo
detalha o desenvolvimento de uma aplicação para o tratamento de de pessoas com deficiência, visando melhorar
função de membros superiores de forma lúdica, funcional
e eficaz, de forma a solucionar problemas que o deficiente
encontre no dia a dia. No jogo, denominado MoVEROffice, o usuário tem a tarefa de realizar a organização de
uma mesa de trabalho. Os movimentos são captados por
um sensor e replicados no AV, possibilitando que a atividade de arrastar os objetos seja possı́vel no AV. Portanto,
a definição de um AV que possibilita a reprodução de
tarefas reais é um diferencial do presente trabalho, visto
que provavelmente a habilidade adquirida no AV pode ser
transferida para o ambiente real.
O restante do trabalho está dividido nas seguintes
seções: as caracterı́sticas, definições e importâncias da
Reabilitação Virtual e trabalhos similares são apresentados na Seção II. A Seção III apresenta as técnicas e
métodos utilizados no desenvolvimento desta pesquisa. As
limitações encontradas e os resultados dos experimentos
são apresentados e discutidos na Seção IV, enquanto as
conclusões são abordadas na Seção V.
II. C ONCEITOS
A. Reabilitação Motora Virtual
Considerando que a reabilitação motora faz parte da
rotina dos pacientes com deficiência, esta visa melhorar
força, amplitude, coordenação e outras capacidades em
busca de funcionalidade. Apesar do crescente número de
possibilidades de intervenção, existe uma forte cobrança
direcionada a justificar o respaldo cientı́fico e comprobatório da real eficácia dos procedimentos utilizados. Uma
enorme variedade de procedimentos pode ser usada por
profissionais que trabalham com habilitação e reabilitação
de pessoas com deficiência e, nesta vasta gama de possibilidades, os profissionais da área da saúde se questionam
com relação a qual deles dispor em detrimento de outros e,
principalmente, qual oferece o maior benefı́cio ao paciente
[17] [18].
Ainda que as pesquisas sobre a efetividade dos procedimentos de tratamento sejam, obviamente, um aspecto
importante da validação da prática clı́nica [19], a necessidade de uma mudança no modo como os profissionais
percebem e contextualizam seus programas de tratamento
deve ser considerada.
Já não se aceita realizar tratamentos sem demonstrar a
satisfação do paciente e os benefı́cios atingidos. Apesar
da existência de diferentes procedimentos de intervenção,
pode-se citar algumas propostas que podem ser consideradas no momento de organizar um programa de tratamento
como fisioterapia convencional, terapia ocupacional, equoterapia, estimulação elétrica neuromuscular, e uma forma
recente e interessante de reabilitação que vem emergindo
em pesquisas, a utilização de RV.
Na reabilitação, a RV tem sido utilizada como ferramenta para o desenvolvimento e aquisição de novas
habilidades, por meio de dispositivos de interação que
favorecem e incentivam a prática de forma lúdica e
agradável. Em [20] foram identificadas várias melhorias
na realização de atividades com RV, como por exemplo
melhoras no tempo de reação e habilidades espaciais, melhora na função cognitiva em indivı́duos com necessidades
especiais ou para atenuar problemas crônicos de saúde,
envolvendo o Sistema Nervoso.
Considerando aspectos neuroquı́micos, em [21] foi relatado que o nı́vel de dopamina, neurotransmissor envolvido com aprendizagem, reforço de comportamento,
integração sensório-motora e atenção parece aumentar durante a atividade motora direcionada por meio da RV com
videogames. Alterações no sistema visual também têm
sido investigadas, especificamente com relação à resolução
espacial do campo visual, sendo que a ação de jogar
videogames altera as habilidades visuais, e a prática desta
atividade promove uma melhora na resolução espacial do
processamento visual [22].
Considerando os avanços tecnológicos baseados nos
conhecimentos propiciados pela RV, um fator interessante
é sua utilização como meio facilitador na reabilitação
de pessoas com deficiência. Por suprir a exigência de
resposta rápida, viabilizam novas propostas de ensinoaprendizagem, sendo um novo paradigma e introduzindo
fatores importantes no comportamento motor que devem
ser citados como motivação, Interatividade, identificação
de individualidade, feedback e memória, por exemplo [23]
[24] [25] [26].
B. Reabilitação dos membros superiores
A funcionalidade de membros superiores é de extrema
importância para a realização de atividades básicas e
muitas atividades são propostas dentro dos programas de
reabilitação. Entretanto para a eficácia de um programa,
este deve ser repetitivo, voltado para a dificuldade pontual
e com maior frequência.
Os programas de reabilitação convencionais apresentam
atividades que muitas vezes são difı́ceis de transferir para
o dia a dia, fazendo com que seja desmotivadora, e
com pouca interação. Sendo assim, a melhora da força,
coordenação e/ou amplitude por exemplo se torna mais
difı́cil.
C. Interação Natural
A Interação Natural é uma técnica de Interação
Humano-Computador que possibilita que o usuário e a
máquina se comuniquem por meio da utilização de ações
que são comumente praticadas pelos seres humanos, como
a expressão facial, gestos e voz [27]. Entre as vantagens da
utilização natural, destaca-se o fato de que esta abordagem
tende a minimizar o aprendizado por parte do usuário
em relação à manipulação do dispositivo de interação. Tal
caracterı́stica pode ser ilustrada pela dificuldade que uma
pessoa pode encontrar para manipular mouse e teclado em
seu primeiro contato direto com um computador [28]. Em
contrapartida, caso o computador reconhecesse comandos
de voz, a utilização do mesmo poderia ser mais fácil e
agradável, já que a pessoa utilizaria uma estratégia com a
qual está familiarizada.
Existem diversos tipos de dispositivos que favorecem a
interação natural. Especificamente em relação aos sensores
de movimentos, os principais e mais populares foram desenvolvidos inicialmente para a indústria de videogames,
acompanhando tradicionais e consolidados consoles [29].
No entanto, tendo a vista a grande aplicabilidade que estes
dispositivos apresentam, eles passaram a ser utilizados
em diversas outras aplicações, como treinamento, prática
de exercı́cios fı́sicos e reabilitação motora. Boa parte das
pesquisas que lidam com análise de movimentos utilizam
sensores como Kinect, Nintendo Wii, Playstation Move e
LeapMotion, entre outros fatores, pelo custo relativamente
baixo e sua grande aceitação por parte dos usuários [30].
III. T RABALHOS CORRELATOS
A utilização de jogos sérios e ambientes de RV é
investigada em diversos estudos. A literatura apresenta
inúmeras pesquisas relacionadas a Reabilitação Virtual,
sendo que cada uma delas costuma apresentar maior foco
em alguma técnica computacional ou é voltada para algum
problema especı́fico de reabilitação.
Visando à recuperação funcional, o trabalho [31] aborda
o desenvolvimento de um jogo sério com realidade virtual dotado de exercı́cios de locomoção que permitem a
reabilitação músculo-esquelética de idosos e pessoas com
limitações motoras. Em [5], os autores desenvolveram um
jogo sério com RV para auxiliar o tratamento de membros
superiores. No jogo, o paciente deve movimentar seus
braços com a finalidade de alcançar objetos virtuais inseridos pelo fisioterapeuta durante a execução dos exercı́cios,
permitindo assim que este profissional defina as atividades
a serem realizadas. Em [32] é apresentado o desenvolvimento de um jogo sério com atividades de boliche e
curling, objetivando melhorias fı́sicas e cognitivas dos
usuários.
Um jogo para reabilitação de pacientes pós-AVC foi
desenvolvido em [33]. Nele, o paciente deve simular a
limpeza da tela para visualizar uma imagem. Com o intuito
de auxiliar a recuperação dos movimentos da mão, os
pesquisadores utilizaram luvas como forma de interação.
Com a mesma finalidade, em [34] foi utilizada uma
câmera de baixo custo para detectar os movimentos dos
usuários, que deveriam tocar letras na tela e formar uma
determinada palavra. O nı́vel de dificuldade do jogo era
ajustado assim que o paciente apresentasse uma melhoria.
Mesmo que vários trabalhos citados na literatura apresentem propostas semelhantes, o diferencial do presente
trabalho é a flexibilidade que permite tanto a adequação
do jogo às necessidades do paciente quanto o treinamento
de tarefas cotidianas, permitindo a posterior transferência
de habilidades para o ambiente real.
IV. M ÉTODOS
Para investigar a utilização de RV e jogos sérios no
processo de reabilitação de pessoas com paraplegia (afetando membros inferiores) e com necessidade de melhora
da função de membros superiores, foi desenvolvido o jogo
sério MoVEROffice para atuar como ferramenta de apoio
aos fisioterapeutas durante o processo de reabilitação. O
jogo utiliza Interação Natural como técnica de Interação
Humano-Computador, possibilitando que o paciente use os
movimentos necessários para sua reabilitação como forma
de executar a atividade proposta na aplicação.
A. Desenvolvimento do jogo
Após a definição dos requisitos e do roteiro do jogo
em conjunto com profissionais pesquisadores da área de
fisioterapia, o desenvolvimento do jogo iniciou-se com a
definição das tarefas a serem simuladas e dos elementos
lúdicos a serem incluı́dos (cronometragem e pontuação por
acertos).
Foi considerado também que o jogo, assim como demais aplicações voltadas para tratamento de fobias e
reabilitação, é destinado a pessoas que podem apresentar problemas emocionais decorrentes de outros quadros
clı́nicos, devendo ser sensı́vel às limitações do usuário,
ou seja, não deve exigir um alto grau de habilidade ou
implicar em severas punições quando o usuário erra. Um
jogo com tarefas muito complexas pode frustrar o paciente
e, inclusive, contribuir para que o mesmo abandone o
processo de reabilitação [35].
Adicionalmente, elementos visuais e sonoros foram
inseridos para tornar a atividade mais atrativa em relação
ao desenvolvimento da mesma atividade em um ambiente
real. Assim, o AV desenvolvido tente a estimular mais os
pacientes que um exercı́cio real, não apenas por adotar
elementos de jogos como a pontuação, mas também pelas
mensagens de estı́mulo que são emitidas quando o paciente
cumpre a tarefa.
1) Tecnologias utilizadas: O jogo foi desenvolvido
na engine de jogos Unity3D com a linguagem de
programação C-Sharp. A engine foi escolhida por ter
licença de uso gratuita e permitir a exportação para diferentes plataformas, o que pode disponibilizar a aplicação
tanto para computadores quanto para consoles de videogame [36] [37].
O dispositivo de Interação Natural utilizado foi o
sensor de movimentos Kinect One, considerando sua
popularidade e o fato de que este sensor não é intrusivo,
ou seja, ele não necessita que o usuário segure algum
dispositivo [38]. Para a comunicação do sensor com a
engine, foi utilizada a biblioteca Kinect v2 Examples with
MS-SDK, disponı́vel para download na loja de acessórios
da Unity, juntamente com o SDK (Software Development
Kit) oficial da Microsoft. Devido à utilização do SDK,
o jogo só pode ser executado em computadores com
sistema operacional Windows 8 ou versão superior.
2) Roteiro do jogo: O exercı́cio proposto consiste na
organização de uma mesa de trabalho. O cenário inicial,
ilustrado pela Figura 1, apresenta um livro, teclado e
mouse dispostos fora do posicionamento correto sobre
uma mesa, além de um monitor e três áreas destacadas
(com marcas na cor preta que lembram sombras), as quais
indicam a posição correta dos objetos.
A escolha deste cenário justifica-se pelo fato de que tais
elementos se fazem presentes no cotidiano de boa parte
da população. Adicionalmente, a execução de uma tarefa
dessa natureza tende a contribuir com o reaprendizado de
algumas atividades úteis no dia a dia dos indivı́duos, já
que alguns pacientes podem apresentar dificuldades em
realizá-las após alguma ocorrência que resulte em necessidade de reabilitação. Dessa forma, trabalha-se não apenas
a reabilitação dos membros superiores, mas também a
transferência de habilidades do ambiente virtual para o
real.
Figura 1.
Interface principal do jogo.
Próxima à área de posicionamento do teclado há uma
plataforma, que trata-se do ponto inicial e final do
exercı́cio. A plataforma, que inicialmente tem a cor vermelha, passa a ser amarela quando o paciente posiciona o
cursor sobre ela e verde quando o fisioterapeuta autoriza a
jogada. A posição do cursor, ilustrado por uma mão (Área
1 da Figura 1), acompanha os movimentos realizados pela
mão do usuário. Portanto, a tarefa do paciente é mover
os objetos para seus lugares corretos, repetindo esta ação
uma quantidade de vezes determinada pelo fisioterapeuta.
A Figura 2 apresenta o diagrama de estados.
Figura 2.
Diagrama de estados do jogo.
O processo de execução do exercı́cio obedece as seguintes etapas:
1) o paciente deve posicionar a mão virtual na plataforma;
2) o fisioterapeuta deverá autorizar a jogada acionando
a barra de espaço do teclado convencional do computador;
3) autorizada a jogada, o paciente deverá posicionar
a mão virtual sobre um objeto para selecioná-lo.
O paciente pode escolher a ordem em que deseja
mover os objetos;
4) selecionado um objeto, a área de destino será destacada (Área 2 da Figura 1, indicando a posição
correta;
5) quando o paciente deslocar o objeto até a posição
correta, um som é emitido e um ı́cone é mostrado
no inı́cio da tela (Área 3 da Figura 1);
6) o objeto posicionado corretamente será paralisado e
os passos 1 a 5 deverão ser repetidos para os demais
objetos;
7) quando os três objetos forem posicionados corretamente, o paciente deverá voltar o cursor para a
plataforma para finalizar a jogada.
Ao final de cada jogada, são armazenados os seguintes
dados:
• tempo de reação: quanto tempo o paciente demorou
para sair da plataforma após a jogada ser autorizada;
• tempo de seleção de cada objeto: quanto tempo o
paciente demorou para selecionar o objeto;
• tempo de posicionamento: tempo decorrido da
seleção do objeto até o posicionamento na área
correta;
• tempo total da jogada;
• distância dos objetos em centı́metros.
As informações armazenadas permitem que o fisioterapeuta acompanhe a evolução da reabilitação virtual do
paciente, assim como comparar o desempenho do usuário
para a mesma tarefa executada no AV e no ambiente real.
Durante a realização do exercı́cio, é exibido na tela um
cronômetro que mostra ao usuário quanto tempo ele tem
utilizado para realizar a ação. Ao finalizar a jogada, um
ponto é incrementado no placar do jogo, exibido próximo
ao cronômetro (Área 4 da Figura 1).
3) Calibração do ambiente: A fim de permitir a
reprodução do ambiente real com fidelidade, foi desenvolvido um método de calibração, por meio do qual o
fisioterapeuta pode controlar a distância dos objetos no
AV, deixando-as similares à disposição dos objetos reais,
e informar a distância real dos objetos.
Após o fornecimento desses dados, é feito um cálculo
para analisar qual foi o deslocamento em centı́metros
realizado pelo paciente durante a utilização do AV. A
distância em pixels entre o teclado e seu local de destino
é equiparada à distância real entre tais objetos, informada
pelo fisioterapeuta. A Figura 3 ilustra o método.
Esta abordagem permite que o fisioterapeuta obtenha
mais informações a respeito do desenvolvimento do paciente durante a utilização do jogo como, por exemplo, qual
tem sido o alcance de movimento do paciente ao longo das
sessões. Além disso, imprime flexibilidade à aplicação,
permitindo que o fisioterapeuta posicione o computador e
o sensor de movimentos no local desejado, considerando
as limitações de cada paciente.
B. Definição do Experimento
Para avaliar a aplicação desenvolvida, um experimento
foi definido em um ambiente controlado. Dois fisioterapeutas e dois especialistas em computação que possuem
familiaridade com a utilização de técnicas computacionais
no processo de reabilitação motora estiveram presentes e
auxiliaram os usuários no desenvolvimento das atividades.
A Figura 4 exemplifica uma sessão do experimento.
Figura 4.
Figura 3. Método de calibração para estabelecer equivalência entre o
ambiente real e o virtual.
Inicialmente, considerando a entrada da distância real
(usualmente fornecida em centı́metros) entre o livro e sua
área de destino, é calculada a equivalência entre pixels (do
AV) à distância real fornecida, expressa pela Equação 1, na
qual α representa o fator de equivalência, σ é a distância
real entre os objetos e δ é a distância virtual.
σ
α=
(1)
δ
Durante a execução do jogo, o deslocamento do usuário
é rastreado em pixels e, por fim, a distância percorrida em
pixels é multiplicada pelo fator de equivalência, obtendose a distância em centı́metros. O cálculo é expresso pela
Equação 2, em que ς representa a distância percorrida
em centı́metros no AV, α o fator de equivalência e µ é
a distância percorrida em pixels.
ς =α∗µ
(2)
Paciente utilizando o jogo durante o experimento.
Objetivos e questões de pesquisa: O objetivo
precı́puo do experimento foi identificar quais são as principais dificuldades encontradas pelos usuários durante a
utilização de um jogo sério com RV por meio de interação
natural. Para tanto, as seguintes questões de pesquisa
foram elaboradas:
•
•
•
Um indivı́duo com limitações motoras possui desempenho abaixo do desempenho de uma pessoa sem tais
limitações?
A manipulação dos objetos virtuais com Interação
Natural exige alta curva de aprendizagem?
O tempo despendido para a realização das atividades
é reduzido conforme a experiência?
Perfil dos participantes: Foram convidados quatro
voluntários (n=4) para o experimento. Todos os voluntários foram questionados a respeito de idade, prática
esportiva e existência de limitações motoras. Dois usuários
apresentam limitações motoras. O usuário 1 apresenta
diagnóstico de Lesão medular em nı́vel T9, enquanto o
Usuário 2 foi diagnosticado com Paralisia Infantil. A Tabela I apresenta os grupos de pacientes e suas informações.
Tabela I
P ERFIL DOS PACIENTES .
Grupo
Com limitações
Sem limitações
Usuário
1
2
3
4
Idade
31
53
21
25
Esportes
Nenhum
Tênis de mesa
Nenhum
Vôlei
Hardware e Software: Foi utilizado um computador
com processador Intel Core i7, 8.0 GB de memória RAM,
Sistema Operacional Windows 8 de 64 bits e placa de
vı́deo NVIDIA GeForce GT 430. O jogo foi executado
em resolução de 1920x1080 e a imagem foi projetada na
parede, com cerca de três metros de largura, com o intuito
de facilitar a visualização do usuário.
Interações do usuário: Durante a utilização do jogo,
cada usuário foi individualmente posicionado a uma
distância de aproximadamente 2 metros do sensor de
movimentos. Não foi necessário que o mesmo segurasse
ou manipulasse nenhum dispositivo, sendo os movimentos
naturais com os membros superiores a única entrada para
a realização das atividades. O usuário pôde, portanto,
se movimentar em seis graus de liberdade, mas apenas
o movimento da mão foi utilizado pela aplicação para
seleção e transporte dos objetos virtuais.
Cada usuário foi convidado a realizar os exercı́cios
propostos por cinco vezes consecutivas. Este número foi
definido pelos fisioterapeutas com o intuito de verificar
a melhoria do desempenho em função da repetição do
movimento.
V. R ESULTADOS E DISCUSS ÕES
A Tabela II apresenta o tempo médio despendido pelos
pacientes para cumprir todas as atividades desejadas em
cada jogada. Os dados obtidos apontam que o melhor
desempenho entre todos os usuários foi alcançado por uma
paciente integrante do grupo de indivı́duos com limitações
motoras, o que é um resultado interessante, já que tal
paciente é atleta de tênis de mesa adaptado.
Figura 5.
Tempo decorrido em cada jogada.
inicialmente há uma curva de aprendizado para manipular
os objetos virtuais, mas que este obstáculo pode ser superado rapidamente após algum treinamento ou experiência
em sessões. Portanto, há indı́cios de que as dificuldades
relacionadas à utilização dos dispositivos de Interação
Natural tendem a ser superadas após algumas utilizações,
o que reforça sua caracterı́stica de fácil usabilidade.
Por fim, observa-se na Figura 5 uma tendência à
estabilização do tempo despendido para cada jogada a
partir da quinta jogada. No entanto, uma quantidade maior
de jogadas seria necessária para confirmar esta tendência.
B. Comparação entre voluntários
As Figuras 6 e 7 apresentam o gráfico de tempo e
eventos ocorridos nas partidas em que o usuário apresentou, respectivamente, o maior e menor tempo para realizar
todas as atividades e encerrar a jogada. As categorias
”Seleção”e ”Posição”indicam quando houve a seleção de
um objeto e quando ocorreu o seu posicionamento na área
desejada.
Tabela II
M ÉDIA ( EM SEGUNDOS ) DO DESEMPENHO DOS USU ÁRIOS .
Grupo
Com limitações
Sem limitações
Usuário
1
2
3
4
Tempo (segundos)
25.77
14.86
22.87
20.49
A. Tempo total de execução da atividade
A Figura 5 ilustra o gráfico de tempo decorrido pelos
voluntários durante cada jogada. É possı́vel observar que,
na primeira utilização, todos os usuários apresentaram um
tempo total significativamente maior. Esse fato justifica-se
pelo aprendizado necessário para a utilização da aplicação,
bem como a familiarização com o deslocamento da mão
virtual em relação aos movimentos das mãos.
Outro interessante indicativo, presente em todos os
usuários, é o de que o tempo gasto para executar a
atividade é reduzido a cada sessão. Isso evidencia que
Figura 6.
Gráfico de tempo máximo.
É possı́vel notar que, em ambas as situações, o Usuário
1 apresentou o maior tempo dentre todos os participantes
do experimento, enquanto o Usuário 2 obteve o melhor
desempenho. Ainda, em ambos os casos (partida com
maior e menor tempo), os participantes 3 e 4, que não
Figura 7.
Gráfico de tempo mı́nimo.
apresentam limitações motoras, estiveram em uma posição
intermediária em relação aos participantes 1 e 2. O Usuário
3, no entanto, gastou um tempo levemente maior para
cumprir todos os exercı́cios em relação ao usuário 4.
Nesse sentido, é importante destacar que a prática de
exercı́cios e a familiaridade do Usuário 2 com jogos para
reabilitação e dispositivos de Interação Natural pode ter
impulsionado o seu desempenho, colocando-o à frente dos
usuários 3 e 4, que não apresentam limitações motoras. O
usuário 4 afirmou praticar esportes (voleibol) esporadicamente, enquanto o Usuário 3 afirmou não praticar esportes,
o que também pode fornecer indı́cios para explicar o
melhor desempenho relativamente melhor.
1) Seleção dos objetos: Em relação à seleção dos
objetos virtuais, os usuários gastaram menor tempo para
selecionar o objeto livro. Este fato pode ser explicado
pela posição do objeto livro no AV, considerando que, em
relação aos outros objetos, o mesmo está mais próximo
tanto da plataforma quanto das áreas de posicionamento.
O segundo objeto com menor tempo de seleção foi
o teclado, ficando o mouse em terceira colocação. Isto
pode ser explicado pela área ocupada pelo mouse, que
é relativamente menor em relação aos demais objetos,
exigindo então maior precisão por parte dos usuários. O
teclado, por sua vez, apresenta a maior área entre todos os
objetos, o que tende a facilitar a sua seleção. É possı́vel
que o teclado não tenha sido selecionado em tempo menor
que o livro - apesar de ser maior do que este - por conta
de sua posição, que está à esquerda de todos os objetos.
As Figuras 8, 9 e 10 apresentam a distribuição dos valores
obtidos na amostra para os objetos livro, teclado e mouse,
respectivamente.
Ainda, é possı́vel identificar que o objeto mouse apresentou a maior variação (entre máximo e mı́nimo) no
tempo de seleção, seguido pelo livro e pelo teclado. Tal
fato oferece indı́cios de que o mouse tende a apresentar
uma maior complexidade de seleção devido a sua dimensão.
C. Ordem da realização das atividades
Durante o experimento, não foi estabelecida uma ordem
para movimentação dos objetos. O objetivo da ausência
de uma regra nesse sentido era identificar se a ordem
de movimentação dos objetos poderia proporcionar uma
diferença no desempenho dos usuários.
Assim, analisando-se as Figuras 6 e 7, é possı́vel notar
que nas jogadas em que apresentam maior e menor tempo,
os usuários executaram a seleção e posicionamento dos
objetos em ordens diferentes, com exceção do Usuário
2, que manteve a ordem de seleção e posicionamento
dos objetos nas partidas em que teve pior e melhor
desempenho.
No experimento realizado, não foi identificado nenhum
padrão que indicou que a ordem de seleção dos objetos
influenciou no tempo de realização da tarefa. Notou-se, no
entanto, que houve um padrão de tempo de seleção para
cada objeto.
Figura 8.
Informações de seleção e posicionamento do livro.
D. Desempenho por objeto
Após a realização do experimento, foi analisado o
tempo despendido pelos voluntários para a realização
da seleção e do posicionamento correto de cada objeto,
considerando-se todas as jogadas de todos os usuários. O
propósito era verificar se as caracterı́sticas do objeto tendem a influenciar o desempenho do usuário na realização
da atividade.
Figura 9.
Informações de seleção e posicionamento do teclado.
É possı́vel observar que há uma grande variação no
comportamento dos usuários. Mais uma vez, o Usuário
2 apresentou o melhor desempenho entre todos os participantes do experimento. No entanto, o Usuário 1 apresentou
leve melhora, alternando com o Usuário 4 o pior desempenho. O Usuário 3 apresentou novamente um desempenho
intermediário.
F. Limitações encontradas
Figura 10.
Informações de seleção e posicionamento do mouse.
2) Posicionamento dos objetos: O livro, por sua vez,
apresentou o segundo menor tempo para posicionamento.
Porém, assim como aconteceu com o objeto teclado,
é possı́vel identificar que a sua variação entre mı́nimo
e máximo também foi significativa. Já o objeto mouse
teve maior tempo de posicionamento, com uma menor
variação entre mı́nimo e máximo. Essa caracterı́stica pode
indicar que, assim como o mouse foi o objeto no qual
os usuários encontraram maior dificuldade para seleção,
no posicionamento este objeto também teve um tempo
elevado, porém com uma menor variação entre os usuários.
E. Tempo de reação
Conforme apresentado na Seção IV-A2, o jogador deve
posicionar o ponteiro na plataforma para que a jogada seja
autorizada pelo fisioterapeuta. O tempo decorrido entre a
liberação da jogada e a saı́da da plataforma é chamado de
tempo de reação (TR). O TR é essencial para executar
tarefas do dia a dia, como pegar um copo, ou pegar
uma bola em movimento. Estes exemplos demonstram a
capacidade do Sistema Nervoso Central em receber um
estı́mulo, processá-lo e iniciar a ação motora para realizar
a tarefa com acurácia e precisão. A Figura 11 apresenta o
gráfico do tempo de reação de todos os usuários em cada
jogada.
Entre as limitações encontradas no desenvolvimento
da aplicação, encontra-se a necessidade de uma melhor
adaptação do sensor às necessidades dos pacientes. A
atividade inicial consistia na seleção de um objeto seguido
do seu deslocamento até um ponto final. No entanto, foi
constatado que o sensor identificava apenas extremos, ou
seja, o estado da mão só era identificado como aberto
quando todos os dedos estavam completamente estendidos,
como também a mão só era identificada como fechada se
todos os dedos estivessem dobrados. Estas caracterı́sticas
impossibilitariam que um paciente com limitação no grau
de abertura das mãos utilizasse a aplicação.
Para corrigir o problema, foi planejada uma etapa
de calibração, na qual seria solicitado que cada usuário
abrisse a mão e fechasse para que os pontos máximos
e mı́nimos de abertura fossem coletados. Entretanto, tal
abordagem foi abortada pois o SDK do Kinect não retorna
dados de cada dedo, apenas informações do estado da
mão. Assim, optou-se por implementar um novo exercı́cio
(descrito na Seção IV-A2), no qual tais limitações foram
extintas.
No entanto, durante a realização dos experimentos,
verificou-se novas limitações ou fatores a serem melhorados. O atraso de tempo entre o movimento real e a sua
correspondente aplicação no tempo real pode dificultar o
desempenho do usuário que, nesta situação, não encontra
tanto realismo. De modo complementar, falhas no rastreamento do sensor de movimentos, como o reconhecimento
errôneo de objetos, podem ocasionar falhas na detecção
da mão do usuário.
Em relação aos experimentos, os autores entendem que
o número de partidas por usuário (cinco) pode não ter sido
suficiente para uma perfeita correlação de alguns fatores
identificados no experimento, sendo este um indicativo de
que, futuramente, um experimento com maior número de
usuários e de jogadas deve ser realizado para aprimorar e
ampliar a correlação entre os dados.
VI. C ONCLUS ÕES
Figura 11.
Gráfico de tempo de reação por jogada.
Em decorrência das limitações enfrentadas por pacientes
durante o processo de reabilitação motora, este trabalho
teve como objetivo investigar a utilização de técnicas de
Reabilitação Virtual no processo de reabilitação motora
de pacientes que necessitam de melhoria funcional nos
membros superiores. Tal investigação justifica-se pela necessidade de se encontrar abordagens que ampliem o engajamento do paciente durante o processo de reabilitação,
tornando maior o interesse do paciente durante as sessões
e contribuindo para a redução da taxa de evasão.
Durante a investigação foi desenvolvido um jogo sério
aplicando técnicas de RV para reabilitação de membros
superiores. No jogo, os usuários têm como tarefa a
organização de uma mesa de trabalho, devendo arrastar
os objetos para a posição correta. Dentre as limitações
encontradas na utilização da aplicação, estão a necessidade
de uma maior precisão do sensor de movimentos, o tempo
necessário para que o usuário consiga manipular o cursor
com os movimentos das mãos e o atraso de tempo entre
o desenvolvimento do gesto e a sua representação no AV.
Novas funcionalidades estão previstas para as próximas
versões do jogo. No que tange às formas de interação,
utilizando o mesmo sensor de movimentos é possı́vel
fazer a captura de voz do usuário para permitir, por
exemplo, que o fisioterapeuta autorize a jogada apenas
por comando de voz, dispensando o uso do teclado, como
ocorre atualmente. De modo complementar, mensagens
de voz também poderão ser gravadas para que o usuário
saiba qual objeto ele deve movimentar. Nesse sentido,
caso não haja interação por parte do usuário em um
determinado perı́odo de tempo, o objeto a ser selecionado
pode ser destacado para indicar ao paciente a ação a
ser realizada. Tal funcionalidade seria importante para
pacientes que foram impactados não apenas fisicamente,
mas também cognitivamente. Estı́mulos visuais e sonoros
também podem ser ampliados para propiciar que o usuário
fique atento nos momentos cruciais da atividade, como a
saı́da da plataforma e a finalização da jogada.
O experimento realizado apontou que o tempo gasto
para a realização das atividades diminuiu conforme a
experiência do usuário, independentemente da presença de
limitações motoras. Isso indica que dificuldades iniciais
em relação à utilização dos dispositivos de interação
podem ser superadas em um curto intervalo de tempo.
Adicionalmente, identificou-se no experimento que os
usuários que praticam esportes tendem a apresentar um
desempenho melhor na utilização do ambiente virtual, mas
novas investigações nesse sentido fazem-se necessárias.
Em trabalhos futuros, pretende-se realizar mais experimentos, incluindo a análise da transferência de habilidades
entre o ambiente virtual e o real.
Por fim, os resultados encontrados permitem concluir
que a utilização de RV, Jogos Sérios e Interação Natural se
apresenta como importante abordagem de reabilitação por
propiciar uma situação que considera as necessidades de
cada paciente. O ambiente virtual reproduz uma situação
real e, por isso, também permite avaliar se habilidades são
transferidas do virtual para o real e vice-versa, o que será
investigado em novas etapas desta pesquisa.
AGRADECIMENTOS
Os autores agradecem a Comissão de Aperfeiçoamento
de Pessoal do Nı́vel Superior (CAPES) pelo apoio financeiro. Agradecem também a Rumen Filkov pela
disponibilização gratuita do pacote de integração do Kinect
e Unity e também aos voluntários que possibilitaram a
realização do experimento descrito neste trabalho.
R EFER ÊNCIAS
[1] World-Health-Organization. (2011) World report on
disability. [Online]. Available: http://www.who.int/
disabilities/world report/2011/report.pdf
[2] V. B. E. Leite, A. C. Mancussi et al., “O cuidar do enfermeiro especialista em reabilitação fı́sico-motora,” Revista
da Escola de Enfermagem da USP, vol. 39, no. 1, pp. 92–
96, 2005.
[3] S. Smeltzer and B. Bare, “Princı́pios e práticas da
reabilitação,” Brunner & Suddarth. Tratado de enfermagem médico-cirúrgica. 10a ed. Rio de Janeiro: Guanabara
Koogan, vol. 1, pp. 166–98, 2005.
[4] C. W. Tan, S. W. Chin, and W. X. Lim, “Game-based
human computer interaction using gesture recognition for
rehabilitation,” in Control System, Computing and Engineering (ICCSCE), 2013 IEEE International Conference on,
Nov 2013, pp. 344–349.
[5] V. D. Junior, C. B. Monteiro, R. Nakamura, L. S. Yojo, L. V.
Araújo, and F. L. Nunes, “Mover: Serious game aplicado
a reabilitação motora usando sensor de movimento kinect,”
in Workshop de Informática Médica, 2013.
[6] A. Shapi’i, N. N. Bahari, H. Arshad, N. A. M. Zin, and
Z. R. Mahayuddin, “Rehabilitation exercise game model for
post-stroke using microsoft kinect camera,” in Biomedical
Engineering (ICoBE), 2015 2nd International Conference
on, March 2015, pp. 1–6.
[7] M. Gotsis, “Games, virtual reality, and the pursuit of
happiness,” IEEE Computer Graphics and Applications,
vol. 29, no. 5, pp. 14–19, Sept 2009.
[8] S. Göbel, S. Hardy, V. Wendel, F. Mehm, and R. Steinmetz,
“Serious games for health: Personalized exergames,” in
Proceedings of the 18th ACM International Conference
on Multimedia, ser. MM ’10. New York, NY, USA:
ACM, 2010, pp. 1663–1666. [Online]. Available: http:
//doi.acm.org/10.1145/1873951.1874316
[9] D. R. Michael and S. L. Chen, Serious Games: Games That
Educate, Train, and Inform. Muska & Lipman/PremierTrade, 2005.
[10] H. ShiMing, F. ChaoYang, and X. Mei, “Exploring the
application of virtual reality technology in surveying and
mapping archives,” in Geoinformatics, 2015 23rd International Conference on, June 2015, pp. 1–4.
[11] V. Fung, K. So, E. Park, A. Ho, J. Shaffer, E. Chan,
and M. Gomez, “The utility of a video game system
in rehabilitation of burn and nonburn patients: a survey
among occupational therapy and physiotherapy practitioners,” Journal of Burn Care & Research, vol. 31, no. 5,
pp. 768–775, 2010.
[12] D. Horvathova, V. Siladi, and E. Lackova, “Phobia treatment with the help of virtual reality,” in Scientific Conference on Informatics, 2015 IEEE 13th International, Nov
2015, pp. 114–119.
[13] G. Burdea, “Keynote address: Virtual rehabilitation-benefits
and challenges,” in 1st International Workshop on Virtual
Reality Rehabilitation (Mental Health, Neurological, Physical, Vocational) VRMHR. sn, 2002, pp. 1–11.
[14] A. S. Merians, H. Poizner, R. Boian, G. Burdea, and
S. Adamovich, “Sensorimotor training in a virtual reality
environment: does it improve functional recovery poststroke?” Neurorehabilitation and neural repair, vol. 20,
no. 2, pp. 252–267, 2006.
[28] E. Pietroni, C. Ray, C. Rufa, D. Pletinckx, and I. V. Kampen, “Natural interaction in vr environments for cultural
heritage and its impact inside museums: The etruscanning
project,” in Virtual Systems and Multimedia (VSMM), 2012
18th International Conference on, Sept 2012, pp. 339–346.
[15] P. A. Rego, P. M. Moreira, and L. P. Reis, “Natural user
interfaces in serious games for rehabilitation,” in Information Systems and Technologies (CISTI), 2011 6th Iberian
Conference on, June 2011, pp. 1–4.
[29] C.-Y. Chang, B. Lange, M. Zhang, S. Koenig, P. Requejo,
N. Somboon, A. A. Sawchuk, and A. A. Rizzo, “Towards
pervasive physical rehabilitation using microsoft kinect,” in
Pervasive Computing Technologies for Healthcare (PervasiveHealth), 2012 6th International Conference on, May
2012, pp. 159–162.
[16] D. D. S. Ferreira and L. S. Machado, “Natural interaction
to support teaching activities in health,” in Virtual and
Augmented Reality (SVR), 2014 XVI Symposium on, May
2014, pp. 254–257.
[17] J. Jackson, “Técnicas especı́ficas de tratamento,” STOKES,
Maria. Neurologia para fisioterapeutas. São Paulo: Premier, 2000.
[18] E. Bower, A. Ashburn, and M. Stokes, “Princı́pios de
conduta fisioterapêutica e medidas de resultado final,” Neurologia para fisioterapeutas. São Paulo: Premier, pp. 49–
63, 2000.
[19] R. Plant, “Bases teóricas dos conceitos de tratamento,”
Stokes M. Neurologia para Fisioterapeutas, pp. 308–318,
2000.
[20] D. Bavelier, E. L. Newport, M. L. Hall, T. Supalla, and
M. Boutla, “Persistent difference in short-term memory
span between sign and speech implications for crosslinguistic comparisons,” Psychological Science, vol. 17,
no. 12, pp. 1090–1092, 2006.
[21] M. J. Koepp, R. N. Gunn, A. D. Lawrence, V. J. Cunningham, A. Dagher, T. Jones, D. J. Brooks, C. Bench, and
P. Grasby, “Evidence for striatal dopamine release during
a video game,” Nature, vol. 393, no. 6682, pp. 266–268,
1998.
[22] C. S. Green and D. Bavelier, “Action-video-game experience alters the spatial resolution of vision,” Psychological
science, vol. 18, no. 1, pp. 88–94, 2007.
[23] L. Snider, A. Majnemer, and V. Darsaklis, “Virtual reality
as a therapeutic modality for children with cerebral palsy,”
Developmental Neurorehabilitation, vol. 13, no. 2, pp. 120–
128, 2010.
[24] Y.-P. Chen, L.-J. Kang, T.-Y. Chuang, J.-L. Doong, S.-J.
Lee, M.-W. Tsai, S.-F. Jeng, and W.-H. Sung, “Use of
virtual reality to improve upper-extremity control in children with cerebral palsy: a single-subject design,” Physical
therapy, vol. 87, no. 11, pp. 1441–1457, 2007.
[25] S. V. Adamovich, G. G. Fluet, E. Tunik, and A. S. Merians, “Sensorimotor training in virtual reality: a review,”
NeuroRehabilitation, vol. 25, no. 1, pp. 29–44, 2009.
[26] D. Sharan, P. Ajeesh, R. Rameshkumar, M. Mathankumar,
R. J. Paulina, and M. Manjula, “Virtual reality based
therapy for post operative rehabilitation of children with
cerebral palsy,” Work, vol. 41, no. Supplement 1, pp. 3612–
3615, 2012.
[27] A. Valli. (2005) Notes on natural interaction.
[Online]. Available: http://idemployee.id.tue.nl/g.w.m.
rauterberg/lecturenotes/valli-2004.pdf.
[30] I. A. Agostinho, “Combinação de dispositivos de
baixo custo para rastreamento de gestos,” 2014.
[Online]. Available: http://repositorio.unesp.br/bitstream/
handle/11449/127564/000846861.pdf
[31] H. Tannous, T. T. Dao, D. Istrate, and M. C. H. B.
Tho, “Serious game for functional rehabilitation,” in 2015
International Conference on Advances in Biomedical Engineering (ICABME), Sept 2015, pp. 242–245.
[32] V. Fernandez-Cervantes, E. Stroulia, C. Castillo, L. Oliva,
and F. Gonzalez, “Serious rehabilitation games with kinect,” in Games Entertainment Media Conference (GEM),
2015 IEEE, Oct 2015, pp. 1–1.
[33] K. Morrow, C. Docan, G. Burdea, and A. Merians,
“Low-cost virtual rehabilitation of the hand for patients
post-stroke,” in Virtual Rehabilitation, 2006 International
Workshop on, 2006, pp. 6–10.
[34] N. B. Pham, V. T. Phan, V. B. Nguyen, and V. D. Nguyen,
“Game-based virtual rehabilitation system for upper extremity using low-cost camera,” in 2015 8th Biomedical
Engineering International Conference (BMEiCON), Nov
2015, pp. 1–5.
[35] S. M. Malfatti, E. A. G. Coutinho, and S. R. dos Santos,
“Utilizando realidade virtual e wiimote para a criação de
jogos voltados à reabilitação,” Proceedings of SBGames
2011, 2011.
[36] Unity. (2016) Personal edition. [Online]. Available:
https://unity3d.com/pt/unity/personal-edition.
[37] Unity-3D. (2016) Get unity. [Online]. Available: https:
//unity3d.com/pt/get-unity.
[38] Microsoft. (2016) Kinect para xbox one. [Online]. Available: http://www.xbox.com/pt-BR/Xbox-One/accessories/
kinect-for-xbox-one.