SimonBR: Um software gratuito para navegação Web através de comandos de voz por portadores de deficiência motora.

1. Seminário de Iniciação Científica UFPA
SimonBR: Um software gratuito
para navegação Web através de
comandos de voz por portadores
de deficiência motora
Bolsista: Thiago Sylas - tsylasac@gmail.com
Orientador: Prof. Dr. Aldebaro Klautau - aldebaro@ufpa.br
Laboratório: LaPS - Laboratório de Processamento de Sinais
Universidade www.laps.ufpa.br
Federal do Pará

2. Agenda
Introdução
Justificativa
Objetivo
Metodologia
Resultados Obtidos
Trabalhos Futuros
Trabalhos Publicados
Referências Bibliográficas
Considerações Finais
Universidade www.laps.ufpa.br
Federal do Pará

3. Introdução
O Simon é um programa open source idealizado
pelo grupo simon listens que auxilia pessoas
com necessidades especiais a usufruir das
funcionalidades computacionais usando
somente comandos de voz. Já o software
SimonBR disponibiliza modelo acústico base,
dicionário fonético, interfaces traduzidas e
cenários específicos para o Português Brasileiro.
Universidade www.laps.ufpa.br
Federal do Pará

4. Introdução
Segundo o último censo do IBGE (referente ao ano de 2010),
aproximadamente 46 milhões de brasileiros (cerca de 24% da
população) possuía algum tipo de deficiência. Dentre essas
pessoas 13,3 milhões apresentam deficiência motora.
A inclusão social e digital de deficientes físicos é algo que
merece atenção. O termo inclusão significa tornar essas
pessoas participantes da vida social, econômica e política,
assegurando o respeito aos seus direitos no âmbito da
Sociedade, do Estado e do Poder Público. O projeto exposto é
também um meio para essa finalidade.
Universidade www.laps.ufpa.br
Federal do Pará

5. Introdução
Interface homem-máquina:
Reconhecimento
automático de voz
(ASR, de “automatic
Tecnologias speech recognition”).
proeminentes em
processamento de voz:
Síntese de voz a partir
de texto (TTS, de “text-
to-speech”).
Universidade www.laps.ufpa.br
Federal do Pará

6. Justificativa
Esta pesquisa assume um caráter social, assistencial e de inclusão
digital importante ao tentar minimizar os problemas que os
portadores de necessidades especiais, neste caso mais direcionado
aos deficientes motores, enfrentam no uso de computadores.
Este projeto também é importante para criar uma rede de
colaboração e dar visibilidade do potencial que a tecnologia de
reconhecimento de voz pode oferecer à sociedade.
É importante salientar que nada será cobrado pelo uso do
SimonBR, visto que este é um software livre.
Universidade www.laps.ufpa.br
Federal do Pará

7. Objetivo
Implantar o SimonBR em instituições de apoio e ensino às
pessoas portadoras de necessidades especiais, priorizando
aquelas que enfrentam dificuldades motoras. O SimonBR já
recebeu prêmios, mas a implantação do mesmo em um
ambiente real de uso ainda não havia sido realizada até a
iniciação deste projeto.
Pretende-se solucionar possíveis falhas que o SimonBR venha a
apresentar durante a interação com o usuário e criar novas
funcionalidades de acordo com as necessidades relatadas nos
testes experimentais. Busca-se com isso, deixar o SimonBR
robusto, funcional e apto a ser empregado nas mais diversas
aplicações e sistemas.
Universidade www.laps.ufpa.br
Federal do Pará

8. Metodologia
O programa computacional SimonBR é multiplataforma no
que diz respeito ao sistema operacional.
Para o acesso a internet é necessário também o aplicativo
Firefox com o complemento Mouseless Browsing, compondo
o ambiente que estará disponível para o usuário.
Tornar o projeto atuante por meio das escolas de ensino
fundamental do município de Castanhal.
Universidade www.laps.ufpa.br
Federal do Pará

9. Metodologia
Etapa Estado
Adequação do Laboratório de Acessibilidade. Concluído
Treinamento de dois alunos do curso de graduação em Sistemas de
Concluído
Informação (Campus de Castanhal - UFPA).
Contato com as escolas municipais de Castanhal para identificar
Concluído
potenciais alunos.
Realização de pré-testes com os alunos candidatos para verificar
quais realmente se enquadram no perfil do projeto. Esses alunos
Concluído
devem apresentar deficiência motora nos membros superiores e
fala integralmente preservada.
Criação de novos cenários e a adequação de alguns comandos que
apresentaram dificuldade de reconhecimento durante os testes Concluído
preliminares.
Universidade www.laps.ufpa.br
Federal do Pará

10. Metodologia
Etapa Estado
Criação de novos cenários e a adequação de alguns comandos que
apresentaram dificuldade de reconhecimento ao longo dos testes Concluído
preliminares.
Instalação do SimonBR nos laboratórios de informática das escolas
Concluído
municipais do município de Castanhal.
Realizar testes experimentais divididos em etapas, estes testes
serão registrados com software específico para gravação de tela e
Em Andamento
filmados com câmera digital para posterior análise e avaliação do
SimonBR, além de refletir o desempenho dos alunos.
Questionários aplicados aos alunos, professores e pais para
Em Andamento
verificar a evolução acadêmica e social do aluno.
Universidade www.laps.ufpa.br
Federal do Pará

11. Resultados Obtidos
Todas as interfaces foram traduzidas para o idioma
português.
O reconhecimento de voz em PB passou a ser realizado
pelo sistema RAV desenvolvido pelo LaPS.
Além dos cenários de mouse e teclado, com este
trabalho foram criados mais três: gerenciador de
janelas, controle de reconhecimento e navegador Web.
Universidade www.laps.ufpa.br
Federal do Pará

12. Resultados Obtidos
Simulador de mouse:
• Divide a tela por quatro vezes;
• Em seguida, é dada a opção de selecionar o tipo de click do mouse.
Universidade www.laps.ufpa.br
Federal do Pará

13. Resultados Obtidos
Simulador de teclado:
• Permite que o usuário escreva as letras escolhidas na tela;
• É preciso dizer a palavra que tenha a inicial da letra a ser digitada.
Universidade www.laps.ufpa.br
Federal do Pará

14. Resultados Obtidos
Cenário Responsável pela
Navegação Web:
Cada link é numerado
através de uma extensão
para o navegador Mozilla
Firefox chamada Mouseless
Browsing;
O acesso é feito por um
comando de abrir link e a
posterior dição dos
algarismos da numeração;
É possível executar todos os
comandos do navegador
Mozilla Firefox via
comandos de voz.
Universidade www.laps.ufpa.br
Federal do Pará

15. Resultados Obtidos
Gerenciador de Janelas:
Permite ao usuário utilizar comandos comuns à várias aplicações, alguns comandos:
minimizar próximo campo
Salvar Imprimir Ok Cancelar Desfazer Renomear Novo
janelas campo anterior
Controle de Reconhecimento:
• Começar reconhecimento: começa a reconhecer;
• Pausar reconhecimento: pausa até a requisição de começar
reconhecimento.
Universidade www.laps.ufpa.br
Federal do Pará

16. Resultados Obtidos
Um total de 18 escolas municipais de Castanhal foram visitadas
e 11 alunos pré-selecionados.
Etapas que os alunos selecionados participaram:
• Foram repassados à esses alunos conhecimentos básicos de informática;
• Foram submetidos a testes de habilidade com o mouse e o teclado do
computador;
• Solicitados a pronunciar alguns comandos específicos dos cenários
existentes.
Dentre os alunos avaliados, 9 apresentaram boa dicção e
ciência do que estavam fazendo dentro do perfil deste projeto.
Universidade www.laps.ufpa.br
Federal do Pará

17. Resultados Obtidos
Relação dos alunos aprovados nos testes preliminares:
Aluno Escola Série Idade
A Maria de Nazaré Gomes Torres 5ª 18
B Profa Maria da Encarnação 4ª 10
C Profa Emilia Gimenez 4ª 14
D Georgina Rocha Nascimento 3ª 16
E Georgina Rocha Nascimento 4ª 28
F Latif Ronald Oliveira Jatene 2ª 08
G Raimunda Amaral 3ª 10
H Profa Maria da Encarnação 6ª 14
I Dr. José João de Melo 5ª 30
De posse da lista dos alunos aptos a usarem o SimonBR, foi viabilizada a instalação do mesmo
no laboratório de informática da escola municipal Profa Maria da Encarnação, onde a ideia é
mostrar a evolução do aluno no uso do computador, antes e depois do SimonBR.
Universidade www.laps.ufpa.br
Federal do Pará

18. Trabalhos Futuros
Fazer com que o Simon carregue a gramática
automaticamente, de acordo com o software que está
em execução.
Expandir o software a nível nacional, visando
contribuir ao acesso à computadores por pessoas
portadoras de deficiência motora.
Universidade www.laps.ufpa.br
Federal do Pará

19. Trabalhos Publicados
I Feira Paraense de Tecnologia Assistiva realizada em 2011. Nessa
mesma Feira, o SimonBR concorreu ao prêmio “Tecnologia Assistiva
da Região Norte”, ficando em terceiro lugar na categoria Projetos
Tecnológicos Inovadores.
I Jornada Cientifica de Pedagogia que ocorreu no Campus de
Castanhal da UFPA em 14/02/2012.
SBIE 2012: 23º Simpósio Brasileiro de Informática na Educação.
Universidade www.laps.ufpa.br
Federal do Pará

20. Referências Bibliográficas
ALVES, A. R. M., e FRANÇA, A. C. C. (2010). Educação em Informática de Deficientes Visuais por Meio de Tecnologias Assistiva: A Experiência da APAE de Paulo Afonso/BA. XXI
Simpósio Brasileiro de Informática na Educação. Disponível em: <http://www.ccae.ufpb.br/sbie2010/anais//ESLE_files/76593_1.pdf>. Acesso em: Julho, 2012.
BERSCH, R. (2008). Introdução à Tecnologia Assistiva. Disponível em: <proeja.com/portal/images/semana-quimica/2011-10-19/tec-assistiva.pdf>. Acesso em: Julho, 2012.
CARVALHO, N. A., e FERREIRA, B. de J. P. (2011). Especificação e Desenvolvimento de uma Ferramenta Voltada ao Amadurecimento do Vocabulário de Crianças Surdas. XVII
Workshop de Informática na Escola. Disponível em: <http://www.br-ie.org/sbie-wie2011/WIE-Trilha3/92952_1.pdf>. Acesso em: Julho, 2012.
CAT: Comitê de Ajudas Técnicas (2007). Disponível em: <portal.mj.gov.br/corde/arquivos/doc/Ata_VII_Reunião_do_Comite_de_Ajudas_Técnicas.doc >. Acesso em: Julho,
2012.
DUTOIT, T. (2001). An Introduction to Text-To-Speech Synthesis. Kluwer.
FALABRASIL: Reconhecimento de Voz para o Português Brasileiro (2012). Disponível em: <http://www.laps.ufpa.br/falabrasil/>. Acesso em: Julho, 2012.
HUANG, X., ACERO A., e HON, H. (2001). Spoken Language Processing. Prentice-Hall.
INTERVOX: Projeto Motrix (2012). Disponível em: <http://www.intervox.nce.ufrj.br/motrix/download.htm>. Acesso em: Julho, 2012.
IBGE: Censo Demográfico (2010). Disponível em: <ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Caracteristicas_Gerais_Religiao_Deficiencia/tab1_3.pdf>. Acesso
em: Julho, 2012.
SALTON, B. P., MAIA, N., e ROSITO, M. C. (2011). Inclusão Social e Digital de Alunos com Deficiência Visual: Um Estudo Comparativo entre Leitores de Tela. XVII Workshop de
Informática na Escola. Disponível em: <http://www.br-ie.org/sbie-wie2011/SBIE-Trilha4/92666_1.pdf>. Acesso em: Julho, 2012.
SIDMAN, M., e TAILBY, W. (1982). Conditional Discrimination vs Matching to Sample: An Expansion of the Testing Paradigm. Journal of the Experimental Analysis of Behavior,
37: 5-22.
SILVA, P., BATISTA, P., NETO, N., e KLAUTAU, A. (2010). An Open-Source Speech Recognizer for Brazilian Portuguese with a Windows Programming Interface. Computational
Processing of the Portuguese Language, 6001: 128-131.
SIMON LISTENS (2012). Disponível em: <http://simon-listens.org>. Acesso em: Julho, 2012.
TAVARES, J., LEITHARDT, V., GEYER C., e SILVA J. (2009). Uma Aplicação Para o Ensino da Língua Portuguesa Para Surdos Utilizando o SensorLibras. XX Simpósio Brasileiro de
Informática na Educação. Disponível em: <www.br-ie.org/pub/index.php/sbie/article/download/1172/1075>. Acesso em: Julho, 2012.
Universidade www.laps.ufpa.br
Federal do Pará

21. Considerações Finais
Este projeto é importante para criar uma rede de colaboração e dar visibilidade do
potencial que a tecnologia de reconhecimento de voz pode oferecer à sociedade.
Essa ação permite melhorar substancialmente a qualidade de vida de pessoas com
deficiência motora, e numa expectativa mais otimista, também contribui para
facilitar seu ingresso no mercado de trabalho.
Este projeto contribuiu significativamente para meu ingresso no meio científico,
além de ter me proporcionado uma experiência que a fiz com satisfação, pois
estava trabalhando em prol de melhorar a vida de outras pessoas, além de ser
uma iniciativa para minimizar o preconceito existente contra pessoas portadoras
de deficiência, ainda presente na sociedade.
Universidade www.laps.ufpa.br
Federal do Pará

22. Considerações Finais
Maiores informações:
http://www.laps.ufpa.br/falabrasil/simonbr
Programa
para
download
vídeos Tutorial
demons- de
trativos instalação
Manual
de
comandos
Universidade www.laps.ufpa.br
Federal do Pará

23. Agradecimentos
Este projeto recebeu apoio financeiro:
Agradecemos também a equipe:
Universidade www.laps.ufpa.br
Federal do Pará

24. Seminário de Iniciação Científica UFPA
SimonBR: Um software gratuito para
navegação Web através de comandos de
voz por portadores de deficiência motora
Universidade www.laps.ufpa.br
Federal do Pará