O documento descreve o Personal Activity Detection System (PADS), um sistema para detecção e monitorização de atividade física de idosos. O PADS usa câmaras, smartphones e servidores para recolher dados de sensores e inferir probabilisticamente a atividade do utilizador através de redes bayesianas. O sistema foi avaliado com sucesso na classificação de atividades e na fusão de informação de vários módulos para determinar o estado do utilizador.
1. PADS
Personal Activity Detection System
Sérgio Vale
Orientador: Prof. Doutor José Torres
Coorientador: Prof. Doutor Rui Silva Moreira
2. O Problema
Taxa de
natalidade
Espectativa
média de vida
• O número de pessoas idosas irá exceder a
capacidade de resposta da sociedade atual
• Importância da atividade física
• monitorização é fundamental
• As quedas são um dos problemas mais
graves na assistência geriátrica
Qualidade
de vida
Promoção
da saúde
Independ-
ência do
idoso
28% 34%
3. Objetivos
• Deteção e monitorização de
atividade
– Deteção de atividade física
– Deteção de presença em locais
estratégicos
• Fusão de informação de várias
fontes
• Desenvolvimento de um
protótipo
– câmaras web
– um smartphone
– servidores
• Inferência probabilística
4. Estado da arte
• Sistemas sensíveis ao contexto compreendem módulos de aquisição
• Agentes inteligentes
• Sensores
Módulo de aquisição
Acelerómetro
Magnetómetro
Giroscópio
Interpretação da
perceção dos sensores
Tomada de decisão
Aceleração
Direção
localizaçãotemperatura
visão
5. Software
• OpenCV
– biblioteca open source de visão por computador desenvolvida em c/c++
– Análise e interpretação da atividade humana (frame)
– Eficiência computacional com um forte direcionamento para as aplicações em
tempo real
• Weka
– Coleção de algoritmos de aprendizagem
– Métodos para todos os problemas standard de data mining de regressão,
classificação, clustering, association rule mining e seleção de atributos
– Aplicar um método de aprendizagem a um conjunto de dados e apresenta
resultados
– Os conjunto de dados são pré-formatados num ficheiro ARFF
• Mocapy++
– Inferência e aprendizagem de redes bayesianas
– Usa a Técnica Markov chain Monte Carlo (MCMC), designada Gibbs sampling.
– Utiliza o método expectation maximization (EM)
7. Técnicas de Inferência
• Métodos baseados em heurísticas
– Este método depende inevitavelmente de um conjunto de dados completo
– Método aplicado a através de regras
– Simple Reflex Agent - é muito limitado a nível de inteligência e sem memória
– Model-Based Agent - contém alguma inteligência devido a possuir memória
• Métodos baseados em aprendizagem
– Saber como atuar no presente mas também no futuro
– A aprendizagem indutiva é uma classe de algoritmos para aprendizagem
supervisionada determinística
– Teoria da aprendizagem computacional
– Atributos nominais ou numéricos
– Logit Boost que utiliza a técnica additive logistic regression
• Inferência probabilística
– Processo de inferir um resultado a partir de várias observações
– No PADS são utilizadas as redes bayesianas que são um modelo gráfico
– A componente gráfica serve como suporte para alcançar eficiência
computacional
8. Trabalhos relacionados
Acel. Gyrosc. Magnet. Outro
sensor
Indoor /
outdoor
Objetivo Dispositivo
(Dai et al., 2010) Sim Não Não Magnético ambos Detetar quedas smartphone
(Ryder et al., 2009) Sim Não Não GPS ambos Monitorizar atividade e
localização
smartphone
(Anderson et al.,
2007)
Não Não Não GSM ambos Monitorizar atividade física Cell phone
(Torres et al., 2012) Sim Não Não - ambos Monitorizar atividade física customized
(Kwapisz et al.,
2010)
Sim Não Não - ambos Monitorizar atividade física Cell phone
(Luštrek & Kaluža,
2009)
Sim Sim Não Radio tag ambos Monitorização da atividade
física e reconhecimento de
quedas
customized
(Gonçalves et al.,
2009)
Sim Não Não Temperatura e
luminosidade
indoor Monitorização da atividade
física e sinais vitais
customized
(Mccall et al., 2012) Sim Sim Sim - ambos Detetar atividades físicas
variadas (cozinhar)
smartphone
Own Application Sim Sim Sim - ambos Monitorização da atividade
física
smartphone
12. Activity Detection Module
• Objectivo: Atividade física do utilizador do dispositivo móvel
• Aplicação 1: Recolha e tratamento de informação
– Execução de atividades
– Recolha dos dados
– Modelo de aprendizagem (Weka)
• Aplicação 2: Leitura de informação e classificação de atividades
– Modelo de aprendizagem (ADM)
– Recolha de dados
– Classificação em tempo real
– Envio da classificação para o servidor
18. Avaliação da atividade física
Evento
Classificado como:
A B C D E
A 100% 0% 0% 0% 0%
B 0% 98,5% 1,5% 0% 0%
C 0% 2% 97,5% 0% 0,5%
D 0,7% 1,4% 0% 94,3% 3,6%
E 0% 3,8% 7,7% 23,1% 65,4%
A: Parado B: Andar C: Correr D: Deitado E: Queda
• Samsung Nexus S
– Android
– Processador ARM de 1Ghz
– 512 Mb de RAM
• Taxa de amostragem: 10Hz
• Intervalo de aquisição: 100s/10s
• Algoritmo classificador: Logit Boost
• Técnica: 10-fold cross validation
• Precisão de 96,73%
-5.00
0.00
5.00
10.00
15.00
20.00
25.00
1 2 3 4 5 6 7 8 9 10
Segundos
X
Y
Z
19. Avaliação da determinação de
atividade por fusão
• Componentes utilizados:
– Activity Detection Module
– Presence Detection Module
• Cenário: “A Mary circula pela sala em
direção à televisão e senta-se na sua
frente a ver o seu programa favorito”
• Estados possiveis:
– “Em frente à TV”
– “A tomar medicação”
– “A fazer exercício em frente à TV”
– “Ao telefone”
– “Queda”
– “Outra”
20. Avaliação da determinação de
atividade por fusão
Momento
Activity Detection
Module
Presence Detection
Module
Information Fusion Module
(Output do sistema)
Ground Truth
1 Parado - Outra O utilizador está parado perto da
porta da sala.
2 Andar - Outra Movimenta-se em direção ao sofá.
3 Andar - Outra Movimenta-se em direção ao sofá.
4 Andar - Outra Movimenta-se em direção ao sofá.
5 Andar - Outra Movimenta-se em direção ao sofá e
senta-se no mesmo.
6 Parado TV Em frente à TV Sentado no sofá a ver televisão.
7 Parado Outra Em frente à TV Sentado no sofá a ver televisão.
8 Parado TV Em frente à TV Sentado no sofá a ver televisão.
9 Parado TV Em frente à TV Sentado no sofá a ver televisão.
10 Parado TV Em frente à TV Sentado no sofá a ver televisão.
21. Conclusões
• Contribuições
– Activity Detection Module
– Presence Detection Module
– Information Fusion Module
– Protótipo integrando todos os componentes anteriores
• Trabalho futuro
– Aperfeiçoamento da interface gráfica na apresentação de resultados
– utilização de outros meios de comunicação
– Introdução de novos módulos sensores