SlideShare a Scribd company logo
1 of 25
Download to read offline
Computer Vision:
Fysisk rehabilitering i eget hjem
Kim Steenstrup Pedersen
Datalogisk Institut, Københavns Universitet
&
DigiCorpus ApS
D E P A R T M E N T O F C O M P U T E R S C I E N C E
U N I V E R S I T Y O F C O P E N H A G E N
1image.diku.dk/kimstp
Hvem er jeg?
Kim Steenstrup Pedersen
•  Image sektionen, Datalogisk
institut, Københavns Universitet:
–  Lektor, Ph.D. i Datalogi
–  Forsker i computer vision,
billedanalyse, mønstergenkendelse
(machine learning)
•  DigiCorpus ApS:
–  Medstifter, forskning og udvikling
–  Spin-out fra Københavns Universitet
2image.diku.dk/kimstp
Slagplan
•  Forskning i tracking og modellering af menneskelig
bevægelse:
–  Hvad går det ud på?
–  Hvor langt er forskningen kommet?
•  Velfærdsteknologisk anvendelse:
–  DigiCorpus: Computer-assisteret fysisk træning og rehabilitering
3image.diku.dk/kimstp
Hvad er Computer Vision?
(På dansk - datamatsyn)
•  Def.: Handler om at opbygge modeller af verden (scenen) set
gennem billeder fra et eller flere digitale kameraer, og fortolke
scenen gennem modellerne.
4
Modellering af menneskelig bevægelse:
DIKU forskningsinitiativ startet i efteråret 2007
http://humim.org/
•  Tracking:
–  Opmåling af bevægelse vhj. af
kamera og sensorer
•  Modellering:
–  Fra simple kinematiske modeller
af krop og dynamik til komplet
fysisk simulering inklusiv muskler
og interaktion med omgivelserne
•  Feedback:
–  Fra kvantitativ beskrivelse af
bevægelse til let forståelig
kvalitativ opsummering af
bevægelse.
MS Kinect sensor
image.diku.dk/kimstp 5
Motiverende case: Interaktiv fysioterapi
image.diku.dk/kimstp 6
Tracking: Visuel opmåling af bevægelse
image.diku.dk/kimstp 7
Det her dur ikke hjemme hos Fru Jensen!
(Markør-baseret system fra Vicon - www.vicon.com)
http://www.youtube.com/watch?v=2uDnW4AtFiE&feature=player_embedded
Et kamera og ingen markører – hvad gør man så?
3D via stereo eller struktureret lys
Point Grey Bumblebee2
stereo kamera
MS Kinect sensor
9
Asus Xtion sensor
Model af kroppen
•  Det kinematiske skelet
(Tændstik manden):
–  Knogler repræsenteret ved
stive pinde forbundet med
led.
–  Lemmer har ingen masse
eller volumen.
•  Skin model giver volumen:
–  Cylindre
–  Ellipser
–  …
Θ = θ1,…,θD[ ]
T
image.diku.dk/kimstp 10
Tracking: Visuel opmåling af bevægelse
Dybde “video” Positur estimater
€
It
€
Θt
€
t −1
€
t
€
t +1
Θt
€
p(Θt | I1:t )
Undgå jitter ved filtrering
(dynamisk model)
Bayesiansk filtrering
Tracking: Visuel opmåling af bevægelse
image.diku.dk/kimstp 12
State-of-the-art indenfor tracking
•  Hardware:
–  Microsoft Kinect for Xbox 360 (nov. 2010)
–  Microsoft Kinect for Windows (feb. 2012)
–  Asus Xtion (2011)
–  PrimeSense Carmine (2011)
•  Tilgængeligt software biblioteker:
–  Microsoft Kinect SDK (Windows)
–  OpenNI og PrimeSense NITE tracker (Windows, Mac, Linux)
–  Open source: OpenKinect
•  Du kan også skrive din egen tracker!
Kan være nødvendigt i visse tilfælde.
13image.diku.dk/kimstp
Motiverende case: Interaktiv fysioterapi
image.diku.dk/kimstp 14
Eksempel på knæøvelse: Glide til siden
Fysioterapeutens fokusområder:
•  Udgangsposition:
–  Stående med ryggen i
neutralstilling. Placér en tæppeflise
under det raske ben.
•  Træning:
–  Lav kortfod
–  Hold ryggen i neutral stilling
–  Når du bøjer det operede knæ skal
knæet "følge” anden tå og du skal
undgå at ”tabe” hoften.
–  Obs: Under øvelsen skal du forsøge
at opretholde en stilling, hvor
hoften, knæet og foden er på en
linie.
15image.diku.dk/kimstp
Øvelsesmodel: Hvad skal den kunne?
image.diku.dk/kimstp 16
•  Detektion er ikke nok (der er et problem)
•  Kausalitet er vigtigt (hvor på kroppen er den gal)
•  Vi vil efterligne fysioterapeutens feedback til patienten
DigiCorpus:
Computer-assisteret fysisk træning
Fra forskning til en velfærdsteknologisk løsning
17image.diku.dk/kimstp
Udspringer af forskning på Datalogisk Institut, Københavns Universitet
DigiCorpus: Hvem er vi?
Jon Sporring
Datalog, Ph.D.
Kim Steenstrup
Pedersen
Datalog, Ph.D.
Claus Lorents
Sørensen
Cand.merc. &
E-MBA
Forskning og
Udvikling
Ledelse, Salg &
Økonomi
Forskning og
Udvikling
Mission
Levering af computer-
understøttet velfærdsteknologi
der giver enkel, hurtig og smidig
genoptræning både i
genoptrænings-centre og i eget
hjem.
Vision
Udvikle en betydende
international virksomhed, der
arbejder bredt med
genoptræning,
velfærdsteknologi og
telemedicin.Vi	
  er	
  inds)llede	
  på	
  at	
  levere	
  en	
  LANGSIGTET	
  indsats	
  	
  i	
  tæt	
  
samarbejde	
  med	
  fysioterapeuter	
  og	
  borgere	
  hen	
  imod	
  at	
  
skabe	
  en	
  dynamisk	
  vækstvirksomhed	
  !	
  
18image.diku.dk/kimstp
Mindre opdrift i offentlige budgetter…….
Og stigende andel borgere med behov for behandlingstilbud
1.  Befolkningen bliver ældre - Andel af over 64 årige
Forventning: 16,8 % (2011) til 24,6% (2042) *)
2.  Andel af moderat og svært overvægtige stiger
Forventning: (mænd) 50% (2000) til 59% (2020) **)
3.  Borgers forventning til individuel behandling stiger
Vil behandles som speciel og helt unik - også udenfor åbningstiden
Praktiske løsninger der virker med det samme og ikke tager tid
Dokumentation og succesrater skal være på plads ***)
*) Landsdækkende befolkningsfremskrivning. Danmarks Statistik (DST) og DREAM. 4. maj 2011
**) KL samt Statens Institut for folkesundhed marts 2009
***) Center for fremtidsforskning
image.diku.dk/kimstp
Ældreområdet
Pleje og Træning
Serviceloven
(§§ 79, 83, 84, 85, 86.1, 86.2, 117)
Sundhed/
Forebyggelse
Sundhedslovens (§140)
Job/Beskæftigelse
Lov om sygedagpenge, (§ 24-29)
(Sygedagpenge +52 uger)
Målgrupper
20image.diku.dk/kimstp
Fysioterapeut får redskab der sikrer kvalitetstræning i borgerens eget
hjem.
1.  Eksakt feedback både under øvelsen og efter øvelsen. Sikrer at
borger træner på en forsvarlig måde.
2.  Rapport til fysioterapeut, borger samt andre interessenter.
3.  Nem betjening. Standard hardware som tilsluttes borgers egen
computerskærm eller tv – kvalitetsprodukt der blot vejer 3,5 kg og
derfor kan hentes af borger eller af borgers pårørende.
løsning - ‘more with less’
21image.diku.dk/kimstp
DigiCorpus
Dashboard
Funktion
Center
Trainer
Home
Trainer
•  Forløb med progression over flere sessioner
•  Fys kan se antal udførte øvelser og kvalitet
•  Patient kan registrere smerte (NRS skala)
•  Fysioterapeut retter øvelsesforløb online.
•  Rapporter med relevant info.
•  Borger kan deltage på virtuelle hold og samtale med andre
om hvordan det går.
•  Fordeler træning over flere sessioner
•  Hjælper borger til at udføre øvelse korrekt
•  Indgå i cirkeltræning – Større hold
22image.diku.dk/kimstp
Sådan bruges DigiCorpus Home Trainer
23image.diku.dk/kimstp
Opsummering
•  Computer vision forskning er moden til nye innovative
anvendelser i industrien.
–  MS Kinect er blot ét eksempel
–  Tracking teknologi er moden til nye spændende anvendelser –
det er blot at komme i gang
•  Velfærdsteknologisk anvendelse:
–  Fysioterapeutisk træning i eget hjem.
24image.diku.dk/kimstp
Tak for jeres opmærksomhed
Spørgsmål?
25image.diku.dk/kimstp

More Related Content

More from InfinIT - Innovationsnetværket for it

More from InfinIT - Innovationsnetværket for it (20)

Object orientering, test driven development og c
Object orientering, test driven development og cObject orientering, test driven development og c
Object orientering, test driven development og c
 
Embedded softwaredevelopment hcs
Embedded softwaredevelopment hcsEmbedded softwaredevelopment hcs
Embedded softwaredevelopment hcs
 
C og c++-jens lund jensen
C og c++-jens lund jensenC og c++-jens lund jensen
C og c++-jens lund jensen
 
201811xx foredrag c_cpp
201811xx foredrag c_cpp201811xx foredrag c_cpp
201811xx foredrag c_cpp
 
C som-programmeringssprog-bt
C som-programmeringssprog-btC som-programmeringssprog-bt
C som-programmeringssprog-bt
 
Infinit seminar 060918
Infinit seminar 060918Infinit seminar 060918
Infinit seminar 060918
 
DCR solutions
DCR solutionsDCR solutions
DCR solutions
 
Not your grandfathers BPM
Not your grandfathers BPMNot your grandfathers BPM
Not your grandfathers BPM
 
Kmd workzone - an evolutionary approach to revolution
Kmd workzone - an evolutionary approach to revolutionKmd workzone - an evolutionary approach to revolution
Kmd workzone - an evolutionary approach to revolution
 
EcoKnow - oplæg
EcoKnow - oplægEcoKnow - oplæg
EcoKnow - oplæg
 
Martin Wickins Chatbots i fronten
Martin Wickins Chatbots i frontenMartin Wickins Chatbots i fronten
Martin Wickins Chatbots i fronten
 
Marie Fenger ai kundeservice
Marie Fenger ai kundeserviceMarie Fenger ai kundeservice
Marie Fenger ai kundeservice
 
Mads Kaysen SupWiz
Mads Kaysen SupWizMads Kaysen SupWiz
Mads Kaysen SupWiz
 
Leif Howalt NNIT Service Support Center
Leif Howalt NNIT Service Support CenterLeif Howalt NNIT Service Support Center
Leif Howalt NNIT Service Support Center
 
Jan Neerbek NLP og Chatbots
Jan Neerbek NLP og ChatbotsJan Neerbek NLP og Chatbots
Jan Neerbek NLP og Chatbots
 
Anders Soegaard NLP for Customer Support
Anders Soegaard NLP for Customer SupportAnders Soegaard NLP for Customer Support
Anders Soegaard NLP for Customer Support
 
Stephen Alstrup infinit august 2018
Stephen Alstrup infinit august 2018Stephen Alstrup infinit august 2018
Stephen Alstrup infinit august 2018
 
Innovation og værdiskabelse i it-projekter
Innovation og værdiskabelse i it-projekterInnovation og værdiskabelse i it-projekter
Innovation og værdiskabelse i it-projekter
 
Rokoko infin it presentation
Rokoko infin it presentation Rokoko infin it presentation
Rokoko infin it presentation
 
Kenny erleben infinit_workshop
Kenny erleben infinit_workshopKenny erleben infinit_workshop
Kenny erleben infinit_workshop
 

Fysisk rehabilitering i eget hjem af Kim Steenstrup Pedersen, DIKU

  • 1. Computer Vision: Fysisk rehabilitering i eget hjem Kim Steenstrup Pedersen Datalogisk Institut, Københavns Universitet & DigiCorpus ApS D E P A R T M E N T O F C O M P U T E R S C I E N C E U N I V E R S I T Y O F C O P E N H A G E N 1image.diku.dk/kimstp
  • 2. Hvem er jeg? Kim Steenstrup Pedersen •  Image sektionen, Datalogisk institut, Københavns Universitet: –  Lektor, Ph.D. i Datalogi –  Forsker i computer vision, billedanalyse, mønstergenkendelse (machine learning) •  DigiCorpus ApS: –  Medstifter, forskning og udvikling –  Spin-out fra Københavns Universitet 2image.diku.dk/kimstp
  • 3. Slagplan •  Forskning i tracking og modellering af menneskelig bevægelse: –  Hvad går det ud på? –  Hvor langt er forskningen kommet? •  Velfærdsteknologisk anvendelse: –  DigiCorpus: Computer-assisteret fysisk træning og rehabilitering 3image.diku.dk/kimstp
  • 4. Hvad er Computer Vision? (På dansk - datamatsyn) •  Def.: Handler om at opbygge modeller af verden (scenen) set gennem billeder fra et eller flere digitale kameraer, og fortolke scenen gennem modellerne. 4
  • 5. Modellering af menneskelig bevægelse: DIKU forskningsinitiativ startet i efteråret 2007 http://humim.org/ •  Tracking: –  Opmåling af bevægelse vhj. af kamera og sensorer •  Modellering: –  Fra simple kinematiske modeller af krop og dynamik til komplet fysisk simulering inklusiv muskler og interaktion med omgivelserne •  Feedback: –  Fra kvantitativ beskrivelse af bevægelse til let forståelig kvalitativ opsummering af bevægelse. MS Kinect sensor image.diku.dk/kimstp 5
  • 6. Motiverende case: Interaktiv fysioterapi image.diku.dk/kimstp 6
  • 7. Tracking: Visuel opmåling af bevægelse image.diku.dk/kimstp 7
  • 8. Det her dur ikke hjemme hos Fru Jensen! (Markør-baseret system fra Vicon - www.vicon.com) http://www.youtube.com/watch?v=2uDnW4AtFiE&feature=player_embedded
  • 9. Et kamera og ingen markører – hvad gør man så? 3D via stereo eller struktureret lys Point Grey Bumblebee2 stereo kamera MS Kinect sensor 9 Asus Xtion sensor
  • 10. Model af kroppen •  Det kinematiske skelet (Tændstik manden): –  Knogler repræsenteret ved stive pinde forbundet med led. –  Lemmer har ingen masse eller volumen. •  Skin model giver volumen: –  Cylindre –  Ellipser –  … Θ = θ1,…,θD[ ] T image.diku.dk/kimstp 10
  • 11. Tracking: Visuel opmåling af bevægelse Dybde “video” Positur estimater € It € Θt € t −1 € t € t +1 Θt € p(Θt | I1:t ) Undgå jitter ved filtrering (dynamisk model) Bayesiansk filtrering
  • 12. Tracking: Visuel opmåling af bevægelse image.diku.dk/kimstp 12
  • 13. State-of-the-art indenfor tracking •  Hardware: –  Microsoft Kinect for Xbox 360 (nov. 2010) –  Microsoft Kinect for Windows (feb. 2012) –  Asus Xtion (2011) –  PrimeSense Carmine (2011) •  Tilgængeligt software biblioteker: –  Microsoft Kinect SDK (Windows) –  OpenNI og PrimeSense NITE tracker (Windows, Mac, Linux) –  Open source: OpenKinect •  Du kan også skrive din egen tracker! Kan være nødvendigt i visse tilfælde. 13image.diku.dk/kimstp
  • 14. Motiverende case: Interaktiv fysioterapi image.diku.dk/kimstp 14
  • 15. Eksempel på knæøvelse: Glide til siden Fysioterapeutens fokusområder: •  Udgangsposition: –  Stående med ryggen i neutralstilling. Placér en tæppeflise under det raske ben. •  Træning: –  Lav kortfod –  Hold ryggen i neutral stilling –  Når du bøjer det operede knæ skal knæet "følge” anden tå og du skal undgå at ”tabe” hoften. –  Obs: Under øvelsen skal du forsøge at opretholde en stilling, hvor hoften, knæet og foden er på en linie. 15image.diku.dk/kimstp
  • 16. Øvelsesmodel: Hvad skal den kunne? image.diku.dk/kimstp 16 •  Detektion er ikke nok (der er et problem) •  Kausalitet er vigtigt (hvor på kroppen er den gal) •  Vi vil efterligne fysioterapeutens feedback til patienten
  • 17. DigiCorpus: Computer-assisteret fysisk træning Fra forskning til en velfærdsteknologisk løsning 17image.diku.dk/kimstp
  • 18. Udspringer af forskning på Datalogisk Institut, Københavns Universitet DigiCorpus: Hvem er vi? Jon Sporring Datalog, Ph.D. Kim Steenstrup Pedersen Datalog, Ph.D. Claus Lorents Sørensen Cand.merc. & E-MBA Forskning og Udvikling Ledelse, Salg & Økonomi Forskning og Udvikling Mission Levering af computer- understøttet velfærdsteknologi der giver enkel, hurtig og smidig genoptræning både i genoptrænings-centre og i eget hjem. Vision Udvikle en betydende international virksomhed, der arbejder bredt med genoptræning, velfærdsteknologi og telemedicin.Vi  er  inds)llede  på  at  levere  en  LANGSIGTET  indsats    i  tæt   samarbejde  med  fysioterapeuter  og  borgere  hen  imod  at   skabe  en  dynamisk  vækstvirksomhed  !   18image.diku.dk/kimstp
  • 19. Mindre opdrift i offentlige budgetter……. Og stigende andel borgere med behov for behandlingstilbud 1.  Befolkningen bliver ældre - Andel af over 64 årige Forventning: 16,8 % (2011) til 24,6% (2042) *) 2.  Andel af moderat og svært overvægtige stiger Forventning: (mænd) 50% (2000) til 59% (2020) **) 3.  Borgers forventning til individuel behandling stiger Vil behandles som speciel og helt unik - også udenfor åbningstiden Praktiske løsninger der virker med det samme og ikke tager tid Dokumentation og succesrater skal være på plads ***) *) Landsdækkende befolkningsfremskrivning. Danmarks Statistik (DST) og DREAM. 4. maj 2011 **) KL samt Statens Institut for folkesundhed marts 2009 ***) Center for fremtidsforskning image.diku.dk/kimstp
  • 20. Ældreområdet Pleje og Træning Serviceloven (§§ 79, 83, 84, 85, 86.1, 86.2, 117) Sundhed/ Forebyggelse Sundhedslovens (§140) Job/Beskæftigelse Lov om sygedagpenge, (§ 24-29) (Sygedagpenge +52 uger) Målgrupper 20image.diku.dk/kimstp
  • 21. Fysioterapeut får redskab der sikrer kvalitetstræning i borgerens eget hjem. 1.  Eksakt feedback både under øvelsen og efter øvelsen. Sikrer at borger træner på en forsvarlig måde. 2.  Rapport til fysioterapeut, borger samt andre interessenter. 3.  Nem betjening. Standard hardware som tilsluttes borgers egen computerskærm eller tv – kvalitetsprodukt der blot vejer 3,5 kg og derfor kan hentes af borger eller af borgers pårørende. løsning - ‘more with less’ 21image.diku.dk/kimstp
  • 22. DigiCorpus Dashboard Funktion Center Trainer Home Trainer •  Forløb med progression over flere sessioner •  Fys kan se antal udførte øvelser og kvalitet •  Patient kan registrere smerte (NRS skala) •  Fysioterapeut retter øvelsesforløb online. •  Rapporter med relevant info. •  Borger kan deltage på virtuelle hold og samtale med andre om hvordan det går. •  Fordeler træning over flere sessioner •  Hjælper borger til at udføre øvelse korrekt •  Indgå i cirkeltræning – Større hold 22image.diku.dk/kimstp
  • 23. Sådan bruges DigiCorpus Home Trainer 23image.diku.dk/kimstp
  • 24. Opsummering •  Computer vision forskning er moden til nye innovative anvendelser i industrien. –  MS Kinect er blot ét eksempel –  Tracking teknologi er moden til nye spændende anvendelser – det er blot at komme i gang •  Velfærdsteknologisk anvendelse: –  Fysioterapeutisk træning i eget hjem. 24image.diku.dk/kimstp
  • 25. Tak for jeres opmærksomhed Spørgsmål? 25image.diku.dk/kimstp