Trabajo Regular presentado en CoSECiVi'14. Resumen: In this paper a low-cost step-aerobics instructor simulation system is presented. The proposed system analyses a given song to identify its rhythmic pattern. Subsequently, this rhythmic pattern is used in order to issue a set of steps-aerobics commands to the user, thus simulating a training session. The system uses a Wii Balance Board to track exercises performed by users and runs on an Android smartphone. A set of tests were conducted to assess user experience and opinion on the system developed.

1. Alejandro Rosa-Pujazón
Isabel Barbancho
Lorenzo J. Tardón
Ana M. Barbancho

2. INTRODUCCIÓN
DESCRIPCIÓN DEL SISTEMA
EVALUACIÓN
CONCLUSIONES Y LÍNEAS FUTURAS
DETECCIÓN DE BEATS: detección de la estructura rítmica
ESTIMACIÓN DE INTENSIDAD: generación de comandos de diferentes
niveles de dificultad

3. Aplicación de nuevas tecnologías a experiencias interactivas con la música
Experiencias más enriquecedoras e inmersivas
Simplifica/Facilita el acceso a experiencias musicales
Nuevos paradigmas de interacción musical que no serían posibles con
métodos más tradicionales
3
Objetivo – Simulador de step-aerobics
Bajo coste
Intuitivo y fácil de utilizar

4. Simulador de step-aerobics
Detección de “gestos”  Wii Balance Board
Aplicación Android
4
Paradigma de interacción intuitivo: usuario recibe direcciones por parte
del instructor y realiza los pasos indicados

5. Simulador de step-aerobics
Onsets  secuencia de tiempos de ataque de las notas  mantiene la
información de la estructura rítmica y simplifica el análisis
1ª Función: detectar posición exacta de beats en la melodía
2ª Función: generar comandos de step-aerobics de acuerdo a la
intensidad rítmica de la pieza elegida
5

6. Algoritmo de detección de onsets
Tratamiento diferenciado en sub-bandas de frecuencia 
Extracción de picos:
- Se eliminan/aglutinan los picos “muy juntos”
- Resultado final: secuencia de onsets en el tiempo
6
Análisis en frecuencia para mayor generalidad

7. Algoritmo de detección de beats (Dixon 2001)
7
Estimación de tempo: se calcula la diferencia en el tiempo de cada par
de onsets (Inter-onset Intervals, IOI)
La información rítmica está contenida en los IOI entre 50 ms y 2 s
(Handel, 1989)
Algoritmo de clustering sobre el conjunto de IOI  genera diferentes
hipótesis de tempo (imagen Dixon 2001  ejemplo de 5 posibles valores
de tempo a partir de la agrupación de los IOI)

8. Algoritmo de detección de beats (Dixon 2001)
Sistema basado en agentes para detectar los “beats”
8
Se crea un conjunto de agentes con un valor Tsalto o de los valores de
tempo encontrados
A partir de un instante inicial, los agentes recorren la secuencia de onsets
en pasos de ti+1 = ti + Tsalto
Si hay onsets “suficientemente cerca” (según un umbral) de ti+1 , se
modifica parcialmente el valor de Tsalto para intentar coincidir con el
onset encontrado
Al finalizar su recorrido, cada Agente indica una secuencia de instantes
temporales, y una puntuación en función de cómo de cerca están dichos
instantes a eventos rítmicos (onsets) en la canción
El Agente con mejor puntuación define la posición temporal de los
“beats”

9. Estimación del grado de intensidad
La categoría más común se toma como referencia y se le asigna una
intensidad base. La intensidad del resto de categorías se asigna en
función de cómo sea su densidad media de onsets con respecto a la
referencia
Enventanado de onsets:
- Ventanas de Tc~24 golpes de tempo
- 50% solapamiento
Función “densidad de onsets”:
- Se calcula el total de onsets en la pieza
- Se asigna un valor de densidad a cada ventana en función de
la relación entre los onsets en la ventana con respecto al total
9
Partimos nuevamente de la secuencia de onsets
Diferentes niveles de densidad de onsets se asocian a diferentes niveles
de intensidad rítmica: clustering por k-NN k categorías

10. Estimación del grado de intensidad
Ejemplo para k=3
10
A B B B C C B B A B B C C B
3 categorías (A, B y C) A B C
Número medio de beats por categoría 15 23 47
Nivel de intensidad asociado Bajo Medio Alto
B es la categoría más común y se toma como referencia. La intensidad de
A y C se ajusta en relación al número medio de onsets asociado a las
mismas
Asignación de comandos de step-aerobics de dificultad variable en
función de la intensidad de cada bloque

11. Evaluación experimental: 10 participantes
Tres niveles de intensidad: estándar, alto y bajo.
1 sesión de steps con una de 5 canciones posibles.
Comandos presentados por pantalla.
Ejercicios de baja y estándar intensidad: 4 pasos. Alta intensidad: 8 pasos.
0 2 4 6 8 10
Utilidad
Satisfacción
Novedad
Facilidad de uso
Sincronización
Media
Min
Max
11

12. Implementación de un sistema de bajo coste para simulación de step-
aerobics
12
Líneas futuras
Analiza la estructura rítmica y asigna comandos y ejercicios de forma
acorde a la intensidad rítmica en cada momento
Añadir comandos por voz y asesoramiento y evaluación profesional para
refinar la presentación y secuenciación de los ejercicios
Evaluación con usuarios: se reporta en general una experiencia positiva
Limitaciones: interacción visual y dificultad en la secuenciación de
algunos ejercicios
Aplicación como herramienta de apoyo para rehabilitación