Servicios de recomendación contextual para Instituciones de Educación Superior mediante realidad aumentada utilizando Smartphones y ontologías organizacionales

Servicios de recomendación contextual
para Instituciones de Educación Superior
mediante realidad aumentada utilizando
Smartphones y ontologías organizacionales
Ing. Rodrigo Alejandro Morán Leal

Director: Dr. Juan Gabriel González Serna
Codirectora: Dra. Azucena Montes Rendón
CARS

2 Contenido

Introducción

Marco Teórico

Estado del Arte

Metodología de Solución

Pruebas y Resultados

Conclusiones

3 Contenido

Introducción

Marco Teórico

Estado del Arte



Conclusiones

4 Introducción
 En los sistemas de recomendación sensibles al contexto
(SRSC) se analizan y toman en consideración diferentes
factores contextuales para inferir el contexto en que se
encuentra el usuario (situación) y adaptar las
recomendación a esas circunstancias.

Serminario II

5 Introducción
En el laboratorio de Sistemas Distribuidos del
CENIDET se ha desarrollado un Sistema de
Recomendación Sensible al Contexto (SRSC)
denominado T-Guía.
Con esta SRSC, se le podía proporcionar al
usuario información de contexto enriquecido a
través de su dispositivo móvil.
Cafetería

Edificio
Administrativo

Estacionamiento 2

Edificio de Electrónica

Estacionamiento 1
Edificio de
Computación

6 Introducción
 Sistema T-Guía
T-Guía
Servidor Cliente T-Guía

Repositorio de Aplicaciones Web Módulo para el monitoreo
recursos ontológicos de acciones y evaluación
Sistema de poblado de ontologías

Base de hechos Sistema generador de mapas SVG Módulo gestor de
semántica recomendaciones Bitácora de
Sistema de poblado automático actividad
Sistema de entrenamiento RA Módulo gestor de
Repositorio de argumentación
Sistema de entrenamiento servicio de Recomendaciones
recursos no ontológicos ubicación wif/BT/RFID/QRCode Módulo gestor de mapas
SVG
Gestor de conocimiento Mapas SVG
Módulo de pre-filtrado de ítems Módulo para gestión de
Base de hechos Realidad Aumentada
Relacional Módulo de extracción de items Argumentación
Módulo para servicio de
Generador recomendaciones adaptativo ubicación Wifi/BT/RFID/QRC
Base de
Conocimiento Generador de argumentación adaptativo Módulo de entrenamiento
para servicio de ubicación
Módulo para actualizar ítems pre-filtrados

Repositorio de Servicios de Ubicación
Recomendaciones
Módulo de ubicación WiFi/BT

Módulo de ubicación RFID/NFC
Repositorio de
Módulo de ubicación QRCode
Mapas SVG

Servicios de Guiado
Mapeo de espectro Módulo de gestión de mapas SVG
inalámbrico
Módulo de gestión RA

7 Introducción
Usuario

Capacidades Capital Infraestructura
Tecnológicas Intelectual Tecnológica

Productos
Servicios
cenidet
Edificio Computación Mapas SVG POIs
- Aula 1
(Cañón, Smartboard, pinzarrón)
Actividades:
-7-8 Clase
Academia Dependencia
-8-10 Libre Mapa Computación
Empresas
-10-12 Clase IES/CI de Gobierno
-12-14 Seminario
-14-18 Libre
Ver Planta alta>>

Sistema
Repositorio de
Recomendador
USUARIOS

Usuarios Organización

8 Introducción
 Para innovar la interacción con la información
contextual de la organización en esta tesis se diseñaron
e implementaron componentes tecnológicos de
realidad aumentada para complementar T-Guía.

Interfaz convencional

9 Objetivo
 El objetivo de esta tesis es el análisis, diseño e
implementación de componentes tecnológicos para
sistemas de recomendación sensibles al contexto
aplicados a instituciones de educación superior, que
utilicen tecnologías de realidad aumentada para
mostrar información de personas, lugares y objetos de
conocimiento mediante dispositivos multisensoriales.

10 Descripción del Problema
 La técnica de interacción multimodal que explota técnicas de realidad
aumentada implica insertar información contextual del entorno real a
través de objetos virtuales sobre las imágenes de video en tiempo real.
 Para la inserción de objetos virtuales en el video en tiempo real se requiere
que el dispositivo utilice sus capacidades sensoriales para determinar la
orientación del campo electromagnético y la orientación hacia donde
está apuntando la cámara para poder visualizar los ítems seleccionados
por el SRSC que se encuentran contextualmente .

11 Contenido

Introducción

Marco Teórico

Estado del Arte



Conclusiones

12 Computación ubicua

 La computación ubicua se encarga del diseño de ambientes inteligentes
que integran computadoras o dispositivos que sean capaces de registrar
los cambios o actividades que se efectúan en el entorno [Weiser 1993]

13 Tecnologías sensoriales en los
Smartphones
 Un sensor es un dispositivo capaz de transformar los datos recibidos del
entorno y permite que algún dispositivo móvil pueda interpretarlos [Akyildiz
2002].
 Los sensores que ayudan al dispositivo a conocer su orientación son los
siguientes:
 Magnetómetro
 Giroscopio
 Acelerómetro

14 Magnetómetro

 Es el tipo de sensor que permite medir la intensidad y dirección de alguna
señal magnética.
 Se utiliza para saber hacia donde quedan los puntos cardinales, utilizando
el norte magnético de la tierra

15 Giroscopio

 El giroscopio registra el posicionamiento de la orientación con respecto a
los 3 ejes del dispositivo

16 Acelerómetro

 El acelerómetro se encarga de medir las aceleraciones y las vibraciones
del dispositivo en determinada dirección
 Algunos dispositivos implementan acelerómetros de 3 ejes para conocer la
orientación

17 Realidad aumentada
 Es un área de investigación que se procura mejorar la interacción con el
entorno real mediante la superposición de información virtual [Schmalstieg
2011]
 Se enfoca en 3 principales características
 Inserción de objetos virtuales en entornos reales
 Identificación de elementos en el entorno
 Interacción en tiempo real

18 Realidad aumentada
 Los elementos del entorno pueden ser identificados mediante diferentes
tipos de técnicas
 Marcadores visuales
 Reconocimiento visual
 Identificación sensorial

19 Marcadores visuales

 Son imágenes que contienen un código preestablecido
 Ayudan a controlar los patrones visuales que serán identificados

20 Reconocimiento visual

 Se identifican formas y puntos clave de los objetos en tercera dimensión
 Requieren algoritmos de reconocimiento visual de objetos

21 Identificación sensorial

 Se emplean los sensores de orientación para identificar los elementos del
entorno

22 Contenido

Introducción

Marco Teórico

Estado del Arte



Conclusiones

23 Estado del arte
 Se analizaron sistemas y herramientas que tuvieran un objetivo similar a
este proyecto de tesis
 Se evaluaron las técnicas utilizadas para identificar los diversos elementos
en el entorno

24 Estado del arte
Entorno Captura Aumentación Dispositivo Usuario

[Park 2010] Museo de Reconocimiento Inserción personas · Cámara inserción de objetos
patrimonio cultural, visual y por y objetos virtuales · GPS virtuales para
suele utilizar el GPS orientación en los objetos · Acelerómetro representar
para la localización contextualizados del · Giroscopio información de las
entorno · Magnetómetro exhibiciones
[Zöllner 2009] museos de Reconocimiento inserción de lugares · Cámara El usuario podía
arqueología y visual de pinturas virtuales, cuadros · Acelerómetro obtener información
patrimonio cultural en el entorno con mensajes de · Giroscopio y visualizar lugares
texto virtuales desde
distintas
perspectivas
[Turk 2010] institución de Identificación Remarca la figura · Cámara Permitió desarrollar
educación superior sensorial por de los objetos · Acelerómetro una metodología
orientación y detectados · Giroscopio para insertar
reconocimiento · Magnetómetro objetos de manera
visual de objetos en precisa
3D
[Ajanki 2011] institución de reconocimiento Recuadros · Cámara Proporcionaba al
educación superior facial, marcadores transparentes con · Micrófono usuario información
visuales, texto informativo del entorno a partir
reconocimiento de su interacción y el
voz contexto en que se
encuentre

Entorno Captura Aumentación Dispositivo Usuario

25 [Zhu 2008] Centro comercial,
se implementó
reconocimiento
visual de los
elabora un
acercamiento del
· Cámara Se tiene un registro
del historial del
localización por productos producto y muestra usuario para
marcadores información y elaborar las
visuales recomendaciones recomendaciones
de otros productos de los productos
similares
[Bellón 2011] Considera la Reconocimiento capaz de insertar · Magnetómetro permite insertar
implementación en sensorial por objetos en 2D y 3D · Acelerómetro objetos virtuales
cualquier entorno, orientación de los · Giroscopio especificando la
incluye servicios de objetos orientación de estos
localización Wi-Fi
[Woo 2009] diseñado para Reconocimiento Genera un entorno · Cámara Permite insertar
cualquier entorno visual de los objetos virtual con objetos en 2D y 3D
en interiores anotaciones de sobre los objetos
acuerdo a los del entorno
modelos de
reconocimiento de
objetos
[Woo 2010] Orientado para Reconocimiento se basa en el · Acelerómetro Le permite insertar
museos, visual de objetos Framework de [Woo · Giroscopio a los usuarios
implementa un 2009], integra el · Cámara anotaciones sobre
servicio de reconocimiento por las exhibiciones del
localización por localización y museo
marcadores orientación del
visuales dispositivo
Proyecto institución de Reconocimiento por Insertará iconos · Magnetómetro proporciona
desarrollado educación superior orientación representativos e · Acelerómetro recomendaciones
información de los · Giroscopio del entorno de
objetos acuerdo al contexto
y al perfil del
usuario

26 Estado del arte

 Muchos de estos proyectos implementaron varias tecnologías para la
identificación de POI’s
 A pesar que el proyecto desarrollado esta orientado a IES puede ser
adaptado fácilmente a cualquier otra organización

27 Contenido

Introducción

Marco Teórico

Estado del Arte



Conclusiones

Metodología de solución
28

Cafetería

Edificio
Administrativo
Obtiene la
Estacionamiento 2
ubicación del
Edificio de Electrónica
usuario

Estacionamiento 1
Edificio de
Computación

Repositorio de ontologías
organizacionales Envía la
información
de ubicación
Extrae la información Presenta
necesaria de la ontología información
para elaborar mediante
recomendaciones realidad
aumentada

Genera un archivo XML Recibe el archivo de
con recomendaciones Archivo XML recomendaciones
generado

29 Metodología de solución

 El usuario descubre elementos que pueden ser de su interés enfocando la
cámara del dispositivo el cual despliega información contextual de la IES.

Arriba

9
Sur
Arriba
Este

Abajo Oeste

10 Norte


 Este método de identificación de elementos que rodean a un usuario
cuando está dentro de una IES depende de su ubicación.
 El modelo desarrollado propone 10 (8+2) orientaciones, ocho con respecto
a los puntos cardinales, y dos orientaciones adicionales (arriba y abajo).

9 1
1
8 N 2

Arriba N
NO NE

7O E3
8 2
6
SO
S
SE
4
NO NE
5

7O E 3
1 1
8 N 2 8 N 2
NO NE NO NE

SO SE
7O E3 7O E3

Abajo 6 S
SO SE SO SE

4
6 S 4 6 S 4
5 5

Plano de un edificio
10 5


 Las orientaciones pueden apuntar a varios puntos de interés y estos
pueden ser referenciados desde las orientaciones de otros nodos en
donde puede estar el usuario.

Ubicación 1 Ubicación 2 Ubicación 3

N N
NO NE POI NO NE
1
POI
O E 2 O E
.
.
.
SO SE SO SE
S POI
S
n
Serminario II


 Para poder capturar la información contextual de una IES se desarrollo un
sistema de información semántico.

1
8 N 2
NO NE

7O E3

SO SE
6 S 4
5

33 Modificaciones a la ontología

 Para poder modelar los aspectos anteriores se decidió implementar la
ontología ONALIN [Dudas 2009]
 Esta ontología permite modelar aspectos de orientación, localización del
usuario, puntos de interés y rutas de navegación

34 Modificaciones a la ontología

 La ontología ONALIN se integro a la red de ontologías de la siguiente
manera

35 Contenido

Introducción

Marco Teórico

Estado del Arte



Conclusiones

36 Pruebas
 Se elaboraron pruebas mas completas con ayuda de los archivos de
prueba desarrollados en [González 2012]
 El archivo JSON instanciará la infraestructura y referenciará a los POIs en el
archivo XML

Generación de
objetos virtuales

37 Elaboración de pruebas
 Las recomendaciones están orientadas a 3 tipos de usuarios
 Se consideraron 9 archivos para cada tipo de usuario, 27 en total
 Para cada uno de estos archivos se generara un archivo JSON de la planta
alta y la planta baja
 Para cada uno de los niveles se probará la aplicación en 4 ubicaciones de
manera aleatoria
 En total se hicieron 108 pruebas en cada nivel, dando 216 pruebas en total

38 Pruebas
 La aplicación probó las características que ayudaron a
comprobar los requerimientos del proyecto
 Inserción de los objetos virtuales en el entorno
 Lectura de la información de la ontología
 Acceso a las recomendaciones creadas en [González
2012]
 Características excluidas
 Precisión del sistema
 Información recibida en las recomendaciones

39 Escenario de pruebas

7 6 5 4
4
3 2
7

6 2 3
8
1

9
5 1

Escenario de pruebas
40
22 21 20 19 18
23 17

14 15

25 24 13 14 15 16

26 12 12
27 13

16
11
29
28
10 11

30 34

17

31 32 33

43 Resultados
 En la primera ejecución de las pruebas el 98.14% resultaron exitosas
 Los errores principalmente se debieron a la sintaxis de los archivos JSON y
XML
 Una vez corregidos esos errores se volvieron a ejecutar las pruebas,
obteniendo un 100% de éxito

44 Contenido

Introducción

Marco Teórico

Estado del Arte



Conclusiones

46 Conclusiones

 Pudo desarrollarse una aplicación capaz de presentar las
recomendaciones del entorno a través de tecnologías de realidad
aumentada
 Se implementaron algoritmos que permiten aprovechar los sensores de
orientación para descubrir los diferentes elementos en el entorno

47 Aportaciones
 se publico en el CIINDET el articulo con el título “Análisis de Técnicas para
el Reconocimiento de Objetos en Aplicaciones de Realidad Aumentada”
 Se elaboró un modelo de identificación por orientaciones, capaz de
reconocer POI’s que estén fijos o que se encuentren temporalmente fijos
 Se amplio la red de ontologías, incluyendo un segmento de la ontología
ONALIN para modelar orientaciones y conexiones entre pasillos, áreas
funcionales y plantas de edificios

48 Trabajos futuros
 Esta aplicación puede integrarse al sistema junto con las aplicaciones
desarrolladas anteriormente
 Puede aprovecharse la implementación de la ontología ONALIN para
implementar un sistema de navegación, que utilice los estándares
definidos para proporcionarle rutas de navegación a usuarios con
discapacidades motrices
 Otro proyecto que se contempla es la generación semiautomática de los
mapas SVG a partir de la instanciación de las ontologías de infraestructura
y ONALIN

Referencias
49

 [Ajanki 2011] An Augmented Reality Interface to Contextual Information, Antti Ajanki, Mark
Billinghurst, Hannes Gamper, Toni Järvenpää, Melih Kandemir, Samuel Kaski, Markus
Koskela, Mikko Kurimo, Jorma Laaksonen, Kai Puolamäki, Teemu Ruokolainen, Timo
Tossavainen, Special Issue on Augmented Reality, Volumen 15, 2011
 [Akyildiz 2002] A survey on sensor networks, Ian F. Akyildiz, Weilian Su, Yogesh
Sankarasubramaniam, and Erdal Cayirci, IEEE communications magazine, Agosto del 2002
 [Bellón 2011] Look!: Framework para Aplicaciones de Realidad Aumentada en Android,
Sergio Bellón Alcarazo, Jorge Creixell Rojo, Angel Serrano Laguna, Jorge J. Gómez Sanz,
Universidad Complutense de Madrid, Facultad de Informática, 2011
 [Dudas 2009] ONALIN: Ontology and Algorithm for Indoor Routing, Patrick M. Dudas, Mahsa
Ghafourian, Tenth International Conference on Mobile Data Management: Systems,
Services and Middleware, 2009
 [Estrada 2010] Generación y explotación de mapas semánticos de instalaciones
organizacionales mediante el uso de ontologías, Ricardo Estrada Peláez, CENIDET, México
2010

50 Referencias

 [González 2012] Servicio de recomendación contextual mediante ontologías
multidimensionales para dispositivos Smartphone, Nimrod González Franco, CENIDET,
México 2012
 [Park 2010] A Tracking Framework for Augmented Reality Tours on Cultural Heritage
Sites, Byung-Kuk Seo, Kangsoo Kim, Jungsik Park, Jong-II Park, Proceedings of the 9th
ACM SIGGRAPH Conference on Virtual-Reality Continuum and its Applications in
Industry, Estados unidos 2010
 [Turk 2010] Location-based augmented reality on mobile phones, Rémi Paucher,
Matthew Turk, IEEE Computer Society Conference on Computer Vision and Pattern
Recognition Workshops (CVPRW), 2010
 [Woo 2009] CAMAR Tag Framework: Context-Aware Mobile Augmented Reality Tag
Framework for Dual-reality Linkage, Hyejin Kim, Wonwoo Lee, Woontack Woo,
International Symposium on Ubiquitous Virtual Reality, 2009.

51 Referencias

 [Woo 2010] Unified Context-aware Augmented Reality Application
Framework for User-Driven Tour Guides, Choonsung Shin, Hyejin Kim,
Changgu Kang, Youngkyoon Jang, Ahyoung Choi, Woontack Woo,
International Symposium on Ubiquitous Virtual Reality, 2010.
 [Yris 2012] API Para servicios de localización basada en tecnología RFID,
QRCode, WIFI y Bluetooth, Miguel Ángel Yris Pastor, CENIDET, México 2010
 [Zhu 2008] Personalized In-store E-Commerce with the PromoPad: an
Augmented Reality Shopping Assistant, Wei Zhu, Charles B. Owen, Hairong
Li, Joo-Hyun Lee, Electronic Journal for E-commerce Tools, 2008
 [Zöllner 2009] An Augmented Reality Presentation System for Remote
Cultural Heritage Sites, M. Zöllner, J. Keil, H. Wüst, D. Pletinckx, The 10th
International Symposium on Virtual Reality, Archaeology and Cultural
Heritage VAST, 2009

Servicios de recomendación contextual para Instituciones de Educación Superior mediante realidad aumentada utilizando Smartphones y ontologías organizacionales

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie Servicios de recomendación contextual para Instituciones de Educación Superior mediante realidad aumentada utilizando Smartphones y ontologías organizacionales

Ähnlich wie Servicios de recomendación contextual para Instituciones de Educación Superior mediante realidad aumentada utilizando Smartphones y ontologías organizacionales (20)

Mehr von Gabriel Gonzalez Serna

Mehr von Gabriel Gonzalez Serna (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (10)

Servicios de recomendación contextual para Instituciones de Educación Superior mediante realidad aumentada utilizando Smartphones y ontologías organizacionales