SlideShare una empresa de Scribd logo

victores2017xgnitive-techfest-presentation

•
•
J
Juan G. Victores

Presentation corresponding to "XGNITIVE: Avances hacia la generalización avanzada de acciones y sistemas de imaginación en robótica". Technology Festival (Techfest). Universidad Rey Juan Carlos (URJC). 2017. https://www.eventbrite.es/e/registro-technology-festival-urjc-2017-28838850779?aff=es2#

Educación
1 de 126
Descargar para leer sin conexión
XGNITIVE: Avances hacia la generalización avanzada de acciones y sistemas de imaginación en robótica Juan G Victores TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
XGNITIVE: Avances hacia la generalización avanzada de acciones y sistemas de imaginación en robótica  Introducción  Robot Imagination System  Continuous Goal-Directed Actions  Conclusiones  Publicaciones  Colabora! 1 of 56TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! 2 de 56 ● Laboratorio de Robótica y de Tecnologías Afines ➢ +40 personas (2 CU, 2 TU, 8 post-PhD, candidatos PhD…) ➢ Equipo multidisciplinar (Ingenieros en Automatización y Electrónica Industrial, Telecomms), Física, Matemática, Informática... ➢ Equipo internacional (+12 nacionalidades: E, USA, RU, I, VEN, EGP, IRK, MEX…) ● Líneas de Investigación ➢Robótica asistencial, robots humanoides, robótica en la construcción, robots escaladores, interacción física y psicológica, control moderno, visión por computadora, sensores... Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3 de 56 Robótica asistencial Robótica en la construcción Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3 de 56 Robótica asistencial XGNITIVE Robótica en la construcción Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3 de 56 Robótica asistencial XGNITIVE Robótica en la construcción TEXTILES Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3 de 56 Robótica asistencial XGNITIVE Robótica en la construcción ROBO-SPECTTEXTILES Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 4 de 56 XGNITIVE: A Flexible Cognitive Architecture for Robots Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 4 de 56 “XGNITIVE is like the Grial of robotics” :-) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 5 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 6 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 6 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 6 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 7 de 56 A. No perceptual links between physical characteristics and words. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 7 de 56 A. No perceptual links between physical characteristics and words. B. Lack of inference capabilities for interpreting combinations of words. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 7 de 56 A. No perceptual links between physical characteristics and words. B. Lack of inference capabilities for interpreting combinations of words. C. No bindings between actions and their effects, reprogramming required. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 7 de 56 A. Develop a framework for linking physical characteristics and words. B. Enable inference mechanisms for interpreting combinations of words. C. Allow a robot to act according to the desired effects on an object. Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora!
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 8 de 56 XGNITIVE: A Flexible Cognitive Architecture for Robots Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 8 de 56 Robot Imagination System Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 8 de 56 Robot Imagination System Continuous Goal-Directed Actions Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 8 de 56 Robot Imagination System Continuous Goal-Directed Actions Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 9 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 9 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 10 de 56 A. No perceptual links between physical characteristics and words. B. Lack of inference capabilities for interpreting combinations of words. C. No bindings between actions and their effects, reprogramming required. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 11 de 56 A. No perceptual links between physical characteristics and words. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 11 de 56 A. No perceptual links between physical characteristics and words. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 12 de 56 A. No perceptual links between physical characteristics and words. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 12 de 56 ``The horizontal purple rectangle below the horizontal green rectangle'‘ (DESCRIBER, 2002) A. No perceptual links between physical characteristics and words. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 13 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 14 de 56 B. Lack of inference capabilities for interpreting combinations of words. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 14 de 56 B. Lack of inference capabilities for interpreting combinations of words. (AARON, 1989) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 14 de 56 B. Lack of inference capabilities for interpreting combinations of words. (AARON, 1989) (AHA! Experience, 2011) ! Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 We define Robot Imagination as the process of creating previously unexisting Knowledge K’ from existing Knowledge K and Words W. 15 de 56 Imagination Where new Knowledge K’ can be used for a real world application. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 16 de 56 Robot Imagination System (RIS) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 17 de 56 A. Perception Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 17 de 56 • Computer Vision A. Perception Computer Vision Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 17 de 56 • Computer Vision • Speech Recognition A. Perception Computer Vision Speech Recognition Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Speech Recognition 17 de 56 • Computer Vision • Semantic Memory A. Perception Computer Vision Speech Recognition Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Speech Recognition 17 de 56 • Computer Vision A. Perception Computer Vision Speech Recognition Grounding Core • Semantic Memory Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 A. Perception Computer Vision Speech Recognition State Machine Grounding Core 17 de 56 • Speech Recognition • Computer Vision • Grounded Language • Semantic Memory Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 A. Perception Computer Vision Speech Recognition State Machine Grounding Core • Speech Recognition 17 de 56 • Semantic Memory • Embodied Cognition • Computer Vision • Grounded Language Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 17 de 56 • Philosophy • Statistical Learning • Psychology • Neuro-science (medical) • Neuro-science (computer) A. Perception Computer Vision Speech Recognition Grounding Core State Machine Imagination Core B. Inference Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 A. Perception Computer Vision Speech Recognition Grounding Core State Machine Imagination Core B. Inference C. Execution Execution Core 17 de 56 • Correspondence Problem • Robot Imitation • Goal-Directed Actions • Continuous Goal-Directed Actions (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 17 de 56 A. Perception Imagination Core State Machine Execution Core Visual OutputComputer Vision Grounding Core Speech OutputSpeech Recognition B. Inference C. Execution Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 18 de 56 A. Perception Computer Vision Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 18 de 56 • 2D • RGB/HSV or Canny Edge Detection • Morphological Closing • Find contours (blobs) to segment objects • 3D • Remove NaN and Voxelize • RANSAC using plane model • Remove planes (tables and walls) • Euclidian Clustering to segment objects • Feature extraction • Centroid, area, rotation, min/max axis, aspect ratio, rectangularity, solidity, arc, radius, RGB, HSV. A. Perception Computer Vision Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56 Grounding Core A. Perception Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56 • Generated semantic subspaces: Grounding Core A. Perception Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56 • Generated semantic subspaces: • Blue 0 Solidity Hue Grounding Core A. Perception Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56 • Generated semantic subspaces: • Blue • Scissors 0 Solidity Hue 0 Solidity Hue Grounding Core A. Perception Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56 0 Solidity Hue 0 Solidity Hue • Generated semantic subspaces: • Blue • Scissors Grounding Core A. Perception Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56 0 Solidity Hue 0 Solidity Hue • Generated semantic subspaces: • Blue • Scissors 1 Grounding Core A. Perception Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentoss
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 1 19 de 56 0 Solidity Hue 0 Solidity Hue Hue • Generated semantic subspaces: • Blue • Scissors • Red Solidity 0 Grounding Core A. Perception Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora!
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 1 19 de 56 0 Solidity Hue 0 Solidity Hue Hue • Generated semantic subspaces: • Blue • Scissors • Red Solidity 0 Grounding Core A. Perception Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 20 de 56 Imagination Core B. Inference Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Object Feature Prediction: • Basic Prediction Algorithm (RIS) • Enhanced Prediction Algorithm (RIS) • Object Recognition (Euclidean Distance) • Reconstruction (Evolutionary Computation) 21 de 56 Imagination Core B. Inference Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference 1. Generalization • Basic Prediction: Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • Basic Prediction: Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • Basic Prediction: • COMPLETE Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • Basic Prediction: • COMPLETE • RELEVANT Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 1. Generalization 2. Intersection 3. Projection 4. Averaging • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference • COMPLETE • RELEVANT • BALANCED Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 23 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Why a hyperplane of order n-1 ? Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 23 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Why a hyperplane of order n-1 ? • From the algebraic definition, if the points fit to the model, it simultaneously captures all of the linear dependencies and couplings in Rn. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 23 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Why a hyperplane of order n-1 ? • From the algebraic definition, if the points fit to the model, it simultaneously captures all of the linear dependencies and couplings in Rn. • Hyperplanes are defined in all space, so the “meanings” of words are also extended across, and along, all the Feature Space. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 23 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Why a hyperplane of order n-1 ? • From the algebraic definition, if the points fit to the model, it simultaneously captures all of the linear dependencies and couplings in Rn. • Hyperplanes are defined in all space, so the “meanings” of words are also extended across, and along, all the Feature Space. • Practical benefit of always finding intersections between these representations. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 24 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Why are orthogonal projections used ? Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 24 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Why are orthogonal projections used ? • Projections result on the valid solution geometrical construct, and are closest to the original data of a given point cloud. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 24 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Why are orthogonal projections used ? • Projections result on the valid solution geometrical construct, and are closest to the original data of a given point cloud. • Promotes ranges of values that are common in objects, which is useful when not all features are specified by words. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 25 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Does the algorithm have any known limitations? Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 25 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Does the algorithm have any known limitations? Yes, the basic prediction algorithm may fail under the following circumstances: Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 25 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Does the algorithm have any known limitations? Yes, the basic prediction algorithm may fail under the following circumstances: • Context dependency (e.g. “green” color or state of ripeness). Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 25 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Does the algorithm have any known limitations? Yes, the basic prediction algorithm may fail under the following circumstances: • Context dependency (e.g. “green” color or state of ripeness). • Periodicity (e.g. “red” hue is 0º and 360º, a hyperplane could be fit at 180º). Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 25 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Does the algorithm have any known limitations? Yes, the basic prediction algorithm may fail under the following circumstances: • Context dependency (e.g. “green” color or state of ripeness). • Periodicity (e.g. “red” hue is 0º and 360º, a hyperplane could be fit at 180º). • Specificity (non-extendable meanings). Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 26 de 56 Imagination Core B. Inference • Object Feature Prediction: • Enhanced Prediction Algorithm (RIS) • Enhanced Prediction: 1. Context Detector 2. Hyperspherical Shape Detector Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 27 de 56 Imagination Core B. Inference • Object Feature Prediction: • Enhanced Prediction Algorithm (RIS) • Enhanced Prediction: 1. Context Detector 2. Hyperspherical Shape Detector The Context Detector counts the accompanying words of a query word within each cluster Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 28 de 56 Imagination Core B. Inference • Object Feature Prediction: • Enhanced Prediction Algorithm (RIS) • Enhanced Prediction: 1. Context Detection 2. Hyperspherical Shape Detector The Hyperspherical Shape Detector compares all the sorted eigenvalues of a given point cloud Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 29 de 56 Execution Core C. Execution • Action Generalization (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 30 de 56 1. Populating the database: Every training sample has a description Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 30 de 56 1. Populating the database: Every training sample has a description, e.g. the first image is labeled “top-left-dark-blue-fat-straight-box” Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 31 de 56 3. The mental models are created through Object Reconstruction (using evolutionary computation) aiming at the predicted features, e.g. the first image responds to the query “bottom right”, the second to “bottom left”, the third to “top right”, and the last to “top blue”. 2. Queries are summited upon the populated database, e.g. “bottom right” or “bottom left”. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3. The mental models are created through Object Reconstruction (using evolutionary computation) aiming at the predicted features, e.g. the first image responds to the query “bottom right”, the second to “bottom left”, the third to “top right”, and the last to “top blue”. 31 de 56 2. Queries are summited upon the populated database, e.g. “bottom right” or “bottom left” Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3. The mental models are created through Object Reconstruction (using evolutionary computation) aiming at the predicted features, e.g. the first image responds to the query “bottom right”, the second to “bottom left”, the third to “top right”, and the last to “top blue”. 31 de 56 2. Queries are summited upon the populated database, e.g. “bottom right” or “bottom left” Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3. The mental models are created through Object Reconstruction (using evolutionary computation) aiming at the predicted features, e.g. the first image responds to the query “bottom right”, the second to “bottom left”, the third to “top right”, and the last to “top blue”. 31 de 56 2. Queries are summited upon the populated database, e.g. “bottom right” or “bottom left” Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3. The mental models are created through Object Reconstruction (using evolutionary computation) aiming at the predicted features, e.g. the first image responds to the query “bottom right”, the second to “bottom left”, the third to “top right”, and the last to “top blue”. 31 de 56 2. Queries are summited upon the populated database, e.g. “bottom right” or “bottom left” Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 32 de 56 4.The drawing demonstration, where the robot exposes its mental model. [J.G.Victores, 2013](IROS,Tokyo) [J.Lebber, 2013](FASTCompany) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 33 de 56 -The system is trained through speech with a blue visual marker. -The component used for Speech Recognition requires a pre-defined corpus of words to recognize. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 34 de 56 The system can generalize a word with as little as 2 training samples in the 2D case, and 3 training samples in the 3D case. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 35 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 36 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 37 de 56 A. No perceptual links between physical characteristics and words. B. Lack of inference capabilities for interpreting combinations of words. C. No bindings between actions and their effects, reprogramming required. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 38 de 56 C. No bindings between actions and their effects, reprogramming required. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 38 de 56 C. No bindings between actions and their effects, reprogramming required. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 38 de 56 C. No bindings between actions and their effects, reprogramming required. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 39 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Programming by Demonstration (PbD) [Calinon] Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 40 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Dynamic Motion Primitives (DMP) [Ijspeert, Schaal] Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 41 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! PbD / DMP CGDA Objective of imitation Spatial trajectories Objects feature states Features tracked Demonstrator’s joint/Cartesian parameters Objects’ shape, area, color, coordinates, etc. Strengths Perfect kinematic imitation Captures the objective of the action. Seamless transfer of actions between robots. Weaknesses Undefined goal to achieve Undefined way to achieve the goal Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 42 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Red X Red Y Green X Green Y end Goal-Directed Actions start Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 42 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Red X Red Y Green X Green Y end Goal-Directed Actions Red X Red Y Green X Green Y t Continuous Goal-Directed Actions start Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 43 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos Red X Red Y Green X Green Y t Red X Red Y Green X Green Y t Red X Red Y Green X Green Y t Red X Red Y Green X Green Y t Red X Red Y Green X Green Y t Red X Red Y Green X Green Y t Demonstration Selection Feature Selection
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 44 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Filtering MappingDissimilarity Obtaining a measurement of dissimilarity DTW, Euclidean Dist, etc. Dimensionality reduction preserving original dimensions Sum of dissimilarities, MDS, PCA, etc. Discarding demonstrations( or features) Z-score, DBSCAN, etc. Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 45 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! [Morante, 2015](HUMANOIDS, Seoul) Signal 1 Signal 2 Signal 3 3 20 19 Dissimilarity Signal 1 Signal 2 Signal 3 0 3 20 3 0 19 20 19 0 2223 39 Mapping Σ 23 22 39 -0.52 -0.62 1.15 Filtering Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 46 de 56 • Action Generalization (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos [Morante, 2014](ICRA, Hong Kong)
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 46 de 56 • Action Generalization (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos Split in Intervals (e.g.: 1 interval/second)
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 46 de 56 • Action Generalization (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos Compute average Split in Intervals (e.g.: 1 interval/second)
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 46 de 56 • Action Generalization (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos Split in Intervals (e.g.: 1 interval/second) Compute average Linear interpolation (e.g. Radial Basis Function)
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 GeneralizedTraj.e.g.Xpos Query Traj. e.g. X pos 47 de 56 • Action Recognition (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 GeneralizedTraj.e.g.Xpos Query Traj. e.g. X pos 47 de 56 • Action Recognition (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos • Feature-by-feature comparison using Dynamic Time Warping (DTW)
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 GeneralizedTraj.e.g.Xpos Query Traj. e.g. X pos 47 de 56 • Action Recognition (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos • Feature-by-feature comparison using Dynamic Time Warping (DTW) • Minimum Cost Path (MCP)
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 GeneralizedTraj.e.g.Xpos Query Traj. e.g. X pos 47 de 56 • Action Recognition (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos • Feature-by-feature comparison using Dynamic Time Warping (DTW) • Minimum Cost Path (MCP) • Minimum Total Sum of Cost = min Σ(MCP) is most similar recognized
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 48 de 56 • Action Execution (CGDA) Execution Strategies • Full Trajectory Evolution • Individual Evolution • Individually Evolved Trajectories (IET) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos [Morante, 2015](Journal of Advanced Robotics)
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 49 de 56 Testing the execution of the “waxing” action encoded as a Continuous Goal-Oriented Action (CGDA). Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 50 de 56 [S.Morante, J.G.Victores et Al., ICRA 2013, Hong Kong] Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora!
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 51 de 56 Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Executing a Non-Spatial Task: Painting • Objective: Paint a wall composed by 16 small squares. • Features: Percentage of painted wall. • Strategy: Incrementally Evolved Trajectories.
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 52 de 56 Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora!
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 53 de 56 Perception - Framework for creating links between words and physical characteristics Inference - Robot Imagination System for providing robots with imagination skills through object features and semantics Execution - Presented a new way of encoding actions, which can complement Programming by Demonstration - Explained proposed algorithms for CGDA generalization, recognition and execution Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora!
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 54 de 56 Origin of Data - Sensory information of various nature (e.g. haptic, rugosity) and from the Internet-of-Things. Data Representation - Human-inspired color space such as YUV. Use of SIFT and SURF visual descriptors. Techniques for Inference - Feature selection (e.g. LASSO). Gaussian Mixture Models, Non-linear PCA, Manifolds, Neural Networks. Additional Functionalities - Vector and dynamic information, auto-tuned parameters. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora!
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 55 de 56 J.G. Victores, S. Morante, A. Jardon, C. Balaguer. Towards Robot Imagination Through Object Feature Inference. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2013), ISBN: 2153-0858, pages: 5694 - 5699, IEEE. 2013-11-05, Tokyo, Japan. 2013. S. Morante, J.G. Victores, A. Jardon, C. Balaguer. Action Effect Generalization, Recognition and Execution through Continuous Goal-Directed Actions. IEEE International Conference on Robotics and Automation (ICRA 2014), pages: 1822 - 1827, IEEE. 2014-06-03, Hong Kong, China. 2014. S. Morante, J.G. Victores, A. Jardon, C. Balaguer. Humanoid Robot Imitation through Continuous Goal-Directed Actions : An Evolutionary Approach. Advanced Robotics, vol: 29, number: 5, pages: 303 - 314. 2015. S. Morante, J.G. Victores, C. Balaguer. Automatic Demonstration and Feature Selection for Robot Learning. IEEE International Conference on Humanoid Robots (Humanoids 2015), pages: 428 - 433, IEEE. 2015-11-03, Seoul, South Korea. 2015. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora!
TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 56 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Join us! https://github.com/roboticslab-uc3m/xgnitive
XGNITIVE: Avances hacia la generalización avanzada de acciones y sistemas de imaginación en robótica Juan G Victores TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017

Recomendados

victores2013towards-presentation
victores2013towards-presentationvictores2013towards-presentation
victores2013towards-presentationJuan G. Victores
 
victores2013semantic-presentation
victores2013semantic-presentationvictores2013semantic-presentation
victores2013semantic-presentationJuan G. Victores
 
estevez2016future-presentation
estevez2016future-presentationestevez2016future-presentation
estevez2016future-presentationJuan G. Victores
 
BaxterLOR
BaxterLORBaxterLOR
BaxterLORLisa Kato
 
Listadecotejofinal 160217005949
Listadecotejofinal 160217005949Listadecotejofinal 160217005949
Listadecotejofinal 160217005949Xiomita Carrillo
 
TechDays 2015 (Re)découvrez vos contenus Office 365 sur mobile avec Office Gr...
TechDays 2015 (Re)découvrez vos contenus Office 365 sur mobile avec Office Gr...TechDays 2015 (Re)découvrez vos contenus Office 365 sur mobile avec Office Gr...
TechDays 2015 (Re)découvrez vos contenus Office 365 sur mobile avec Office Gr...Bliz
 
Anatomi mata
Anatomi mataAnatomi mata
Anatomi matamateri-x2
 
Anatomi pendengaran fisiologi pendengaran dan keseimbangan
Anatomi pendengaran fisiologi pendengaran dan keseimbanganAnatomi pendengaran fisiologi pendengaran dan keseimbangan
Anatomi pendengaran fisiologi pendengaran dan keseimbanganwidiganteng
 

Recomendados

victores2013towards-presentation
victores2013towards-presentationvictores2013towards-presentation
victores2013towards-presentationJuan G. Victores
 
victores2013semantic-presentation
victores2013semantic-presentationvictores2013semantic-presentation
victores2013semantic-presentationJuan G. Victores
 
estevez2016future-presentation
estevez2016future-presentationestevez2016future-presentation
estevez2016future-presentationJuan G. Victores
 
BaxterLOR
BaxterLORBaxterLOR
BaxterLORLisa Kato
 
Listadecotejofinal 160217005949
Listadecotejofinal 160217005949Listadecotejofinal 160217005949
Listadecotejofinal 160217005949Xiomita Carrillo
 
TechDays 2015 (Re)découvrez vos contenus Office 365 sur mobile avec Office Gr...
TechDays 2015 (Re)découvrez vos contenus Office 365 sur mobile avec Office Gr...TechDays 2015 (Re)découvrez vos contenus Office 365 sur mobile avec Office Gr...
TechDays 2015 (Re)découvrez vos contenus Office 365 sur mobile avec Office Gr...Bliz
 
Anatomi mata
Anatomi mataAnatomi mata
Anatomi matamateri-x2
 
Anatomi pendengaran fisiologi pendengaran dan keseimbangan
Anatomi pendengaran fisiologi pendengaran dan keseimbanganAnatomi pendengaran fisiologi pendengaran dan keseimbangan
Anatomi pendengaran fisiologi pendengaran dan keseimbanganwidiganteng
 
La informática
La informáticaLa informática
La informáticasaravg44
 
Agenda hda 39 04 03-13--borrador (1)
Agenda hda 39 04 03-13--borrador (1)Agenda hda 39 04 03-13--borrador (1)
Agenda hda 39 04 03-13--borrador (1)Ana Vilma de Escobar
 
KimberlyVonMaur14
KimberlyVonMaur14KimberlyVonMaur14
KimberlyVonMaur14Kimberly Rice
 
Adilene, ejercicio 2
Adilene, ejercicio 2Adilene, ejercicio 2
Adilene, ejercicio 2aaddiiee
 
PH-AY-OB-EL-02
PH-AY-OB-EL-02PH-AY-OB-EL-02
PH-AY-OB-EL-02cbflores
 
Lamprea seca asada
Lamprea seca asadaLamprea seca asada
Lamprea seca asadamavemave
 
Sabías que
Sabías queSabías que
Sabías quealelita10
 
Analiticas de Aprendizaje: Nuevo paradigma en la investigación educativa
Analiticas de Aprendizaje: Nuevo paradigma en la investigación educativaAnaliticas de Aprendizaje: Nuevo paradigma en la investigación educativa
Analiticas de Aprendizaje: Nuevo paradigma en la investigación educativaXavier Ochoa
 
Analisis Propuesta Educativa General
Analisis Propuesta Educativa GeneralAnalisis Propuesta Educativa General
Analisis Propuesta Educativa GeneralWendy Sandoval Chavarria
 
Robotica en la Educación
Robotica en la Educación Robotica en la Educación
Robotica en la Educación DulceKeila
 
Analítica del Aprendizaje como Nuevo Paradigma de la Investigación Educativa
Analítica del Aprendizaje como Nuevo Paradigma de la Investigación EducativaAnalítica del Aprendizaje como Nuevo Paradigma de la Investigación Educativa
Analítica del Aprendizaje como Nuevo Paradigma de la Investigación EducativaXavier Ochoa
 
Inteligencia Artificial.pdf
Inteligencia Artificial.pdfInteligencia Artificial.pdf
Inteligencia Artificial.pdfAnaBelnHerenciaUrqui2
 
IA PPT.pdf
IA PPT.pdfIA PPT.pdf
IA PPT.pdfEFPConsultingEntrena
 
Hoja de ruta para realizar experimentos en Ingeniería de Software
Hoja de ruta para realizar experimentos en Ingeniería de SoftwareHoja de ruta para realizar experimentos en Ingeniería de Software
Hoja de ruta para realizar experimentos en Ingeniería de SoftwareOmar S. Gomez
 
Silabo Inteligencia Artificial
Silabo Inteligencia ArtificialSilabo Inteligencia Artificial
Silabo Inteligencia ArtificialJose Luis Erazo Parra
 
Silabo deinteligencia artificial
Silabo deinteligencia artificialSilabo deinteligencia artificial
Silabo deinteligencia artificialUniandesRiobamba
 
Robotica Unefco Curso 1.pdf
Robotica Unefco Curso 1.pdfRobotica Unefco Curso 1.pdf
Robotica Unefco Curso 1.pdfadalidcalderonmendoz
 
20101201 across evia
20101201 across evia20101201 across evia
20101201 across eviaACROSS Project
 
Metric Video Analytics
Metric Video AnalyticsMetric Video Analytics
Metric Video AnalyticsInteligencia Artificial Chile
 
Robotica Pedagogica
Robotica PedagogicaRobotica Pedagogica
Robotica Pedagogicacjrodriguez
 
5 la-prospectiva-estrategica-la-vigilancia-tecnologica-e-inteligencia-competi...
5 la-prospectiva-estrategica-la-vigilancia-tecnologica-e-inteligencia-competi...5 la-prospectiva-estrategica-la-vigilancia-tecnologica-e-inteligencia-competi...
5 la-prospectiva-estrategica-la-vigilancia-tecnologica-e-inteligencia-competi...mcicopoa
 
Inteligencia artificial. jorge eliecer ladino poveda
Inteligencia artificial. jorge eliecer ladino povedaInteligencia artificial. jorge eliecer ladino poveda
Inteligencia artificial. jorge eliecer ladino povedajorgitonegro
 

Más contenido relacionado

Destacado

La informática
La informáticaLa informática
La informáticasaravg44
 
Agenda hda 39 04 03-13--borrador (1)
Agenda hda 39 04 03-13--borrador (1)Agenda hda 39 04 03-13--borrador (1)
Agenda hda 39 04 03-13--borrador (1)Ana Vilma de Escobar
 
Adilene, ejercicio 2
Adilene, ejercicio 2Adilene, ejercicio 2
Adilene, ejercicio 2aaddiiee
 
PH-AY-OB-EL-02
PH-AY-OB-EL-02PH-AY-OB-EL-02
PH-AY-OB-EL-02cbflores
 
Lamprea seca asada
Lamprea seca asadaLamprea seca asada
Lamprea seca asadamavemave
 

Destacado (7)

La informática
La informáticaLa informática
La informática
 
Agenda hda 39 04 03-13--borrador (1)
Agenda hda 39 04 03-13--borrador (1)Agenda hda 39 04 03-13--borrador (1)
Agenda hda 39 04 03-13--borrador (1)
 
KimberlyVonMaur14
KimberlyVonMaur14KimberlyVonMaur14
KimberlyVonMaur14
 
Adilene, ejercicio 2
Adilene, ejercicio 2Adilene, ejercicio 2
Adilene, ejercicio 2
 
PH-AY-OB-EL-02
PH-AY-OB-EL-02PH-AY-OB-EL-02
PH-AY-OB-EL-02
 
Lamprea seca asada
Lamprea seca asadaLamprea seca asada
Lamprea seca asada
 
Sabías que
Sabías queSabías que
Sabías que
 

Similar a victores2017xgnitive-techfest-presentation

Analiticas de Aprendizaje: Nuevo paradigma en la investigación educativa
Analiticas de Aprendizaje: Nuevo paradigma en la investigación educativaAnaliticas de Aprendizaje: Nuevo paradigma en la investigación educativa
Analiticas de Aprendizaje: Nuevo paradigma en la investigación educativaXavier Ochoa
 
Robotica en la Educación
Robotica en la Educación Robotica en la Educación
Robotica en la Educación DulceKeila
 
Analítica del Aprendizaje como Nuevo Paradigma de la Investigación Educativa
Analítica del Aprendizaje como Nuevo Paradigma de la Investigación EducativaAnalítica del Aprendizaje como Nuevo Paradigma de la Investigación Educativa
Analítica del Aprendizaje como Nuevo Paradigma de la Investigación EducativaXavier Ochoa
 
Hoja de ruta para realizar experimentos en Ingeniería de Software
Hoja de ruta para realizar experimentos en Ingeniería de SoftwareHoja de ruta para realizar experimentos en Ingeniería de Software
Hoja de ruta para realizar experimentos en Ingeniería de SoftwareOmar S. Gomez
 
Silabo deinteligencia artificial
Silabo deinteligencia artificialSilabo deinteligencia artificial
Silabo deinteligencia artificialUniandesRiobamba
 
Robotica Pedagogica
Robotica PedagogicaRobotica Pedagogica
Robotica Pedagogicacjrodriguez
 
5 la-prospectiva-estrategica-la-vigilancia-tecnologica-e-inteligencia-competi...
5 la-prospectiva-estrategica-la-vigilancia-tecnologica-e-inteligencia-competi...5 la-prospectiva-estrategica-la-vigilancia-tecnologica-e-inteligencia-competi...
5 la-prospectiva-estrategica-la-vigilancia-tecnologica-e-inteligencia-competi...mcicopoa
 
Inteligencia artificial. jorge eliecer ladino poveda
Inteligencia artificial. jorge eliecer ladino povedaInteligencia artificial. jorge eliecer ladino poveda
Inteligencia artificial. jorge eliecer ladino povedajorgitonegro
 
Inteligencia artificial
Inteligencia artificialInteligencia artificial
Inteligencia artificialjonathan_kamus
 
Automatización de procesos industriales
Automatización de procesos industrialesAutomatización de procesos industriales
Automatización de procesos industrialesManuel Viveros
 
Clase 1_Introduccion_IA - copia.ppt
Clase 1_Introduccion_IA - copia.pptClase 1_Introduccion_IA - copia.ppt
Clase 1_Introduccion_IA - copia.pptAracellysGarciaGarci
 
Goncalves hernandez lamanna_presentacionfinal
Goncalves hernandez lamanna_presentacionfinalGoncalves hernandez lamanna_presentacionfinal
Goncalves hernandez lamanna_presentacionfinalAndrea Goncalves
 

Similar a victores2017xgnitive-techfest-presentation (20)

Analiticas de Aprendizaje: Nuevo paradigma en la investigación educativa
Analiticas de Aprendizaje: Nuevo paradigma en la investigación educativaAnaliticas de Aprendizaje: Nuevo paradigma en la investigación educativa
Analiticas de Aprendizaje: Nuevo paradigma en la investigación educativa
 
Analisis Propuesta Educativa General
Analisis Propuesta Educativa GeneralAnalisis Propuesta Educativa General
Analisis Propuesta Educativa General
 
Robotica en la Educación
Robotica en la Educación Robotica en la Educación
Robotica en la Educación
 
Analítica del Aprendizaje como Nuevo Paradigma de la Investigación Educativa
Analítica del Aprendizaje como Nuevo Paradigma de la Investigación EducativaAnalítica del Aprendizaje como Nuevo Paradigma de la Investigación Educativa
Analítica del Aprendizaje como Nuevo Paradigma de la Investigación Educativa
 
Inteligencia Artificial.pdf
Inteligencia Artificial.pdfInteligencia Artificial.pdf
Inteligencia Artificial.pdf
 
IA PPT.pdf
IA PPT.pdfIA PPT.pdf
IA PPT.pdf
 
Hoja de ruta para realizar experimentos en Ingeniería de Software
Hoja de ruta para realizar experimentos en Ingeniería de SoftwareHoja de ruta para realizar experimentos en Ingeniería de Software
Hoja de ruta para realizar experimentos en Ingeniería de Software
 
Silabo Inteligencia Artificial
Silabo Inteligencia ArtificialSilabo Inteligencia Artificial
Silabo Inteligencia Artificial
 
Silabo deinteligencia artificial
Silabo deinteligencia artificialSilabo deinteligencia artificial
Silabo deinteligencia artificial
 
Robotica Unefco Curso 1.pdf
Robotica Unefco Curso 1.pdfRobotica Unefco Curso 1.pdf
Robotica Unefco Curso 1.pdf
 
20101201 across evia
20101201 across evia20101201 across evia
20101201 across evia
 
Metric Video Analytics
Metric Video AnalyticsMetric Video Analytics
Metric Video Analytics
 
Robotica Pedagogica
Robotica PedagogicaRobotica Pedagogica
Robotica Pedagogica
 
5 la-prospectiva-estrategica-la-vigilancia-tecnologica-e-inteligencia-competi...
5 la-prospectiva-estrategica-la-vigilancia-tecnologica-e-inteligencia-competi...5 la-prospectiva-estrategica-la-vigilancia-tecnologica-e-inteligencia-competi...
5 la-prospectiva-estrategica-la-vigilancia-tecnologica-e-inteligencia-competi...
 
Inteligencia artificial. jorge eliecer ladino poveda
Inteligencia artificial. jorge eliecer ladino povedaInteligencia artificial. jorge eliecer ladino poveda
Inteligencia artificial. jorge eliecer ladino poveda
 
Sintesis 02
Sintesis 02Sintesis 02
Sintesis 02
 
Inteligencia artificial
Inteligencia artificialInteligencia artificial
Inteligencia artificial
 
Automatización de procesos industriales
Automatización de procesos industrialesAutomatización de procesos industriales
Automatización de procesos industriales
 
Clase 1_Introduccion_IA - copia.ppt
Clase 1_Introduccion_IA - copia.pptClase 1_Introduccion_IA - copia.ppt
Clase 1_Introduccion_IA - copia.ppt
 
Goncalves hernandez lamanna_presentacionfinal
Goncalves hernandez lamanna_presentacionfinalGoncalves hernandez lamanna_presentacionfinal
Goncalves hernandez lamanna_presentacionfinal
 

Último

IV SES LUN 15 TUTO CUIDO MI MENTE CUIDANDO MI CUERPO YESSENIA 933623393 NUEV...
IV SES LUN 15 TUTO CUIDO MI MENTE CUIDANDO MI CUERPO YESSENIA 933623393 NUEV...IV SES LUN 15 TUTO CUIDO MI MENTE CUIDANDO MI CUERPO YESSENIA 933623393 NUEV...
IV SES LUN 15 TUTO CUIDO MI MENTE CUIDANDO MI CUERPO YESSENIA 933623393 NUEV...YobanaZevallosSantil1
 
SESIÓN DE APRENDIZAJE Leemos un texto para identificar los sinónimos y los an...
SESIÓN DE APRENDIZAJE Leemos un texto para identificar los sinónimos y los an...SESIÓN DE APRENDIZAJE Leemos un texto para identificar los sinónimos y los an...
SESIÓN DE APRENDIZAJE Leemos un texto para identificar los sinónimos y los an...GIANCARLOORDINOLAORD
 
4° SES MATE DESCOMP. ADIT. DE NUMEROS SOBRE CASOS DE DENGUE 9-4-24 (1).docx
4° SES MATE DESCOMP. ADIT. DE NUMEROS SOBRE CASOS DE DENGUE 9-4-24 (1).docx4° SES MATE DESCOMP. ADIT. DE NUMEROS SOBRE CASOS DE DENGUE 9-4-24 (1).docx
4° SES MATE DESCOMP. ADIT. DE NUMEROS SOBRE CASOS DE DENGUE 9-4-24 (1).docxMagalyDacostaPea
 
EJEMPLO MODELO DE PLAN DE REFUERZO ESCOLAR.docx
EJEMPLO MODELO DE PLAN DE REFUERZO ESCOLAR.docxEJEMPLO MODELO DE PLAN DE REFUERZO ESCOLAR.docx
EJEMPLO MODELO DE PLAN DE REFUERZO ESCOLAR.docxFabianValenciaJabo
 
Presentación Bloque 3 Actividad 2 transversal.pptx
Presentación Bloque 3 Actividad 2 transversal.pptxPresentación Bloque 3 Actividad 2 transversal.pptx
Presentación Bloque 3 Actividad 2 transversal.pptxRosabel UA
 
ENSEÑAR ACUIDAR EL MEDIO AMBIENTE ES ENSEÑAR A VALORAR LA VIDA.
ENSEÑAR ACUIDAR EL MEDIO AMBIENTE ES ENSEÑAR A VALORAR LA VIDA.ENSEÑAR ACUIDAR EL MEDIO AMBIENTE ES ENSEÑAR A VALORAR LA VIDA.
ENSEÑAR ACUIDAR EL MEDIO AMBIENTE ES ENSEÑAR A VALORAR LA VIDA.karlazoegarciagarcia
 
HISPANIDAD - La cultura común de la HISPANOAMERICA
HISPANIDAD - La cultura común de la HISPANOAMERICAHISPANIDAD - La cultura común de la HISPANOAMERICA
HISPANIDAD - La cultura común de la HISPANOAMERICAJesus Gonzalez Losada
 
PRIMER GRADO SOY LECTOR PART1- MD EDUCATIVO.pdf
PRIMER GRADO SOY LECTOR PART1- MD EDUCATIVO.pdfPRIMER GRADO SOY LECTOR PART1- MD EDUCATIVO.pdf
PRIMER GRADO SOY LECTOR PART1- MD EDUCATIVO.pdfGabrieldeJesusLopezG
 
Fichas de MatemáticA QUINTO DE SECUNDARIA).pdf
Fichas de MatemáticA QUINTO DE SECUNDARIA).pdfFichas de MatemáticA QUINTO DE SECUNDARIA).pdf
Fichas de MatemáticA QUINTO DE SECUNDARIA).pdfssuser50d1252
 
historieta materia de ecologías producto
historieta materia de ecologías productohistorieta materia de ecologías producto
historieta materia de ecologías productommartinezmarquez30
 
libro grafismo fonético guía de uso para el lenguaje
libro grafismo fonético guía de uso para el lenguajelibro grafismo fonético guía de uso para el lenguaje
libro grafismo fonético guía de uso para el lenguajeKattyMoran3
 
describimos como son afectados las regiones naturales del peru por la ola de ...
describimos como son afectados las regiones naturales del peru por la ola de ...describimos como son afectados las regiones naturales del peru por la ola de ...
describimos como son afectados las regiones naturales del peru por la ola de ...DavidBautistaFlores1
 
Abregú, Podestá. Directores.Líderes en Acción.
Abregú, Podestá. Directores.Líderes en Acción.Abregú, Podestá. Directores.Líderes en Acción.
Abregú, Podestá. Directores.Líderes en Acción.profandrearivero
 
Secuencia didáctica.DOÑA CLEMENTINA.2024.docx
Secuencia didáctica.DOÑA CLEMENTINA.2024.docxSecuencia didáctica.DOÑA CLEMENTINA.2024.docx
Secuencia didáctica.DOÑA CLEMENTINA.2024.docxNataliaGonzalez619348
 
TEMA 13. LOS GOBIERNOS DEMOCRÁTICOS (1982-2018)
TEMA 13. LOS GOBIERNOS DEMOCRÁTICOS (1982-2018)TEMA 13. LOS GOBIERNOS DEMOCRÁTICOS (1982-2018)
TEMA 13. LOS GOBIERNOS DEMOCRÁTICOS (1982-2018)jlorentemartos
 
LOS AMBIENTALISTAS todo por un mundo mejor
LOS AMBIENTALISTAS todo por un mundo mejorLOS AMBIENTALISTAS todo por un mundo mejor
LOS AMBIENTALISTAS todo por un mundo mejormrcrmnrojasgarcia
 

Último (20)

IV SES LUN 15 TUTO CUIDO MI MENTE CUIDANDO MI CUERPO YESSENIA 933623393 NUEV...
IV SES LUN 15 TUTO CUIDO MI MENTE CUIDANDO MI CUERPO YESSENIA 933623393 NUEV...IV SES LUN 15 TUTO CUIDO MI MENTE CUIDANDO MI CUERPO YESSENIA 933623393 NUEV...
IV SES LUN 15 TUTO CUIDO MI MENTE CUIDANDO MI CUERPO YESSENIA 933623393 NUEV...
 
SESIÓN DE APRENDIZAJE Leemos un texto para identificar los sinónimos y los an...
SESIÓN DE APRENDIZAJE Leemos un texto para identificar los sinónimos y los an...SESIÓN DE APRENDIZAJE Leemos un texto para identificar los sinónimos y los an...
SESIÓN DE APRENDIZAJE Leemos un texto para identificar los sinónimos y los an...
 
Acuerdo segundo periodo - Grado Noveno.pptx
Acuerdo segundo periodo - Grado Noveno.pptxAcuerdo segundo periodo - Grado Noveno.pptx
Acuerdo segundo periodo - Grado Noveno.pptx
 
4° SES MATE DESCOMP. ADIT. DE NUMEROS SOBRE CASOS DE DENGUE 9-4-24 (1).docx
4° SES MATE DESCOMP. ADIT. DE NUMEROS SOBRE CASOS DE DENGUE 9-4-24 (1).docx4° SES MATE DESCOMP. ADIT. DE NUMEROS SOBRE CASOS DE DENGUE 9-4-24 (1).docx
4° SES MATE DESCOMP. ADIT. DE NUMEROS SOBRE CASOS DE DENGUE 9-4-24 (1).docx
 
Aedes aegypti + Intro to Coquies EE.pptx
Aedes aegypti + Intro to Coquies EE.pptxAedes aegypti + Intro to Coquies EE.pptx
Aedes aegypti + Intro to Coquies EE.pptx
 
EJEMPLO MODELO DE PLAN DE REFUERZO ESCOLAR.docx
EJEMPLO MODELO DE PLAN DE REFUERZO ESCOLAR.docxEJEMPLO MODELO DE PLAN DE REFUERZO ESCOLAR.docx
EJEMPLO MODELO DE PLAN DE REFUERZO ESCOLAR.docx
 
Presentación Bloque 3 Actividad 2 transversal.pptx
Presentación Bloque 3 Actividad 2 transversal.pptxPresentación Bloque 3 Actividad 2 transversal.pptx
Presentación Bloque 3 Actividad 2 transversal.pptx
 
ENSEÑAR ACUIDAR EL MEDIO AMBIENTE ES ENSEÑAR A VALORAR LA VIDA.
ENSEÑAR ACUIDAR EL MEDIO AMBIENTE ES ENSEÑAR A VALORAR LA VIDA.ENSEÑAR ACUIDAR EL MEDIO AMBIENTE ES ENSEÑAR A VALORAR LA VIDA.
ENSEÑAR ACUIDAR EL MEDIO AMBIENTE ES ENSEÑAR A VALORAR LA VIDA.
 
HISPANIDAD - La cultura común de la HISPANOAMERICA
HISPANIDAD - La cultura común de la HISPANOAMERICAHISPANIDAD - La cultura común de la HISPANOAMERICA
HISPANIDAD - La cultura común de la HISPANOAMERICA
 
PRIMER GRADO SOY LECTOR PART1- MD EDUCATIVO.pdf
PRIMER GRADO SOY LECTOR PART1- MD EDUCATIVO.pdfPRIMER GRADO SOY LECTOR PART1- MD EDUCATIVO.pdf
PRIMER GRADO SOY LECTOR PART1- MD EDUCATIVO.pdf
 
Fichas de MatemáticA QUINTO DE SECUNDARIA).pdf
Fichas de MatemáticA QUINTO DE SECUNDARIA).pdfFichas de MatemáticA QUINTO DE SECUNDARIA).pdf
Fichas de MatemáticA QUINTO DE SECUNDARIA).pdf
 
historieta materia de ecologías producto
historieta materia de ecologías productohistorieta materia de ecologías producto
historieta materia de ecologías producto
 
libro grafismo fonético guía de uso para el lenguaje
libro grafismo fonético guía de uso para el lenguajelibro grafismo fonético guía de uso para el lenguaje
libro grafismo fonético guía de uso para el lenguaje
 
Sesión ¿Amor o egoísmo? Esa es la cuestión
Sesión ¿Amor o egoísmo? Esa es la cuestiónSesión ¿Amor o egoísmo? Esa es la cuestión
Sesión ¿Amor o egoísmo? Esa es la cuestión
 
describimos como son afectados las regiones naturales del peru por la ola de ...
describimos como son afectados las regiones naturales del peru por la ola de ...describimos como son afectados las regiones naturales del peru por la ola de ...
describimos como son afectados las regiones naturales del peru por la ola de ...
 
Abregú, Podestá. Directores.Líderes en Acción.
Abregú, Podestá. Directores.Líderes en Acción.Abregú, Podestá. Directores.Líderes en Acción.
Abregú, Podestá. Directores.Líderes en Acción.
 
El Bullying.
El Bullying.El Bullying.
El Bullying.
 
Secuencia didáctica.DOÑA CLEMENTINA.2024.docx
Secuencia didáctica.DOÑA CLEMENTINA.2024.docxSecuencia didáctica.DOÑA CLEMENTINA.2024.docx
Secuencia didáctica.DOÑA CLEMENTINA.2024.docx
 
TEMA 13. LOS GOBIERNOS DEMOCRÁTICOS (1982-2018)
TEMA 13. LOS GOBIERNOS DEMOCRÁTICOS (1982-2018)TEMA 13. LOS GOBIERNOS DEMOCRÁTICOS (1982-2018)
TEMA 13. LOS GOBIERNOS DEMOCRÁTICOS (1982-2018)
 
LOS AMBIENTALISTAS todo por un mundo mejor
LOS AMBIENTALISTAS todo por un mundo mejorLOS AMBIENTALISTAS todo por un mundo mejor
LOS AMBIENTALISTAS todo por un mundo mejor
 

victores2017xgnitive-techfest-presentation

  • 1. XGNITIVE: Avances hacia la generalización avanzada de acciones y sistemas de imaginación en robótica Juan G Victores TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
  • 2. XGNITIVE: Avances hacia la generalización avanzada de acciones y sistemas de imaginación en robótica  Introducción  Robot Imagination System  Continuous Goal-Directed Actions  Conclusiones  Publicaciones  Colabora! 1 of 56TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017
  • 3. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! 2 de 56 ● Laboratorio de Robótica y de Tecnologías Afines ➢ +40 personas (2 CU, 2 TU, 8 post-PhD, candidatos PhD…) ➢ Equipo multidisciplinar (Ingenieros en Automatización y Electrónica Industrial, Telecomms), Física, Matemática, Informática... ➢ Equipo internacional (+12 nacionalidades: E, USA, RU, I, VEN, EGP, IRK, MEX…) ● Líneas de Investigación ➢Robótica asistencial, robots humanoides, robótica en la construcción, robots escaladores, interacción física y psicológica, control moderno, visión por computadora, sensores... Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 4. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3 de 56 Robótica asistencial Robótica en la construcción Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 5. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3 de 56 Robótica asistencial XGNITIVE Robótica en la construcción Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 6. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3 de 56 Robótica asistencial XGNITIVE Robótica en la construcción TEXTILES Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 7. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3 de 56 Robótica asistencial XGNITIVE Robótica en la construcción ROBO-SPECTTEXTILES Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 8. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 4 de 56 XGNITIVE: A Flexible Cognitive Architecture for Robots Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 9. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 4 de 56 “XGNITIVE is like the Grial of robotics” :-) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 10. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 5 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 11. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 6 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 12. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 6 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 13. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 6 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 14. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 7 de 56 A. No perceptual links between physical characteristics and words. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 15. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 7 de 56 A. No perceptual links between physical characteristics and words. B. Lack of inference capabilities for interpreting combinations of words. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 16. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 7 de 56 A. No perceptual links between physical characteristics and words. B. Lack of inference capabilities for interpreting combinations of words. C. No bindings between actions and their effects, reprogramming required. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 17. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 7 de 56 A. Develop a framework for linking physical characteristics and words. B. Enable inference mechanisms for interpreting combinations of words. C. Allow a robot to act according to the desired effects on an object. Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora!
  • 18. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 8 de 56 XGNITIVE: A Flexible Cognitive Architecture for Robots Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 19. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 8 de 56 Robot Imagination System Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 20. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 8 de 56 Robot Imagination System Continuous Goal-Directed Actions Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 21. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 8 de 56 Robot Imagination System Continuous Goal-Directed Actions Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Robotics Lab (UC3M) Mis líneas de investigación XGNITIVE - El origen - Objetivos - Estado actual
  • 22. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 9 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 23. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 9 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 24. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 10 de 56 A. No perceptual links between physical characteristics and words. B. Lack of inference capabilities for interpreting combinations of words. C. No bindings between actions and their effects, reprogramming required. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 25. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 11 de 56 A. No perceptual links between physical characteristics and words. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 26. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 11 de 56 A. No perceptual links between physical characteristics and words. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 27. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 12 de 56 A. No perceptual links between physical characteristics and words. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 28. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 12 de 56 ``The horizontal purple rectangle below the horizontal green rectangle'‘ (DESCRIBER, 2002) A. No perceptual links between physical characteristics and words. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 29. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 13 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 30. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 14 de 56 B. Lack of inference capabilities for interpreting combinations of words. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 31. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 14 de 56 B. Lack of inference capabilities for interpreting combinations of words. (AARON, 1989) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 32. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 14 de 56 B. Lack of inference capabilities for interpreting combinations of words. (AARON, 1989) (AHA! Experience, 2011) ! Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 33. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 We define Robot Imagination as the process of creating previously unexisting Knowledge K’ from existing Knowledge K and Words W. 15 de 56 Imagination Where new Knowledge K’ can be used for a real world application. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 34. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 16 de 56 Robot Imagination System (RIS) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 35. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 17 de 56 A. Perception Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 36. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 17 de 56 • Computer Vision A. Perception Computer Vision Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 37. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 17 de 56 • Computer Vision • Speech Recognition A. Perception Computer Vision Speech Recognition Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 38. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Speech Recognition 17 de 56 • Computer Vision • Semantic Memory A. Perception Computer Vision Speech Recognition Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 39. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Speech Recognition 17 de 56 • Computer Vision A. Perception Computer Vision Speech Recognition Grounding Core • Semantic Memory Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 40. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 A. Perception Computer Vision Speech Recognition State Machine Grounding Core 17 de 56 • Speech Recognition • Computer Vision • Grounded Language • Semantic Memory Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 41. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 A. Perception Computer Vision Speech Recognition State Machine Grounding Core • Speech Recognition 17 de 56 • Semantic Memory • Embodied Cognition • Computer Vision • Grounded Language Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 42. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 17 de 56 • Philosophy • Statistical Learning • Psychology • Neuro-science (medical) • Neuro-science (computer) A. Perception Computer Vision Speech Recognition Grounding Core State Machine Imagination Core B. Inference Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 43. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 A. Perception Computer Vision Speech Recognition Grounding Core State Machine Imagination Core B. Inference C. Execution Execution Core 17 de 56 • Correspondence Problem • Robot Imitation • Goal-Directed Actions • Continuous Goal-Directed Actions (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 44. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 17 de 56 A. Perception Imagination Core State Machine Execution Core Visual OutputComputer Vision Grounding Core Speech OutputSpeech Recognition B. Inference C. Execution Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 45. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 18 de 56 A. Perception Computer Vision Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 46. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 18 de 56 • 2D • RGB/HSV or Canny Edge Detection • Morphological Closing • Find contours (blobs) to segment objects • 3D • Remove NaN and Voxelize • RANSAC using plane model • Remove planes (tables and walls) • Euclidian Clustering to segment objects • Feature extraction • Centroid, area, rotation, min/max axis, aspect ratio, rectangularity, solidity, arc, radius, RGB, HSV. A. Perception Computer Vision Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 47. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56 Grounding Core A. Perception Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 48. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56 • Generated semantic subspaces: Grounding Core A. Perception Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 49. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56 • Generated semantic subspaces: • Blue 0 Solidity Hue Grounding Core A. Perception Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 50. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56 • Generated semantic subspaces: • Blue • Scissors 0 Solidity Hue 0 Solidity Hue Grounding Core A. Perception Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 51. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56 0 Solidity Hue 0 Solidity Hue • Generated semantic subspaces: • Blue • Scissors Grounding Core A. Perception Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 52. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 19 de 56 0 Solidity Hue 0 Solidity Hue • Generated semantic subspaces: • Blue • Scissors 1 Grounding Core A. Perception Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentoss
  • 53. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 1 19 de 56 0 Solidity Hue 0 Solidity Hue Hue • Generated semantic subspaces: • Blue • Scissors • Red Solidity 0 Grounding Core A. Perception Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora!
  • 54. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 1 19 de 56 0 Solidity Hue 0 Solidity Hue Hue • Generated semantic subspaces: • Blue • Scissors • Red Solidity 0 Grounding Core A. Perception Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 55. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 20 de 56 Imagination Core B. Inference Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 56. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Object Feature Prediction: • Basic Prediction Algorithm (RIS) • Enhanced Prediction Algorithm (RIS) • Object Recognition (Euclidean Distance) • Reconstruction (Evolutionary Computation) 21 de 56 Imagination Core B. Inference Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 57. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 58. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 59. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 60. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference 1. Generalization • Basic Prediction: Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 61. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 62. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 63. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 64. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 65. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • Basic Prediction: Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 66. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • Basic Prediction: • COMPLETE Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 67. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • Basic Prediction: • COMPLETE • RELEVANT Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 68. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 1. Generalization 2. Intersection 3. Projection 4. Averaging • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 22 de 56 Imagination Core B. Inference • COMPLETE • RELEVANT • BALANCED Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 69. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 23 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Why a hyperplane of order n-1 ? Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 70. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 23 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Why a hyperplane of order n-1 ? • From the algebraic definition, if the points fit to the model, it simultaneously captures all of the linear dependencies and couplings in Rn. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 71. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 23 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Why a hyperplane of order n-1 ? • From the algebraic definition, if the points fit to the model, it simultaneously captures all of the linear dependencies and couplings in Rn. • Hyperplanes are defined in all space, so the “meanings” of words are also extended across, and along, all the Feature Space. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 72. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 23 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Why a hyperplane of order n-1 ? • From the algebraic definition, if the points fit to the model, it simultaneously captures all of the linear dependencies and couplings in Rn. • Hyperplanes are defined in all space, so the “meanings” of words are also extended across, and along, all the Feature Space. • Practical benefit of always finding intersections between these representations. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 73. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 24 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Why are orthogonal projections used ? Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 74. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 24 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Why are orthogonal projections used ? • Projections result on the valid solution geometrical construct, and are closest to the original data of a given point cloud. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 75. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 24 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Why are orthogonal projections used ? • Projections result on the valid solution geometrical construct, and are closest to the original data of a given point cloud. • Promotes ranges of values that are common in objects, which is useful when not all features are specified by words. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 76. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 25 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Does the algorithm have any known limitations? Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 77. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 25 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Does the algorithm have any known limitations? Yes, the basic prediction algorithm may fail under the following circumstances: Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 78. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 25 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Does the algorithm have any known limitations? Yes, the basic prediction algorithm may fail under the following circumstances: • Context dependency (e.g. “green” color or state of ripeness). Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 79. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 25 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Does the algorithm have any known limitations? Yes, the basic prediction algorithm may fail under the following circumstances: • Context dependency (e.g. “green” color or state of ripeness). • Periodicity (e.g. “red” hue is 0º and 360º, a hyperplane could be fit at 180º). Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 80. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 • Basic Prediction: • Object Feature Prediction: • Basic Prediction Algorithm (RIS) 25 de 56 Imagination Core B. Inference 1. Generalization 2. Intersection 3. Projection 4. Averaging • COMPLETE • RELEVANT • BALANCED Does the algorithm have any known limitations? Yes, the basic prediction algorithm may fail under the following circumstances: • Context dependency (e.g. “green” color or state of ripeness). • Periodicity (e.g. “red” hue is 0º and 360º, a hyperplane could be fit at 180º). • Specificity (non-extendable meanings). Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 81. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 26 de 56 Imagination Core B. Inference • Object Feature Prediction: • Enhanced Prediction Algorithm (RIS) • Enhanced Prediction: 1. Context Detector 2. Hyperspherical Shape Detector Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 82. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 27 de 56 Imagination Core B. Inference • Object Feature Prediction: • Enhanced Prediction Algorithm (RIS) • Enhanced Prediction: 1. Context Detector 2. Hyperspherical Shape Detector The Context Detector counts the accompanying words of a query word within each cluster Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 83. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 28 de 56 Imagination Core B. Inference • Object Feature Prediction: • Enhanced Prediction Algorithm (RIS) • Enhanced Prediction: 1. Context Detection 2. Hyperspherical Shape Detector The Hyperspherical Shape Detector compares all the sorted eigenvalues of a given point cloud Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 84. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 29 de 56 Execution Core C. Execution • Action Generalization (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 85. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 30 de 56 1. Populating the database: Every training sample has a description Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 86. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 30 de 56 1. Populating the database: Every training sample has a description, e.g. the first image is labeled “top-left-dark-blue-fat-straight-box” Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 87. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 31 de 56 3. The mental models are created through Object Reconstruction (using evolutionary computation) aiming at the predicted features, e.g. the first image responds to the query “bottom right”, the second to “bottom left”, the third to “top right”, and the last to “top blue”. 2. Queries are summited upon the populated database, e.g. “bottom right” or “bottom left”. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 88. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3. The mental models are created through Object Reconstruction (using evolutionary computation) aiming at the predicted features, e.g. the first image responds to the query “bottom right”, the second to “bottom left”, the third to “top right”, and the last to “top blue”. 31 de 56 2. Queries are summited upon the populated database, e.g. “bottom right” or “bottom left” Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 89. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3. The mental models are created through Object Reconstruction (using evolutionary computation) aiming at the predicted features, e.g. the first image responds to the query “bottom right”, the second to “bottom left”, the third to “top right”, and the last to “top blue”. 31 de 56 2. Queries are summited upon the populated database, e.g. “bottom right” or “bottom left” Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 90. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3. The mental models are created through Object Reconstruction (using evolutionary computation) aiming at the predicted features, e.g. the first image responds to the query “bottom right”, the second to “bottom left”, the third to “top right”, and the last to “top blue”. 31 de 56 2. Queries are summited upon the populated database, e.g. “bottom right” or “bottom left” Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 91. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 3. The mental models are created through Object Reconstruction (using evolutionary computation) aiming at the predicted features, e.g. the first image responds to the query “bottom right”, the second to “bottom left”, the third to “top right”, and the last to “top blue”. 31 de 56 2. Queries are summited upon the populated database, e.g. “bottom right” or “bottom left” Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 92. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 32 de 56 4.The drawing demonstration, where the robot exposes its mental model. [J.G.Victores, 2013](IROS,Tokyo) [J.Lebber, 2013](FASTCompany) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 93. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 33 de 56 -The system is trained through speech with a blue visual marker. -The component used for Speech Recognition requires a pre-defined corpus of words to recognize. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 94. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 34 de 56 The system can generalize a word with as little as 2 training samples in the 2D case, and 3 training samples in the 3D case. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 95. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 35 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 96. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 36 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Escenario objetivo Estado del arte Arquitectura global Componentes Percepción, Inferencia y Ejecución Experimentos
  • 97. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 37 de 56 A. No perceptual links between physical characteristics and words. B. Lack of inference capabilities for interpreting combinations of words. C. No bindings between actions and their effects, reprogramming required. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
  • 98. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 38 de 56 C. No bindings between actions and their effects, reprogramming required. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
  • 99. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 38 de 56 C. No bindings between actions and their effects, reprogramming required. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
  • 100. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 38 de 56 C. No bindings between actions and their effects, reprogramming required. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
  • 101. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 39 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Programming by Demonstration (PbD) [Calinon] Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
  • 102. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 40 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Dynamic Motion Primitives (DMP) [Ijspeert, Schaal] Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
  • 103. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 41 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! PbD / DMP CGDA Objective of imitation Spatial trajectories Objects feature states Features tracked Demonstrator’s joint/Cartesian parameters Objects’ shape, area, color, coordinates, etc. Strengths Perfect kinematic imitation Captures the objective of the action. Seamless transfer of actions between robots. Weaknesses Undefined goal to achieve Undefined way to achieve the goal Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
  • 104. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 42 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Red X Red Y Green X Green Y end Goal-Directed Actions start Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
  • 105. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 42 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Red X Red Y Green X Green Y end Goal-Directed Actions Red X Red Y Green X Green Y t Continuous Goal-Directed Actions start Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
  • 106. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 43 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos Red X Red Y Green X Green Y t Red X Red Y Green X Green Y t Red X Red Y Green X Green Y t Red X Red Y Green X Green Y t Red X Red Y Green X Green Y t Red X Red Y Green X Green Y t Demonstration Selection Feature Selection
  • 107. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 44 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Filtering MappingDissimilarity Obtaining a measurement of dissimilarity DTW, Euclidean Dist, etc. Dimensionality reduction preserving original dimensions Sum of dissimilarities, MDS, PCA, etc. Discarding demonstrations( or features) Z-score, DBSCAN, etc. Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
  • 108. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 45 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! [Morante, 2015](HUMANOIDS, Seoul) Signal 1 Signal 2 Signal 3 3 20 19 Dissimilarity Signal 1 Signal 2 Signal 3 0 3 20 3 0 19 20 19 0 2223 39 Mapping Σ 23 22 39 -0.52 -0.62 1.15 Filtering Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
  • 109. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 46 de 56 • Action Generalization (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos [Morante, 2014](ICRA, Hong Kong)
  • 110. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 46 de 56 • Action Generalization (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos Split in Intervals (e.g.: 1 interval/second)
  • 111. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 46 de 56 • Action Generalization (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos Compute average Split in Intervals (e.g.: 1 interval/second)
  • 112. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 46 de 56 • Action Generalization (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos Split in Intervals (e.g.: 1 interval/second) Compute average Linear interpolation (e.g. Radial Basis Function)
  • 113. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 GeneralizedTraj.e.g.Xpos Query Traj. e.g. X pos 47 de 56 • Action Recognition (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
  • 114. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 GeneralizedTraj.e.g.Xpos Query Traj. e.g. X pos 47 de 56 • Action Recognition (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos • Feature-by-feature comparison using Dynamic Time Warping (DTW)
  • 115. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 GeneralizedTraj.e.g.Xpos Query Traj. e.g. X pos 47 de 56 • Action Recognition (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos • Feature-by-feature comparison using Dynamic Time Warping (DTW) • Minimum Cost Path (MCP)
  • 116. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 GeneralizedTraj.e.g.Xpos Query Traj. e.g. X pos 47 de 56 • Action Recognition (CGDA) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos • Feature-by-feature comparison using Dynamic Time Warping (DTW) • Minimum Cost Path (MCP) • Minimum Total Sum of Cost = min Σ(MCP) is most similar recognized
  • 117. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 48 de 56 • Action Execution (CGDA) Execution Strategies • Full Trajectory Evolution • Individual Evolution • Individually Evolved Trajectories (IET) Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos [Morante, 2015](Journal of Advanced Robotics)
  • 118. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 49 de 56 Testing the execution of the “waxing” action encoded as a Continuous Goal-Oriented Action (CGDA). Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos
  • 119. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 50 de 56 [S.Morante, J.G.Victores et Al., ICRA 2013, Hong Kong] Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora!
  • 120. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 51 de 56 Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Executing a Non-Spatial Task: Painting • Objective: Paint a wall composed by 16 small squares. • Features: Percentage of painted wall. • Strategy: Incrementally Evolved Trajectories.
  • 121. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 52 de 56 Estado del arte Selección automática de demostraciones y características Generalización Reconocimiento Ejecución Experimentos Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora!
  • 122. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 53 de 56 Perception - Framework for creating links between words and physical characteristics Inference - Robot Imagination System for providing robots with imagination skills through object features and semantics Execution - Presented a new way of encoding actions, which can complement Programming by Demonstration - Explained proposed algorithms for CGDA generalization, recognition and execution Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora!
  • 123. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 54 de 56 Origin of Data - Sensory information of various nature (e.g. haptic, rugosity) and from the Internet-of-Things. Data Representation - Human-inspired color space such as YUV. Use of SIFT and SURF visual descriptors. Techniques for Inference - Feature selection (e.g. LASSO). Gaussian Mixture Models, Non-linear PCA, Manifolds, Neural Networks. Additional Functionalities - Vector and dynamic information, auto-tuned parameters. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora!
  • 124. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 55 de 56 J.G. Victores, S. Morante, A. Jardon, C. Balaguer. Towards Robot Imagination Through Object Feature Inference. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2013), ISBN: 2153-0858, pages: 5694 - 5699, IEEE. 2013-11-05, Tokyo, Japan. 2013. S. Morante, J.G. Victores, A. Jardon, C. Balaguer. Action Effect Generalization, Recognition and Execution through Continuous Goal-Directed Actions. IEEE International Conference on Robotics and Automation (ICRA 2014), pages: 1822 - 1827, IEEE. 2014-06-03, Hong Kong, China. 2014. S. Morante, J.G. Victores, A. Jardon, C. Balaguer. Humanoid Robot Imitation through Continuous Goal-Directed Actions : An Evolutionary Approach. Advanced Robotics, vol: 29, number: 5, pages: 303 - 314. 2015. S. Morante, J.G. Victores, C. Balaguer. Automatic Demonstration and Feature Selection for Robot Learning. IEEE International Conference on Humanoid Robots (Humanoids 2015), pages: 428 - 433, IEEE. 2015-11-03, Seoul, South Korea. 2015. Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora!
  • 125. TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017 56 de 56 Introducción Robot Imagination System Continuous Goal-Directed Actions Conclusiones Publicaciones Colabora! Join us! https://github.com/roboticslab-uc3m/xgnitive
  • 126. XGNITIVE: Avances hacia la generalización avanzada de acciones y sistemas de imaginación en robótica Juan G Victores TechFest 2017 – Universidad Rey Juan Carlos – Enero 2017