SlideShare ist ein Scribd-Unternehmen logo
1 von 52
Downloaden Sie, um offline zu lesen
Context-based Just-in-Time
Retrieval of Cultural Resources
on Mobile Android Devices
Wolfgang Lutz, Student M.Sc. Informatik
Betreuer: Prof.Dr. Michael Granitzer, Dr. Christin Seifert
1
Imagine
Being in front of this: When your phone tells you
10 interesting entries found near your location
But only if you are not…
… in a hurry
… listening to music
… talking to your friend
2
What is context?
• Context is any information that can be used to
characterize the situation of an entity. An entity
is a person, place, or object that is considered
relevant to the interaction between a user and
an application, including the user and applications
themselves.
[from Towards a Better Understanding of Context and
Context-Awareness by Dey/Abowd, 1999]
3
Basic Idea
• Collect information about the user’s
context on the device to proactively
retrieve information, that could be of
interest/use for the user, and – at an
appropriate time – present it.
4
Basic Idea
• Collect information about the user’s
context on the device to proactively
retrieve information, that could be of
interest/use for the user, and – at an
appropriate time – present it.
Collection
4
Basic Idea
• Collect information about the user’s
context on the device to proactively
retrieve information, that could be of
interest/use for the user, and – at an
appropriate time – present it.
PerceptionCollection
4
Basic Idea
• Collect information about the user’s
context on the device to proactively
retrieve information, that could be of
interest/use for the user, and – at an
appropriate time – present it.
QueryPerceptionCollection
4
Basic Idea
• Collect information about the user’s
context on the device to proactively
retrieve information, that could be of
interest/use for the user, and – at an
appropriate time – present it.
PresentationQueryPerceptionCollection
4
Basic Idea
5
Basic Idea
Collection
Sensor Data
5
Basic Idea
Perception
Trigger
When to present results?
What terms to
use in query?
Collection
Sensor Data
5
Database
Query
Retrieve
Information
Basic Idea
Perception
Trigger
When to present results?
What terms to
use in query?
Collection
Sensor Data
5
Presentation
Present
Results
Database
Query
Retrieve
Information
Basic Idea
Perception
Trigger
When to present results?
What terms to
use in query?
Collection
Sensor Data
5
Thesis Questions
• How can context be used in mobile devices to
detect what to query from the Database?
• How can context be used in mobile devices to
detect when to query from the Database and
present the results?
6
Technical Implementation
PresentationQueryPerceptionCollection
Term Processing
Implementation for Android
Trigger Processing
Modified
Europena4J
Library
Notification,!
App shows
query
results
AbstractionLayer
AWARE!
Framework!
+ custom!
Plugins
7
Technical Implementation
PresentationQueryPerceptionCollection
Term Processing
Implementation for Android
Trigger Processing
Modified
Europena4J
Library
Notification,!
App shows
query
results
AbstractionLayer
AWARE!
Framework!
+ custom!
Plugins
7
Europeana
• European Union project (europeana.eu)
• Portal for books, movies, paintings and music
• Goal: Collection of

Europe's cultural and scientific heritage
8
AWARE Framework
• Android Framework for harvesting context
information
• Good collection of default sensors
• Plugin mechanism for extensions
• Interface between plugins: context provider

(i.e. SQLITE Database)
9
Architecture
AWARE/Android
Sensors
AWARE
Location
Contextopheles
Sensors
GeonameResolver
OSMPoiResolver
ClipboardCatcher
NotificationCatcher
UIContent
SMSReceiver
ImageReceiver
Android
ClipBoard
Manager
Android
Accessibility
Services
Android
MediaStore
Android
Telephony
Provider
Contextopheles
Sensor
Processing
TermCollector
Contextopheles
Application
Layer
Automatic Query
Figure 1: Description: 10
Architecture
AWARE/Android
Sensors
AWARE
Location
Contextopheles
Sensors
GeonameResolver
OSMPoiResolver
ClipboardCatcher
NotificationCatcher
UIContent
SMSReceiver
ImageReceiver
Android
ClipBoard
Manager
Android
Accessibility
Services
Android
MediaStore
Android
Telephony
Provider
Contextopheles
Sensor
Processing
TermCollector
Contextopheles
Application
Layer
Automatic Query
Figure 1: Description: 10
Text Processing
11
Text Processing
Johann Sebastian Bach (geboren 31. März 1685 in Eisenach; gestorben
28. Juli 1750 in Leipzig) war ein deutscher Komponist des Barock. Er gilt
heute als einer der bekanntesten und bedeutendsten Musiker, vor allem
für Berufsmusiker ist er oft der größte Komponist aller Zeiten. Seine
Werke beeinflussten nachfolgende Komponistengenerationen.Zu
Lebzeiten wurde Bach als Virtuose, Organist und Orgelinspektor hoch
geschätzt, allerdings waren seine Kompositionen nur einem relativ
kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine
Werke jahrzehntelang in Vergessenheit und wurden kaum noch öffentlich
aufgeführt. Nachdem die Komponisten der Wiener Klassik sich mit Teilen
von Bachs Werk auseinandergesetzt hatten, begann mit der
Wiederaufführung der Matthäus-Passion unter Leitung von Felix
Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance in der
breiten Öffentlichkeit.
11
Text Processing
Johann Sebastian Bach (geboren 31. März 1685 in Eisenach; gestorben
28. Juli 1750 in Leipzig) war ein deutscher Komponist des Barock. Er gilt
heute als einer der bekanntesten und bedeutendsten Musiker, vor allem
für Berufsmusiker ist er oft der größte Komponist aller Zeiten. Seine
Werke beeinflussten nachfolgende Komponistengenerationen.Zu
Lebzeiten wurde Bach als Virtuose, Organist und Orgelinspektor hoch
geschätzt, allerdings waren seine Kompositionen nur einem relativ
kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine
Werke jahrzehntelang in Vergessenheit und wurden kaum noch öffentlich
aufgeführt. Nachdem die Komponisten der Wiener Klassik sich mit Teilen
von Bachs Werk auseinandergesetzt hatten, begann mit der
Wiederaufführung der Matthäus-Passion unter Leitung von Felix
Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance in der
breiten Öffentlichkeit.
1. Split
11
Text Processing
Johann Sebastian Bach (geboren 31. M¨arz 1685 in Eisenach; gestorben 28. Juli
1750 in Leipzig) war ein deutscher Komponist des Barock. Er gilt heute als
einer der bekanntesten und bedeutendsten Musiker, vor allem f¨ur Berufsmusiker
ist er oft der gr¨oßte Komponist aller Zeiten. Seine Werke beeinflussten nachfolgende
Komponistengenerationen. Zu Lebzeiten wurde Bach als Virtuose, Organist und
Orgelinspektor hoch gesch¨atzt, allerdings waren seine Kompositionen nur einem
relativ kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine
Werke jahrzehntelang in Vergessenheit und wurden kaum noch ¨o↵entlich aufgef¨uhrt.
Nachdem die Komponisten der Wiener Klassik sich mit Teilen von Bachs Werk
auseinandergesetzt hatten, begann mit der Wiederau↵¨uhrung der Matth¨aus-Passion
unter Leitung von Felix Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance
in der breiten ¨O↵entlichkeit. Johann Sebastian Sebastian Bach Organist und Orgelinspektor
Bachs Tod Komponisten der Wiener Wiener Klassik Bachs Werk Felix Mendelssohn
Mendelssohn Bartholdy Bartholdy im Jahre
1. Split
11
Text Processing
Johann Sebastian Bach (geboren 31. M¨arz 1685 in Eisenach; gestorben 28. Juli
1750 in Leipzig) war ein deutscher Komponist des Barock. Er gilt heute als
einer der bekanntesten und bedeutendsten Musiker, vor allem f¨ur Berufsmusiker
ist er oft der gr¨oßte Komponist aller Zeiten. Seine Werke beeinflussten nachfolgende
Komponistengenerationen. Zu Lebzeiten wurde Bach als Virtuose, Organist und
Orgelinspektor hoch gesch¨atzt, allerdings waren seine Kompositionen nur einem
relativ kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine
Werke jahrzehntelang in Vergessenheit und wurden kaum noch ¨o↵entlich aufgef¨uhrt.
Nachdem die Komponisten der Wiener Klassik sich mit Teilen von Bachs Werk
auseinandergesetzt hatten, begann mit der Wiederau↵¨uhrung der Matth¨aus-Passion
unter Leitung von Felix Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance
in der breiten ¨O↵entlichkeit. Johann Sebastian Sebastian Bach Organist und Orgelinspektor
Bachs Tod Komponisten der Wiener Wiener Klassik Bachs Werk Felix Mendelssohn
Mendelssohn Bartholdy Bartholdy im Jahre
1. Split
2. Filter
11
Text Processing
Johann Sebastian Bach (geboren 31. M¨arz 1685 in Eisenach; gestorben 28. Juli
1750 in Leipzig) war ein deutscher Komponist des Barock. Er gilt heute als
einer der bekanntesten und bedeutendsten Musiker, vor allem f¨ur Berufsmusiker
ist er oft der gr¨oßte Komponist aller Zeiten. Seine Werke beeinflussten nachfolgende
Komponistengenerationen. Zu Lebzeiten wurde Bach als Virtuose, Organist und
Orgelinspektor hoch gesch¨atzt, allerdings waren seine Kompositionen nur einem
relativ kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine
Werke jahrzehntelang in Vergessenheit und wurden kaum noch ¨o↵entlich aufgef¨uhrt.
Nachdem die Komponisten der Wiener Klassik sich mit Teilen von Bachs Werk
auseinandergesetzt hatten, begann mit der Wiederau↵¨uhrung der Matth¨aus-Passion
unter Leitung von Felix Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance
in der breiten ¨O↵entlichkeit. Johann Sebastian Sebastian Bach Organist und Orgelinspektor
Bachs Tod Komponisten der Wiener Wiener Klassik Bachs Werk Felix Mendelssohn
Mendelssohn Bartholdy Bartholdy im Jahre
1. Split
2. Filter
11
Text Processing
Johann Sebastian Bach (geboren 31. M¨arz 1685 in Eisenach; gestorben 28. Juli
1750 in Leipzig) war ein deutscher Komponist des Barock. Er gilt heute als
einer der bekanntesten und bedeutendsten Musiker, vor allem f¨ur Berufsmusiker
ist er oft der gr¨oßte Komponist aller Zeiten. Seine Werke beeinflussten nachfolgende
Komponistengenerationen. Zu Lebzeiten wurde Bach als Virtuose, Organist und
Orgelinspektor hoch gesch¨atzt, allerdings waren seine Kompositionen nur einem
relativ kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine
Werke jahrzehntelang in Vergessenheit und wurden kaum noch ¨o↵entlich aufgef¨uhrt.
Nachdem die Komponisten der Wiener Klassik sich mit Teilen von Bachs Werk
auseinandergesetzt hatten, begann mit der Wiederau↵¨uhrung der Matth¨aus-Passion
unter Leitung von Felix Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance
in der breiten ¨O↵entlichkeit. Johann Sebastian Sebastian Bach Organist und Orgelinspektor
Bachs Tod Komponisten der Wiener Wiener Klassik Bachs Werk Felix Mendelssohn
Mendelssohn Bartholdy Bartholdy im Jahre
1. Split
2. Filter
3. Reformulate
11
Text Processing
Johann Sebastian Bach (geboren 31. M¨arz 1685 in Eisenach; gestorben 28. Juli
1750 in Leipzig) war ein deutscher Komponist des Barock. Er gilt heute als
einer der bekanntesten und bedeutendsten Musiker, vor allem f¨ur Berufsmusiker
ist er oft der gr¨oßte Komponist aller Zeiten. Seine Werke beeinflussten nachfolgende
Komponistengenerationen. Zu Lebzeiten wurde Bach als Virtuose, Organist und
Orgelinspektor hoch gesch¨atzt, allerdings waren seine Kompositionen nur einem
relativ kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine
Werke jahrzehntelang in Vergessenheit und wurden kaum noch ¨o↵entlich aufgef¨uhrt.
Nachdem die Komponisten der Wiener Klassik sich mit Teilen von Bachs Werk
auseinandergesetzt hatten, begann mit der Wiederau↵¨uhrung der Matth¨aus-Passion
unter Leitung von Felix Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance
in der breiten ¨O↵entlichkeit. Johann Sebastian Sebastian Bach Organist und Orgelinspektor
Bachs Tod Komponisten der Wiener Wiener Klassik Bachs Werk Felix Mendelssohn
Mendelssohn Bartholdy Bartholdy im Jahre
1. Split
2. Filter
3. Reformulate
11
Text Processing
Johann Sebastian Bach (geboren 31. M¨arz 1685 in Eisenach; gestorben 28. Juli
1750 in Leipzig) war ein deutscher Komponist des Barock. Er gilt heute als
einer der bekanntesten und bedeutendsten Musiker, vor allem f¨ur Berufsmusiker
ist er oft der gr¨oßte Komponist aller Zeiten. Seine Werke beeinflussten nachfolgende
Komponistengenerationen. Zu Lebzeiten wurde Bach als Virtuose, Organist und
Orgelinspektor hoch gesch¨atzt, allerdings waren seine Kompositionen nur einem
relativ kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine
Werke jahrzehntelang in Vergessenheit und wurden kaum noch ¨o↵entlich aufgef¨uhrt.
Nachdem die Komponisten der Wiener Klassik sich mit Teilen von Bachs Werk
auseinandergesetzt hatten, begann mit der Wiederau↵¨uhrung der Matth¨aus-Passion
unter Leitung von Felix Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance
in der breiten ¨O↵entlichkeit. Johann Sebastian Sebastian Bach Organist und Orgelinspektor
Bachs Tod Komponisten der Wiener Wiener Klassik Bachs Werk Felix Mendelssohn
Mendelssohn Bartholdy Bartholdy im Jahre
1. Split
2. Filter
3. Reformulate
4. Clean
11
Text Processing
Johann Sebastian Bach (geboren 31. M¨arz 1685 in Eisenach gestorben 28. Juli
1750 in Leipzig war ein deutscher Komponist des Barock Er gilt heute als einer
der bekanntesten und bedeutendsten Musiker vor allem f¨ur Berufsmusiker ist er
oft der gr¨oßte Komponist aller Zeiten Seine Werke beeinflussten nachfolgende
Komponistengenerationen Zu Lebzeiten wurde Bach als Virtuose Organist und
Orgelinspektor hoch gesch¨atzt allerdings waren seine Kompositionen nur einem
relativ kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine
Werke jahrzehntelang in Vergessenheit und wurden kaum noch ¨o↵entlich aufgef¨uhrt.
Nachdem die Komponisten der Wiener Klassik sich mit Teilen von Bachs Werk
auseinandergesetzt hatten, begann mit der Wiederau↵¨uhrung der Matth¨aus-Passion
unter Leitung von Felix Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance
in der breiten ¨O↵entlichkeit Johann Sebastian Sebastian Bach Organist und Orgelinspektor
Bachs Tod Komponisten der Wiener Wiener Klassik Bachs Werk Felix Mendelssohn
Mendelssohn Bartholdy Bartholdy im Jahre
1. Split
2. Filter
3. Reformulate
4. Clean
11
Text Processing Results
Johann Johann Sebastian Sebastian Sebastian Bach Bach Eisenach Leipzig Komponist
Barock Musiker Berufsmusiker Zeiten Werke Komponistengenerationen Lebzeiten
Virtuose Virtuose Organist Organist Organist und Orgelinspektor Orgelinspektor Kompositionen
Kreis Musikkennern Bachs Bachs Tod Tod Vergessenheit Komponisten Komponisten der Wiener
Wiener Wiener Klassik Klassik Bachs Werk Werk Wiederau↵¨uhrung Leitung Felix
Felix Mendelssohn Mendelssohn Mendelssohn Bartholdy Bartholdy Bartholdy im Jahre
Jahre ¨O↵entlichkeit
Sebastian Bach Eisenach Leipzig
TermData
GeoData
12
Architecture
AWARE/Android
Sensors
AWARE
Location
Contextopheles
Sensors
GeonameResolver
OSMPoiResolver
ClipboardCatcher
NotificationCatcher
UIContent
SMSReceiver
ImageReceiver
Android
ClipBoard
Manager
Android
Accessibility
Services
Android
MediaStore
Android
Telephony
Provider
Contextopheles
Sensor
Processing
TermCollector
Contextopheles
Application
Layer
Automatic Query
Figure 1: Description: 13
Architecture
AWARE/Android
Sensors
AWARE
Location
Contextopheles
Sensors
GeonameResolver
OSMPoiResolver
ClipboardCatcher
NotificationCatcher
UIContent
SMSReceiver
ImageReceiver
Android
ClipBoard
Manager
Android
Accessibility
Services
Android
MediaStore
Android
Telephony
Provider
Contextopheles
Sensor
Processing
TermCollector
Contextopheles
Application
Layer
Automatic Query
Figure 1: Description: 13
Europeana Mapping
proxy dc creator
edm UGC
vider aggregation edm dataProvider
provider aggregation edm provider
proxy dc type
proxy dc format
cc skos broaderLabel
cc skos prefLabel
proxy dcterms created
ts skos prefLabel
proxy dc date
proxy dc coverage
proxy dcterms temporal
pl skos prefLabel
proxy dcterms spatial
proxy dcterms alternative
UGC
DATA PROVIDER
PROVIDER
what
date
when
subject
where
location
title
COMPLETENESS
TermCollector
Integration
ClipboardCatcher
NotificationCatcher
UIContent
SMSReceiver
Sources
OSMPoiResolver
GeonameResolver
14
Query Generation
WhatObjects
WhereObjects
QueryObjects
From
Term
Collector
15
Query Generation
What? Bach
WhatObjects
WhereObjects
QueryObjects
From
Term
Collector
15
Query Generation
What? Bach
WhatObjects
WhereObjects
QueryObjects
What? Bach
From
Term
Collector
15
Query Generation
What? Bach
WhatObjects
WhereObjects
QueryObjects
Where? Leipzig
What? Bach
Where? Leipzig
Where? Leipzig
What? Bach
From
Term
Collector
15
Query Generation
What? Bach
WhatObjects
WhereObjects
QueryObjects
What? Werk
Where? Leipzig
What? Bach
Where? Leipzig
Where? Leipzig
What? Bach
From
Term
Collector
15
Query Generation
What? Bach
WhatObjects
WhereObjects
QueryObjects
What? Werk
Where? Leipzig
What? Bach
Where? Leipzig
Where? Leipzig
What? Bach
What? Werk
Where? Leipzig
What? Werk
From
Term
Collector
15
Query Generation
What? Bach
WhatObjects
WhereObjects
QueryObjects
What? Werk
Where? Leipzig
Where? Wien
What? Bach
Where? Leipzig
Where? Leipzig
What? Bach
What? Werk
Where? Leipzig
What? Werk
From
Term
Collector
15
Query Generation
What? Bach
WhatObjects
WhereObjects
QueryObjects
What? Werk
Where? Leipzig
What? Bach
Where? Leipzig
Where? Leipzig
What? Bach
What? Werk
Where? Leipzig
What? Werk
. . .
From
Term
Collector
15
DEMO
(or videos, if things start to explode)
Improvements and Future Work
AWARE/Android
Sensors
AWARE
Location
Contextopheles
Sensors
GeonameResolver
OSMPoiResolver
ClipboardCatcher
NotificationCatcher
UIContent
SMSReceiver
ImageReceiver
Android
ClipBoard
Manager
Android
Accessibility
Services
Android
MediaStore
Android
Telephony
Provider
Contextopheles
Sensor
Processing
TermCollector
Contextopheles
Application
Layer
Automatic Query
17
Improvements and Future Work
AWARE/Android
Sensors
AWARE
Location
Contextopheles
Sensors
GeonameResolver
OSMPoiResolver
ClipboardCatcher
NotificationCatcher
UIContent
SMSReceiver
ImageReceiver
Android
ClipBoard
Manager
Android
Accessibility
Services
Android
MediaStore
Android
Telephony
Provider
Contextopheles
Sensor
Processing
TermCollector
Contextopheles
Application
Layer
Automatic Query
Improve
Location
Resolvers
17
Improvements and Future Work
AWARE/Android
Sensors
AWARE
Location
Contextopheles
Sensors
GeonameResolver
OSMPoiResolver
ClipboardCatcher
NotificationCatcher
UIContent
SMSReceiver
ImageReceiver
Android
ClipBoard
Manager
Android
Accessibility
Services
Android
MediaStore
Android
Telephony
Provider
Contextopheles
Sensor
Processing
TermCollector
Contextopheles
Application
Layer
Automatic Query
Improve
Term Heuristics
Improve
Location
Resolvers
17
Improvements and Future Work
AWARE/Android
Sensors
AWARE
Location
Contextopheles
Sensors
GeonameResolver
OSMPoiResolver
ClipboardCatcher
NotificationCatcher
UIContent
SMSReceiver
ImageReceiver
Android
ClipBoard
Manager
Android
Accessibility
Services
Android
MediaStore
Android
Telephony
Provider
Contextopheles
Sensor
Processing
TermCollector
Contextopheles
Application
Layer
Automatic Query
Improve
Term Heuristics
Improve
Location
Resolvers
Extend and fix

User Interface,
extend Situation
detection
17
Improvements and Future Work
AWARE/Android
Sensors
AWARE
Location
Contextopheles
Sensors
GeonameResolver
OSMPoiResolver
ClipboardCatcher
NotificationCatcher
UIContent
SMSReceiver
ImageReceiver
Android
ClipBoard
Manager
Android
Accessibility
Services
Android
MediaStore
Android
Telephony
Provider
Contextopheles
Sensor
Processing
TermCollector
Contextopheles
Application
Layer
Automatic Query
Improve
Term Heuristics
Improve
Location
Resolvers
Extend and fix

User Interface,
extend Situation
detection
and more
17
Example Extension
18
Todo
• Evaluation: Expert review soon, more sophisticated
evaluation later (including quality of queries and results)
• Stability Improvements
• More Plugins (e.g. LocationProjector)
• More sophisticated situation detection (when to query and
notify)
• Reduce Energy Consumption
• Comfort features (e.g. history of queries)
19
At a glance
• We built a prototype to proof the concept
• Still a lot of work to do to use it in „real life“
• Current performance of the app is very promising
• Building it was fun (most of the time 😃 )
20
Thank you very much

Weitere ähnliche Inhalte

Andere mochten auch

Lession 1 introduction to accounting
Lession 1 introduction to accountingLession 1 introduction to accounting
Lession 1 introduction to accountingBebolious Pharoo
 
Quy trình kỹ thuật thi công cọc khoan nhồi
Quy trình kỹ thuật thi công cọc khoan nhồiQuy trình kỹ thuật thi công cọc khoan nhồi
Quy trình kỹ thuật thi công cọc khoan nhồiTran Hien
 
Xaydung360.vn sưu tầm câu hỏi đồ án duong
Xaydung360.vn sưu tầm câu hỏi đồ án duongXaydung360.vn sưu tầm câu hỏi đồ án duong
Xaydung360.vn sưu tầm câu hỏi đồ án duongTran Hien
 
stress -Oranizational behaviour
stress -Oranizational behaviourstress -Oranizational behaviour
stress -Oranizational behaviourBebolious Pharoo
 
The role of ethics in business
The role of ethics in businessThe role of ethics in business
The role of ethics in businessBebolious Pharoo
 
Functions of an entrepreneur
Functions of an entrepreneurFunctions of an entrepreneur
Functions of an entrepreneurBebolious Pharoo
 
kentucky fried chicken ,Marketing presentation
 kentucky fried chicken ,Marketing presentation kentucky fried chicken ,Marketing presentation
kentucky fried chicken ,Marketing presentationBebolious Pharoo
 
Function of management, different authors, managemnet
Function of management, different authors, managemnetFunction of management, different authors, managemnet
Function of management, different authors, managemnetBebolious Pharoo
 

Andere mochten auch (11)

health
healthhealth
health
 
The thesis statement
The thesis statement The thesis statement
The thesis statement
 
Lession 1 introduction to accounting
Lession 1 introduction to accountingLession 1 introduction to accounting
Lession 1 introduction to accounting
 
Quy trình kỹ thuật thi công cọc khoan nhồi
Quy trình kỹ thuật thi công cọc khoan nhồiQuy trình kỹ thuật thi công cọc khoan nhồi
Quy trình kỹ thuật thi công cọc khoan nhồi
 
Xaydung360.vn sưu tầm câu hỏi đồ án duong
Xaydung360.vn sưu tầm câu hỏi đồ án duongXaydung360.vn sưu tầm câu hỏi đồ án duong
Xaydung360.vn sưu tầm câu hỏi đồ án duong
 
stress -Oranizational behaviour
stress -Oranizational behaviourstress -Oranizational behaviour
stress -Oranizational behaviour
 
The role of ethics in business
The role of ethics in businessThe role of ethics in business
The role of ethics in business
 
Functions of an entrepreneur
Functions of an entrepreneurFunctions of an entrepreneur
Functions of an entrepreneur
 
питч презентация R-vin для ss
питч презентация R-vin для ssпитч презентация R-vin для ss
питч презентация R-vin для ss
 
kentucky fried chicken ,Marketing presentation
 kentucky fried chicken ,Marketing presentation kentucky fried chicken ,Marketing presentation
kentucky fried chicken ,Marketing presentation
 
Function of management, different authors, managemnet
Function of management, different authors, managemnetFunction of management, different authors, managemnet
Function of management, different authors, managemnet
 

Ähnlich wie Context-based Just-in-Time Retrieval of Cultural Resources on Mobile Android Devices

Ähnlich wie Context-based Just-in-Time Retrieval of Cultural Resources on Mobile Android Devices (9)

Klassischemusik
KlassischemusikKlassischemusik
Klassischemusik
 
Bečki klasičari - Andrijana Petrović - Svetlana Stojanović
Bečki klasičari - Andrijana Petrović - Svetlana StojanovićBečki klasičari - Andrijana Petrović - Svetlana Stojanović
Bečki klasičari - Andrijana Petrović - Svetlana Stojanović
 
Praktiumsbericht Staatliches Institut für Musikforschung
Praktiumsbericht Staatliches Institut für MusikforschungPraktiumsbericht Staatliches Institut für Musikforschung
Praktiumsbericht Staatliches Institut für Musikforschung
 
Berühmte deutsche - prezentacja
Berühmte deutsche - prezentacjaBerühmte deutsche - prezentacja
Berühmte deutsche - prezentacja
 
Pd Jam 2013
Pd Jam 2013Pd Jam 2013
Pd Jam 2013
 
Medien Denken und Handeln in Berlin
Medien Denken und Handeln in BerlinMedien Denken und Handeln in Berlin
Medien Denken und Handeln in Berlin
 
Praktikumsbericht Amerika-Gedenk-Bibliothek
Praktikumsbericht Amerika-Gedenk-BibliothekPraktikumsbericht Amerika-Gedenk-Bibliothek
Praktikumsbericht Amerika-Gedenk-Bibliothek
 
Historische und etymologische Wörterbücher
Historische und etymologische WörterbücherHistorische und etymologische Wörterbücher
Historische und etymologische Wörterbücher
 
Paul Otlet und das Mundaneum
Paul Otlet und das MundaneumPaul Otlet und das Mundaneum
Paul Otlet und das Mundaneum
 

Context-based Just-in-Time Retrieval of Cultural Resources on Mobile Android Devices

  • 1. Context-based Just-in-Time Retrieval of Cultural Resources on Mobile Android Devices Wolfgang Lutz, Student M.Sc. Informatik Betreuer: Prof.Dr. Michael Granitzer, Dr. Christin Seifert 1
  • 2. Imagine Being in front of this: When your phone tells you 10 interesting entries found near your location But only if you are not… … in a hurry … listening to music … talking to your friend 2
  • 3. What is context? • Context is any information that can be used to characterize the situation of an entity. An entity is a person, place, or object that is considered relevant to the interaction between a user and an application, including the user and applications themselves. [from Towards a Better Understanding of Context and Context-Awareness by Dey/Abowd, 1999] 3
  • 4. Basic Idea • Collect information about the user’s context on the device to proactively retrieve information, that could be of interest/use for the user, and – at an appropriate time – present it. 4
  • 5. Basic Idea • Collect information about the user’s context on the device to proactively retrieve information, that could be of interest/use for the user, and – at an appropriate time – present it. Collection 4
  • 6. Basic Idea • Collect information about the user’s context on the device to proactively retrieve information, that could be of interest/use for the user, and – at an appropriate time – present it. PerceptionCollection 4
  • 7. Basic Idea • Collect information about the user’s context on the device to proactively retrieve information, that could be of interest/use for the user, and – at an appropriate time – present it. QueryPerceptionCollection 4
  • 8. Basic Idea • Collect information about the user’s context on the device to proactively retrieve information, that could be of interest/use for the user, and – at an appropriate time – present it. PresentationQueryPerceptionCollection 4
  • 11. Basic Idea Perception Trigger When to present results? What terms to use in query? Collection Sensor Data 5
  • 12. Database Query Retrieve Information Basic Idea Perception Trigger When to present results? What terms to use in query? Collection Sensor Data 5
  • 13. Presentation Present Results Database Query Retrieve Information Basic Idea Perception Trigger When to present results? What terms to use in query? Collection Sensor Data 5
  • 14. Thesis Questions • How can context be used in mobile devices to detect what to query from the Database? • How can context be used in mobile devices to detect when to query from the Database and present the results? 6
  • 15. Technical Implementation PresentationQueryPerceptionCollection Term Processing Implementation for Android Trigger Processing Modified Europena4J Library Notification,! App shows query results AbstractionLayer AWARE! Framework! + custom! Plugins 7
  • 16. Technical Implementation PresentationQueryPerceptionCollection Term Processing Implementation for Android Trigger Processing Modified Europena4J Library Notification,! App shows query results AbstractionLayer AWARE! Framework! + custom! Plugins 7
  • 17. Europeana • European Union project (europeana.eu) • Portal for books, movies, paintings and music • Goal: Collection of
 Europe's cultural and scientific heritage 8
  • 18. AWARE Framework • Android Framework for harvesting context information • Good collection of default sensors • Plugin mechanism for extensions • Interface between plugins: context provider
 (i.e. SQLITE Database) 9
  • 22. Text Processing Johann Sebastian Bach (geboren 31. März 1685 in Eisenach; gestorben 28. Juli 1750 in Leipzig) war ein deutscher Komponist des Barock. Er gilt heute als einer der bekanntesten und bedeutendsten Musiker, vor allem für Berufsmusiker ist er oft der größte Komponist aller Zeiten. Seine Werke beeinflussten nachfolgende Komponistengenerationen.Zu Lebzeiten wurde Bach als Virtuose, Organist und Orgelinspektor hoch geschätzt, allerdings waren seine Kompositionen nur einem relativ kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine Werke jahrzehntelang in Vergessenheit und wurden kaum noch öffentlich aufgeführt. Nachdem die Komponisten der Wiener Klassik sich mit Teilen von Bachs Werk auseinandergesetzt hatten, begann mit der Wiederaufführung der Matthäus-Passion unter Leitung von Felix Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance in der breiten Öffentlichkeit. 11
  • 23. Text Processing Johann Sebastian Bach (geboren 31. März 1685 in Eisenach; gestorben 28. Juli 1750 in Leipzig) war ein deutscher Komponist des Barock. Er gilt heute als einer der bekanntesten und bedeutendsten Musiker, vor allem für Berufsmusiker ist er oft der größte Komponist aller Zeiten. Seine Werke beeinflussten nachfolgende Komponistengenerationen.Zu Lebzeiten wurde Bach als Virtuose, Organist und Orgelinspektor hoch geschätzt, allerdings waren seine Kompositionen nur einem relativ kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine Werke jahrzehntelang in Vergessenheit und wurden kaum noch öffentlich aufgeführt. Nachdem die Komponisten der Wiener Klassik sich mit Teilen von Bachs Werk auseinandergesetzt hatten, begann mit der Wiederaufführung der Matthäus-Passion unter Leitung von Felix Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance in der breiten Öffentlichkeit. 1. Split 11
  • 24. Text Processing Johann Sebastian Bach (geboren 31. M¨arz 1685 in Eisenach; gestorben 28. Juli 1750 in Leipzig) war ein deutscher Komponist des Barock. Er gilt heute als einer der bekanntesten und bedeutendsten Musiker, vor allem f¨ur Berufsmusiker ist er oft der gr¨oßte Komponist aller Zeiten. Seine Werke beeinflussten nachfolgende Komponistengenerationen. Zu Lebzeiten wurde Bach als Virtuose, Organist und Orgelinspektor hoch gesch¨atzt, allerdings waren seine Kompositionen nur einem relativ kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine Werke jahrzehntelang in Vergessenheit und wurden kaum noch ¨o↵entlich aufgef¨uhrt. Nachdem die Komponisten der Wiener Klassik sich mit Teilen von Bachs Werk auseinandergesetzt hatten, begann mit der Wiederau↵¨uhrung der Matth¨aus-Passion unter Leitung von Felix Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance in der breiten ¨O↵entlichkeit. Johann Sebastian Sebastian Bach Organist und Orgelinspektor Bachs Tod Komponisten der Wiener Wiener Klassik Bachs Werk Felix Mendelssohn Mendelssohn Bartholdy Bartholdy im Jahre 1. Split 11
  • 25. Text Processing Johann Sebastian Bach (geboren 31. M¨arz 1685 in Eisenach; gestorben 28. Juli 1750 in Leipzig) war ein deutscher Komponist des Barock. Er gilt heute als einer der bekanntesten und bedeutendsten Musiker, vor allem f¨ur Berufsmusiker ist er oft der gr¨oßte Komponist aller Zeiten. Seine Werke beeinflussten nachfolgende Komponistengenerationen. Zu Lebzeiten wurde Bach als Virtuose, Organist und Orgelinspektor hoch gesch¨atzt, allerdings waren seine Kompositionen nur einem relativ kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine Werke jahrzehntelang in Vergessenheit und wurden kaum noch ¨o↵entlich aufgef¨uhrt. Nachdem die Komponisten der Wiener Klassik sich mit Teilen von Bachs Werk auseinandergesetzt hatten, begann mit der Wiederau↵¨uhrung der Matth¨aus-Passion unter Leitung von Felix Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance in der breiten ¨O↵entlichkeit. Johann Sebastian Sebastian Bach Organist und Orgelinspektor Bachs Tod Komponisten der Wiener Wiener Klassik Bachs Werk Felix Mendelssohn Mendelssohn Bartholdy Bartholdy im Jahre 1. Split 2. Filter 11
  • 26. Text Processing Johann Sebastian Bach (geboren 31. M¨arz 1685 in Eisenach; gestorben 28. Juli 1750 in Leipzig) war ein deutscher Komponist des Barock. Er gilt heute als einer der bekanntesten und bedeutendsten Musiker, vor allem f¨ur Berufsmusiker ist er oft der gr¨oßte Komponist aller Zeiten. Seine Werke beeinflussten nachfolgende Komponistengenerationen. Zu Lebzeiten wurde Bach als Virtuose, Organist und Orgelinspektor hoch gesch¨atzt, allerdings waren seine Kompositionen nur einem relativ kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine Werke jahrzehntelang in Vergessenheit und wurden kaum noch ¨o↵entlich aufgef¨uhrt. Nachdem die Komponisten der Wiener Klassik sich mit Teilen von Bachs Werk auseinandergesetzt hatten, begann mit der Wiederau↵¨uhrung der Matth¨aus-Passion unter Leitung von Felix Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance in der breiten ¨O↵entlichkeit. Johann Sebastian Sebastian Bach Organist und Orgelinspektor Bachs Tod Komponisten der Wiener Wiener Klassik Bachs Werk Felix Mendelssohn Mendelssohn Bartholdy Bartholdy im Jahre 1. Split 2. Filter 11
  • 27. Text Processing Johann Sebastian Bach (geboren 31. M¨arz 1685 in Eisenach; gestorben 28. Juli 1750 in Leipzig) war ein deutscher Komponist des Barock. Er gilt heute als einer der bekanntesten und bedeutendsten Musiker, vor allem f¨ur Berufsmusiker ist er oft der gr¨oßte Komponist aller Zeiten. Seine Werke beeinflussten nachfolgende Komponistengenerationen. Zu Lebzeiten wurde Bach als Virtuose, Organist und Orgelinspektor hoch gesch¨atzt, allerdings waren seine Kompositionen nur einem relativ kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine Werke jahrzehntelang in Vergessenheit und wurden kaum noch ¨o↵entlich aufgef¨uhrt. Nachdem die Komponisten der Wiener Klassik sich mit Teilen von Bachs Werk auseinandergesetzt hatten, begann mit der Wiederau↵¨uhrung der Matth¨aus-Passion unter Leitung von Felix Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance in der breiten ¨O↵entlichkeit. Johann Sebastian Sebastian Bach Organist und Orgelinspektor Bachs Tod Komponisten der Wiener Wiener Klassik Bachs Werk Felix Mendelssohn Mendelssohn Bartholdy Bartholdy im Jahre 1. Split 2. Filter 3. Reformulate 11
  • 28. Text Processing Johann Sebastian Bach (geboren 31. M¨arz 1685 in Eisenach; gestorben 28. Juli 1750 in Leipzig) war ein deutscher Komponist des Barock. Er gilt heute als einer der bekanntesten und bedeutendsten Musiker, vor allem f¨ur Berufsmusiker ist er oft der gr¨oßte Komponist aller Zeiten. Seine Werke beeinflussten nachfolgende Komponistengenerationen. Zu Lebzeiten wurde Bach als Virtuose, Organist und Orgelinspektor hoch gesch¨atzt, allerdings waren seine Kompositionen nur einem relativ kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine Werke jahrzehntelang in Vergessenheit und wurden kaum noch ¨o↵entlich aufgef¨uhrt. Nachdem die Komponisten der Wiener Klassik sich mit Teilen von Bachs Werk auseinandergesetzt hatten, begann mit der Wiederau↵¨uhrung der Matth¨aus-Passion unter Leitung von Felix Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance in der breiten ¨O↵entlichkeit. Johann Sebastian Sebastian Bach Organist und Orgelinspektor Bachs Tod Komponisten der Wiener Wiener Klassik Bachs Werk Felix Mendelssohn Mendelssohn Bartholdy Bartholdy im Jahre 1. Split 2. Filter 3. Reformulate 11
  • 29. Text Processing Johann Sebastian Bach (geboren 31. M¨arz 1685 in Eisenach; gestorben 28. Juli 1750 in Leipzig) war ein deutscher Komponist des Barock. Er gilt heute als einer der bekanntesten und bedeutendsten Musiker, vor allem f¨ur Berufsmusiker ist er oft der gr¨oßte Komponist aller Zeiten. Seine Werke beeinflussten nachfolgende Komponistengenerationen. Zu Lebzeiten wurde Bach als Virtuose, Organist und Orgelinspektor hoch gesch¨atzt, allerdings waren seine Kompositionen nur einem relativ kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine Werke jahrzehntelang in Vergessenheit und wurden kaum noch ¨o↵entlich aufgef¨uhrt. Nachdem die Komponisten der Wiener Klassik sich mit Teilen von Bachs Werk auseinandergesetzt hatten, begann mit der Wiederau↵¨uhrung der Matth¨aus-Passion unter Leitung von Felix Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance in der breiten ¨O↵entlichkeit. Johann Sebastian Sebastian Bach Organist und Orgelinspektor Bachs Tod Komponisten der Wiener Wiener Klassik Bachs Werk Felix Mendelssohn Mendelssohn Bartholdy Bartholdy im Jahre 1. Split 2. Filter 3. Reformulate 4. Clean 11
  • 30. Text Processing Johann Sebastian Bach (geboren 31. M¨arz 1685 in Eisenach gestorben 28. Juli 1750 in Leipzig war ein deutscher Komponist des Barock Er gilt heute als einer der bekanntesten und bedeutendsten Musiker vor allem f¨ur Berufsmusiker ist er oft der gr¨oßte Komponist aller Zeiten Seine Werke beeinflussten nachfolgende Komponistengenerationen Zu Lebzeiten wurde Bach als Virtuose Organist und Orgelinspektor hoch gesch¨atzt allerdings waren seine Kompositionen nur einem relativ kleinen Kreis von Musikkennern bekannt. Nach Bachs Tod gerieten seine Werke jahrzehntelang in Vergessenheit und wurden kaum noch ¨o↵entlich aufgef¨uhrt. Nachdem die Komponisten der Wiener Klassik sich mit Teilen von Bachs Werk auseinandergesetzt hatten, begann mit der Wiederau↵¨uhrung der Matth¨aus-Passion unter Leitung von Felix Mendelssohn Bartholdy im Jahre 1829 die Bach-Renaissance in der breiten ¨O↵entlichkeit Johann Sebastian Sebastian Bach Organist und Orgelinspektor Bachs Tod Komponisten der Wiener Wiener Klassik Bachs Werk Felix Mendelssohn Mendelssohn Bartholdy Bartholdy im Jahre 1. Split 2. Filter 3. Reformulate 4. Clean 11
  • 31. Text Processing Results Johann Johann Sebastian Sebastian Sebastian Bach Bach Eisenach Leipzig Komponist Barock Musiker Berufsmusiker Zeiten Werke Komponistengenerationen Lebzeiten Virtuose Virtuose Organist Organist Organist und Orgelinspektor Orgelinspektor Kompositionen Kreis Musikkennern Bachs Bachs Tod Tod Vergessenheit Komponisten Komponisten der Wiener Wiener Wiener Klassik Klassik Bachs Werk Werk Wiederau↵¨uhrung Leitung Felix Felix Mendelssohn Mendelssohn Mendelssohn Bartholdy Bartholdy Bartholdy im Jahre Jahre ¨O↵entlichkeit Sebastian Bach Eisenach Leipzig TermData GeoData 12
  • 34. Europeana Mapping proxy dc creator edm UGC vider aggregation edm dataProvider provider aggregation edm provider proxy dc type proxy dc format cc skos broaderLabel cc skos prefLabel proxy dcterms created ts skos prefLabel proxy dc date proxy dc coverage proxy dcterms temporal pl skos prefLabel proxy dcterms spatial proxy dcterms alternative UGC DATA PROVIDER PROVIDER what date when subject where location title COMPLETENESS TermCollector Integration ClipboardCatcher NotificationCatcher UIContent SMSReceiver Sources OSMPoiResolver GeonameResolver 14
  • 38. Query Generation What? Bach WhatObjects WhereObjects QueryObjects Where? Leipzig What? Bach Where? Leipzig Where? Leipzig What? Bach From Term Collector 15
  • 39. Query Generation What? Bach WhatObjects WhereObjects QueryObjects What? Werk Where? Leipzig What? Bach Where? Leipzig Where? Leipzig What? Bach From Term Collector 15
  • 40. Query Generation What? Bach WhatObjects WhereObjects QueryObjects What? Werk Where? Leipzig What? Bach Where? Leipzig Where? Leipzig What? Bach What? Werk Where? Leipzig What? Werk From Term Collector 15
  • 41. Query Generation What? Bach WhatObjects WhereObjects QueryObjects What? Werk Where? Leipzig Where? Wien What? Bach Where? Leipzig Where? Leipzig What? Bach What? Werk Where? Leipzig What? Werk From Term Collector 15
  • 42. Query Generation What? Bach WhatObjects WhereObjects QueryObjects What? Werk Where? Leipzig What? Bach Where? Leipzig Where? Leipzig What? Bach What? Werk Where? Leipzig What? Werk . . . From Term Collector 15
  • 43. DEMO (or videos, if things start to explode)
  • 44. Improvements and Future Work AWARE/Android Sensors AWARE Location Contextopheles Sensors GeonameResolver OSMPoiResolver ClipboardCatcher NotificationCatcher UIContent SMSReceiver ImageReceiver Android ClipBoard Manager Android Accessibility Services Android MediaStore Android Telephony Provider Contextopheles Sensor Processing TermCollector Contextopheles Application Layer Automatic Query 17
  • 45. Improvements and Future Work AWARE/Android Sensors AWARE Location Contextopheles Sensors GeonameResolver OSMPoiResolver ClipboardCatcher NotificationCatcher UIContent SMSReceiver ImageReceiver Android ClipBoard Manager Android Accessibility Services Android MediaStore Android Telephony Provider Contextopheles Sensor Processing TermCollector Contextopheles Application Layer Automatic Query Improve Location Resolvers 17
  • 46. Improvements and Future Work AWARE/Android Sensors AWARE Location Contextopheles Sensors GeonameResolver OSMPoiResolver ClipboardCatcher NotificationCatcher UIContent SMSReceiver ImageReceiver Android ClipBoard Manager Android Accessibility Services Android MediaStore Android Telephony Provider Contextopheles Sensor Processing TermCollector Contextopheles Application Layer Automatic Query Improve Term Heuristics Improve Location Resolvers 17
  • 47. Improvements and Future Work AWARE/Android Sensors AWARE Location Contextopheles Sensors GeonameResolver OSMPoiResolver ClipboardCatcher NotificationCatcher UIContent SMSReceiver ImageReceiver Android ClipBoard Manager Android Accessibility Services Android MediaStore Android Telephony Provider Contextopheles Sensor Processing TermCollector Contextopheles Application Layer Automatic Query Improve Term Heuristics Improve Location Resolvers Extend and fix
 User Interface, extend Situation detection 17
  • 48. Improvements and Future Work AWARE/Android Sensors AWARE Location Contextopheles Sensors GeonameResolver OSMPoiResolver ClipboardCatcher NotificationCatcher UIContent SMSReceiver ImageReceiver Android ClipBoard Manager Android Accessibility Services Android MediaStore Android Telephony Provider Contextopheles Sensor Processing TermCollector Contextopheles Application Layer Automatic Query Improve Term Heuristics Improve Location Resolvers Extend and fix
 User Interface, extend Situation detection and more 17
  • 50. Todo • Evaluation: Expert review soon, more sophisticated evaluation later (including quality of queries and results) • Stability Improvements • More Plugins (e.g. LocationProjector) • More sophisticated situation detection (when to query and notify) • Reduce Energy Consumption • Comfort features (e.g. history of queries) 19
  • 51. At a glance • We built a prototype to proof the concept • Still a lot of work to do to use it in „real life“ • Current performance of the app is very promising • Building it was fun (most of the time 😃 ) 20