Evaluation is a very vital research interest in the digital library domain. This has been exhibited by the growth of the literature in the main conferences and journal papers. However it is very difficult for one to navigate in this extended corpus. For these reasons the DiLEO ontology has been developed in order to assist the exploration of important concepts and the discovery of trends in the evaluation of digital libraries. DiLEO is a domain ontology, which aims to conceptualize the DL evaluation domain by correlating its key entities and provide reasoning paths that support the design of evaluation experiments.

1. DiLEO
μια οντολογία πεδίου
για την αξιολόγηση
των ψηφιακών βιβλιοθηκών
dbis/dlib/ionio

2. δομή
- Εισαγωγή
- Περί αξιολόγησης ψηφιακών βιβλιοθηκών
- Μοντελοποίηση της αξιολόγησης ψηφιακών βιβλιοθηκών
- Μια οντολογική αναπαράσταση της αξιολόγησης των ψηφιακών
βιβλιοθηκών
- Οντολογίες
- Παρουσίαση του DiLEO
2

3. εν συντομία
- Μια οντολογία
- Για τη σύγκριση στιγμιοτύπων
- Για την υποστήριξη του σχεδιασμού των αξιολογήσεων
3

4. κίνητρο
- Η δημιουργία ενός σχήματος καταγραφής και σύγκρισης
στιγμιοτύπων αξιολογήσεων.
- Απώτερος στόχος είναι η κάλυψη της ασυμφωνίας μοντέλων
αξιολόγησης μέσα από ένα δομημένο και τυπικό μετά-μοντέλο.
“the lack of globally accepted abstract evaluation models and
methodologies can be counterbalanced by collecting, publishing
and analyzing current research activities”
[Führ et al., 2007]
- Ταυτόχρονα ένα εργαλείο σχεδιασμού αξιολογήσεων.
“Every evaluation should begin with a well-crafted plan. Writing
an evaluation plan is not just common sense. It is an essential
roadmap to successful evaluation!”
[Reeves et a., 2003].
4

5. μέρος ά
περί αξιολόγησης ψηφιακών
βιβλιοθηκών

6. μοντελοποίηση αξιολόγησης
- Δεν αναφερόμαστε σε μοντέλα αξιολόγησης ψηφιακών
βιβλιοθηκών, αλλά στην προτυποποίηση της ίδιας της
διαδικασίας.
- Αναφορά σε πέντε κύριες προσπάθειες:
- Στην ταξινόμηση του Saracevic [2004]
- Στο Evaluation Computer [Kovacs & Micsik, 2004]
- Στο πλαίσιο PRET A Rapporter [Blandford et al., 2007]
- Στο μοντέλο 5SQual [Goncalves et al., 2007]
- Στο πλαίσιο Zachman
6

7. η ταξινόμηση του Saracevic
- Μια ταξινόμηση μελετών αξιολόγησης σύμφωνα με:
- το ποιά στοιχεία αξιολογήθηκαν (Constructs)
- το πλαίσιο της αξιολόγησης (Context)
- τα κριτήρια που χρησιμοποιήθηκαν (Criteria)
- τη μεθοδολογία που ακολουθήθηκε (Methodology)
7

8. η ταξινόμηση του Saracevic
- Διαχώρισε τις μελέτες αξιολόγησης σε αυτές που προτείνουν
μοντέλα αξιολόγησης και σε αυτές που αναφέρουν αποτελέσματα
μελετών αξιολόγησης.
- Ο Saracevic διαμόρφωσε μια έννοια (Context) για να συμπυκνώσει
όλες τις υψηλόβαθμες ερωτήσεις, όπως γιατί αξιολογεί κάποιος,
ποιός είναι στόχος του κλπ.
- Ταυτόχρονα αφιέρωσε μια κατηγορία για να κατατάξει τις μελέτες
σύμφωνα με το τί αξιολόγηθηκε (Constructs) και δύο κατηγορίες
(Criteria, Methodology) για να κατάταξει τις μελέτες σύμφωνα με
το πως αυτές διεξάγονται.
8

9. the evaluation computer
- Μια φασετική ταξινόμηση
διαφορετικών οπτικών, οι οποίες
συνθέτουν μια πραγμάτωση μιας
αξιολόγησης ή ένα ‘evaluation
atom’.
- Μέτρηση της απόστασης μεταξύ
δύο ατόμων μέσα σε έναν χώρο.
9

10. the evaluation computer
- Πέντε φασέτες:
- Σύστημα
- Περιεχόμενο
- Οργανισμός
- Χρήστης
- Αξιολόγηση
10

11. PRET A Rapporter
- Ένα πλαίσιο αξιολόγησης το οποίο δίνει έμφαση στo περιβάλλον
εργασίας στο οποίο συντελείται.
- Σύμφωνα με τους συγγραφείς έχει χαρακτηριστικά που βοηθούν
την σχεδίαση μιας αξιολόγησης.
- Δομεί τις αξιολογήσεις σύμφωνα με:
- τον σκοπό της αξιολόγησης
- τις πηγές και τους περιορισμοί
- τα ηθικά ζητήματα
- τη συλλογή δεδομένων
- την ανάλυση δεδομένων
- την αναφορά δεδομένων
11

12. PRET A Rapporter
- To PRET A Rapporter κινείται περιπτωσιολογικά. Πρακτικά αυτό
σημαίνει ότι εστιάζει σε συγκεκριμένες διαστάσεις σε κάθε μια
από τις τρεις μελέτες που - ενδεικτικά - παρουσιάζει.
- μια σχηματική αξιολόγηση ενός συστήματος
- μια συγκριτική αξιολόγηση δύο διεπαφών της ίδιας βάσης
- μια ποιοτική μελέτη ενός συστήματος σε χρήση
12

13. 5SQual
- Στηρίζεται στο πολυ γνωστό πλαίσιο περιγραφής των ψηφιακών
βιβλιοθηκών 5S (Streams, Structures, Spaces, Scenarios, &
Societies).
- Το μοντέλο ορίζει κάποιες διαστάσεις (κριτήρια) που
αντιστοιχούνται σε συστατικά στοιχεία των ψηφιακών
βιβλιοθηκών.
- Οι συγγραφείς παραθέτουν μια σειρά από μελέτες, παραδείγματα
χρήσης όπως λένε χαρακτηριστικά, όπου γίνεται εφαρμογή αυτών
των κριτηρίων σε ψηφιακές βιβλιοθήκες, όπως ACM DL,
CITIDEL και NDLTD.
13

14. Έννοια ΨΒ Διάσταση ποιότητας Έννοιες του 5S
Digital object Accessibility Societies (actor), Structures (metadata specification), Streams + Structures
(structured streams)
Pertinence Societies (actor), Scenarios (task)
Preservability Streams, Structures (structural metadata), Scenarios (process (e.g.,
migration)
Relevance Streams + Structures (structured streams), Structures (query), Spaces
(Metric,
Similarity Same as in relevance, Structures (citation/link patterns)
Significance Structures (citation/link patterns)
Timeliness Streams (time), Structures (citation/link patterns)
Metadata specification Accuracy Structure (properties, values)
Completeness Structure (properties, schema)
Conformance Structure (properties, schema)
Collection Completeness Structure (collection)
Catalog Completeness Structure (collection)
Consistency Structure (collection)
Repository Completeness Structure (collection)
Consistency Structure (catalog, collection)
Services Composability See Extensibility, reusability
Efficiency Streams (time), Spaces (operations, contraints)
Effectiveness See Pertinence, Relevance
Extensibility Societies + Scenarios (extends, inherits_from, redefines)
Reusability Societies + Scenarios (includes, reuses)
Reliability Societies + Scenarios (uses, executes, invokes) 14

15. το πλαίσιο του Zachman
- Το Zachman Framework είναι ένα πλαίσιο εταιρικής
αρχιτεκτονικής - John Zachman, IBM, αρχές του 1980.
- Αποτυπώνει μια τυπική και σε υψηλό επίπεδο δομημένη οπτική
ενός οργανισμού. Μια ταξονομία για την οργάνωση δομικών
στοιχείων του οργανισμού υπό το πρίσμα συγκεκριμένων οπτικών.
- Κατηγοριοποιεί και οργανώνει σε μια δυσδιάστατη περιοχή όλες
τις έννοιες που χρειάζονται να είναι ομογενοποιημένες και
εκφράζουν τις διάφορες προοπτικές του σχεδιασμού.
- Σύμφωνα με τους συμμετέχοντες (εναλλακτικές προοπτικές).
- Σύμφωνα με τις λειτουργίες (ερωτήσεις).
15

16. ο πίνακας του Zachman
What How Where Who When Why
Data Process Location Worker Timing Motivation
Core Major
Scope Business Principal Business Mission
[Planner] Business Business
Locations Actors Events & Goals
Concepts Transformations
Business Business
Workflow Business Policy
Model Fact Model Tasks Connectivity
[Owner] Models Milestones Charter
Map
Platform & State
System Model Data Behavior Rule
[Evaluator] Communications BRScripts Transition
Model Allocation Book
Map Diagrams
Technology Relational Technical Plat- Procedure & Work Queue
Program Rule
Model Database form & Commu- Interface & Scheduling
[Evaluator] Specifications Specifications
Design nications Design Specifications Designs
Detail
Database Source Procedures & Work Queues Rule
representation Network
[Evaluator] Schema Code Interfaces & Schedules Base
Functioning Operational Operational
Operational Operational Operational Operational
Bus Procedures & Work Queues
[Evaluator] Database Object Cod Network Rules
Interfaces & Schedules
16

17. μέρος β’
μια οντολογική αναπαράσταση της
αξιολόγησης των ψηφιακών
βιβλιοθηκών

18. γιατί μια οντολογία;
- Τυπικα μοντέλα που μας βοηθούν:
- να καταλάβουμε ένα πεδίο γνώσης. Στη συγκεκριμένη
περίπτωση το πεδίο αξιολόγησης ψηφιακών βιβλιοθηκών.
- να οικοδομηθεί μια βάση γνώσης για την αντιπαράθεση
διαφορετικών στιγμιοτύπων. Στη συγκεκριμένη περίπτωση
στιγμιότυπα αξιολόγησης των ψηφιακών βιβλιοθηκών.
- να συμπεράνουμε κάποια λογική εξέλιξη. Στη συγκεκριμένη
περίπτωση να υποστηρίξουν τον σχεδιασμό αξιολογήσεων.
18

19. γιατί μια οντολογία;
- Τα προηγούμενα σχήματα τοποθετούνται “κάθετα” σε
συγκεκριμένους χώρους, π.χ. το PRET A Rapporter έχει μια HCI
οπτική ή το 5SQual εξετάζει τη διάσταση της ποιότητας.
- Δηλώνουν έννοιες (συστατικά), είτε των ψηφιακών βιβλιοθηκών,
είτε της αξιολόγησης, αλλά όχι τις μεταξύ τους συσχετίσεις.
- Στόχος είναι μέσω των συσχετίσεων να αναδειχθούν οι
σύνδεσμοι μεταξύ των εννοιών και να ενισχυθούν αυτές
σημασιολογικά.
- Επίσης είναι δυνατό να εκφραστούν μονοπάτια, τα οποία
αναδεικνύουν εναλλακτικές ή συμπληρωματικές έννοιες και
διαδρομές.
19

20. οντολογίες
- Χρησιμοποιούμε “συστατικά” όπως:
- Κλάσεις (αντιπροσωπεύουν έννοιες, οντότητες, κλπ.)
- Συσχετίσεις (σύνδεσμοι μεταξύ των εννοιών)
- Συναρτήσεις (περιορισμοί συσχετίσεων)
- Αξιώματα (αναπαράσταση αληθινών προτάσεων)
- Στιγμιότυπα (πραγματικά στοιχεία - αντιπρόσωποι κλάσεων)
20

21. διαδικασία σύνταξης
- Η DiLEO είναι αποτέλεσμα κάποιων διαδικασιών:
- Βιβλιογραφική μελέτη και επισκόπηση
- με επιλογή των κατάλληλων εννοιών
- με συνεχή εξερεύνηση των κατάλληλων συσχετίσεων
- Καταγραφή της σε γλώσσα OWL
- Πιστοποίηση
- μέσα από τη συζήτηση και την άσκηση στα πλαίσια του
tutorial στο ECDL 2010
- μέσα από μια συζήτηση εστίασης (focus group) με
ερευνητές του πεδίου μας
21

22. μια τυπική απεικόνιση της αξιολόγησης
- Ανάπτυξη σε OWL με το Protégé Ontology Editor
- http://protege.stanford.edu/
22

23. το ανώτερο επίπεδο
Levels
content level, processing isAffecting / isAffectedBy Research uestions
isDecomposedTo
level, engineering level,
interface level, individual
level, institutional level,
social level Dimensions
effectiveness, performance
measurement, service quality, Subjects isCharacterizing/
technical excellence, outcomes isCharacterizedBy
assessment isOperatedBy
isOperating
isFocusingOn Characteristics
isAimingAt
isCharacterizing/
Objects
isCharacterizedBy
Goals
describe, document, design
hasDiminsionsType
Dimensions Type
formative, summative, iterative
23

24. το κατώτερο επίπεδο
Instruments
devices, scales, soware, statistics,
narrative items, research artifacts
isUsedIn/isUsing
isSupporting/isSupportedBy
isReportedIn/isReporting hasPerformed/isPerformedIn
hasMeansType
Findings Activity Means Means Types
record, measure, analyze, compare, Comparison studies, qualitative,
interpret, report, recommend expert studies, quantitative
laboratory studies,
field studies, logging
hasSelected/isSelectedIn
studies, surveys
Criteria
Criteria Categories isDependingOn
specific aims, standards, toolkits
isGrouped/isGrouping
isMeasuredBy/isMeasuring isSubjectTo
Metrics Factors
content initiated, system initiated, cost, inastructure,
user initiated personnel, time 24

25. σύνδεση μεταξύ των επιπέδων
Levels Dimensions Subjects
content level, processing effectiveness, performance
level, engineering level, measurement, service quality,
interface level, individual technical excellence, outcomes
level, institutional level, assessment Objects
social level
hasConstituent isAppliedTo
/isConstituting
Research uestions Activity Means
record, measure, analyze, compare, Comparison studies,
isAddressing interpret, report, recommend expert studies,
laboratory studies,
Findings
field studies, logging
studies, surveys
hasInitiatedFrom
Metrics
content initiated, system initiated,
user initiated 25

26. συσχετίσεις
- Μερικές από τις σαράντα (40) συσχετίσεις
Συσχέτιση Πεδίο ορισμού Πεδίο τιμών
isCitedIn / inverse: isCiting Appellations/study identifier (AP/stid) Appellations/study reference (AP/strf)
Constraints: max cardinality=1
hasDimensionsType Dimensions (D) Dimensions Type (DT)
Constraints: min cardinality=1, ∃ (formative ∪ summative ∪ iterative)
isAffecting inverse: isAffectedBy Dimensions (D) Level (L)
min cardinality =1, ∃ (content level ∪ engineering level ∪ processing level ∪ interface level ∪ individual level ∪
institutional level ∪ social level)
hasConstituent / inverse: isConstituting Dimensions (D) Activities (A)
Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend)
isSupporting / inverse: isSupportedBy Instruments (I) Activities (A)
Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend)
26

27. χρήση της οντολογίας
- χρησιμοποιούμε “μονοπάτια” της οντολογία για να εκφράσουμε
ρητώς μια ροή ή μια απαίτηση. Για παράδειγμα:
- Activities/analyze - isPerformedIn - Means/logging studies-
hasMeansType - Means Type/quantitative
isPerformedIn hasMeansType
Activity Means Means Types
record, measure, analyze, compare, Comparison studies, qualitative,
interpret, report, recommend expert studies, quantitative
laboratory studies,
eld studies, logging
studies, surveys
27

28. χρήση της οντολογίας
- Level/individual level - isAffectedBy - Dimensions/performance
measurement - isFocusingOn - Objects/usage of content/usage of data -
isOperatedBy - Subjects/human agents - isCharacterizedby -
Characteristics/experience
- ... isCharacterizedby - Characteristics/discipline
- ... isCharacterizedby - Characteristics/age
isAffectedBy
Levels Dimensions Subjects
content level, processing effectiveness, performance system agents, human
isCharacterizedby
level, engineering level, measurement, service quality, agents
interface level, individual technical excellence, outcomes
Characteristics
age, count, discipline,
level, institutional level, assessment
experience, profession,
social level
isFocusingOn
isOperatedBy
Objects
usage of content:
usage of data, usage
of metadata 28

29. στιγμιότυπα
- Εισαγωγή στιγμιοτύπων στο Protégé.
29

30. παραδείγματα ερωτήσεων
- Ρωτάμε τη βάση γνώσης με SPARQL ερωτήματα
- Ας υποθέσουμε ότι θέλουμε να σχεδιάσουμε μια αξιολόγηση με
μελέτη αρχείων καταγραφής (logs).
- Κατά τον σχεδιασμό της αξιολόγησης μας ενδιαφερόμαστε να
μάθουμε τα ερευνητικά ερωτήματα των αντίστοιχών μελετών.
- Για να αντλήσουμε αυτή την πληροφορία από τη βάση γνώσης
θα χρειαστεί να συντάξουμε ένα SPARQL ερώτημα.
30

31. παραδείγματα ερωτήσεων
- Το ερώτημα και οι απαντήσεις θα έχουν αυτή τη μορφή:
απαντήσεις
τα ερευνητικά ερωτήματα (στην πρώτη στήλη) από δύο μελέτες (wm2008c και
nzdl2000) που έκαναν χρήση αρχείων καταγραφής (στη δεύτερη στήλη),
SPARQL ερώτημα
SELECT DISTINCT
?Research_QuestionsInst
?Means
WHERE
{
?Research_QuestionsInst a<Research_Questions>.
?Dimensions a<Technical_Excellence>.
?Activity a <Record>.
?Means a <Logs>.
?Research_QuestionsInst<isBelongingTo> ?Dimensions.
?Dimensions<hasConstituent> ?Activity.
?Activity<isPerformedIn> ?Means
} 31

32. πηγές
- Η βιβλιογραφία βρίσκεται διαθέσιμη στο:
http://www.mendeley.com/groups/731821/dileo/
32