Atelier Evaluation UX présenté lors de la Journée Thématique Ateliers UX FLUPA du 20 juin 2014 http://uxmind.eu

1. L’évaluation de l’expérience utilisateur
Carine Lallemand
Centre de Recherche Public Henri Tudor
Université du Luxembourg
@carilall
Journée Thématique Ateliers UX FLUPA - Paris, le 20 juin 2014
@assoflupa
#JTFLUPA

2. Carine
« J’aide à concevoir
des systèmes ayant
une bonne expérience
utilisateur ! »
Travaille à Luxembourg
Fait une thèse sur l’UX
Pratique la montgolfière
Aime les bonbons et les
mots fléchés
Voyage partout, souvent

3. Que doit-on évaluer ? Les facteurs constitutifs de l’UX

4. Les facteurs constitutifs de l’UX
Contexte
Utilisateur Système

5. Les facteurs constitutifs de l’UX - Système
Qualités pragmatiques
Qualités hédoniques
Contexte
Utilisateur Système
Attractivité globale
Focus sur le produit
(utilité, utilisabilité, réalisation des tâches)
Focus sur le soi
(pourquoi on possède et on utilise un produit)
Stimulation, Evocation, Identité
Découle de l’évaluation des qualités hédoniques
et pragmatiques et donne naissance à des
comportements et émotions

6. Les facteurs constitutifs de l’UX - Contexte
Contexte Social
Contexte Technique
Contexte
Utilisateur Système
Contexte Temporel Contexte de la Tâche
Contexte Interne
Contexte Physique

7. Les facteurs constitutifs de l’UX - Utilisateur
Avant l’interaction = produit perçu
Pendant l’interaction = produit expérimenté
Contexte
Utilisateur Système
Après l’interaction = produit évalué
Attentes / Besoins / Expériences antérieures
Connaissances / Humeur
Motivation / Ressources / Etat mental
Compétences / Emotions / Humeur
Attractivité / Satisfaction / Comportement
Intention d’usage / Humeur

8. Dynamique temporelle de l’UX
L’expérience utilisateur après usage est
une reconstruction mentale.
!
Elle subit des biais cognitifs.
Avant usage
UX anticipée
Expérience
imaginée
Pendant l’usage
UX momentanée
Expérience
Après l’usage
UX épisodique
Reflection sur
expérience
Au fil du temps
UX cumulative
Recueil de plusieurs
périodes d’usage
Quand
Quoi
Comment
UX White Paper, 2010
Les différentes phases temporelles se
superposent et s’intercalent, il n’y a pas
de séquence fixe entre anticipation et
rappel de plusieurs périodes d’usage.

9. Concevoir et évaluer l’expérience temporelle
Souvent, nous considérons les produits que nous concevons et évaluons dans
leur contexte d’usage. Il faut aussi penser à l’objet dans le temps.
Contexte temporel
Après usageAvant usage
Un produit
fabriqué
Un produit
acheté Un produit
déballé
Un produit
utilisé
Un produit
aimé et adopté
Un produit qui
devient
obsolète
Un produit jeté
ou recyclé
Un produit
amélioré
Un produit
transmis à une
autre génération
L’accessoire
d’un produit
Kolko, 2014

10. Panorama des méthodes
d’évaluation UX
Découvrir l’existant

11. Type de méthode
Phase de développement Période de l’expérience
Evaluateur / Source

12. Type de méthode
Etudes de terrain
En laboratoire
Etudes online
Questionnaire

13. Evaluateur / Source
Experts
Utilisateurs
Groupes d’experts
Groupes d’utilisateurs

14. Phase de développement
Prototypes
Phase conceptuelle
Produits sur le marché
Prototypes fonctionnels

15. Période de l’expérience
Durant l’usage
Avant l’usage
Après l’usage

16. http://www.allaboutux.org/

18. Méthodes qualitatives vs. méthodes quantitatives
« If you cannot measure it, you cannot improve it »
“… la réduction de l’expérience a un
certain nombre de facteurs ou de
processus… ces approches peuvent
être utile pour des analyses
expérimentales mais elles peuvent
manquer des éléments qui résistent à
de telles réductions … les données
qualitatives offrent une richesse et
des détails qui peuvent être absent
des recherches quantitatives”
!
Swallow, Blythe & Wright, 2005
“… de riches descriptions d’expérience
pourraient nécessiter un
expérimentateur remarquablement
attentif et réflectif… Je soupçonne les
expériences avec les technologies
(comme de nombreuses autres) d’être
beaucoup moins uniques et variables
que ce que soutiennent les tenants de
l’approche phénoménologique. Les
descriptions d’expériences peuvent
différer en qualité, mais l’expérience en
elle-même ne diffère pas.
!
Hassenzahl - 2008

19. Exercice Pratique : dynamique temporelle de l’UX

20. Dynamique temporelle de l’UX
Avant usage
UX anticipée
Expérience
imaginée
Pendant l’usage
UX momentanée
Expérience
Après l’usage
UX épisodique
Reflection sur
expérience
Au fil du temps
UX cumulative
Recueil de plusieurs
périodes d’usage
Quand
Quoi
Comment
UX White Paper, 2010

21. Le questionnaire
AttrakDiff
Une mesure standardisée de l’UX

22. Les questionnaires standardisés
Ensemble de questions présentées dans un ordre
spécifique, selon un format spécifique, et suivant des règles
spécifiques pour produire des métriques basées sur les
réponses des participants
Les questionnaires standardisés ont des qualités
psychométriques (validité, fidélité)
Les questionnaires « fait maison » peuvent quant à eux
poser problème au niveau de leur qualité et leur capacité à
mesurer le construit visé.

23. Le modèle de l’UX d’Hassenzahl
Pour Hassenzahl, les gens perçoivent les produits interactifs selon
deux dimensions :
Qualités
pragmatiques
Qualités
hédoniques
Capacité à soutenir l’accomplissement de « do-goals »
Focus sur le produit (utilité, utilisabilité, réalisation des
tâches)
!
Exemples « do-goals » : passer un appel, trouver un livre dans une
librairie online, commander un article
Capacité à soutenir l’accomplissement de « be-goals »
Focus sur le Soi (pourquoi on possède et on utilise un
produit particulier ?)
!
Exemples « be-goals » : être compétent, être en relation avec les
autres, être spécial,…

24. Modèle d’Hassenzahl (2003)
Ce
modèle
théorique
illustre
comment
les
qualités
pragmatiques
et
hédoniques
in6luencent
la
perception
subjective
de
l'attractivité
donnant
naissance
à
des
comportements
et
des
émotions.
(©
User
Interface
Design
GmbH).
http://
attrakdiff.de/sience-­‐en.html

25. Le questionnaire AttrakDiff
Développé en allemand (traduit en anglais et en français) par une
technique de génération participative d’items par des experts
Evalue les qualités pragmatiques et hédoniques des systèmes
interactifs
Composé de 28 items
7 items pour les aspects pragmatiques
7 items pour les aspects hédoniques - identification
7 items pour les aspects hédoniques - stimulation
7 items pour l’évaluation de l’attractivité
10 items en version abrégée (abridged AttrakDiff)

26. Types d’évaluation AttrakDiff
Evaluation unique : adaptée pour une évaluation unique ou
temporaire d’un produit ou système
!
!
Comparaison avant-après : ce type d’évaluation permet de tester le
produit 2x : avant et après l’implémentation de changements. Vous
aurez ainsi un résumé détaillé des effets des changements.
!
!
Comparaison Produit A - Produit B : ce type d’évaluation implique
deux produits qui sont évalués et comparés. Vous serez en mesure
de voir comment les utilisateurs perçoivent les différents produits.

27. Exercice pratique :
passation et scoring AttrakDiff

28. Codage des items

29. Représentation des résultats
Diagramme des valeurs moyennes
Graphique des paires de mots

30. Représentation des résultats

31. Calcul de l’intervalle de confiance
1. Réalisez
votre
étude
AttrakDiff
sur
un
échantillon
d’utilisateurs
2. Calculez
les
moyennes
et
écarts
types
des
échelles
hédoniques
(QH-­‐I
et
QH-­‐S
ensemble)
et
de
l’échelle
pragmatique
(QP).
3. Choisir
votre
intervalle
de
con;iance.
Généralement
on
choisit
des
intervalles
de
90%
ou
95%.
!
4. Calculez
votre
marge
d’erreur
selon
la
formule
de
calcul
suivante.
Marge
d’erreur
=
Za/2 * σ/√(n) !
!! ! Marge
d’erreur
= ! Valeur critique * Erreur standard!
Valeur critique * écart-type / racine carrée de la taille de l’échantillon
!
Les valeurs critiques peuvent être trouvées sur le tableau des Z scores. Pour plus de facilité, voici les
valeurs les plus courantes : Valeur critique intervalle de confiance 90% = 1,65 / valeur critique intervalle
de confiance 95% = 1.96.
!
5. Calculer
votre
intervalle
de
con;iance :
pour
cela,
prenez
la
moyenne
de
votre
échantillon
et
écrire
+/_
la
marge
d’erreur.
Exemple
:
5
+/-­‐
1
!
Vous
pouvez
également
connaître
les
limites
supérieures
et
inférieures
de
votre
intervalle
de
conUiance
en
ajoutant
et
en
soustrayant
la
marge
d’erreur
de
votre
moyenne.
Exemple
:
5-­‐1
=
4
et
5+1
=
6.
L’intervalle
de
con6iance
est
compris
entre
4
et
6.

32. Exercice pratique - portfolio résultats
Représentez le portfolio des résultats suivants.
Voici les scores de l’AttrakDiff d’un produit. Le questionnaire a été administré à
15 personnes en une évaluation unique.
!
!
!
Calculez les intervalles de confiance à 90% pour dessiner les rectangles de
confiance.
Qualité Pragmatique Qualité Hédonique
M = 1,5 SD = 0,5 M = -1,2 SD = 0,8

33. AttrakDiff utilisé dans une étude longitudinale
Lallemand (2012)

34. Le UEQ : le « petit frère » de l’AttrakDiff
User Experience Questionnaire (Laugwitz, Held & Schrepp, 2008)
Repose sur le même modèle théorique que l’AttrakDiff
A été crée après ce dernier, pour palier au fait que l’AttrakDiff mettrait
trop l’accent sur les aspects hédoniques de l’interaction au détriment
des aspects pragmatiques
Ce déséquilibre nuirait à l’évaluation de l’UX de systèmes
professionnels
Comprend 6 sous-échelles : Attractivité, Clarté, Efficacité, Fiabilité,
Stimulation et Nouveauté

35. Entretien Corpus
iScale - UX Curve
Etudier la dynamique temporelle de l’UX

36. Maintenir un usage
prolongé : un enjeu actuel
Les systèmes et produits sont de
plus en plus intégrés sous forme
de services
Le focus passe donc de favoriser
l’acceptance initiale (l’achat) à
maintenir un usage prolongé !
De nombreux projets appellent
désormais des études
longitudinales de l’UX
Plus l’impact envisagé sur
l’expérience des gens et leurs
pratiques sociales est ambitieux,
plus le besoin est fort d’étudier
l’UX sur de longues périodes

37. Temporalité de l’UX
Modèle de Karapanos
Trois phases dans l’adoption d’un
produit :
- orientation
- incorporation
- identification
!
La temporalité de l’expérience
consiste en 3 forces principales,
qui motive la transition entre les 3
phases :
- familiarité
- dépendance fonctionnelle
- attachement émotionnel
!
A chaque phase, diverses qualités
du produit sont appréciées.

38. Expériences initiales
dominées par sentiments
d’excitation et de frustration
au fur et à mesure que l’on
expérimente de nouvelles
fonctionnalités et rencontre
des problèmes d’apprenabilité
L’anticipation d’une
expérience donne lieu à
des attentes.
Le produit commence à prendre du sens dans
le quotidien. L’utilisabilité à long terme devient
ici plus importance que l’apprenabilité initiale et
l’utilité du produit devient le facteur majeur
impactant les jugements d’évaluation.
Le produit est accepté
dans la vie, il participe
aux interactions sociales,
communique des parts de
notre identité, qui nous
différencient ou nous
rapprochent des autres.
Temporalité de l’UX
Modèle de Karapanos

39. Evaluer l’UX à long terme : paradigmes possibles
Transversal
Longitudinal
Mesures répétées
Retrospective
Karapanos, Martens & Hassenzahl, 2010

40. Evaluer l’UX à long terme : paradigmes possibles
Transversal
Longitudinal
Mesures répétées
Retrospective
Karapanos, Martens & Hassenzahl, 2010
Journaux de bord
Experience Sampling Method
Day Reconstruction Method
CORPUS
iScale
UX Curve
Analytical Scale
AttrakDiff comparaison avant-aprèsToute évaluation unique
appliquée à deux populations

41. Entretien structuré
CORPUS
CORPUS = Change Oriented Analysis of
the Relation between Product and User
1. On demande aux participants de
comparer leur opinion actuelle sur une
qualité donnée du produit (ex :
utilisabilité) à celle qu’il avaient juste
après l’achat.
2. Si des changements ont eu lieu, on
demande aux participants d’évaluer la
direction et la forme du changement
(rapide amélioration, brutale
détérioration)
3. Enfin, on demande aux participants
d’expliquer les raisons qui ont mené à
ces changements sous le forme de
courtes narrations, appelées « change
incidents ».
von Wilamowitz-Moellendorff, Hassenzahl & Platz (2006)

42. Entretien structuré
CORPUS
S’adresse à des utilisateurs
« experts » (ayant utilisé le produit
depuis au moins 1-2 ans)
Etudie le changement selon 5
dimensions : utilité, utilisabilité,
stimulation, beauté, identité
+ évaluation globale
!
Durée d’un entretien : +/- 45 min
!
2 types de données recueillies :
- des rapports d’expériences
expliquant les changements de l’UX
à travers le temps
- un pattern de changement
remémoré sous forme de courbe
von Wilamowitz-Moellendorff, Hassenzahl & Platz (2006)

43. Exercice pratique - Entretien structuré CORPUS
Procédure
Au moment présent, comment
évaluez vous l’utilisabilité de votre
produit sur une échelle de 0 (pas
du tout) à 10 (extrêmement) ?
Au début de l’usage, comment
évaluiez vous l’utilisabilité de
votre produit sur une échelle de 0
(pas du tout) à 10
(extrêmement) ?
Si les deux évaluation diffèrent,
alors on explore la forme de la
courbe et les incidents éventuels.
Exemple étude sur téléphones mobiles (n=8)

44. Validité et fiabilité des méthodes retrospectives
A quel point ces données rétrospectives souffrent-elles de biais liés à la
mémoire ?
Le côté véridique et réaliste (validité) des expériences reconstruites est
finalement peu important car ces « souvenirs »
• vont guider les comportements ultérieurs des individus
• vont être communiqués à autrui
En revanche, il est important que ces méthodes soient fiables : Il
importe peu que ce dont on se souvient diffère de ce que nous avons
vécu tant que ces souvenirs sont consistants à travers de multiples
rappels, alors ils donnent une information pertinente.

45. Analytic Scale
Repose sur la « Value Account
Theory »
Postule que les gens peuvent se
souvenir d’une évaluation émotionnelle
globale à un moment donné sans pour
autant se souvenir exactement des
détails de leur expérience
On demande aux participants, de
manière analytique, de caractériser le
« pattern » de leur UX à travers le
temps
2 temps : amélioration, détérioration
ou stabilité ? puis précision de la
forme de la courbe.
Analytic Scale peut être utilisée sur une
échelle macro (longue période d’usage) ou
micro (session unique d’interaction)

46. UX Curve
• Vise à aider les utilisateurs à
rapporter rétrospectivement
comment et pourquoi leur
expérience avec un produit a
changé au fil du temps
• Plusieurs types de courbes :
• UX générale
• Attractivité
• Facilité d’usage
• Utilité
• Volume d’usage

48. IScale - http://www.iscale.nl/
Karapanos et al.

49. Utilisation d’une courbe UX en mode longitudinal

50. Les heuristiques UX Une évaluation experte

51. Evaluation experte
Origines
Origine : Nielsen, 1990’s
Discount usability engineering
methods
Principe : inspection de
l’interface par des évaluateurs
pour juger de sa compliance
avec des « heuristiques »
d’utilisabilité
But : détecter des problèmes
d’utilisabilité
Avantages : rapide, peu chère,
facile à appliquer

52. Evaluation experte de l’UX
Challenges et limites
Peut-on appliquer une évaluation experte
à l’UX ?
Challenges :
- évaluer quelque chose d’aussi subjectif
qu’une « expérience »
- adopter le point de vue de l’utilisateur,
et mettre de côté son propre ressenti
- prendre en compte les facteurs
contextuels ET temporels
Recommandations :
Utiliser un outil souple qui adopte un
point de vue de haut niveau
Travailler avec des personas
Ne pas oublier le contexte temporel

53. Les 10 heuristiques pour une UX optimale
de Colombo & Pasch (2010)
Dérivées
de
la
théorie
du
flow
et
appliquées
aux
IHM
1.
Objec)fs
clairs
2.
Feedback
approprié
3.
Concentra)on
ciblée
4.
Transparence
ergonomique
5.
Appropria)on
technologique
6.
Equilibre
entre
challenges
et
compétence
7.
Contrôle
poten)el
8.
Suivre
le
rythme
9.
Connaître
les
mo)va)ons
des
u)lisateurs
10.
Innova)on
conservatrice

54. Les 10 heuristiques UX d’Arhippainen (2013)
Propose une approche plus holistique de l’UX, non uniquement basée sur l’expérience optimale du flow.
!
1.
Garan)r
l’u)lisabilité
2.
Fournir
une
u)lité
correspondant
aux
valeurs
de
l’u)lisateur
3.
Dépasser
les
aTentes
de
l’u)lisateur
4.
Respecter
l’u)lisateur
5.
Concevoir
le
produit
ou
le
service
pour
s’adapter
au
contexte
prévu
6.
Fournir
plusieurs
façons
d’interagir,
laisser
le
choix
à
l’u)lisateur
7.
Respecter
la
vie
privée
et
la
sécurité
de
l’u)lisateur
8.
Soutenir
les
ac)vités
de
l’u)lisateur,
ne
pas
imposer
9.
Optez
pour
un
design
visuel
parfait
10.
Offrir
un
cadeau
surprise

55. Les UX Cards
Outil en cours de développement
Peut servir pour l’évaluation ou pour
la conception de l’UX.
Chacune des 7 cartes UX
représente un besoin
psychologique fondamental à
épanouir à travers l’usage de la
technologie
Pour l’évaluation, on demande à un
expert d’identifier les principaux
éléments du système qui impactent
positivement ou négativement l’UX
sur l’un ou plusieurs des besoins.
Lallemand, Koenig & Gronier, 2014

56. Les UX Cards
Quand ils utilisent les cartes, les experts
listent 75 % d’éléments positifs et 25 %
d’éléments négatifs.
C’est tout l’inverse d’une évaluation
experte de l’utilisabilité !
Ici, il faut penser l’évaluation par
grandes étapes :
1) Le niveau général / conceptuel
2) Le contenu
3) L’interaction
4) Le niveau fonctionnel
5) La présentation
6) Ce qui est absent
!
On va également pondérer l’impact
potentiel de chaque élément.
Lallemand, Koenig & Gronier, 2014

57. Conclusion
Utilisation d’outils spécifiques pour l’UX et non d’outils
d’utilisabilité « remaniés »
Réflexion sur le choix d’une méthode en fonction des
objectifs de l’étude
Importance de l’utilisation d’outils quantitatifs valides
Vers une perspective plus dynamique de l’UX avec une
prise en compte nécessaire de la dimension temporelle

58. Merci de votre attention !
Commentaires ?
Questions ?
Suggestions ?
carine.lallemand@gmail.com
@carilall

59. Références
All About UX : www.allaboutux.org
!
Arhippainen, L. (2013) User Experience Heuristics. Tutorial in MUM Conference, Luleå, Sweden. 3.12.2013.
!
Colombo, L. and Pasch, M. 10 Heuristics for an Optimal User Experience. Proc. CHI2012 Altchi. ACM Press (2012).
!
Desmet, P.M.A. (2003). Measuring emotion; development and application of an instrument to measure emotional responses to products.
In: M.A. Blythe, A.F. Monk, K. Overbeeke, & P.C. Wright (Eds.), Funology: from usability to enjoyment (pp. 111-123). Dordrecht: Kluwer
Academic Publishers.
!
Gegner, L. and Runonen, M. 2012. For What it is Worth: Anticipated eXperience Evaluation. 8th International Conference on Design and
Emotion (London, UK, 2012). https://reseda.taik.fi/Taik/jsp/taik/Publication_Types.jsp?id=23583813
!
Karapanos, E., Martens, J.-B., Hassenzahl, M. (2012) Reconstructing Experiences with iScale. International Journal of Human-Computer
Studies, 70 (11), pp. 849-865, http://dx.doi.org/10.1016/j.ijhcs.2012.06.004
!
Karapanos, E., Zimmerman, J., Forlizzi, J., & Martens, J. (2010). Measuring the Dynamics of Remembered Experience Over Time.
Interacting with Computers, 22 (5), doi: 10.1016/j.intcom.2010.04.003
!
Karapanos, E., Martens, J.-B., Hassenzahl, M. (2010) On the Retrospective Assessment of Users’ Experiences Over Time: Memory or
Actuality?. CHI’10 extended abstracts on Human factors in computing systems. Atlanta, ACM Press.
!
Karapanos E., Zimmerman J., Forlizzi J., Martens J.-B. User Experience Over Time: An Initial Framework, In Proceedings of the 27th
international Conference on Human Factors in Computing Systems (Boston, MA, USA, April 04 – 09, 2009). CHI’09. ACM, New York, NY,
729-738. DOI= http://doi.acm.org/10.1145/1518701.1518814
!
Hassenzahl, Marc (2013): User Experience and Experience Design. In: Soegaard, Mads and Dam, Rikke Friis (eds.). "The Encyclopedia of
Human-Computer Interaction, 2nd Ed.". Aarhus, Denmark: The Interaction Design Foundation.
!
Hassenzahl, M., Burmester, M., Koller, F. (2003) AttrakDiff: Ein Fragebogen zur Messung wahrgenommener hedonischer und
pragmatischer Qualität. In: Ziegler, J., Szwillus, G. (eds.) Mensch & Computer 2003. Interaktion in Bewegung, pp. 187–196. B.G. Teubner,
Stuttgart. / AttrakDiff. Internet Resource http://www.attrakdiff.de.
!

60. Références
Hassenzahl, M. (2003). The thing and I: Understanding the relationship between user and product. In M. A. Blyth, A. F. Monk, K.
Overbeeke, & P. C. Wright (Eds.), Funology: From usability to enjoyment, 1-12 (chap. 3). Kluwer Academic Publishers.
!
Kujala, S., Roto, V., Vaananen-Vainio-Mattila, K., Karapanos, E., Sinnela, A.: UX Curve: A Method for Evaluating Long-Term User
Experience. Interacting with Computers (2011). http://dx.doi.org/10.1016/j.intcom.2011.06.005
!
Lallemand, C., Gronier, G., Koenig, V. (2014) User Experience Design and Evaluation Cards: designing interactive systems able to support
users’ psychological needs.
!
Lallemand, C., Koenig, V., & Gronier, G. (soumis) Création et validation d’une version française du questionnaire AttrakDiff pour l’évaluation
de l’expérience utilisateur des systèmes interactifs.
!
Lallemand, C. (2012) Dear diary: Using diaries to study User Experience, User Experience, Vol 11, Issue 3.
!
Laugwitz, B., Held, T., Schrepp, M. (2008). Construction and evaluation of a user experience questionnaire. In: Holzinger, A. (Ed.): USAB
2008, LNCS 5298, pp. 63-76, 2008. http://www.ueq-online.org/
!
Roto, V., Law, E., Vermeeren, A., & Hoonhout, J. (2011). User Experience White Paper: Bringing clarity to the concept of user experience.
Result from Dagstuhl Seminar on Demarcating User Experience, Finland.
!
Sheldon, K. M., Elliot, A. J., Kim, Y., & Kasser, T. (2001). What is satisfying about satisfying events? Testing 10 candidate psychological
needs. Journal of Personality and Social Psychology, 89, 325-339
!
Uyl, M. den, Kuilenburg, H. van & Lebert, E. (2005). FaceReader: an online facial expression recognition system. Measuring Behavior 2005,
5th International Conference on Methods and Techniques in Behavioral Research, 30 August - 2 September 2005, Wageningen, The
Netherlands.
!
Vermeeren, A, Lai-Chong Law, E., Roto, V., Obrist, M., Hoonhout, J., Väänänen-Vainio-Mattila, K. (2010). User Experience Evaluation
Methods: Current State and Development Needs. In Proceedings of NordiCHI’10, ACM Press.
!
von Wilamowitz-Moellendorff, M., Hassenzahl, M., and Platz, A. (2006). Dynamics of user experience: How the perceived quality of mobile
phones changes over time. In User Experience - Towards a unified view, Workshop at the 4th Nordic Conference on Human-Computer
Interaction, pp. 74-78.