Témoignage Wonderbox - refonte site globale & tests utilisateurs
3 webeducation 24sep09-sol_tanguay
1. L'évaluation des meilleures pratiques
Web au gouvernement du Québec
Partenariat entre la chaire de commerce électronique RBC
Groupe Financier et
Services Québec / Ministère des services gouvernementaux
Sol Tanguay
Septembre 2009
3. Sol Tanguay
1. Éducation
1. M.Sc. en commerce électronique (UdeM)
2. MBA en GTI (uLaval)
3. Candidat Ph.D. en marketing (HEC Montréal)
2. Expérience
1. Directeur des partenariats de la chaire RBC
2. Chargé de cours à HEC Montréal depuis 6 ans
(marketing, TI et commerce électronique)
3. 15 ans dans le domaine du marketing et des TI
Chaire de commerce électronique RBC Groupe Financier 3
HEC Montréal
4. Plan de la présentation
1. Objectif de la présentation
2. Mandat du MSG
3-Phase 1: Évaluation quantitative de 10 sites
– Objectifs du mandat
– Méthodologie
– WebPerform
– Résultats
4-Phase 2: Évaluation qualitative de 4 sites
– Objectifs du mandat
– Méthodologie
– Morae
– Résultats
– Recommandations générales
5-Exploration en profondeur d’une ou plusieurs fonctionnalités
6-Conclusion
Chaire de commerce électronique RBC Groupe Financier 4
HEC Montréal
5. Objectif de la présentation
• Présenter le mandat attribué par Service
Québec et le Ministère des Services
Gouvernementaux à la chaire de
commerce électronique RBC groupe
financier.
Chaire de commerce électronique RBC Groupe Financier 5
HEC Montréal
7. Objectif général
• Développer des meilleurs
pratiques relatives
développement des sites Web
gouvernementaux.
Chaire de commerce électronique RBC Groupe Financier 7
HEC Montréal
8. Mandat du MSG
• Mandat échelonné sur 3 ans (2007-2010)
• Mandat en trois phases:
Phase 1: Évaluation quantitative de 10 sites du
Gouvernement du Québec
Phase 2: Évaluation qualitative et quantitative de 4
sites du Gouvernement du Québec
Phase 3: Exploration en profondeur d’une ou
plusieurs fonctionnalités
Chaire de commerce électronique RBC Groupe Financier 8
HEC Montréal
10. Phase 1_Objectifs
• Évaluer l’efficacité de dix sites Web du
Gouvernement du Québec en terme de perception
de la part d’usagers selon la méthodologie
quantitative de la Chaire RBC (Webperform ™);
• Établir une base de comparaison (« benchmarking »)
entre différents sites Web du Gouvernement du
Québec afin de préparer un travail qualitatif dans le
but d’identifier les « meilleures et moins bonnes
pratiques ».
Chaire de commerce électronique RBC Groupe Financier 10
HEC Montréal
11. Phase 1_Objectifs
• Les 10 sites gouvernementaux étudiés:
1. Ministère de l'éducation
2. Ministère de la justice
3. Ministère de la famille et des aînées
4. Ministère de l'emploi et de la solidarité sociale
5. Portail gouvernemental de services
6. Régie de l'assurance maladie du Québec
7. Société de l'assurance automobile du Québec
8. Revenu Québec
9. Régie des rentes du Québec
10. Ministère de l'Immigration et des Communautés
culturelles
Chaire de commerce électronique RBC Groupe Financier 11
HEC Montréal
12. Phase 1_Méthodologie
• Recrutement:
– Partenariat avec Léger Marketing
– Panel québécois NetTendances
• Échantillon:
– N=1000
– Au total, chaque site a été évalué par 200 personnes
• Méthodologie:
– Sondage en ligne
– Collecte et analyse de données liées à une tâche sur 2 sites
Web (trouver le numéro de téléphone)
– Questionnaire WebPerform
Chaire de commerce électronique RBC Groupe Financier 12
HEC Montréal
13. Phase 1_WebPerform
• Léger Marketing, en collaboration avec Jacques Nantel, Ph.D. et
Sylvain Sénécal Ph.D., titulaire de la chaire de commerce
électronique RBC Groupe Financier, HEC Montréal, propose
WebPerform, un outil diagnostic qui étudie les facteurs qui ont le
plus d’impact sur la navigation des sites web. L’outil est constitué
des 5 dimensions suivantes:
1. Qualité de l’information
2. Esthétisme
3. Sécurité
4. Interactivité
5. Facilité d’utilisation
• Le WEBPERFORM permet de mesurer et de comparer votre site
Web selon chacune de ces 5 dimensions ainsi que sur les 26 items
qui les constituent.
Chaire de commerce électronique RBC Groupe Financier 13
HEC Montréal
14. Phase 1_WebPerform
• 5 dimensions spécifiques de WebPerform:
1. Esthétique: Le site est beau, créatif, attirant, épuré,
simple et clair
2. Qualité de l’information: Informations complètes,
pertinentes et précises
3. Utilisation: Le site est facile à utiliser et il est facile
de trouver l’information
4. Interactivité: Présence de fonctions interactives et
personnalisées
5. Sécurité: Respect de la vie privée et des
informations personnelles
*Dimensions du WebPerform évaluées sur une échelle de 1 à 7
Chaire de commerce électronique RBC Groupe Financier 14
HEC Montréal
15. Phase 1_Résultats
• Résultats du WebPerform pour chaque site Web
Qualité de
SITE l'information
Utilisation Esthétisme Sécurité Interactivité
Éducation
4,93 4,56 4,51 4,90 4,43
Justice
5,01 4,69 4,57 4,81 4,39
Famille et ainés
4,93 4,65 4,61 5,07 4,44
Emploi
4,76 4,39 4,25 5,22 4,36
Portail
4,42 4,19 4,41 4,87 4,14
RAMQ
5,16 4,78 4,58 5,14 4,39
SAAQ
4,74 4,47 4,63 4,88 4,20
Revenus
5,00 4,46 4,17 5,17 4,26
RRQ
5,14 4,95 5,01 5,13 4,84
Immigration et comm.
5,20 4,54 4,97 4,64
culturelles 5,11
Total
4,93 4,57 4,57 5,03 4,41
*Dimensions du WebPerform évaluées sur une échelle de 1 à 7
Chaire de commerce électronique RBC Groupe Financier 15
HEC Montréal
16. Phase 1_Résultats
• Classification des meilleurs sites par dimension du
WebPerform
Qualité de
Utilisation Esthétisme Sécurité Interactivité
l'information
Emploi /
MICC RRQ RRQ solidarité sociale RRQ
RAMQ RAMQ MICC Revenu MICC
RRQ Justice RAMQ
Justice RRQ
Revenu MICC
Famille et aînés
Chaire de commerce électronique RBC Groupe Financier 16
HEC Montréal
18. Phase 2_Objectifs
• Évaluation de sites:
– Comprendre les forces et les faiblesses liées à la
navigation sur 4 sites gouvernementaux
– Comprendre les lacunes du moteur de recherche
– Comprendre le rôle des bannières
– Comprendre la navigation sur le Portail
Chaire de commerce électronique RBC Groupe Financier 18
HEC Montréal
19. Phase 2_Objectifs
• Les 4 sites gouvernementaux étudiés:
– Portail gouvernemental de services
– Société de l'assurance automobile du Québec
(SAAQ)
– Régie des rentes du Québec (RRQ)
– Ministère de l'Immigration et des Communautés
culturelles (MICC)
Chaire de commerce électronique RBC Groupe Financier 19
HEC Montréal
20. Phase 2_Méthodologie
• Recrutement:
– Partenariat avec Léger Marketing
– Panel québécois NetTendances
• Échantillon:
– N=20
• Méthodologie:
– Collecte et analyse de données liées à des tâches sur les sites
Web;
– Protocoles verbaux;
– Questionnaires WebPerform;
– Analyse qualitative réalisée grâce au logiciel Morae;
– Idéalement une approche de triangulation (logs, protocoles
verbaux et questionnaires) nous donne une rigueur et des
conclusions solides.
Chaire de commerce électronique RBC Groupe Financier 20
HEC Montréal
21. Phase 2_Méthodologie
• 2 de 3 tâches à réaliser:
– Tâche 1: Régie des rentes du Québec : Trouver les critères
d’admissibilité au Programme de soutien aux enfants.
– Tâche 2: Immigration et communautés culturelles: Trouver les critères
d’admissibilité au Programme d'aide financière pour l'intégration
linguistique des immigrants.
– Tâche 3: Société de l’assurance automobile du Québec: Trouver les
critères d’admissibilité au Programme de soins personnalisés des
entorses et des blessures musculaires.
• Tâche commune à tous les participants:
– Tâche 4: Portail gouvernemental de services: Trouver les critères
d’admissibilité au Programme d'aide au transport en commun.
Chaire de commerce électronique RBC Groupe Financier 21
HEC Montréal
22. Phase 2_Morae
Créer une étude dans Morae
Recorder
Observer les utilisateurs grâce
à Morae Observer
Analyser les entrevues grâce à
Morae Manager
Présenter les résultats et les
recommandations
Images: http://www.techsmith.fr/morae.asp
Chaire de commerce électronique RBC Groupe Financier 22
HEC Montréal
24. Résultats_WebPerform
Site Taux de réussite Esthétique * Qualité Facilité utilisation*
Info.*
Avec Sans Avec Sans
moteur moteur moteur moteur
MICC 14% 100% 5.5 5.6 4.4 6.9
(10 min) (5 min)
RRQ 25% 16% 6.1 4.9 5.5 4.2
SAAQ 50% 83% 5.0 4.2 5.2 5.2
Portail 10% 50% 5.5 4.4 3.4 4.6
*Dimensions du WebPerform évaluées sur une échelle de 1 à 7
Chaire de commerce électronique RBC Groupe Financier 24
HEC Montréal
25. Résultats_portail
Avec moteur: Sans moteur:
Taux de réussite: 10% Taux de réussite: 50%
Temps moyen: 11,9 min Temps moyen: 12,63 min
Légende:
0: Réussite
1 Réussite avec difficulté
2: Échec
Chaire de commerce électronique RBC Groupe Financier 25
HEC Montréal
26. Recommandations générales
• ESTHÉTIQUE ET DESIGN :
1- Présenter l’information de manière aérée
2- Utiliser de courtes phrases
• NAVIGATION PAR UN MENU:
3- Favoriser la navigation par les hyperliens
4- Repenser la navigation en fonction d’un menu central comme celui du
MICC
• MOTEUR DE RECHERCHE:
5- Offrir un moteur de recherche qui offrent plus d’options de recherche
dès la page d’accueil
6- Offrir une description plus complète des résultats du moteur
Chaire de commerce électronique RBC Groupe Financier 26
HEC Montréal
27. Recommandations générales
• MOTEUR DE RECHERCHE (suite):
7- Revoir la pertinence et le nombre de résultats
8- Revoir le format des résultats (PDF vers HTML)
• BANNIÈRES:
9- Les bannières doivent diriger vers d’autres sites du gouvernement et être
en lien avec l’actualité
10- Pour être remarquées, les bannières doivent être en mouvement
• PORTAIL:
11- Revoir le moteur de recherche
12- Dans la section ''Accès rapide'', l’option ''Programmes et Services '' doit
mener à une liste complète des programmes offerts
13- Présenter tous les ministères en lien avec les citoyens dans la section
Service Québec Citoyen
Chaire de commerce électronique RBC Groupe Financier 27
HEC Montréal
29. Propositions de recherche
• Rédaction d’un guide des meilleures
pratiques;
• Explorer une fonctionnalité interactive dans le
portail Entreprises;
• Explorer les meilleures pratiques quant aux
moteurs de recherche.
Chaire de commerce électronique RBC Groupe Financier 29
HEC Montréal
31. Conclusion
• L’approche préconisée (quantitative et
qualitative) nous permet de comprendre
précisément ce qui fonctionne bien et ce qui
ne fonctionne pas bien.
• Nous sommes toujours surpris des
commentaires et comportements des
utilisateurs, même si nous pensons utiliser les
heuristiques de conceptions Web. Rien ne
vaut un vrai test usager!
Chaire de commerce électronique RBC Groupe Financier 31
HEC Montréal
32. Merci!
Courriel:chairerbc.2@hec.ca
Adresse postale : HEC Montréal
3000, chemin de la Côte-Sainte-Catherine
Bureau: RJ 111
Montréal (Québec)
Canada H3T 2A7
Chaire de commerce électronique RBC Groupe Financier 32
HEC Montréal
34. Résultats RRQ_Morae
Avec moteur: Sans moteur:
Taux de réussite: 25% Taux de réussite: 16,6%
Temps moyen: Non disponible Temps moyen: Non disponible
Légende:
0: Réussite
1: Réussite avec difficulté
2: Échec
Chaire de commerce électronique RBC Groupe Financier 34 34
HEC Montréal
35. Résultats MICC_ Morae
Avec moteur: Sans moteur:
Taux de réussite: 14,2% Taux de réussite: 100%
Temps moyen: 10,62 min Temps moyen: 4,71 min
Légende:
0: Réussite
1: Réussite avec difficulté
2: Échec
Chaire de commerce électronique RBC Groupe Financier 35 35
HEC Montréal
36. Résultats SAAQ_Morae
Avec moteur: Sans moteur:
Taux de réussite: 50% Taux de réussite: 83,3%
Temps moyen: 12,74 min Temps moyen: 10,55 min
Légende:
0: Réussite
1: Réussite avec difficulté
2: Échec
Chaire de commerce électronique RBC Groupe Financier 36 36
HEC Montréal
37. Résultats PORTAIL_Morae
Avec moteur: Sans moteur:
Taux de réussite: 10% Taux de réussite: 50%
Temps moyen: 11,9 min Temps moyen: 12,63 min
Légende:
0: Réussite
1 Réussite avec difficulté
2: Échec
Chaire de commerce électronique RBC Groupe Financier 37 37
HEC Montréal
38. Résultats_Esthétique et Design
7
6.14
6
5.50
5.00 5.10
5
4
3
2
1
0
RRQ SAAQ MICC PORTAIL
*Dimensions du WebPerform évaluées sur une échelle de 1 à 7
Chaire de commerce électronique RBC Groupe Financier 38 38
HEC Montréal
39. Rétultats_Facilité d’utilisation
8
7
6.86
6
5.50
5.17 5.17
5
4.43 4.57
4.17
4 Avec moteur
3.37
Sans moteur
3
2
1
0
RRQ SAAQ MICC PORTAIL
*Dimensions du WebPerform évaluées sur une échelle de 1 à 7
Chaire de commerce électronique RBC Groupe Financier 39 39
HEC Montréal
40. Résultats_Qualité de l’information
6
5.64
4.93
5
4.38
4.23
4
3
2
1
0
RRQ SAAQ MICC PORTAIL
*Dimensions du WebPerform évaluées sur une échelle de 1 à 7
Chaire de commerce électronique RBC Groupe Financier 40 40
HEC Montréal
41. Résultats_Portail et WebPerform (2007 vs 2008)
6
4.98 4.87
5
4.41 4.38 4.42
4.19 4.14
3.97
4 3.71 3.83
3 2008
2007
2
1
0
Esthétique Utilisation Qualité de Sécurité Interactivité
l'information
*Dimensions du WebPerform évaluées sur une échelle de 1 à 7
Chaire de commerce électronique RBC Groupe Financier 41 41
HEC Montréal
