Mémoire de fin d'études - Supinfo 2010 - La gestion du spam dans un système de marketing par courriel
1. LA GESTION DU SPAM DANS UN SYSTÈME
DE MARKETING PAR COURRIEL
Mémoire de fin d’études
SUPINFO Institute of Information Technology
Année académique 2009‐2010
Michaël Massé
émoire présenté en vue de
M
l’obtention du Titre SUPINFO.
2. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
REMERCIEMENTS
Je tiens à remercier mon responsable de stage Pascal Jarry, pour m’avoir permis
d’effectuer mon stage de fin d’études dans leur entreprise HPJ Solutions. Malgré tout le
travail qui l’occupait, il m’a encadré et apporté une aide aussi bien organisationnelle
que technique pendant toute la durée de mon stage.
Je remercie aussi tout le personnel de l’entreprise pour son accueil et plus
particulière Étienne Borel pour son aide et ses conseils durant ces six derniers mois.
Je souhaite aussi adresser mes remerciements Saïd Hini et à Pascal Lépine qui
m’ont permis de développer mes compétences et connaissances au sein de leurs
entreprises respectives Loyer Express et Atypic.
Enfin, je tiens à remercier l’ensemble des professeurs et intervenants de
SUPINFO, International University. Ils m’ont apporté les connaissances aussi bien
techniques qu’humaines nécessaires à l’élaboration et au bon déroulement de mon
stage.
Michaël Massé | Remerciements 2
3. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
TABLE DES MATIÈRES
INTRODUCTION 5
ENVIRONNEMENT DE TRAVAIL 7
Le secteur des Technologies de l’Information à Montréal 7
Présentation, Historique et Activités d’HPJ Solutions 8
Principaux clients 9
Ivanhoe Cambridge 9
Ordre des ingénieurs du Québec 9
Association des Employeurs Maritime 10
Le Groupe Vivavision 11
Société québécoise de la Schizophrénie 11
L’équipe 11
Quelle direction pour HPJ Solutions ? 13
Environnement technique 14
HPJCC ET LA GESTION DU SPAM 15
Pourquoi avoir choisi ce sujet ? 15
HPJCC, UNE SOLUTION DE MARKETING PAR COURRIEL 16
Description du projet et analyse du contexte 16
HPJCC, l’Interface 16
Le MailCenter 17
HPJCC VS MailChimp 17
Quelques points particuliers du projet 19
Sortie d’Hibernate du MailCenter 19
Analyse du problème 19
Choix et mise en œuvre de la solution 19
Bilan de la phase de mise en œuvre 20
Gestion du spam dans un système de marketing par courriel 20
Analyse du problème 20
Création de la liste de contrôle et sa mise en œuvre 20
Qu’est‐ce que le spam ? 20
Une législation longue à se mettre en place. 21
Préalables à une solution de marketing par courriel 27
Modifications de l’application et extensions envisagées 34
L’architecture physique 37
Gestion des listes de contacts 44
Surveillance et gestion des exceptions 48
Michaël Massé | Table des matières 3
4. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
Bilan post‐campagne 57
Bilan de la phase de mise en œuvre 61
BILAN 63
D’un point de vue Organisationnel 63
D’un point de vue Informatique 63
D’un point de vue Personnel 64
D’un point de vue Social 64
CONCLUSION 66
BIBLIOGRAPHIE 67
ILLUSTRATIONS 69
ANNEXES 78
Listes noires majeures et mineures 78
Michaël Massé | Table des matières 4
5. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
INTRODUCTION
« Apprendre, c’est déposer de l’or dans la banque de son esprit » – Shad Helmstetter,
Le Pouvoir de motivation intérieure.
Un but précis à atteindre avant une date buttoir en suivant les exigences énoncées
entraînant un droit à l’erreur moindre. Cela pourrait qualifier un stage en entreprise
mais, comme l’illustre parfaitement cette citation, ce qui est à retenir, c’est surtout
l’enrichissante expérience acquise tout au long de cette période. En effet, un stage de
fin d’études est surtout un investissement pour le futur du stagiaire où il doit
compléter sa formation grâce à une intégration dans le monde du travail, et non pas
seulement la conclusion d’un cycle d’études.
Chaque étudiant inscrit au cursus Master 2 doit réaliser un stage de 6 mois en
entreprise du secteur informatique ou dans le service informatique d’une grande
entreprise. L’étudiant est sorti du cocon scolaire afin de lui permettre de prendre
s’immerger avec le secteur professionnel où il se destine à travailler pour
possiblement un grand nombre d’années mais également de tester ses possibilités
d’adaptation, de mettre en pratique les connaissances acquises durant la formation
qu’il a reçu et d’en rendre compte sous la forme d’une mémoire écrit et d’une
soutenance orale.
Pour ma part, j’ai réalisé mon stage au sein de la société HPJ Solutions, société située
au cœur de Montréal. Comme vous l’avez pu le remarquer mon stage s’est déroulé sur
5 mois du 31 Mai au 31 Octobre 2010. Cette durée vient du fait qu’au départ, j’aurais
dû effectuer mon stage de fin d’études au sein de Loyer Express mais les impératifs
économiques étant ce qu’ils sont en Amérique du Nord, j’ai dû changé d’entreprise car
celle‐ci ne pouvait plus me rémunérer. J’ai passé deux mois chez Loyer Express où j’ai
occupé le poste de chef de projet.
Au cours des prochaines pages, je vais vous présenter l’entreprise et une partie des
tâches que j’ai pu y effectuer.
Je commencerais par décrire mon environnement de travail avec une présentation
succincte du secteur des Technologies de l’Information et Communications (TIC) à
Montréal.
Par la suite, je vous parlerais plus précisément de l’entreprise avec entre autre son
historique, le diagramme de l’équipe et une description des principaux clients de celle‐
ci.
Ma principale tâche à HPJ Solutions est liée au projet interne de l’entreprise HPJCC qui
est une solution de marketing par courriel permettant à ses utilisateurs de rejoindre
Michaël Massé | Introduction 5
6. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
facilement leur clientèle tout en mesurant le résultat de leurs infolettres. J’ai eu
comme mission de reprendre le développement de cet outil mais plus particulièrement
de gérer l’aspect spam de ce projet. Je vous exposerais donc ce que j’ai mis en place et
ce qui sera mis en place dans un avenir proche afin de lutter contre le spam et de se
conformer aux lois en vigueur pour ce domaine. Effectivement, toutes les procédures
et outils n’ont pu être mise en place au cours de ces 5 mois car techniquement cela
n’était pas possible du fait qu’à chaque étape un moment de monitoring et de suivi
doit être observé afin de déterminer l’impact des modifications et les ajuster en
fonction de notre cahier des charges.
Pour terminer, j’effectuerais un bilan de mon expérience à HPJ Solutions avant de
conclure. Ce bilan portera sur quatre points de vue : organisationnel, informatique,
personnel et social.
Michaël Massé | Introduction 6
7. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
ENVIRONNEMENT DE TRAVAIL
LE SECTEUR DES TECHNOLOGIES DE L’INFORMATION À MONTRÉAL
S’il est un secteur qui est important pour Montréal, c’est bien celui des Technologies
de l’Information et des communications (TIC).
Avec près de 120 000 emplois et plus de 5 000 entreprises privées, Montréal constitue
un chef de file mondiale de l’industrie des TIC. Le Grand Montréal possède de
nombreux atouts pour les entreprises qui souhaitent y faire des affaires :
Proximité du bassin technologique nord‐américain,
Accès à une main‐d’œuvre compétente et hautement qualifiée,
Qualité des infrastructures industrielles,
Important réseau d’universités et de centres de recherche,
Mesures fiscales qui favorisent la recherche et le développement,
Coûts d’exploitation avantageux.
Le fait que des acteurs majeurs internationaux comme IBM, Ericsson, Autodesk, DMR
Fujitsu, Electronic Arts, SAP ou Ubisoft soient établis dans le Grand Montréal montrent
bien l’attractivité de cette région.
Ces entreprises profitent des coûts d’exploitation parmi les plus concurrentiels et
avantageux en Amérique du Nord, d’un taux d’imposition des sociétés se situant dans
les plus bas en Amérique du Nord. De plus, la Recherche & Développement est
fortement soutenue grâce à de nombreux incitatifs fiscaux comme le Crédit d’Impôt
Recherche Scientifique et Développement expérimental (RS&DE).
Enfin, le secteur des TIC est également avantagé par la compétence de la main‐
d’œuvre québécoise.
C’est pour toutes ses raisons que le Québec et plus particulièrement le Grand
Montréal est un carrefour technologique de premier plan.
Économiquement, ce secteur est très lucratif pour l’ensemble des acteurs que ce soit
les employés, les entreprises ou le gouvernement.
En effet, le secteur des TIC a contribué en 2008 à hauteur de 12 milliards de dollars au
PIB du Québec. Plus de 5 milliards d’exportation ont également été fait.
Michaël Massé | Environnement de travail 7
8. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
La récession ?
Alors que de nombreux secteurs ont dû imposer un gel ou une diminution des salaires,
c’est tout le contraire qui s’est produit dans le secteur des TI.
D’après TECHNOCompétences, entre 2008 et 2010, les salaires ont connu une hausse
moyenne pour atteindre 8% cette année comparée aux 6 % des autres secteurs de la
province.
La pénurie de main‐d’œuvre en TIC exerce une énorme pression sur les salaires ce qui
fait que le salaire moyen à Montréal pour un analyste‐programmeur s’élève à 60 500 $.
Toujours selon TECHNOCompétence, cette situation d’augmentation de salaire devrait
perdurer au cours des prochaines années du fait de cette rareté de travailleurs
spécialisés.
Les étudiants québécois boudant le domaine de l’informatique, le secteur des
Technologies de l’Information et des Communications reste, et cela pour encore de
nombreuses années, un secteur plein de promesses pour tous les étudiants en
Informatique dont ceux de Supinfo.
PRÉSENTATION, HISTORIQUE ET ACTIVITÉS D’HPJ SOLUTIONS
Située à Montréal dans le Mile‐End (Figure 9 ‐ Localisation d'HPJ Solutions), HPJ
Solutions est une entreprise spécialisée dans le développement Web. Elle possède une
solide expertise dans le domaine du Web qui lui permet de se positionner comme un
acteur important dans le domaine.
Le Mile‐End est un quartier en perpétuel changement qui fait partie de
l’arrondissement Plateau Mont‐Royal. Les dernières années ont marqués un tournant
pour ce quartier avec l’arrivée de grandes compagnies tel qu’Ubisoft. Le quartier a
connu un rajeunissement accéléré se traduisant par une revitalisation d’une majorité
des anciennes usines et entrepôts textiles et une hausse de la valeur des
appartements, condominiums et bureaux.
Pascal Jarry a fondé HPJ Solutions en 2006 parce qu’il avait besoin d’un nouveau défi à
ce moment‐là.
Après avoir passé plus de 15 années de sa vie dans des sociétés BNP Paribas, IMR ou
CN Rail où il a occupé des postes d’analyste programmeur, de consultant et chef de
projet, d’architecte technique, Pascal s’est lancé dans l’aventure entrepreneuriale.
Juste avant la fondation de la société, Pascal fit le bilan de son activité et de demanda
ce qu’il souhaitait pour lui et sa famille. Un des sentiments qui retirait de son passé
Michaël Massé | Environnement de travail 8
9. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
salarial était qu’il avait beaucoup donné en construisant tour à tour pour ses
employeurs respectifs des équipes, des infrastructures ou encore des services. Pour lui,
c’était le moment où il souhaitait pouvoir bénéficier d’un retour sur investissements
plus substantiel et ainsi s’assurer d’être capable d’assumer la qualité de vie à laquelle
il aspire.
Au cours des 3 dernières années, la société a construit des dizaines de sites Web. La
principale raison de sa réussite est sa compréhension des technologies et sa volonté
de livrer des projets de très haute qualité. De plus, leur compétence en technologies
de l'information passe avant tout par leur expérience en architecture de système et de
programmation de systèmes informatiques dans le milieu bancaire. Cette expertise
technique conjuguée à leur connaissance de l'industrie leur permet de donner accès à
ses clients aux dernières évolutions techniques à un coût abordable.
La stratégie de l’entreprise, afin de proposer des services attractifs dans le secteur
ultra compétitif du Web et des technologies de l’information, est de s’appuyer sur des
logiciels / composants Open Source. En dehors de l’avantage certain que ces logiciels
sont gratuits, ils sont généralement créés et maintenus par des communautés très
actives, accessibles et toujours tournées vers l’avenir, qui proposent constamment de
nouvelles évolutions ou des solutions originales à des problèmes rencontrés par
d’autres utilisateurs.
PRINCIPAUX CLIENTS
I VANHOE C AMBRIDGE
Filiale immobilière de la Caisse des Dépôt, Ivanhoé Cambridge se spécialise dans le
créneau des centres commerciaux en milieu urbain.
HPJ Solutions a développé pour cette société un système de carte de vœux
électronique (Figure 10 ‐ Ivanhoé Cambridge).
O RDRE DES INGÉNIEURS DU Q UÉBEC
Pour l’ordre des ingénieurs du Québec, HPJ Solutions a effectué différents mandats :
Création de bulletins.oiq.qc.ca permet à l’ordre d’éditer un bulletin régulier à
destination de ses membres (http://www.bulletinsoiq.qc.ca).
Une version d’HPJCC spéciale pour l’OIQ pour répondre à leur besoin d’envois
d’infolettres à leurs membres.
Michaël Massé | Environnement de travail 9
10. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
Des microsites répondants aux besoins de l’Ordre.
A SSOCIATION DES E MPLOYEURS M ARITIME
L’Association recherchait une firme en mesure de produire un site Web qui puisse
interagir avec les systèmes d’authentification existants, ce qui suppose de connaître le
langage Java, mais aussi les technologies du Web permettant d’interfacer un site avec
des systèmes de sécurité et d’authentification reposant sur le Java. Son choix s’est
tourné vers HPJ Solutions, qui a bien écouté les besoins de l’association et a proposé
de faire une étude comparative des principaux CMS du marché.
L’Association des employeurs maritimes a été créée en 1969 lorsque l’industrie
maritime a réalisé qu’elle devait trouver un moyen pour mieux gérer ses relations du
travail avec les employés qui chargent et déchargent les navires dans l’est du Canada.
Les arrivées et les départs des navires ne suivent pas un horaire fixe et les débardeurs
doivent travailler pour différents employeurs durant l’année. Pour cette raison,
l’industrie avait besoin qu’une association commune soit conçue pour agir en son nom
auprès de ces employés. La mission de l’A.E.M. est de contribuer au succès florissant
des ports sous sa juridiction en fournissant une main‐d’œuvre qualifiée, et avec la
collaboration de ses partenaires syndicaux, par la mise en place et l’administration
efficace des conventions collectives.
L’A.E.M. compte une trentaine de membres de catégorie I (propriétaires ou exploitants
et/ou agents de navires faisant affaire dans un port où l’Association est le
représentant patronal) et une douzaine de membres de catégorie II (employeurs de
main‐d’œuvre appartenant à des syndicats à l’égard desquels l’Association est le
représentant patronal désigné). L’Association, dont le siège social est situé à la Cité du
Havre à Montréal, compte un centre de formation et un centre de déploiement à
Montréal ainsi que des bureaux à Trois‐Rivières et Hamilton, en Ontario.
En 2007, sous l’égide de Jean Bédard, nouvellement élu président et chef de la
direction, l’A.E.M. s’est lancé dans un virage technologique important. L’Association a
voulu se donner une plus grande visibilité tant pour ses employés que pour ses
membres en faisant une refonte de son site Internet, qui était jusque‐là
essentiellement un outil interne. Tous les directeurs de département ont été mis à
contribution pour développer les contenus. Plus qu’une refonte du site Web, il
s’agissait de mettre en place un portail, une porte d’accès vers les différentes
applications de l’Association. De cette réflexion sont nées d’autres possibilités.
Michaël Massé | Environnement de travail 10
11. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
Une des particularités de l’A.E.M. est que ses quelque 1300 employés à temps plein et
4000 à temps partiel dans les ports de Hamilton, Toronto, Montréal et Trois‐
Rivières/Bécancour doivent travailler dans différents lieux de chacun de ces ports.
L’organisation voulait qu’ils puissent accéder rapidement à leurs affectations
quotidiennes.
HPJ Solutions a donc été en charge de d’effectuer la refonte du site web pour en faire
un portail en utilisant le CMS Joomla en plus de technologies comme Java, des Web
services et MySQL (Figure 11 ‐ AEM / MEA).
L E G ROUPE V IVAVISION
HPJ Solutions a été mandaté en 2009 pour la refonte du site web de la société
canadienne de production télévisuelle (http://www.vivavision.ca).
S OCIÉTÉ QUÉBÉCOISE DE LA S CHIZOPHRÉNIE
HPJ Solutions est entrain de refondre le site de la société québécoise de la
schizophrénie qui a pour mission de contribuer à l’amélioration de la qualité de vie des
personnes touchées par la schizophrénie et les psychoses apparentées, par le biais
d’activités éducatives et de soutien, de participation aux politiques gouvernementales
et de contributions à la recherche.
Le site web est dans la dernière phase de réalisation et devrait être rapidement livré.
L’ÉQUIPE
Rapidement après sa création, HPJ Solutions s’est vite organisé en différents pôles
pour une meilleure productivité et une division efficaces des tâches.
On compte trois pôles différents :
Pôle Web et Commerce électronique,
Pôle Développement,
Pôle Référencement.
An moment de mon arrivée au sein de de la société, nous étions onze personnes :
Pascal Jarry (Président),
Mathieu Gagnon (Responsable du Pôle Web et Commerce électronique),
Thomas Farrié (Responsable du Pôle Référencement et Chef de projet Web),
Étienne Borel (Responsable du Pôle Développement),
Michaël Massé | Environnement de travail 11
12. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
Jane Fortier (Directrice Artistique),
Michèle Delisle (Intégratrice et Conceptrice Web),
Sandrine Panel (Support Client et Administration),
Jan‐Sébastien Proulx (Analyste et Programmeur Java),
Sébastien Raffard (Développeur Web),
Mickael Burget (Développeur Web),
Harriet Kerr (Directrice Administrative),
Et moi‐même (Analyse‐Programmeur).
Au cours de ces cinq derniers mois, l’équipe a subi un certain nombre de modifications
avec les départs de Sandrine et Sébastien et les arrivées de Tarek Chaaban en tant
qu’analyste‐programmeur, Guy Lambert et Pierre Moreau comme Intégrateur et
Designer Web, Lorena Garcia et Lamine N’Dao au poste de Graphiste.
Le diagramme ci‐dessous illustre la situation de l’équipe au jour d’aujourd’hui
Michaël Massé | Environnement de travail 12
13. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
QUELLE DIRECTION POUR HPJ SOLUTIONS ?
Pascal dit souvent : « conquérir le monde ». Bien entendu, ceci est une boutade mais
elle démontre bien l’ambition qu’il possède pour développer l’entreprise et de faire
fructifier ses efforts.
Différents objectifs ont été fixés, le premier étant lié au chiffre d’affaire de
l’entreprise.
En effet, Pascal souhaite doubler son chiffre d’affaire tous les ans pour atteindre la
barre symbolique du million de chiffre d’affaire. L’année dernière la société était à
700 000 $ mais il est déjà établi que cette année le CA de l’entreprise ne sera pas
doublé car le million reste quand même un palier important et qu’il vaut mieux
temporiser quelques temps que de se précipiter vers cette objectif sans assurer ses
arrières.
Le second objectif est que HPJ Solutions possède 50 employés. Au 1 er Décembre de
cette année, nous serons treize personnes. On peut donc dire que nous sommes à un
peu plus du quart de l’objectif en quatre ans.
Au niveau stratégique, Pascal a déjà bien en tête ce qu’il souhaite faire pour la société
et voit dès maintenant comment elle serait dans quelques années.
Alors qu’au commencement de l’entreprise, la direction prise était de créer du
récurrent avec les forfaits Accès Web, HPJCC et d’autres services web.
Rapidement, la réflexion de comment toucher les plus grosses entreprises s’est posée.
La solution pour atteindre cet objectif a été de créer des sites web en développant
l’entreprise en pôles.
Aujourd’hui, l’emphase est mise sur le pôle Développement où on développe de plus
en plus des solutions spécifiques demandées par les clients.
Dans l’avenir, Pascal souhaite ajouter un volet supplémentaire à ses compétences.
Effectivement, il a envie de développer la partie communication d’HPJ Solutions. C’est
le pôle Web qui serait petit à petit transformé pour créer deux entités HPJ. La
première s’occuperait du développement des applications alors que l’autre unité se
chargera des plans de communications et de la vente des services.
Au niveau technologique, Pascal veut garder son cœur de métier qui est PHP et Java
mais il aspire à étendre les compétences d’HPJ Solutions vers le .Net et Sharepoint.
Michaël Massé | Environnement de travail 13
14. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
ENVIRONNEMENT TECHNIQUE
HPJ Solutions possèdent une infrastructure d’hébergement gérée par la société
Plutoniq basée à Brossard. Cette infrastructure est composée de cinq serveurs dédiés :
quatre sous Linux CentOS et un sous Windows Server 2008. En plus de ceux‐là, deux
autres serveurs Windows, présents dans les locaux d’HPJ Solutions, sont utilisés à des
fin de backup des postes des employés, de serveur de courriel Exchange, de serveur de
fichiers, de service d’annuaire LDAP Active Directory et dans le but d’héberger les
outils de gestion de projet comme Atlassian Jira, système de suivi de bugs, de gestion
des incidents et de gestion de projets et Atlassian Confluence (moteur de wiki).
Un des serveurs Linux est spécialement dédié à HPJCC où est installé un serveur web
Apache Tomcat, bientôt remplacé par un serveur d’applications Glassfish, en plus d’un
serveur HTTP Apache.
Michaël Massé | Environnement de travail 14
15. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
HPJCC ET LA GESTION DU SPAM
Comme j’ai pu l’indiquer précédemment dans l’introduction, à mon arrivée à HPJ
Solutions on m’a confié la tâche de mettre en place une politique de gestion du spam
dans un système d’envoi d’infolettres existants car celle‐ci était pratiquement
inexistante malgré le fait que ce soit une partie très importante d’un tel système.
Il a donc fallu que je mette en place les diverses procédures et méthodes, après
mettre documenté, par rapport à tous les aspects de gestion du spam dans HPJCC. Je
devais tenir compte du fait que le projet était très avancé dans son développement et
qu’il était en phase de pré‐production auprès d’un certain nombre de clients dans le
cadre d’une version de test.
La problématique au cours de ses derniers mois est donc la suivante : faire en sorte
que le système HPJCC soit conforme aux différentes lois en vigueur concernant le
spam en mettant des procédures en place et un monitoring efficace. Ceci devant être
effectué en gardant en tête que je devais assurer les différentes demandes qui
m’étaient affectées comme la gestion de l’infrastructure d’HPJ Solutions, des tâches
de développement web ou de gestion de projet.
POURQUOI AVOIR CHOISI CE SUJET ?
Par le passé, j’ai eu l’occasion de travailler sur un système équivalent à Atypic où cette
fois‐ci j’ai dû m’occuper entièrement du développement de la plateforme.
À ce moment‐là, j’ai découvert un domaine très intéressant du fait de la diversité des
compétences nécessaire pour couvrir toutes les procédures et méthodes à mettre en
place. En effet, la gestion du spam dans un système d’infolettres fait appel à des
connaissances d’administration réseau pour, par exemple, l’implémentation des
normes d’authentification DKIM, SPF ou SenderID en plus des connaissances en
développement web mais également à des notions de programmation pour, par
exemple, la mise en place des headers nécessaires dans les courriels.
Aussi, ce sujet est réellement d’actualité du fait qu’il est vécu par tous, tous les jours.
L’étude « Internet Threats Trend Report » (Commtouch, 2010) parue le 23 septembre
2010 fait état qu’en moyenne 183 milliards de courriels envoyés par jour sont du spam.
Enfin, le fait d’avoir travaillé par le passé sur des systèmes d’envoi d’infolettres m’a
permis d’acquérir un certain nombre de connaissances dans ce domaine qui je pense
peuvent être mise par écrite avec l’espoir que cela puisse servir à d’autres.
Michaël Massé | HPJCC et la gestion du spam 15
16. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
HPJCC, UNE SOLUTION DE MARKETING PAR COURRIEL
DESCRIPTION DU PROJET ET ANALYSE DU CONTEXTE
HPJCC est une solution de marketing par courriel ou « Email marketing software » en
anglais développée par HPJ Solutions. Il s’agit d’un service qui s’intègre dans la
stratégie globale de la société qui propose des sites Web clé en main assortie d’une
campagne de référencement. L’utilisation d’infolettres est un outil indispensable pour
optimiser le nombre de visiteurs pour un site web.
Le système se compose de deux parties distinctes et autonomes :
HPJCC, l’interface web développée avec Zend Framework,
MailCenter, développé en Java, cette partie se charge de la génération des
courriels et de l’envoi de ceux‐ci.
Ces deux parties utilisent des bases de données MySQL mais une migration vers Oracle
est prévue pour plus de robustesse.
HPJCC, L’INTERFACE
Le système est construit autour d’un référentiel unique par client. L’accent est mis sur
le contact et non sur des listes comme d’autres systèmes de marketing par courriel.
Une notion d’attributs et de filtres sur ceux‐ci permet de cibler quels contacts sont
concernés par les newsletters.
Pour importer les contacts dans le référentiel, les utilisateurs ont de multiples choix :
Les Connecteurs,
Un formulaire affiché sur votre site web.
Les connecteurs permettent l’importation de contacts à partir d’un fichier Excel ou de
systèmes externes comme une base de données de membres via un service web.
La création de campagne est facilité grâce à un éditeur WYSIWYG et à l’utilisation de
gabarit que le client peut importer lui‐même.
Aussi, les clients peuvent facilement personnaliser leur message grâce à l’utilisation de
mots‐clés.
En le suivi statistique de la campagne est assuré. Pour chaque envoi, les clients ont
accès au taux d’ouverture et au taux de rebond. De plus, chaque lien de l’infolettre est
surveillé et ainsi le client peut savoir qui a cliqué sur quel lien.
Michaël Massé | HPJCC, une solution de marketing par courriel 16
17. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
LE MAILCENTER
Cette partie de l’application est le cœur de celle‐ci car chargée de la génération du
contenu HTML et texte des courriels ainsi que de l’envoi de ceux‐ci.
Construit autour des technologies Java, ce moteur d’envoi fonctionne de manière
asynchrone de l’interface HPJCC.
Ainsi, si l’interface rencontre un problème, celui‐ci ne peut pas provoquer un arrêt de
l’envoi des courriels.
Une API a été conçue pour permettre la communication entre HPJCC et MailCenter.
HPJCC VS MAILCHIMP
MailChimp est né des besoins des clients d’une société de développement américaine
basée à Atlanta, Rocket Science Group. Son fondateur et CEO, Ben Chestnut a décidé
de créer une solution industrielle afin de faire profiter à tous leurs clients d’un service
de courriel marketing de qualité. Fort du succès rencontré, la société s’est concentrée
sur cette activité et s’autofinance intégralement maintenant.
Il est inutile d’avoir la moindre connaissance en HTML car les utilisateurs de
MailChimp composent directement leur campagne soit en partant des templates
proposés soit via l’éditeur fourni soit en important votre fichier HTML réalisé
auparavant.
Chaque courriel pourra être personnalisé en utilisant différents mots‐clés permettant
d’aller chercher les informations dans la base de données de vos contacts.
MailChimp propose en option un système permettant de tester sur 25 différents
clients mail la campagne qui va être envoyée.
Le système permet de gérer les abonnés que ce soir via un fichier csv, mais des liaisons
avec Salesforce, HighRise, GoogleDocs, ZenDesk, Zoho ou avec un simple copié‐collé à
partir d’Excel.
Une API a également été développée qui permet d’interfacer n’importe quelle base
avec leur service.
Des formulaires d’abonnements et de désabonnements aux listes d’envois sont
proposés par le système.
Michaël Massé | HPJCC, une solution de marketing par courriel 17
18. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
MailChimp étant un des acteurs reconnu du secteur d’envoi de courriels marketing, le
système est interfacé avec les principaux FAI pour recevoir les rapports d’abus et de
rebonds afin de nettoyer les listes de ses utilisateurs.
De plus, le système établit un score de fiabilité pour chacune des listes des utilisateurs
qui repose sur la qualité des contacts et les interactions qui peuvent se produire. Ce
score détermine le serveur qui enverra les courriels.
Enfin, le service de Rocket Science Group intègre les différents types
d’authentifications actuels qui sont DKIM, Domain Keys, SPF et Sender ID.
MailChimp assure également le tracking des campagnes en récoltant les informations
suivantes : nombre d’envois, taux d’ouverture, adresses inactives, taux de clic.
L’intégration de Google Analytics est entièrement possible.
Comparé à un ténor de l’envoi de courriel marketing comme MailChimp, HPJCC fait
office de petit poucet du fait de son jeune âge.
Cependant, HPJCC se démarque sur un certains nombres de points.
La première différence flagrante est l’axe pris par HPJCC qui s’est plutôt centré sur un
référentiel unique dans lequel on crée des listes en fonction d’un couple attributs /
filtres.
Ainsi, on peut effectuer une segmentation beaucoup plus poussée et aisée que dans
un système comme MailChimp.
Deuxièmement, HPJCC est clairement tourné vers les entreprises alors que MailChimp
se veut être accessible à tous. Ceci implique une philosophie de développement des
fonctionnalités différentes car les entreprises n’ont pas les mêmes besoins que les
particuliers.
En parlant des fonctionnalités, il est vrai qu’il en manque un certain nombre à HPJCC
par rapport à MailChimp mais ces différences vont considérablement se réduire avec
le temps du fait des améliorations qui sont apportés tous les jours au système. Par
exemple, l’envoi différé est prévu pour la prochaine version.
L’avantage que possède HPJCC sur MailChimp c’est sa taille qui lui permet pour le
moment de répondre exactement aux demandes des clients.
Toujours au rayon des différences, l’une des prochaines grosses évolutions est la mise
en place d’un workflow de validation couplé à une édition de rapport quotidien
récapitulant tout ce qui s’est passé au cours des 24 dernières heures. Cette demande
émane de plusieurs entreprises qui souhaitent mettre en place un système de
validation des infolettres avant envoi.
Michaël Massé | HPJCC, une solution de marketing par courriel 18
19. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
QUELQUES POINTS PARTICULIERS DU PROJET
Dans les parties suivantes, je vais détailler certaines tâches que j’ai pu effectuer dans
le projet HPJCC.
Même si j’ai eu une multitude de tâches à faire chez HPJ Solutions entre la gestion de
l’infrastructure, les projets de développement web, HPJCC et le support client, je
pense que ces points sont assez significatifs de mon travail et méritent d’être détaillé.
SORTIE D’HIBERNATE DU MAILCENTER
A NALYSE DU PROBLÈME
Un des premiers développements à faire sur ce projet fut d’améliorer les
performances de la partie MailCenter. En effet, celle‐ci ne supportait pas forcement la
charge lorsque l’on demandait au système d’effectuer un important envoi.
On a déterminé que ces problèmes de performance pouvaient provenir de différentes
causes :
Erreur lors du développement,
Problème du côté du serveur MySQL avec des requêtes trop lentes,
Problème avec l’API de gestion des courriels JavaMail.
Après avoir vérifié l’ensemble des lors du serveur, il s’est avéré que le principal
problème était la surcouche Hibernate qui gérait la persistance des objets en base de
données. Cependant, l’un des problèmes connus d’Hibernate est sa lenteur malgré une
robustesse et une vitesse de développement élevée.
C HOIX ET MISE EN ŒUVRE DE LA SOLUTION
La première piste étudiée afin de régler ce problème a été de remplacer Hibernate par
JPA (Java Persistance API). Cependant cette piste a rapidement été abandonnée du fait
des coûts engendrés par les développements nécessaire pour adapter le MailCenter à
cette spécification.
Le second choix et celui qui a été retenu au final fut le suivant : remplacer la couche
Hibernate par une couche de persistance entièrement écrite avec JDBC (Java DataBase
Connectivity) seulement. Cette décision a été motivée par le fait que les performances
ne peuvent pas être plus élevées qu’en utilisant seulement JDBC malgré le fait que le
temps de développement soit un peu plus important.
Michaël Massé | HPJCC, une solution de marketing par courriel 19
20. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
Pour mettre en œuvre cette solution, j’ai donc du réécrire toute la couche persistance
du MailCenter en m’inspirant de ce qui avait été fait avec Hibernate.
B ILAN DE LA PHASE DE MISE EN ŒUVRE
Au final, le MailCenter est doté d’une couche persistance optimisée pour la
performance qui a permis d’augmenter le nombre de courriels envoyés par minutes
tout en diminuant les ressources nécessaires pour ces envois.
GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL
A NALYSE DU PROBLÈME
Mon principal mandat à HPJ Solutions a été de gérer tous les aspects du spam dans un
système de marketing par courriel.
Au moment de mon arrivée, le seul élément développé concernant la gestion du spam
était le lien de désinscription permettant aux destinataires des infolettres de se
désabonner de tous ou d’une partie des envois de l’émetteur.
Les problèmes découlant d’une mauvaise gestion du spam dans un tel système ne
doivent absolument pas être pris à la légère car la réputation du serveur et même du
nom de domaine émetteur en dépendent grandement.
En effet, plus il y a de rebonds ou de plaintes générés par une ou des infolettres
envoyées via votre serveur, plus la réputation de celui‐ci s’effondrera.
Hors, la réputation est désormais le nerf de la guerre dans la gestion du spam.
J’expliquerais plus en détail ce principe de réputation par la suite.
Ma tâche a donc été de déterminer les actions à mettre en œuvre pour améliorer la
prise en charge des pourriels dans un tel système. Par la suite, je devais implémenter
ces actions et surveiller leurs résultats.
C RÉATION DE LA LISTE DE CONTRÔLE ET SA MISE EN ŒUVRE
Avant de commencer la liste des tâches à mettre en place, il m’a fallu définir
clairement ce qu’est un spam et me documenter sur les lois en vigueur.
Q U ’ EST ‐ CE QUE LE SPAM ?
Ce mot, appliqué aux courriels, signifie courriel non sollicité envoyé massivement.
Michaël Massé | HPJCC, une solution de marketing par courriel 20
21. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
Non‐sollicité désigne un destinataire qui n’a pas donné son explicite et vérifiable
accord pour que le message lui soit envoyé. Massif signifie quant à lui que le courriel
en question n’est qu’une partie d’un vaste envoi au contenu identique.
Il s’agit de spam seulement et seulement si le courriel est à la fois non sollicité et
envoyé de manière massive.
LE PROBLÈME SPAM
Le spam est un véritable fléau de nos jours.
En plus de coûter une fortune aux entreprises ‐ environ 130 milliards par an (Jennings,
2009), les pourriels ont un impact significatif sur l’environnement et n’est pas qu’une
pollution visuelle.
Le spam génère indirectement une importante hausse de la consommation électrique
des réseaux et serveurs informatiques.
Par an, on estime que les spam utilisent 33 milliards de KWh soit l’équivalent de la
puissance fournie par quatre grandes nouvelles centrales électriques au charbon. (ICF
International & McAfee, Avril 2009)
PERMISSION, PERMISSION, PERMISSION …
Le spam est avant tout un problème de consentement que de contenu. Que ce soit une
publicité, une escroquerie, de la pornographie, une offre de repas gratuit, le contenu
n’est pas pertinent pour déterminer s’il s’agit d’un spam ou non. Si le message a été
envoyé massivement et de manière non sollicité alors c’est un spam.
Le maître mot de l’histoire est donc permission ou autorisation ou tout autre mot
désignant que le destinataire veut bien recevoir, en l’exprimant clairement, des
courriels de votre part.
La distinction entre consentement et contenu est importante parce que les législateurs
ont passés énormément de temps à tenter de réglementer le contenu des spam et ce
faisant, ils se sont heurtés à des questions de libertés d’expressions sans se rendre
compte que le problème du spam est seulement lié au mode de livraison.
U NE LÉGISLATION LONGUE À SE METTRE EN PLACE .
Historiquement, on considère que le premier spam électronique a été envoyé en 1978
à 600 personnes qui utilisaient ARPANET. En 2002, nous avions déjà 2,4 milliards.
Il a fallu attendre 2003 pour voir des actions législatives concrètes avec le « CAN‐SPAM
Act 2003 » aux États‐Unis ou la loi « Privacy and Electronic Communications (EC
Directive) Regulations 2003 » en Grande‐Bretagne.
Michaël Massé | HPJCC, une solution de marketing par courriel 21
22. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
Le Canada, dernier pays du G8 à se doter de mesures législatives spécifiques anti‐spam,
avait fait un grand pas avec le projet de loi Bill C‐27 qui avait pour titre abrégé : « Loi
sur la protection du commerce électronique » déposé en 2009.
Cependant, le 30 Décembre 2009, en raison de la prorogation du Parlement alors que
le projet de loi était en deuxième lecture au Sénat, ce dernier fut abandonné.
Le gouvernement canadien a alors déposé, le 25 Mai 2010, un nouveau projet de loi
appelé C‐28 : Loi visant à promouvoir l’efficacité et la capacité d’adaptation de
l’économie canadienne par la réglementation de certaines pratiques qui découragent
l’exercice des activités commerciales par voie électronique et modifiant la Loi sur le
Conseil de la radiodiffusion et des télécommunications canadiennes, la Loi sur la
concurrence, la Loi sur la protection des renseignements personnels et les documents
électroniques et la Loi sur les télécommunications. En abrégé, son nom est le suivant :
LEPI soit Loi visant l’élimination des pourriels sur les réseaux Internet sans fil
(Ministère de l'Industrie du Canada, 2010).
Ce projet de loi reprend le projet C‐27 avec certains éléments qui avait été ajoutés à
ce dernier à titre d’amendements.
La LEPI est l’aboutissement d’un processus amorcé en 2004 par le gouvernement du
Canada : le Plan d’action anti‐pourriel pour le Canada.
En plus d’établir un cadre législatif et réglementaire pour lutter contre le pourriel au
Canada, ce projet de loi vise à accorder à des organismes comme le Bureau de la
concurrence, le Commissariat de la protection de la vie privée et le CRTC le pouvoir de
communiquer de l’information et des éléments de preuve à leurs homologues à
l’étranger afin de lutter contre le spam provenant de l’extérieur du Canada.
Il est à noter que la législation anti‐spam au Canada va plus loin que celle existante
aux États‐Unis. Il existe cinq principales différences :
Une autorisation préalable est nécessaire à l’envoi,
L’autorisation est requise pour l’envoi de messages SMS,
Les liens de désabonnement doivent rester actifs pendant 60 jours,
Les demandes de désinscription doivent être honorées dans les 10 jours,
Les individus ont le droit de poursuivre les spammeurs.
COMMENT ÊTRE CONFORME AVEC LES LOIS EN VIGUEUR ?
Tout bonne société ou individuel qui ont pour mandat d’envoyer massivement des
courriels commerciaux se doivent de connaître les législations en vigueur.
Michaël Massé | HPJCC, une solution de marketing par courriel 22
23. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
Au Canada, la loi énonce les règles qui doivent être suivi mais il est également
important de suivre les directives de la CAN‐SPAM afin de pouvoir se protéger contre
d’éventuelles plaintes.
À QUI DES COURRIELS PEUVENT ÊTRE ENVOYÉS ?
Des courriels peuvent être envoyés à tout le monde à partir du moment où l’émetteur
possède une autorisation explicite de le faire. Par contre, il n’est pas permis de
renvoyer des courriels à des personnes qui ont demandé à être désinscrit de la liste
d’envoi.
La segmentation des listes de contacts en se basant sur les préférences exprimées, les
comportements observés, la démographie ou tous autres critères pertinents permet
de diminuer le taux de plaintes par rapport aux infolettres envoyées.
Pour assurer le consentement explicite des personnes cibles des infolettres, la
méthode du double opt‐in est particulièrement conseillée. Je développerais cette
méthode dans un chapitre suivant.
Q UAND LES COURRIELS PEUVENT ‐ ILS ÊTRE ENVOYÉS ?
Un peu dans le même ordre d’idée que le qui, les courriels peuvent être envoyés à
n’importe quel moment de la journée tant qu’encore une fois l’émetteur possède les
autorisations pour le faire. Par contre, une personne ne peut être contactée que
pendant dix‐huit mois après avoir obtenu son aval. Cela signifie qu’un système de
rappel doit être mis en place pour être en phase avec la loi Canadienne.
Des études ont montré que certains jours de la semaine sous plus propice à l’envoi
d’infolettres (Bezier, 2008). Cependant, il ne faut pas absolument chercher la journée
idéale pour envoyer les communications mais il faut les envoyer seulement lorsque le
contenu est suffisant et pertinent.
En utilisant des options de préférences pour faire en sorte que vos abonnés puissent
choisir le moment et la fréquence avec laquelle ils reçoivent les courriels permettent
de limiter les faux positifs par rapport aux plaintes pour spam.
Enfin, une dernière astuce concernant le « quand », mettre en place un système
d’aide‐mémoire qui permettra ainsi à la fois d’avoir une preuve du consentement
explicite des abonnés mais aussi de rester en contact régulier avec eux afin d’éviter
des clics intempestifs sur le bouton spam / courrier indésirable.
Q UELS ÉLÉMENTS DOIVENT ‐ ÊTRE PRÉSENTS DANS TOUS LES COURRIELS ?
Certaines informations doivent se retrouver sur tous les envois. En voici ci‐dessous
une liste non exhaustive :
Michaël Massé | HPJCC, une solution de marketing par courriel 23
24. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
L’adresse courriel présente dans le « From » doit être explicitement liée à
l’entreprise émettrice.
Le nom de la compagnie émettrice.
L’adresse postale de la société émettrice.
Les informations de contact de l’entreprise : courriel, téléphone, télécopieur,
etc. …
Le sujet du courriel doit refléter le contenu de celui‐ci.
Un lien de désinscription.
En plus de cela, il faut s’assurer que les informations DNS concordent avec le nom de
la compagnie émettrice.
Aussi, il ne faut pas se limiter aux informations basiques de contacts mais en mettre
un maximum afin que les abonnés puissent avoir l’embarras du choix pour se
désinscrire ou contacter l’émetteur en cas question. Cela inclus aussi le fait de mettre
les bonnes informations dans les bons headers du courriel.
Q U ’ EST ‐ CE QUI DOIT ÊTRE FAIT LORSQU ’ UN DESTINATAIRE NE SOUHAITE PLUS RECEVOIR LES
COURRIELS ?
Les lois sont très claires sur ce point : les sociétés responsables des envois doivent
maintenir des procédures de désabonnement claires et visibles.
De plus, elles s’engagent à effectuer le désabonnement dans les 10 jours suivant la
demande et quel que soit sa forme.
Ensuite, toutes les boites de courriels entrantes doivent être surveillées afin de
répondre à toutes les questions et doléances des abonnées.
Les abonnées doivent facilement pouvoir communiquer avec la personne responsable
de l’envoi. Pour cela, l’entreprise s’engage donc de mettre en place des méthodes
pour qu’elle soit accessible pendant 60 jours à parti de l’envoi.
Suite à ces réflexions, il a été décidé de développer les options suivantes dans un futur
proche :
Proposer diverses possibilités pour se désabonner : adresse courriel, page web,
utilisation des headers,
Utiliser un centre de préférence pour les abonnés puissent choisir de se
désabonner de certaines campagnes plutôt que de toutes les campagnes à la
fois,
Demander aux abonnées pourquoi ils se désinscrivent ainsi on pourra ce qu’il
ne va pas dans les campagnes envoyées,
Acheminer des rapports de désinscription vers un représentant du service
client de l’entreprise émettrice afin qu’ils puissent être examinés plutôt que de
rester dans une boîte courriel sans surveillance.
Michaël Massé | HPJCC, une solution de marketing par courriel 24
25. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
Q UELS SONT LES RISQUES EN CAS D ’ INFRACTIONS ?
Au Canada, la peine maximale dans le cas d’une violation de la loi est de un million de
dollars pour une personne et de dix millions de dollars pour une société ou autre
organisation. Ces amendes sont imposées pour chaque violation, et la réglementation
peut considérer certains types de violations comme étant distinctes pour chaque jour
où la contravention se continue, de sorte que les montants maximaux pour ces
violations pourraient être imposés pour chaque journée où l’on a constaté une
violation. Par exemple, une société qui enverrait des pourriels pendant dix jours
pourrait être tenue de payer jusqu’à 100 millions de dollars.
Il est important de noter que les personnes individuelles et l’État fédéral peuvent
assigner séparément l’émetteur en justice.
IL N’Y A PAS QUE LA LOI
C E QUE LES UTILISATEURS DISENT …
Chaque enquête sur les comportements des utilisateurs de courriels révèle que leur
définition de spam ou pourriel est maintenant beaucoup plus qu’un simple « courriel
commercial non sollicité ».
Les spams comprennent maintenant tout courriel qui n’est plus souhaité même si le
destinataire a bien donné son consentement précédemment.
Return Path a demandé à 1 695 consommateurs en 2008 en leur posant la question
suivante : « que faites‐vous généralement lorsque vous ne souhaitez plus recevoir de
courriels de la part d’une compagnie ? »
La réponse : j’utilise parfois le bouton courrier indésirable ou à chaque fois a été
choisie par 50,9%.
Toujours en 2008, Silverpop a demandé à 400 de ses usagers ce que le mot spam
voulait dire pour eux :
40 % a répondu : courriel que je ne veux pas recevoir.
35 % ont dit : courriel en provenance de toute entité commerciale.
Dans la même étude, les répondants ont été interrogés pourquoi ils ont reporté ce
courriel comme spam :
7 % ont dit que c’est à cause du fait qu’ils ont reçu trop de courriels de la part
de l’émetteur.
7 % ont répondu que c’est lorsqu’ils ont perdu l’intérêt dans les courriels où ils
ont souscrits.
Michaël Massé | HPJCC, une solution de marketing par courriel 25
26. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
En 2007, Epsilon a sondé 119 personnes qui ont utilisé le bouton courrier indésirable.
Il en ressort que 65% d’entre eux ont assimilé ce bouton à l’action de se désabonner
des courriels de l’expéditeur.
C E QUE LES FOURNISSEURS I NTERNET DISENT …
Y AHOO ! M AIL
« Sur le plan opérationnel, nous définissons comme spam les courriels dont les usagers
ne veulent plus dans leur boite de réception. »
AOL
« C’est vraiment ce que veut l’usager, même s’ils ont demandé à recevoir le courriel.
S’il ne possède pas une bonne valeur ajoutée alors ce n’est pas un bon courriel
marketing. Nous voulons nous assurer que nos clients soient heureux. »
G MAIL
« La façon dont Gmail classifie les courriels comme spam dépend grandement des
rapports des utilisateurs. Pour augmenter votre taux de livraison, assurez‐vous que
tous les bénéficiaires de vos listes veulent réellement recevoir vos courriels. »
En résumé, le fait d’être conforme à la loi ne garantit pas que les courriels soient bien
délivrés. Rien n’oblige les fournisseurs de service Internet de délivrer les courriels et
ceux‐ci peuvent refuser de le faire pour n’importe quelle raison.
En fin de compte, il ne faut pas seulement être conforme à la loi. Il faut s’assurer
d’avoir le droit de contacter les destinataires mais surtout s’assurer qu’ils souhaitent
bien continuer de recevoir vos courriels.
Une fois que le terme spam fut clairement défini, j’ai pu m’atteler à créer une listes
des tâches à effectuer afin de gérer tous les aspects du spam dans un outil de
marketing par courriel.
Après avoir étudié comment les différents concurrents d’HPJCC gère le problème du
spam et m’être documenté, j’ai déterminé qu’il fallait que je suive la liste suivante :
Préalables à une solution de marketing par courriel.
Modifications de l’application et analyse d’extensions possibles.
Adaptation de l’architecture physique.
Gestion des listes de contacts.
Monitoring et gestion des exceptions.
Checklist post‐campagne.
Michaël Massé | HPJCC, une solution de marketing par courriel 26
27. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
P RÉALABLES À UNE SOLUTION DE MARKETING PAR COURRIEL
Avant de se lancer tête baissé dans la mise en place d’un système de marketing par
courriel ou de modifier celui‐ci pour mettre en place une politique de gestion du spam,
il y a un certain nombre de choses à vérifier et d’actions à effectuer.
LA RÉPUTATION
Un des aspects qui prend de plus en plus d’importance dans la gestion du spam dans
un système de marketing par courriel est la réputation du serveur et de l’expéditeur.
Une étude de Return Path a démontré que 77% des problèmes de délivrabilité sont liés
à la réputation de l’émetteur. Le contenu du courriel arrive seulement en deuxième
position. (Return Path, 2008)
Cette notion de réputation est déterminante dans le résultat d’une campagne d’e‐
mailing. En effet, une mauvaise réputation engendre de graves difficultés en termes de
délivrabilité des courriels puisque ceux‐ci seront plus facilement marqués comme
spam.
Divers indicateurs sont donc à surveiller de près : nombre de plaintes, de rebonds, de
désabonnements, etc. … Ces facteurs et d’autres permettent aux FAI de déterminer la
réputation du serveur. Ainsi, la réputation de l’expéditeur indique aux fournisseurs
d’accès de la fiabilité de l’émetteur du courriel.
Les facteurs utilisés varient d’un FAI à l’autre. Donc pour bâtir une forte réputation, il
faut se familiariser avec tous les indicateurs dont se servent les FAI :
Les « spam traps » : il s’agit d’une adresse courriel qui semble être valide mais
qui en fin de compte est utilisée par les FAI pour détecter et attraper les
spammeurs. Ces derniers scannent des millions de pages web afin de trouver
des adresses courriels. Les FAI utilisent de vieilles adresses courriels recyclées
en les laissant accessibles sur des forums par exemple. Si un de ces courriels
est utilisé, la réputation de l’émetteur chute radicalement et peut même se
retrouver bloqué.
Une bonne gestion des listes et contacts permet d’éviter ce genre de problème.
L’authentification de l’émetteur : l’utilisation de diverses méthodes
d’authentification comme SPF, Sender ID, DKIM ou Domain Keys aident les FAI
à distinguer les émetteurs légitimes et les spammeurs.
L’adresse IP : l’adresse IP doit avoir un faible taux de plaintes, une gestion
parfaite des désinscriptions ainsi qu’une configuration exacte du domaine
associé. On ne connait généralement pas l’histoire de son adresse IP avant de
Michaël Massé | HPJCC, une solution de marketing par courriel 27
28. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
l’avoir. Il est donc important de vérifier la réputation de son adresse IP au
moment de son obtention.
Le nom de domaine : l’âge de celui‐ci est un facteur important. En effet, les
domaines enregistrés récemment sont suspicieux pour les FAI car généralement
les spammeurs utilisent souvent de jeunes domaines.
Respect des standards : en respectant les RFC en vigueur (RFC 281 et RFC 282),
la réputation du serveur est améliorée.
Reverse DNS : cette méthode est utilisée pour identifier un nom de domaine
associé à une adresse IP. L’adresse IP est un des seuls éléments non falsifiable
et ne pas avoir ce système est en violation avec les normes RFC et est une
exigence pour de nombreux FAI.
Gestion des rebonds : les adresses qui ne sont plus valides doivent être
rapidement retirées des contacts du système car celles‐ci entrainent une
hausse du taux de rebonds et par conséquent, une baisse de la réputation.
Le meilleur moyen pour améliorer le taux de délivrabilité est d’être certifié ou
accrédité par un organisme reconnu comme GoodMail Systems, Sender Score Certified,
Habeas ou SuretyMail. De cette manière, les courriels ont beaucoup plus de chances
d’arriver à destination.
On pourrait croître que pour résoudre les problèmes de réputation, il suffit d’en
changer. Cependant, une nouvelle IP n’est absolument pas gage d’une bonne
réputation.
Les nouvelles adresses IP sont considérées avec méfiance par les FAI car ils n’ont
aucune information sur l’adresse IP utilisée pour envoyer les courriels. On pourrait
comparer la réputation d’une adresse IP à un dossier de crédit.
Il existe des services web permettant de vérifier la réputation d’une adresse IP ou d’un
nom de domaine :
Sender Score (http://www.senderscore.com),
Microsoft Smart Network Data Services (https://postmaster.live.com/snds/),
TrustedSource (http://www.trustedsource.org/),
AOL Postmaster (http://postmaster.aol.com/cgi‐bin/plugh/check_ip.pl).
J’ai donc appliqué ce que j’ai pu annoncer ci‐dessus à HPJCC et il s’est avéré que la
réputation du serveur est bonne voir très bonne avec un Sender Score de 95 (FIGURE 1
‐ SENDER SCORE POUR HPJCC).
Michaël Massé | HPJCC, une solution de marketing par courriel 28
29. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
Ce score reflète la réputation d’une adresse IP utilisée dans le cadre de marketing par
courriel sur une échelle de 1 à 100 (100 étant la meilleure note possible). Il peut
fluctuer dans le temps, un peu comme votre côte de crédit, et mesure la crédibilité
d’un émetteur de courriels. Ce service est géré par la société Return Path et est de
plus en plus utilisé par les filtres anti‐spam afin de déterminer si nos courriels seront
acceptés ou non. S’ils sont acceptés, ce score va aider les mécanismes de filtrage à
déplacer les courriels dans la boite de réception ou dans le dossier spam.
Sender Score est une sorte de classement de l’adresse IP par rapport à toutes les
autres adresses IP suivies par le service dans le monde. Calculé tous les 30 jours en
moyenne, ce score est basé sur une variété de facteurs donc le volume de courriels
envoyés, le nombre de plaintes, le taux d’utilisateurs inconnus, le nombre de « spam
traps » rencontrés et l’infrastructure en place. Par contre, l’algorithme utilisé pour
calculer le score est complétement secret dans le but d’éviter aux spammeurs de
falsifier les résultats et de se faire passer pour de bons élèves.
Cette mesure est très importante pour toutes les sociétés qui effectuent du marketing
par courriel pour la simple et bonne raison que toutes souhaitent que leurs
communications atteignent bien la boite de réception de leurs contacts. Sender Score
est devenu depuis quelques années un élément clé des mécanismes de filtrage utilisé
par les FAI et les sociétés fournissant des solutions anti‐spam (Return Path).
Pour HPJCC, il s’avère que le faible volume et le taux d’utilisateurs inconnu sont les
deux facteurs qui empêchent le système d’avoir un meilleur score. Pour le volume, il
est difficile de mettre en place une quelconque action car cela dépend entièrement du
nombre de fois que les clients vont utiliser HPJCC. Cependant, d’après les ententes
récentes avec nos clients et le fait que le projet passe en phase de commercialisation,
le volume ne devrait rapidement plus être un facteur négatif sur le score.
Par contre, l’autre point faisant pression sur notre Sender Score est une chose à
laquelle on peut apporter des améliorations car le taux d’utilisateurs inconnus mesure
le nombre de tentative d’envois à une adresse courriel qui n’existe pas du système.
Ainsi, une bonne politique de gestion des rebonds permet d’augmenter le score de ce
critère. J’aborderais cette partie de la gestion du spam dans un système de marketing
par courriel plus loin car ceci a été une de mes plus importantes tâches au cours de ses
derniers mois.
Un autre point important dans un rapport Sender Score, c’est le taux d’acceptation
(« Accepted Rate »). Ce taux exprime essentiellement le nombre de courriel qui n’ont
pas été rejetés par les FAI qui sont surveillés par Return Path. Plus ce taux est élevé,
plus cela signifie que vos courriels arrivent à leurs destinataires.
Michaël Massé | HPJCC, une solution de marketing par courriel 29
30. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
HPJCC possède un bon taux de d’acceptation mais celui‐ci pourrait encore être
amélioré en mettant en place un certain nombre de mesures : authentification des
courriels avec DKIM, SPF ou Sender ID, inscription à des listes blanches et s’assurer
qu’on est présent sur aucune listes noires, gestion des Feedback Loop pour déterminer
si un des clients est un spammeur, … Toutes ces mesures seront abordées par la suite
dans ce document.
J’ai également utilisé un autre service pour vérifier la réputation d’HPJCC car, même si
le service fourni par Return Path est largement utilisé par les FAI et sociétés
fournissant des solutions anti‐spam, avoir plusieurs sources de données est toujours
une bonne chose pour améliorer son service.
Ainsi, j’ai utilisé TrustedSource Internet Reputation Monitor afin de m’aider à
déterminer les points à améliorer afin d’augmenter la réputation du serveur et ainsi
faire en sorte que plus de courriels arrivent dans la boite de réception (Figure 2 ‐
rapport Trustedsource pour HPJCC).
Encore une fois, les résultats montrent que la réputation du serveur est très bonne du
fait que nous sommes au niveau minimum de risque.
Le volume est également régulier mis à part un pic d’utilisation. Certains de nos clients
possèdent un référentiel très important et parfois effectuent des envois à tous leurs
contacts.
En résumé et après ces vérifications, il s’avère que le serveur possède une très bonne
côte auprès de société fournissant des services de monitoring de réputation comme
Return Path ou TrustedSource.
Ma conclusion a été la suivante : malgré le fait que le serveur soit bien vu, il nous
fallait améliorer les points suivants : le volume et la gestion des rebonds.
LE « WHITELISTING »
Une fois que la réputation du serveur a été vérifiée, j’ai pu m’atteler à l’inscrire sur
différentes listes blanches toujours dans le but d’améliorer le taux de livraison des
courriels envoyés par le système.
Au commencement de mes recherches sur la gestion du spam dans les systèmes de
marketing par courriel, je pensais qu’il fallait s’inscrire sur un maximum de liste
blanche.
Cependant, je me suis rendu compte qu’aujourd’hui il existe beaucoup de confusions
et d’incompréhensions dans le « whitelisting » et particulièrement sur son effet et son
Michaël Massé | HPJCC, une solution de marketing par courriel 30
31. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
fonctionnement. Comme un grand nombre de choses dans le marketing par courriel, la
situation a évolué.
Le système de liste blanche existe depuis le début du marketing par courriel où le
filtrage du spam était plus simple. Le blocage était généralement effectué
manuellement sur une base site par site ou par l’utilisation de listes DNS noires. Une
liste noire étant une liste d’expéditeurs qui ont été exclus ainsi les courriels ne sont
pas livrés. À l’opposé, la liste blanche est en quelque sorte un laissez‐passer pour les
expéditeurs. En général, les listes blanches n’étaient pas aussi largement utilisés que
les listes noires. Elles n’étaient là que pour traiter les exceptions et les échecs de
filtrage, comprenant les faux positifs des listes DNS noires.
Dans les années 90, certains FAI ont commencé à utiliser le « whitelisting » pour le
marketing par courriel. Le volume grandissant et la terminologie du marketing par
courriel se développant, de nombreux courriels se sont retrouvés pris par les systèmes
de filtrage du spam, relativement simple à l’époque. Ces listes blanches étaient
souvent gardées secrètes par crainte que les spammeurs les découvrent.
Aujourd’hui, ces listes se sont radicalement sophistiquées et font partis de
l’infrastructure de filtrage d’un FAI. Toujours basées sur des listes d’adresses IP ou
courriels, ces listes ne sont plus un laissez‐passer direct pour une bonne livraison. Par
contre, souvent, ces listes donnent un traitement préférentiel variant d’un fournisseur
d’accès à l’autre. Encore que tous les FAI ne possèdent pas de listes blanches comme
Hotmail et Gmail.
Ainsi, les listes sont désormais plus utilisé d’une manière réactive plutôt que proactive
et les FAI les utilisent comme dernier recours pour le filtrage des problèmes au lieu
d’une procédure standard pour les expéditeurs à haut volume.
En résumé, les listes blanches sont des outils importants, utiles et parfois nécessaires
dans certains cas mais cela ne remplacent pas de bonnes pratiques de gestion des
listes et le respect des normes et lois. Être présent dans des listes blanches n’est pas
une assurance de bonne livraison des courriels envoyés par le système.
Une fois cette mise au point faite, j’ai pu commencer à inscrire HPJCC sur les listes
blanches de différents FAI.
Après avoir recherché quels sont les FAI qui proposent des listes blanches où s’inscrire,
il s’est avéré que seulement AOL et Yahoo en propose. Hotmail et Gmail n’en
proposent pas. Je n’ai pas pu trouver l’information pour Bell et Videotron (Word To
Wise, 2010).
Michaël Massé | HPJCC, une solution de marketing par courriel 31
32. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
Pour pouvoir s’inscrire à la liste blanche d’AOL (http://postmaster.aol.com/cgi‐
bin/whitelist/whitelist_guides.pl), il faut respecter les critères suivants :
Paramétrer la Feedback Loop d’AOL et donc ses critères (j’expliquerais ce
terme plus loin dans le document) :
o Avoir les adresses courriel fbl@nomdedomaine.com et
abuse@nomdedomaine.com paramétrées et valide.
o Avoir un enregistrement DNS WHOIS valide pour le domaine en question.
o Enregistrer l’adresse abuse auprès du service AOL pour qu’ils puissent
envoyer les plaintes des utilisateurs vers fbl@nomdedomaine.com.
o Confirmer la paternité sur l’adresse IP.
Les courriels provenant de l’adresse IP qui sera dans la liste blanche doivent
être conforme avec la loi CAN‐SPAM. D’où la nécessité de connaître cette lois
même si on ne commerce pas à partir des États‐Unis.
Posséder les preuves pour prouver à AOL que les courriels envoyés ont bien été
sollicité par les destinataires dans le cas où AOL demande des justifications.
Ces preuves peuvent être la date et l’heure à laquelle l’adresse courriel a été
obtenue et comment l’adresse a été obtenue.
De posséder une bonne gestion des rebonds afin d’éviter de renvoyer plusieurs
fois un courriel à une adresse qui n’existe plus.
Cependant, il est indiqué clairement qu’en aucun cas le respect de ses exigences ou la
présence dans la liste blanche, n’assurera que les courriels seront bien délivrés dans
tous les cas.
Premier constat pour pouvoir nous inscrire sur la liste blanche d’AOL, à ce stade, il
nous manque :
Les adresses courriels abuse@hpjcc.com, fbl@hpjcc.com et alerts@hpjcc.com
doivent être crées,
Une gestion complète des rebonds.
Ces adresses courriels seront utilisées pour gérer l’aspect livraison des courriels.
L’adresse abuse@ est absolument nécessaire car elle est utilisée par les FAI pour
traiter les plaintes directes des abonnées ou d’autres problèmes liés à
l’authentification.
Le courriel débutant par fbl@ est utilisé dans le cadre de la mise en place des
procédures traitant les plaintes pour spam émises par les destinataires des courriels.
La boite alerts@ va servir à gérer les diverses erreurs et alertes qui peuvent être
déclenchées par le moteur d’envoi de courriel par exemple.
Michaël Massé | HPJCC, une solution de marketing par courriel 32
33. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
Donc même si on possède une check‐list des actions à mener pour mettre en place une
gestion complète du spam dans un système de marketing par courriel, j’ai pu me
rendre compte qu’on ne peut pas effectuer toutes ses tâches de manière linéaire mais
on doit en effectuer une majorité en parallèle.
J’ai tout de même regardé les critères d’inscription à la liste blanche chez Yahoo
(http://help.yahoo.com/l/us/yahoo/mail/postmaster/bulkv2.html). La procédure
consiste à remplir un formulaire qui sera traité par les équipes de Yahoo. Par contre,
eux aussi possèdent une liste de critères qui m’a empêché d’inscrire HPJCC dans leur
liste blanche :
Utilisation de DKIM et/ou DomainKey pour signer les courriels sortant du
serveur.
Gestion précises des rebonds : combien de fois une adresse courriel doit être
reconnue comme « soft bounce » pour être retirées de la liste ? Combien de
fois pour une adresse courriel qui « bounce en hard » ?
Deuxième constat, ici aussi on a besoin d’une gestion des rebonds déjà mise en place
pour pouvoir s’inscrire à leur liste. Mais nous voyons également un critère
supplémentaire lié à l’authentification des courriels sortants en obligeant au moins
l’utilisation de DKIM.
Une fois le nombre de listes blanches de FAI épuisé, je me suis dirigé vers DNSLW qui
est un service de « whitelisting » utilisé entre autre par la solution anti‐spam
SpamAssasin. Ce service, leader dans ce segment avec 50 000 organisations qui l’utilise
dans le monde, contient près de 100 000 entrées de bons serveurs mails. En provenant
de l’un des quatre niveaux de confiance de filtrage de DNSLW, les courriels ont plus de
chances d’arriver à bon port. Ces quatre niveaux sont les suivants : aucun, faible,
moyen et haute confiance (Figure 3 ‐ Niveau de Confiance chez DNSWL.org). Le
passage d’un niveau à un autre dépend en autres de la réputation du serveur d’envoi
et du nombre de plaintes reçus. C’est une confiance qui se met en place sur le long
terme.
Pour conclure sur le « whitelisting », il faut dans la plupart des cas que l’application
soit développée ou particulièrement bien avancée dans son développement pour
pouvoir s’inscrire à une liste blanche.
En résumé, il faut que l’application possède une gestion complète des rebonds,
l’authentification des courriels sortants avec DKIM et les Feedback Loop misent en
place.
Michaël Massé | HPJCC, une solution de marketing par courriel 33
34. [ LA GESTION DU SPAM DANS UN SYSTÈME DE MARKETING PAR COURRIEL ] 31 octobre 2010
Deux dernières choses à faire dans les préalables à mettre en place pour un système
de marketing par courriel :
Créer des adresses courriels dans les FAI majeurs,
S’enregistrer auprès du service Abuse.net.
Après mes différentes recherches, je conseillerais de créer deux types de comptes
dans tous les FAI majeurs. En effet, un compte sera utilisé à des fins de tests tandis
que l’autre courriel sera utilisé pour le support, outils et tous ce qui est liés au
transport des courriels au niveau des FAI.
Par exemple, Windows Live SNDS nécessite un compte courriel Windows Live (ex.
Hotmail) afin de s’inscrire à leur service. AOL, eux, demandent des adresses courriels
fbl@ et abuse@.
Autre conseil, ne pas utiliser de compte personnel pour cela, imaginons que la
personne propriétaire du compte quitte votre société. Un transfert de paternité peut
s’avérer difficile.
Abuse.net est un service qui permet aux utilisateurs de consulter une base de données
qui leurs permettra d’entrer en contact avec la personne responsables des courriers
considérés comme indésirables par les destinataires. En quelque sorte, on pourrait
comparer ce service à un Pages Jaunes des adresses courriels abuse@ en fournissant
une adresse IP ou un nom de domaine.
M ODIFICATIONS DE L ’ APPLICATION ET EXTENSIONS ENVISAGÉES
Dans cette section, je vais aborder ce qu’il faut voir apparaître dans un courriel envoyé
par un système de marketing par courriel, quelles sont les informations à rajouter dans
les header afin de combattre le spam et avoir des données pour les statistiques. Enfin
j’aborderais des extensions possibles à l’application actuelle afin de toujours amélioré
le service et automatiser certaines actions.
D’après les lois en vigueur, un certain nombre d’informations doivent être présente
dans le courriel. Ces informations ont plusieurs buts : informer pourquoi le
destinataire reçoit le courriel, montrer l’identité de l’émetteur et permettre au
destinataire de ne plus recevoir vos communications.
Nous devons donc nous assurer que lors d’un envoi les informations suivantes soient
présentes :
Nom de l’émetteur,
Adresse postale physique de l’émetteur,
Michaël Massé | HPJCC, une solution de marketing par courriel 34