Presentation Habilitation à Diriger des Recherches

Partie Curriculum Vitae
Partie Recherche (Contributions Scientiﬁques)
Conclusions/Perspectives
De l’importance des méthodes de suppression
de fond pour la détection d’objets mobiles
État de l’Art, Nouvelles Approches et Perspectives
Thierry BOUWMANS
Laboratoire MIA - Département d’Informatique
Université de La Rochelle
14 Novembre 2014
Thierry BOUWMANS Habilitation à Diriger des Recherches 14/11/2014 1 / 77

Plan de la Présentation
1 Partie Curriculum Vitae
Parcours universitaire/professionel.
Activités d’enseignements.
Activités de recherche.
2 Partie Recherche (Contributions Scientiﬁques)
Problèmatique des méthodes de soustraction de fond.
Approches fondées sur les concepts ﬂous.
Réduction de dimension discriminative et mixte.
Décomposition en matrices de rang faible et
parcimonieuse.
3 Conclusions/Perspectives

parcimonieuse.

Parcours Universitaire
1 Formation Doctorale
1997 : Doctorat de l’Université du Littoral Côte d’Opale
(ULCO-Calais), mention très honorable.
Apport de la logique floue dans un système d’analyse de
scène en 3D par multivision.
2 Parcours Professionnel
1997-1999 : Contrat PRAG - Recherche post-doctorale
(Univ. du Littoral Côte d’Opale, Calais)
Fusion floue de données (intégrales floues) pour la
multivision.
2000-2001 : ATER Section 61 (1 an)
(Dept. Informatique, L3i, Univ. de La Rochelle)
01/02/2001-en cours : MCF (Section 61)
(Dept. Informatique, L3i puis MIA, Univ. de La Rochelle)

parcimonieuse.

Activités d’enseignements
Disciplines Enseignées en Licence et/ou Master
1 Informatique d’usage et méthodologie universitaire.
(Resp. en Licence 1 Sciences) - UE Transversales
2 Traitement, analyse et synthèse d’images.
(Resp. en Licence 3) - Sections 27 et 61
3 Informatique et programmation .
(Base de données, génie logiciel, C, C++) - Section 27

Responsabilités Administratives et Pédagogiques (Partie 1)
Formation Informatique
DIRECTEUR DES ÉTUDES
Licence IUP Génie Informatique 2iéme année (2002-2003,
1 an)
RESPONSABLE PÉDAGOGIQUE PAR INTÉRIM
Licence Informatique (01/01/2013-30/06/2013, 6 mois)
Formation Jeux Vidéo et Média Interactifs (co-habilitation)
DIRECTEUR DES ÉTUDES
DESS Jeux Vidéo et Média Interactifs - Univ. La Rochelle
(2001-2004, 3 ans)
RESPONSABLE ADMINISTRATIF ET PÉDAGOGIQUE de la
coloration "Image".
MASTER JVMI (2004-2008, 4 ans)

Responsabilités Administratives et Pédagogiques (Partie 2)
Formations hors discipline (domaine "Lettres Modernes")
RESPONSABLE PÉDAGOGIQUE DES ENSEIGNEMENTS
D’INFORMATIQUE
DEUG Lettres Modernes (2001-2004, 3 ans)
2 UEs (Informatique d’usage niveau 1 et niveau 2)
RESPONSABLE PÉDAGOGIQUE DES ENSEIGNEMENTS
D’INFORMATIQUE
Licence Professionnelle Lettres, Cultures et Nouveaux
Média (2002- en cours, 12 ans)
4 UEs (Environnement informatique, création et
organisation de site web, etc...)

parcimonieuse.

Activités de recherche
Domaine de Recherche Scientifique
Détection d’objets mobiles par des méthodes de
suppression de fond dans des séquences vidéos acquises
dans des environnements complexes.
Contributions scientifiques (seconde partie) :
1 États de l’art complets dans le domaine de la soustraction
de fond.
2 Approche fondée sur les concepts flous. (Fida El Baf)
3 Approche fondée sur la réduction de dimension
discriminative et mixte. (Diana Farcas et Cristina Marghes)
4 Approche fondée sur la décomposition de rang faible et
parcimonieuse. (Charles Guyon)

Projets de Recherche (1) - Pourquoi je me suis intéressé aux méthodes de suppression
de fond ?
Projet Aqu@thèque (2000-2003) : Détection des poissons pour
la reconnaissance de l’espèce sélectionnée par l’utilisateur.
Détection de poissons (Aquarium La Rochelle).

Projets de Recherche (1) - Pourquoi je me suis intéressé aux méthodes de suppression
de fond ?
Challenges : Formes et couleurs très variées, variations
lumineuses locales et globales, lentes et rapides, mouvement
des algues...
SG, MOG et KDE pas assez performants [SIGMAP 2007].
Nécessité de méthodes plus robustes aux variations lumineuses
et aux fond dynamiques (seconde partie).

Projets de Recherche (2)
Projet Voile (Société JPS et BSG DEVELOPPEMENTS, La
Rochelle, 2000-2005).
Optimisation des réglages de la forme de la voile
(Entrainement). Base de données de réglages (Course).
Comparaison entre entrainement et course.
Détection de lignes (bandes) ajoutées dans la voile.
Variations lumineuses très fortes (voile = surface réﬂéchissante).
3 Contrats (2 DEA, 1 Doctorat). Pas de publications possibles
car projet conﬁdentiel !
Détection de la forme de la voile.

Projet Mertail (Verena Trenkel, IFREMER, Nantes, 2004-2007).
Recensement des espèces halieutiques comme les
langoustines.
Environnement marin avec peu ou beaucoup de luminosité
et déviation colorimétrique (couleur verte).
Publication : 1 Conférence.
Détection de langoustines.

Projet "Analyse des jets d’air turbulents" (Amina Meslem,
LEPTIAB, La Rochelle, 2007-2009).
Détermination de la forme optimale de la buse pour
optimiser le ﬂux d’air dans les ventilations.
Caractéristiques de formes (Calcul de surface, etc...).
Contrat BQR (Bonus Qualité Recherche).
Publications : 1 Journal, 1 Conférence, 1 Présentation GDR.
Analyse des jets d’air turbulents par traitement d’images.

Projet "Restauration de la continuité écologique" (Laurent David,
LEA, Poitiers, 2007-2009).
Etude des comportements des poissons dans les passes.
Optimisation des passes pour des ouvrages de montaison
sur les rivières.
Détection des poissons par suppression de fond. Poissons
peu visibles. Trajectoires.
Détection de poissons dans des passes (Bassin d’expérimentation).

Encadrement Scientiﬁque
Thèses (4) : Fida El Baf (2005-2009), Charles Guyon
(2010-2014), Andrews Sobral (2013- en cours) et Caroline
Pacheco (2013- en cours).
Stage niveau M2 (12) : 6 stages "recherche" et 7 mini
projets de M2 Recherche/DEA.
Stage ERASMUS (11) : Licence/Master/Doctorat
(Roumanie, République Tchèque) dont Diana Farcas et
Cristina Marghes.
Stage d’étudiants étrangers hors Europe (5) : 2 (Islamic
Azad University, Iran), 1 (Univ. Timisoara, Roumanie),
Zhenjie Zhao (Nankai University, Chine), Sajid Javed
(Kyungpook National University, Corée du sud).

Rayonnement Scientiﬁque - (1) Aspect démarche structurante et fédératrice dans le
domaine.
1 conférence invitée (BMC Workshop à ACCV 2012,
Corée).
2 activités éditoriales (lead guest editor) :
1 1 numéro spécial dans MVA (12 papiers) - Juillet 2014.
Faire émerger des approches nouvelles dans le domaine.
2 1 livre (handbook) avec CRC Press (25 Chapitres) -
Juillet 2014.
Regroupement des travaux des équipes leaders sur la
dernière décennie. Accompagné d’un site web avec
ressources mises à jour.
1 comité de programme (workshop international) :
ARTEMIS 2010 (sous la demande de Jordi Gonzàlez,
CVC, Espagne).

Rayonnement Scientiﬁque - (2) Aspect service à la communauté scientiﬁque.
Relecteur pour des revues internationales :
IEEE (PAMI, TIP, etc...), SPRINGER (IJCV, MVA, SVIP,
etc...), ELSEVIER (CVIU, IVC, etc...) et IET-CV.
11 (2011), 15 (2012), 36 (2013), 55 (au 01/09/2014)
Relecteur pour des conférences internationales :
AVSS (3) , ICPR (3), ICIAP (3), ICIP (15) en 2014.
Area Chair (méta-relecteur) : IEEE WACV 2015 (sous la
demande de Fatih Porikli, NICTA, Australie).
Participation à des jurys de thèse :
1 En France (3) : Univ. La Rochelle.
2 Hors France : Univ. Autonoma de Barcelona (Espagne) et
Univ. of Utago (Nouvelle-Zélande).

Rayonnement Scientiﬁque - (3) Aspect recherche collaborative et capitalisation des
connaissances.
Site web professionel : Toutes mes activités et mes
publications. (https ://sites.google.com/site/thierrybouwmans/)
4 258 visites et 2 584 visiteurs différents (Source Google
Analytics au 01/09/2014).
Background Subtraction Website 1
: Environ 1500
publications recensées et classées + 20 datasets + 70 codes.
29 870 visites et 15 854 visiteurs différents (Source Google
Analytics au 01/09/2014).
BGSLibrary en C et OpenCV : 35 algorithmes de background
subtraction (A. Sobral, 2012).
LRSLibrary en Matlab : 70 algorithmes RPCA et tenseurs (A.
Sobral, 2014).
1. https://sites.google.com/site/backgroundsubtraction/

Publications/ Diffusion des travaux
Disponibles sur HAL et sur les réseaux sociaux "Recherche"
Academia, Research Gate, Science Stage et Publication List.
Catégorie Nombre
Editorial 2
Chapitre de livre 6
Journaux internationaux 7
Conférences internationales 26
Total 41
Publications par type.
All Since 2009
Citations 625 590
h-index 11 10
i10-index 12 11
Indices bibliométriques.
(Source Google Scholar au
01/09/2014.)
6 sites web accompagnant chacune des approches
développées avec les codes correspondants.

Décomposition en matrices de rang faible et parcimonieuse.
parcimonieuse.

De l’intérêt des méthodes de soustraction de fond
Détection d’objets mobiles dans des vidéos acquises par des
caméras ﬁxes.
1 Multitudes d’applications : Vidéo surveillance intelligente
(activités humaines, animales, protection d’environnement
naturel), capture de mouvement optique, interaction
Homme-Machine, codage et transmission vidéo, etc..
2 Première étape avant suivi, reconnaissance ou
reconstruction 3D de l’objet mobile.
3 Objets divers de formes, de couleurs et de textures très
variées.
4 Scènes diverses d’intérieurs ou d’extérieurs avec une
grande diversité d’environnements et de conditions
d’éclairage.
Multitude de challenges et de méthodes dans la littérature (plus
de 1500 papiers recensés).

Challenges
Problématiques applicatives (1) - Caractéristiques et contraintes visuelles.
Bruit, ajustement des paramètres de la caméra, vibration de la
caméra, variations lumineuses, fond peu visible ou pas, camouﬂage
en couleur, trous dans l’objet mobile, objet du fond déplacé ou inséré,
fonds dynamiques, reprise ou arrêt d’un objet mobile, taille des
objets mobiles et ombres.
Fausses détections (fonds dynamiques).

Processus Commun.
Problématiques applicatives (2) - Caractéristiques et contraintes algorithmiques.
Autres points clés :
Caractéristiques (descripteurs) : Couleur, texture,....
Stratégies : Multi-caractéristiques, multi-échelles, ....
Contraintes de temps-réel et d’encombrement mémoire limité.

Historique.
Evolution du domaine.
1990-1999 : Différence consécutive entre deux voire trois
images, ou modélisation du fond par moyenne, médiane et
histogramme temporel. Capacité de calcul limitée des
ordinateurs.
2000-2005 : Modélisations plus élaborées avec les
modèles statistiques comme les MOG (255), KDE (90) et
PCA (30).
Puis apparition des modèles ﬂous [Zhang et Xu (2006)][El
Baf et al. (2008)] (51), des modèles par ACP robustes
[Candès et al. (2009)] (190), et des modèles à bases de
tenseurs [Wu et al. (2011)] (10).

Contexte.
Constat et analyse du domaine en 2005.
1 Manque d’un cadre commun : Développées dans des
contextes différents, les méthodes n’étaient pas
systématiquement explicitées et abordées de façon
optimale avec le même formalisme.
2 Manque de progrès scientiﬁque : Recherches
seulement sur les modèles (MOG, KDE et PCA), et les
autres modèles étaient souvent peu ou pas examinés.
3 Manque d’une base de données commune
sufﬁsamment large pour couvrir tous les challenges
possibles et possédant la vérité-terrain pour toutes les
images de chaque séquence. Depuis 2012,
ChangeDetection.net (2012 et 2014) et BMC 2012 (BMC
2014).

États de l’art.
Contribution structurante dans le domaine.
Classiﬁcation originale des méthodes suivant le modèle
mathématique utilisé.
Différents états de l’art portant sur :
1 Toutes les catégories de modèles : Revue sur plus de
330 papiers (1) Tous les modèles [COSREV 2014]
[Handbook CRC Press 2014 Chapter 1 et 2]
2 Une catégorie de modèles : (2) Modèles ﬂous (50) sous la
demande de Lucia Maddalena (ICAR, Italie) [Handbook
2012 Chapter 5], (3) décomposition en matrices de rang
faible et parcimonieuse (190) [en rédaction], (4) modèles
statistiques (360) [RPCS 2011][Handbook 2010 Chapter 3].
3 Une sous-catégorie de modèles : (5) Mélange de
Gaussiennes (250) [RPCS 2008], (6) réduction de
dimension (60) [RPCS 2009], (7) ACP robustes (70) [CVIU
2014][INTECH 2012].

parcimonieuse.

Approches fondées sur les concepts flous
Prise en compte de l’imprécision et de l’incertitude.
Travaux de thèse de Fida El Baf (2005-2009).
Directeur de thèse : Bertrand Vachon (10%).
Encadrant Scientifique : Thierry Bouwmans (90%).
Modélisation floue du fond [ISVC 2008][OTCBVS 2009].
Classification floue des pixels en fond/objets mobiles
[WIAMIS 2008][FUZZ-IEEE 2008][OTCBVS 2008].
Mise à jour adaptive floue de l’image du fond [ICIP 2008].

Modélisation ﬂoue du fond.
Publication [ISVC 2012]
Estimation des paramètres des MOG peut être faussée à
cause de données manquantes ou du bruit.
Approche proposée : Introduction d’un facteur
d’incertitude sur la moyenne et la variance pour les MOG
par les ensembles ﬂous de Type-2 proposée par Zheng et
al. (2008).

Distribution des mélanges de Gaussiennes ﬂoues :
1 Incertitude autour de la moyenne (T2F-MOG-UM) :
η (Xt , ˜µ, ) =
1
(2π)
3
2 | |
1
2
c∈{R,V,B}
exp −
1
2
Xt,c − ˜µc
σc
2
avec ˜µc ∈ µc
, µc
2 Incertitude autour de la variance (T2F-MOG-UV) :
η Xt , µ, ˜ =
1
(2π)
3
2 | |
1
2
c∈{R,V,B}
exp −
1
2
Xt,c − µc
˜σc
2
avec ˜σc ∈ [σc, σc]

Les facteurs km et kν déterminent les intervalles dans
lesquelles les paramètres du mélange de gaussiennes
varient :
µ = µ − kmσ, µ = µ + kmσ, km ∈ [0, 3] , (1)
σ = kνσ, σ =
1
kν
σ, kν ∈ [0.3, 1] . (2)
car 99% des données sont dans l’intervalle
[µ − 3σ, µ + 3σ].
Résultats optimaux pour les valeurs (expérimentales) :
km = 2 et kv = 0.9.

Classiﬁcation Fond/Objets Mobiles
La longueur H (X) = ln (h (X)) − ln h (X) qui décrit
l’incertitude de l’entrée X au T2-EF. H minimum quand
incertitude minimale.

Test de correspondance d’appartenance aux
Gaussiennes
H (Xt ) < kσ
où k = 2.5 est un seuil constant déterminé
expérimentalement.
Mise à jour des Gaussiennes ﬂoues
Processus identique aux MOG de Stauffer et Grimson
(1999).

Classification floue des pixels en fond/objet.
Publication [FUZZ-IEEE 2008]
Combinaison de résultats venant de différentes caractéristiques
(Couleur, contour, texture, mouvement, stéréoscopique).
Approches traditionnelles : "OU" ou "ET" logique, moyenne,
etc...
Première approche floue proposée par Zhang et Xu (2006) avec
l’intégrale de Sugeno (Echelle ordinale).
Agrégation non linéaire de tous les résultats et prise en compte
de la fiabilité de la source.
Approche proposée : Agrégation avec l’intégrale de Choquet
(Echelle cardinale) car les pixels n’ont pas de relation d’ordre entre
eux mais plutôt une relation d’ensemble.

Classification floue des pixels en fond/objet.
Publication [FUZZ-IEEE 2008]
Agrégation de caractéristiques couleur et texture avec
l’intégrale de Choquet (Cµ (x, y)) pour plus de robustesse
aux variations lumineuses.
Couleur : RGB, HSV,
YCrCb, Ohta, etc..
Texture : LBP, STLBP,
ELBP, etc...
Classification des pixels :
Si Cµ (x, y) < T
alors pixel (x, y) est classé en
"objet mobile".
T est un seuil fixe.

Mise à jour adaptive floue de l’image du fond.
Publication [ICIP 2008]
1 Mise à jour non sélective (Blind update) :
Bt+1 (x, y) = (1 − α) Bt (x, y) + αIt (x, y) (3)
où α est un coefficient d’apprentissage compris entre 0 et 1.
Pollution par les pixels "objets mobiles" !
2 Mise à jour sélective (Selective update) :
Bt+1 (x, y) = (1 − α) Bt (x, y) + αIt (x, y) (4)
si pixel (x, y) ∈ Fond
Bt+1 (x, y) = Bt (x, y)
si pixel (x, y) ∈ Objets Mobiles
Décision binaire. Si fausse classification, fausse détection
renforcée !

Mise à jour adaptive ﬂoue de l’image du fond.
Publication [ICIP 2008]
Approche proposée : Mise à jour adaptive suivant le degré de
classiﬁcation à la classe "fond" ou "objets mobiles" en utilisant le
résultat de l’intégrale de Choquet comme suit :
Bt+1 (x, y) = µF Bt (x, y) + (5)
µB ((1 − α) Bt (x, y) + αIt (x, y))
où µF = 1 − µB. µF et µB sont les degrés d’appartenance du pixel
(x, y) aux classes fond/objets mobiles.
µB est une fonction de la valeur de Cµ (x, y) avec :
µB = 1 pour Max (Cµ (x, y))
µB = 0 pour Min (Cµ (x, y))

Concepts ﬂous : quelques résultats qualitatifs.
Evaluation sur la base de données I2R. Plus de résultats sur le site
T2FMOG 2
.
Image Originale MOG Stauffer T2-FMOG-UM T2-FMOG-UV
(1999) El Baf et al.(2008) El Baf et al. (2008)
Cas de vibrations de la caméra - moins de faux positifs.
2. http://sites.google.com/site/t2fmog/

Concepts flous : quelques résultats qualitatifs.
Evaluation sur la base de donnée PETS 2006 et Wallflower
disponible à l’époque. Plus de résultats sur le site Fuzzy Foreground
Detection 3
et Fuzzy Background Maintenance.
Image Originale Vérité terrain Sugeno-Ohta Choquet-YCrCb
Xu et Zhang (2006) El Baf et al. (2008)
1) Classification floue - Silhouettes mieux détectées, moins de faux positifs
Image Originale Vérité terrain Selective Adaptative floue
2) Mise à jour floue - Silhouette mieux détectée (tête).
3. http://sites.google.com/site/fuzzyforegrounddetection/

Concepts flous : quelques résultats quantitatifs.
Modélisation Floue en termes de faux positifs (FP) et faux
négatifs (FN).
Méthode Type Image Image Image Image Total Moyenne Moyenne d’erreurs
d’erreurs 271 373 410 465 d’erreurs d’erreurs sur toute la séquence
MOG FN 0 1120 4818 2050
Stauffer et Grimson FP 2093 4124 2782 1589 18576 4644 12512
T2-FMOG-UM FN 0 1414 6043 2520
El Baf et al. FP 203 153 252 46 10631 2657 1400
T2-FMOG-UV FN 0 957 2217 1069
El Baf et al. FP 3069 1081 1119 1158 10670 2667 2624
Classification floue par intégrale de Choquet avec mesure de
similarité de Li (2004) (Coefficient de Jacquard).
Intégrale Sugeno (Ohta, LBP) Choquet (Ohta, LBP Choquet (HSV, LBP) Choquet (YCrCb, LBP)
Zhang et Xu El Baf et al. El Baf et al. El Baf et al.
S (A, B) % 27 44 34 46
Evaluation plus complète dans Sobral et Vacavant [CVIU 2014].

Concepts ﬂous : quelques temps de calcul.
Implémentations en C avec la librairie OpenCV.
Temps de calcul acceptables ou améliorables par
implémentation GPU.
Algorithme Images par seconde
MOG 20
T2-FMOG-UM 11
T2-FMOG-UV 12
"OU" Logique 40
Intégrale de Sugeno 22
Intégrale de Choquet 31

Concepts flous appliqués à la suppression de fond.
Impact scientifique.
51 publications recensées en 2014 dont 15 fondées sur les
travaux de thèse de Fida El Baf.
1 Modélisation floue - T2-FMOG (2 papiers) :
Utilisation (personne), Champ de Markov.
2 Classification floue - Intégrale de Choquet (11 papiers) :
HSI, Texture (ULBP), Mesure de similarité, Fusion de trois
caractéristiques (contour, mouvement), utilisation (véhicule)
3 Mise à jour floue (3 papiers) : Utilisation de la règle de
mise à jour floue, α déterminé par système d’inférence flou.
Perspectives :
1 Toutes les méthodes statistiques avec paramétres peuvent
avoir une version floue !
2 Autres concepts flous : Histogramme flou, filtre estimateur
flou, descripteurs flous, post-traitements flous, etc...

parcimonieuse.

Approches fondées sur les méthodes de réduction
reconstructives, discriminatives et mixtes
Prise en compte de l’aspect reconstructif versus discriminatif.
Travaux de master "Recherche" ERASMUS de Diana
Farcas et Cristina Marghes (2009).
État de l’art complet sur les méthodes de réduction [RPCS
2009].
Modélisation/Mise à jour du fond par une méthode
discriminative (IMMC) [MVA 2012].
Modélisation/Mise à jour du fond du fond par une méthode
mixte (IPCA-LDA) [IPCV 2012].

Approches fondées sur des méthodes de réduction de
dimension reconstructive.
Publication [RPCS 2009]
Réduction de dimension reconstructive : Analyse en
composantes principales (ACP), analyse en composantes
indépendantes (ACI) et IRT sont les plus utilisées.
Hypothèse : Information principale contenue dans la
séquence d’apprentissage correspond au fond et les
objets mobiles ont une contribution faible.
Hypothèse vériﬁée que si les objets mobiles sont petits ou
loins de la caméra.
Aspect non supervisé (initialisation avan./inconv.) et
beaucoup de versions incrémentales (mise à jour).

Approche fondée sur une réduction de dimension
discriminative
Publication [MVA 2012]
Réduction de dimension discriminative : Analyse
discriminante linéaire (ADL) est la plus utilisée.
Avantages :
1 Plus efﬁcace et donne de meilleurs résultats sur les
aspects classiﬁcation.
2 Initialisation supervisée robuste de l’image de fond.
Inconvénients :
1 Aspect supervisé (vérité-terrain nécessaire à l’initialisation)
2 Peu ou pas de versions incrémentales (mise à jour)

discriminative
Réduction de dimension (ADL) par Incremental Maximum Margin
Criterion (IMMC) développée par Yan et al. (2004).
1 Matrice inter-classe :
Sb =
c
i=1
pi (mi − m)(mi − m)T
(6)
2 Matrice intra-classe :
Sw =
c
i=1
pi E(ui − mi )(ui − mi )T
(7)
c nombre de classes, m moyenne sur toutes les données, mi
moyenne sur les données appartennant à la classe i,
pi probabilité a priori d’une donnée d’appartenir à la classe i.

discriminative
Minimisation de la fonction suivante :
J(W) = WT
(Sb − Sw )W (8)
où W est obtenue en résolvant la décomposition en
vecteurs propres (Sb − Sw )w = λw.
Mise à jour incrémentale des p premières valeurs et p
premiers vecteurs propres.

discriminative
Classiﬁcation des pixels comme suit :
Mt (x, y) =
1, si d (It (x, y), Bt (x, y)) > T
0, sinon
(9)
où It (x, y), Bt (x, y) et Mt (x, y) sont l’image courante, l’image de
fond et le masque des objets mobiles à l’instant t. T est un seuil
constant déterminé expérimentalement. d(., .) est une distance.

mixte.
Publication [IPCV 2012]
Combiner les avantages complémentaires des méthodes
reconstructives et discriminatives (Algorithme IPCA-LDA).
Modélisation du fond par une méthode reconstructive
(ACP) : p premiers vecteurs (fond).
Information discriminative dans les (c − 1) vecteurs
additionnels (LDA) avec c = 2 au moins.
Mise à jour de la structure mixte :
1 IPCA pour la partie reconstructive.
2 ILDA pour la partie discriminative.

Réduction de dimension discriminative et mixte :
quelques résultats qualitatifs.
Evaluation sur la base de donnée Wallﬂower disponible à l’époque.
Plus de résultats sur le site IMMC Foreground Detection 5
.
IMMC et IPCA-LDA - Silhouettes mieux détectées
5. http://sites.google.com/site/immcforegrounddetection/

quelques résultats quantitatifs.
Evaluation sur la base de donnée Wallﬂower disponible à l’époque.
Plus de résultats sur le site IMMC Foreground Detection 5
.
Challenges
Type MO TD LS WT C B FA Total
Algorithmes Erreurs Errors (TE)
SG False neg 0 949 1857 3110 4101 2215 3464
Wren et al. (1998) False pos 0 535 15123 357 2040 92 1290 35133
MOG False neg 0 1008 1633 1323 398 1874 2442
Stauffer et al. (1999) False pos 0 20 14169 341 3098 217 530 27053
KDE False neg 0 1298 760 170 238 1755 2413
Elgammal et al. (2000) False pos 0 125 14153 589 3392 933 624 26450
PCA False neg 0 879 962 1027 350 304 2441
Oliver et al. (1999) False pos 1065 16 362 2057 1548 6129 537 17677
IMMC (30) False neg 0 1336 2707 4307 1169 2677 2640
Farcas et al. (MVA 2012) False pos 0 11 16 6 136 506 203 15714
IMMC (100) False neg 0 626 711 4106 1167 2175 2320
Farcas et al. (MVA 2012) False pos 0 10 15 5 135 503 201 11974
IPCA-LDA False neg 0 443 1107 1426 922 2380 2025
Marghes et al. (IPCV 2012) False pos 0 103 49 958 204 142 576 10335
5. http://sites.google.com/site/immcforegrounddetection/

quelques temps de calcul - perspectives.
Temps de calcul en fps (Implémentation en C) :
1 Modèles Gaussiens : SG (71 fps), MOG (33 fps), KDE (11
fps).
2 Modèles reconstructifs : PCA (3 fps), IRT (5 fps).
3 Modèles discriminatifs et mixtes : IMMC (7 fps), IPCA-LDA
(9 fps).
Perspectives :
1 Seuillage adaptatif [Xu et al. OE 2008].
2 Régularisation par champ de Markov.
3 Implémentation temps réel sur carte graphique (GPU).

parcimonieuse.

parcimonieuse.
Prise en compte de l’aspect rang faible et parcimonieux.
Travaux de thèse de Charles Guyon (2010-2014).
Directeur de thèse : El-Hadi Zahzah (50%).
État de l’art complet sur les méthodes de décomposition et
validation [CVIU 2014][ICIP 2012][ICIAR 2012][ISCV
2012].
ACP robuste via Iterative Reweighted Least Squares [ISVC
2012][ICPR 2012][ACCV-BMC 2012].
ACP robuste polynomiale non linéaire [en rédaction].

parcimonieuse.
Principe.
ACP employée par Oliver et al. (1999) : Pas robuste aux
données aberrantes (outliers).
ACP robuste par Candes et al. (2009) : Décomposition en
matrices de rang faible et parcimonieuse.
La matrice observation A est ainsi décomposée comme
suit :
A = L + S (10)
où L est une matrice de rang faible et S est une matrice
parcimonieuse contenant une faible partie de ces
coefﬁcients qui sont non nuls.

parcimonieuse.
Illustration sur la séparation Fond/Objets Mobiles.
FIGURE: Décomposition
(Source : University of Illinois 6
)
FIGURE: Application à la
séparation fond/objets mobiles.
6. http://perception.csl.illinois.edu/matrix-rank/home.html

parcimonieuse.
Adéquation avec l’application de séparation Fond/Objets Mobiles.
Outliers considérés comme bruit avec répartition uniforme
mais pas le cas des objets mobiles qui sont localisés.
Temps de calcul et occupation mémoire importants.
Seuls des résultats visuels fournis et pas d’évaluation
quantitative comme dans la communauté "background
modeling".
Pas de prise en compte des aspects spatio-temporels.
Pas temps-réel. Pour 200 images, 40 minutes !
Pas incrémentale pour la mise à jour mais seulement
algorithme de type "Batch".

parcimonieuse.
État de l’art et évaluation [CVIU 2014].
Vrai engouement de la communauté ACP robuste et de
celle de la soustraction de fond.
Ouverture vers d’autres méthodes que les MOG et KDE.
Notre contribution :
État de l’art sur plus de 70 articles portant sur l’ACP
robuste [CVIU 2014].
Evaluation de 19 algorithmes sur la base de données BMC
2012 [CVIU 2014].
Performance et robustesse meilleure que les MOG mais
pas d’algorithmes à la fois incrémental et temps réel.

ACP robuste par Iteratively Reweighted Least Square
(IRLS).
Publications [ISVC 2012][ICPR 2012][ACCV-BMC 2012]
Ajout d’un troisième terme pour modéliser le bruit.
Ajout de la contrainte spatiale lors de la minimisation.
Problème de minimisation avec A matrice dictionnaire et b
vecteur colonne :
argmin
x
||Ax − b||α + µ||grad(s)φ(E)||1, E = |b − Ax| (11)
où grad(s) est le gradient spatial. L’erreur doit avoir une forme
connexe. Minimisée par la mesure de Variation Totale.
Problème convexe pour α > 1 résolu par l’algorithme IRLS.

ACP robuste polynomiale non-linéaire.
Publication [en rédaction]
Prise en compte des effets non linéaires locaux dans le
voisinage des pixels.
Variations lumineuses soudaines, variations des
paramètres de la caméra (auto-ajustements) et bruit lors
de l’acquisition.
Aspect additif de certaines variations et aspect multiplicatif
d’autres variations.
Norme mixte ||.||α,β et l’algorithme IRLS.

ACP robuste polynomiale non-linéaire.
Publication [en rédaction]
Problème de minimisation formulée comme suit :
min
B,C
rank(φ(B)C) + λ||S|| s.t.
A = BC + S
det(CC ) = 1
(12)
φ() est une fonction non linéaire de Rp à Rq avec p < q.
L’algorithme IRLS est utilisé pour minimiser de façon alternative
cette équation pour obtenir les matrices φ(B) et C.

ACP robustes : quelques résultats qualitatifs.
Evaluation sur la base de données ChangeDetection.net 2012. Vidéos réelles.
Plus de résultats sur le site RPCA Foreground Detection 6.
Image originale, vérité terrain,
RPCA-BPCP, RPCA-PCP (LADMAP), RPCA-PCP(LSADM), GRASTA et RPCA-IRLS
Guyon et al. (2012).
Application à la séparation fond/objets mobiles - moins de faux positifs.
6. http://sites.google.com/site/rpcaforegrounddetection/

ACP robustes : quelques résultats quantitatifs.
Evaluation sur la base de données BMC 2012 (F-mesure). Vidéos réelles.
Méthodes Algorithmes Mesures Vidéos réelles Moyenne
001 002 003 004 005 006 007 008 009
RPCA-PCP EALM Recall 0.723 0.765 0.878 0.839 0.660 0.800 0.739 0.670 0.748 -
Candès et al. Lin et al. Precision 0.554 0.855 0.958 0.844 0.543 0.729 0.899 0.728 0.965 -
F-mesure 0.628 0.807 0.916 0.842 0.596 0.763 0.811 0.698 0.843 0.697
IALM Recall 0.847 0.664 0.909 0.840 0.785 0.792 0.583 0.767 0.856 -
Lin et al. Precision 0.735 0.873 0.947 0.827 0.632 0.793 0.833 0.781 0.957 -
F-mesure 0.787 0.754 0.928 0.833 0.701 0.792 0.686 0.774 0.904 0.794
ADM Recall 0.840 0.653 0.886 0.831 0.780 0.790 0.577 0.758 0.863 -
(LRSD)Yuan and Yang Precision 0.751 0.876 0.946 0.820 0.633 0.782 0.828 0.781 0.952 -
F-mesure 0.793 0.749 0.915 0.825 0.699 0.786 0.680 0.769 0.906 0.791
LADMAP Recall 0.840 0.671 0.887 0.831 0.774 0.794 0.573 0.754 0.863 -
Lin et al. Precision 0.751 0.865 0.945 0.818 0.634 0.782 0.840 0.791 0.952 -
F-mesure 0.793 0.756 0.915 0.824 0.697 0.788 0.681 0.772 0.906 0.792
BLWS Recall 0.726 0.767 0.842 0.811 0.688 0.805 0.752 0.676 0.705 -
Lin and Wei Precision 0.549 0.846 0.963 0.835 0.528 0.714 0.898 0.635 0.959 -
F-mesure 0.625 0.805 0.899 0.823 0.598 0.757 0.818 0.655 0.812 0.839
RPCA-SPCP NSA Recall 0.838 0.765 0.934 0.875 0.660 0.805 0.599 0.771 0.748 -
Zhou et al. Aybat et al. Precision 0.664 0.855 0.951 0.877 0.543 0.805 0.843 0.781 0.965 -
F-mesure 0.741 0.807 0.942 0.876 0.596 0.805 0.700 0.776 0.843 0.787
RPCA-QPCP TFOCS Recall 0.840 0.655 0.900 0.843 0.793 0.795 0.585 0.763 0.856 -
Becker et al. Becker et al. Precision 0.736 0.879 0.948 0.823 0.633 0.792 0.833 0.795 0.956 -
F-mesure 0.785 0.751 0.923 0.833 0.704 0.793 0.687 0.779 0.904 0.794
RPCA-BPCP ALM Recall 0.723 0.765 0.878 0.839 0.660 0.800 0.749 0.670 0.748 -
Tang and Nehorai Tang and Nehorai Precision 0.554 0.855 0.958 0.844 0.543 0.729 0.900 0.728 0.965 -
F-mesure 0.628 0.807 0.916 0.842 0.596 0.763 0.817 0.698 0.843 0.767
ACP robuste via IRLS spatiale et temporelle IRLS Recall 0.913 0.878 0.965 0.955 0.910 0.900 0.911 0.865 0.930 -
Guyon et al. [ACCV 2012] Guyon et al. Precision 0.717 0.865 0.812 0.718 0.558 0.772 0.840 0.671 0.823 -
F-mesure 0.803 0.872 0.882 0.820 0.692 0.831 0.874 0.755 0.874 0.822
ACP robuste polynomiale IRLS Recall 0.821 0.649 0.903 0.835 0.781 0.801 0.583 0.756 0.835 -
Guyon et al. [En rédaction] Guyon et al. Precision 0.668 0.851 0.949 0.825 0.626 0.796 0.823 0.775 0.956 -
F-mesure 0.737 0.737 0.925 0.830 0.695 0.798 0.682 0.765 0.892 0.784
BLWS : 0.839, ACP-IRLS : 0.822, ACP polynomiale : 0.784.
ACP robuste via IRLS spatiale et temporelle (second score)
mieux que RPCA-BPCP.
ACP robuste polynomiale (score moyen).

ACP robustes : quelques temps de calcul -
perspectives
Temps de calcul en fps (Implémentation en C) : en cours
dans la thèse de Charles Guyon.
Impact scientiﬁque : 1 Total Variation Regularized RPCA
(IEEE T-Cybernetics), 1 spatial RPCA (IEEE TIP).
Perspectives :
1 ACP robustes, suivi de sous-espaces, et minimisation en
rang faible : Plus de 190 articles depuis 2009 et recensés à
ce jour.
2 État de l’art et évaluation complète de plus de 30
algorithmes.
3 Version temps-réel et incrémentale ACP robuste via IRLS
et ACP robuste polynomiale.

Conclusions
Contributions scientifiques - Partie 1
Trois nouvelles approches proposées dans le domaine lors
d’encadrement de thèses/masters "recherche" :
1 Approche fondée sur les concepts flous :
1) Modélisation Type-2 FMOG , 2) Classification avec l’intégrale
de Choquet et 3) Mise à jour adaptive floue.
(1 Chapitre, 1 Journal, 9 Conférences)
2 Approche de réduction discriminative et mixte :
1) Initialisation robuste du fond et 2) Mise à jour incrémentale du
fond.
(1 Journal, 3 Conférences)
3 Approche par ACP robuste :
1) Evaluation exhaustive, 2) ACP robuste via IRLS et 3) ACP
robuste polynomiale non-linéaire.
(1 Chapitre, 6 Conférences)

Conclusions
Contributions scientifiques - Partie 2
Trois nouvelles approches proposées dans le domaine lors
d’encadrement de thèses/masters "recherche" :
Plus robustes aux principaux challenges (que les MOG) : Fonds
dynamiques, variations lumineuses, bootstrapping, taille des
objets,...
Impact scientifique : Approches floues (15) et RPCA (2).
Applications dans des projets :
1 Projet Aqu@thèque (El Baf et al. [FUZZ-IEEE 2008]).
2 Détection de personnes (Alimi et al. [SoCPaR 2014]).
3 Détection de véhicules (Lu et al. [FUZZ-IEEE 2014]).

Conclusions
Rayonnement scientiﬁque
Activités structurantes dans le domaine :
1 11 états de l’art (5 Chapitres, 6 Journaux) portant sur
environ 1500 articles.
Plus de 150 méthodes classées en catégories et
sous-catégories par type de modèles employés.
2 Numéro spécial (MVA) avec 12 articles.
Background Modeling for Foreground Detection in real-world
dynamic scenes" avec J. Gonzalez, C. Shan, M. Piccardi et J.
Davis.
3 Livre (Handbook-CRC Press) avec 25 chapitres (600 pages).
"Background Modeling and Foreground Detection for Video
Surveillance" avec F. Porikli, B. Höferlin et A. Vacavant.
4 Site de réference Background Subtraction Website.

Perspectives à court/moyen terme
Domaine des méthodes de suppression de fond.
A la poursuite de la méthode "idéale"...
Initialisation du fond peu étudiée (Cas fond peu visible
dans les séquences courtes).
Modélisation à base de tenseurs (Thèse Andrews
Sobral).
(1 Chapitre, 2 Conférences) + 2 librairies (BGS et LRS)
Sélection de caractéristiques (Thèse Carolina Pacheco
E. Da Silva).
(1 Conférence en soumission)
Méthode "idéale" : Plusieurs modèles puis sélection du
modèle adapté aux challenges détectés.

Perspectives à court/moyen terme
Activités structurantes.
Proposition Workshop à ICCV 2015.
"When robust subspace learning meet background modeling"
avec B. Wohlberg (Los Alamos University, USA), J. Wright
(Columbia University, USA) et N. Vaswani (Iowa State University,
USA). Rencontres 2 communautés.
Livre complet sur la modélisation de fond (WSPC Computer
Vision Series, 2016).
"Background Subtraction for Moving Object Detection : Theory
and Practices" avec A. Sobral et E. Zahzah. Livre pédagogique
complet.
Livre (Handbook) sur ACP robustes (25 chapitres, CRC
Press, 2015).
"Robust Decomposition in Low Rank and Sparse Matrices in its
application in Image and Video Processing" avec N. Aybat
(Pennsylvania State University, USA) et E. Zahzah.

Perspectives à moyen/long terme
Recherche scientiﬁque
Cas des caméras ﬁxes :
Systèmes multi-capteurs (caméra couleur, caméra IR et
caméra RGB-D).
Informations exogènes (position GPS, conditions
climatiques)
Informations contextuelles (forme et/ou couleur).
Extension au cas des caméras mobiles :
Caméras embarquées (automobile, etc...), smartphone,
etc...
Compensation de mouvement, reconstruction d’image de
fond panoramique, approche géométrique (stéréovision).

Perspectives à moyen/long terme
Collaborations internationales
CVC, Universitat Autònoma de Barcelona, Espagne avec
Jordi Gonzàlez (Professeur associé)
A. Sobral (ACI 3 mois en 2014), C. Pacheco (ACI 3 mois en
2015) - Etude du comportement (ACP robustes, Descripteurs).
Kyungpook National University (KNU), Corée du sud avec Sajid
Javed (Doctorant) et Soon Ki Jung (Professeur).
co-encadrement de thèse en cours (1 publication commune
ACCV 2014) - Suppression de fond par ACP robustes.
Universidad Nacional de Colombia Sede Manizales, Colombie
avec Santiago Giraldo (Doctorant), Andres Alvarez (Professeur
associé) et Cesar Castellanos Dominguez (Professeur, Directeur
de "Grupo de Control y Procesamiento Digital de Señales").
Projet "Universal Background Subtraction" déposé à
COLCIENCIAS (Agence pour la recherche en Colombie).
Possibilité co-encadrement de thèse.

Remerciements
Merci pour votre attention ! ! !
Thank you !
Muchas gracias por venir !
Obrigado !

Perspectives
Pour questions.
Système multi-modèles : Détection du type de challenges et
sélection du modèle approprié.
Modèles Fonds dynamiques Variations lumineuses
MOG oui -
T2F-MOG oui -
ACP robustes - oui
TABLE: Performance suivant les challenges.

Perspectives
Pour questions.
Systéme multi-caractéristiques (multi-descripteurs) : Détection
du type de challenges et sélection de la caractéristique
appropriée.
Caractéristiques Fonds dynamiques Variations lumineuses
Couleur oui -
Texture oui -
Stéreoscopique - oui
Contours - oui
Mouvement oui -
TABLE: Performance suivant les challenges.

Presentation Habilitation à Diriger des Recherches

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Andere mochten auch

Andere mochten auch (6)

Ähnlich wie Presentation Habilitation à Diriger des Recherches

Ähnlich wie Presentation Habilitation à Diriger des Recherches (20)

Presentation Habilitation à Diriger des Recherches