1. Les nouvelles
dimensions de
l’analyse audio/vidéo
Mike Knee
Consultant Engineer
Snell

2. Nouvelles dimensions
L’analyse et le monitoring vidéo et audio est
devenu un problème multidimensionnel
- live streaming et fichiers
- à proximité et à distance
- gamme de tailles d’écran
- gamme d’options de compression
- de nombreux paramètres à surveiller
- vidéo et audio ensemble
- 3D stéréoscopique

3. Introduction
• QC – qu’est-ce que c’est?
• Le monde multidimensionnel de l’analyse vidéo et audio
• Monitoring vidéo et audio – intégrité et contenu
• Challenges de monitoring du contenu pour des écrans
multiples
• Lip-sync (synchro labiale)
• Le suivi des changements de taille et de forme
• Mesure objective de la qualité
• Faire que les machines regarde la télé 3D pour vous
• Surprise!

4. Quel est QC?
Monitoring Présentation Action
enregistrement passer à une chaîne
vidéo de sauvegarde
alarmes
audio remise à neuf
vignettes
métadonnées action contractuelle
multiviewer
automatique

5. Un monde multidimensionnel
emplacement
à distance
non compressé
taille
d’écran
compression
bas débit
œil
droit
à proximité œil
gauche
fichiers
audio
vidéo
video live streaming

6. Monitoring dans le contexte
correction correction
analyse analyse
ajouter des métadonnées
analyse
lire les métadonnées
analyse comparer

7. Monitoring vidéo
État et standard de l’entrée Monitoring de
Qualité du signal (rapports CRC/EDH) l’intégrité
Précision de la vidéo Traitement
Niveau de mouvement « Stillish » des données
Détection d’image gelée (exacte et visuelle)
Noirceur d’image « Blackish » et noir numérique
Détection de AFD / barres latérales « letterbox/pillarbox »
Niveau moyen d’image
Monitoring Limites hautes/basses de Luma/Chroma, débordement/soupassement
du contenu
Rapports gamut RVB et sa légalisation
Traitement Mesures multi-régions
d’images Vignettes vidéo par TCP/IP
Rapports d’état et mesures par OSD

8. Monitoring audio
Présence audio Integrity de
Monitoring
monitoring
l’intégrité
Détection de catégorie audio
(PCM, Non-PCM, Dolby E, AC3, MPEG Audio (SMPTE 338M) Data
Traitement
processing
des données
Précision audio
Rapports de métadonnées Dolby (Program Configuration / Dialnorm)
Comptage de niveau audio
Silence, Calme, Fort
Content
Monitoring
monitoring
du contenu Surcharge et coupure audio
Position de la bande de garde Dolby E
Signal
Traitement
processing
d’images Audio déphasée (polarité)
Detection Mono/Stéréo

9. Monitoring métadonnées
SMPTE UMID (insérer, signaler et supprimer)
PID / House Number watermarking (insérer, signaler et supprimer)
Détection de sous-titres OP47/WST
Détection de sous-titrage « Closed Captions » (CEA608, CEA708)
AFD - WSS, VI, SMPTE 2016
Indicatif de contenu (XDS, V-chip)
ANC Timecode (720p, 1080i)
VITC Timecode (525, 625)
Détecteurs ANC définis par l’utilisateur
Rapports de métadonnées SMPTE 2020
Rapports de durée du contenu (enregistrement de timecode)

10. Écrans multiples – les défis
• Suivi du contenu à travers des changements de
– résolution
– débit binaire de compression
– aspect d’image
– cadrage
• Formats multiples de fichiers, signaux et métadonnées
• Distinguer entre les changements intentionnels et les
erreurs

11. Lip-sync
En cours de normalisation Propriétaires
(SMPTE TC-24TB-01 AHG on Lip Sync)
empreinte empreinte
audio audio corriger audio
audio
corriger vidéo
vidéo
empreinte empreinte
vidéo vidéo
formatage
des
métadonnées comparer
des
empreintes

12. Suivi de taille et de forme

13. « Kitelets » (petits cerfs-volants!)
plus de kitelets en amont
moins de kitelets en aval

14. Kitelets

15. Mesure objective de qualité
Voir www.vqeg.org

16. Mesure de conversion de standards
• Faire une comparaison entre des mesures d’activité des
gros blocs de l’image
• Détecter un comportement périodique dans la différence
entre les mesures
• Détecter une augmentation inattendue de l'activité, qui
pourrait être due à des artéfacts

17. Mesure de conversion de standards

18. quality measure
bu
ild
20
22
24
26
28
30
32
34
36
38
40
tra ing
in s
_t
e
ga xt
r
tra den
in
_
in se
te t
rv
ie
w
gi
te r l
n
at nis
ta hl
bl eti
e _ cs
te
nn
st is
re
e
sp re s t t1
rin et
gb 2
oa
rd
tig
ba er
nn
er
s
Converter B
Converter A
Converter C
gu
ita
w r
he
e
ba l
lle
bl ru t
ac gb
Mesure de conversion de standards
kb y
oa
s t rd
re
e
f o t3
ot
ba
l
w l
at
m er
ob
c
flo al
w
er
s

19. 3D stéréoscopique
• Détection de formats
• Correspondance de couleurs, niveaux, …
• Synchronisation temporelle
• Analyse de profondeur ou de disparité
– monitoring de la disparité
– champ de disparité dense
• Détection d’échange droit-gauche
• Détection de conversions 2D-3D
« Faire que les machines
regardent la télé 3D pour vous »

20. Synchronisation temporelle droit-gauche
idéo
Empr eintes v

21. Analyse de profondeur / disparité
• Avertissement d’éventuelle fatigue oculaire
– trouver les extrémités de disparité
– dépendance de taille d’écran
• Vérification 3D
– profondeur de la 3D
• Déformations géométriques entre les 2 canaux
– détecter et corriger
• Insertion de légendes/sous-titres à profondeur appropriée

22. Affichage de disparité

23. Champs de disparité denses
gauche à droit droit à gauche
occlusions
SMPTE TC-10E AHG on Disparity Map Representation

24. Détection d’échange droit-gauche
B occlusion (région vue A occlusion (région vue
par B seulement) par A seulement)
fond
plan
B A
œil gauche œil droit
B
A

25. Seam Carving « découpage de veines »
• Une méthode de réduction de la largeur d'une image
pixel par pixel respectueuse du contenu
• Trouver une veine (ligne connectée de pixels de haut en
bas) d’activité minimum
• Supprimer tous les pixels de la veine pour rétrécir
l'image d'un pixel
• Répéter l'opération jusqu'à ce que la taille désirée soit
atteinte

26. Seam carving pour des images statiques

27. Seam carving pour des images animées
original
non
récursif récursif

28. Seam carving pour des images animées
non récursif
récursif

29. Seam carving compensé en mouvement
non
compensé en
mouvement
compensé en
mouvement

30. Démo de seam carving