Détection des changements de plan pour le séquencement d'une vidéo

Encadrants : 

Occurrences : 

2015, 2016, 2017, 2018

Nombre d'étudiants minimum: 

2

Nombre d'étudiants maximum: 

4

Nombre d'instances : 

1

Contexte

Le séquencement de vidéos est une des étapes de l'indexation de données multimédia . Cela consiste à séparer les plans successifs de la vidéo. L'information prise en compte peut provenir tout aussi bien du son que de l'image, ou des deux à la fois. Dans le cadre de ce projet nous nous intéressons uniquement à l'image, et un changement de plan correspondra à un changement de caméra lors du montage de la vidéo (les mouvements de la caméra ou les changements de mise au point ne seront pas pris en compte). La détection d'un changement de caméra s' appuiera essentiellement sur le calcul d'une distance entre images successives.

Le principal objectif du projet est de mettre au point cette distance entre images, en mettant en oeuvre des notions vues dans les cours de première année et de découvrir quelques notions plus spécifiques en traitement d'images et reconnaissance des formes. Il sera ensuite possible d’analyser chaque plan séparément en s’intéressant en particculier aux personnages présents dans chaque séquence.


Objectif du projet

Sur le plan méthodologique, ce projet comporte différents objectifs :

  • Séquencement d'une vidéo :
    • étudier et mettre au point une mesure de distance entre images,
    • développer une méthode de détection de changement de plan dans une vidéo.
  • Mouvements de la caméra au cours d'un plan :
    • établir la relation entre mouvements de caméra et transformations géométriques des images,
    • estimer le mouvement de la caméra pour chaque séquence de la vidéo.
  • Personnages présents dans chaque plan :
    • détecter les visages dans les images et dans les vidéos,
    • déterminer la présence d'un acteur dans chaque séquence de la vidéo.

La notion de distance sera centrale dans le projet, elle pourra faire intervenir des éléments colorimétriques, fréquentiels ou texturaux présents dans les images. En particulier le lien sera fait avec les espaces de représentation étudiés dans OASIS.

Les éléments de réflexion du projet pourront être les suivantes :

  • constitution d'une petite base de vidéos pour tester le système,
  • suite aux recherches bibliographiques, proposition et sélection de différentes distances pour détecter les changements de plan,
  • mouvements de caméra pour chaque plan,
  • développement de ces approches sous Matlab ou en Java,
  • fusion éventuelle des différentes distances proposées,
  • évaluation critique des performances obtenues.