Du son à la partition : un transcripteur automatique de musique

Encadrants : 

Paul Magron, E411, Clément Laroche, E406, Bertrand David

Occurrences : 

2016

Nombre d'étudiants minimum: 

4

Nombre d'étudiants maximum: 

6

Nombre d'instances : 

1

Ce projet propose de mettre au point un système de transcription automatique de musique. A partir d'un morceau donné, on cherche à en caractériser le contenu (hauteurs, moments d'activation, durées et intensités). Ces informations, une fois récupérées, peuvent être exportées au format MIDI et utilisées dans d’autres logiciels d’aide à la composition (Guitar pro, Garage band…) ou à la production musicale (Cubase…). Ce genre de système est très utile pour aider les musiciens, notamment en récupérant la partition d'un morceau (aide à la formation musicale), en générant un play-back pour s'accompagner, ou en corrigeant à postériori des erreurs d'interprétation.

L’objectif est donc de mettre au point une application qui fournisse, à partir d’un signal audio donné par l’utilisateur (essentiellement monophonique, c'est à dire un seul instrument : piano, guitare, voix...), une représentation symbolique du morceau sous la forme d'une matrice [hauteur ; moment d'activation ; durée ; intensité]. Pour ce faire, il sera possible de travailler dans le domaine temporel (où de nombreuses méthodes d'estimation de hauteur existent) ou dans le domaine Temps-Fréquence (adapté aux signaux de musique) : dans ce cadre, les méthodes de type Factorisation en Matrices Nonnégatives (NMF) permettent de représenter le signal sous une forme que l'on peut interpréter intuitivement et donc obtenir des informations sur les notes et leur dynamique temporelle. Diverses méthodes seront donc être implémentées : elles pourront être comparées pour retenir la meilleure, ou, selon les résultats, être complémentaires les unes des autres...

L’application, développée en Matlab, devra donc comporter, au minimum, les fonctionnalités suivantes :

  1. Extraction de la partition (au format MIDI) à partir d’un signal audio

  2. Un synthétiseur de signal musical à partir d'une partition

De multiples applications exploitant cette représentation musicale du signal peuvent être envisagées, selon les souhaites des candidats : calcul de tonalité, génération automatique d'accompagnement, remplacement d'un instrument par un autre, correction des erreurs d'interprétation (fausses notes)…