Transformation musicale de la voix parlée

Encadrants : 

Occurrences : 

2018

Nombre d'étudiants minimum: 

2

Nombre d'étudiants maximum: 

2

Nombre d'instances : 

2

Domaines: 

Vignette d’une vidéo de Khaled Freak, un youtubeur qui s’est fait connaitre pour transformer les discours de politiciens en musique. L’idée derrière ce projet est d’automatisé ce type de réalisation. Source: https://www.youtube.com/watch?v=cm1AQk30kFs)

 

Contexte

Plusieurs applications se vantent de pouvoir transformer notre voix en morceaux de musique (Songify, Autorap…). Le principe étant d’enregistrer notre voix parlée en racontant ce que bon nous semble et l’application s’occupe du reste: découper et séquencer le texte, générer un accompagnement, caler la hauteur et le débit de la voix...

Les approches pour y parvenir sont multiples et les résultats peuvent être loufoques même dans les applications publiées. Mais une chose est sûre c’est que si l'algorithme tourne bien, ce sont des fous rires garantis!

Objectif et déroulement

L’objectif de ce projet est de développer un algorithme de ce genre. La première étape sera de se familiariser avec les techniques de traitement du signal nécessaires à la réalisation de ce projet. On commencera par séparer la voix en phonèmes (voisés/non voisés), afin d’avoir des points d’ancrages, ainsi que détecter la fréquence fondamentale des sons voisés. Ensuite on cherchera à modifier le signal en fréquence, pour changer les notes, et en temporel, pour caler la voix en rythme, à l’aide de techniques type PSOLA ou vocodeur. La parole maintenant chantée pourra alors être mixée avec une instrumentale prédéfinie voir même synthétisée!

En fonction de l’implication des élèves, de nombreuses fonctionnalités pourront être ajoutées à leur initiative comme le choix du style musicale par exemple. Le langage de programmation est libre entre Matlab et Python.

Ressources

  • Moulines, E., & Laroche, J. (1995). Non-parametric techniques for pitch-scale and time-scale modification of speech. Speech communication, 16(2), 175-205.
  • Kahrs, M., & Brandenburg, K. (Eds.). (1998). Applications of digital signal processing to audio and acoustics (Vol. 437). Springer Science & Business Media.