> Accueil > Campus de Rennes > Recherche > > Thèmes > Analyse et Synthèse de visages
Actus : 3DSoundLabs at the CES January 2016... Click here
 

Join us !

Postdoc, fév 2018 - aout 2019 - Thérapies immersives

Problématique
Nous proposons un travail demandant des compétences en traitement du signal et programmation dans des environnement ludique et immersif (casque de réalité virtuelle). Le champ applicatif est celui de la santé. Il est au carrefour des activités du service ORL de la Salpêtrière, de 3D Sound Labs et d’Immersive Therapy. Le travail de l’ingénieur(e) de recherche consistera à aller au contact des médecins et à rencontrer les équipes de 3D Sound Labs et Immersive Therapy afin d’être en mesure de concevoir des jeux en environnement virtuel répondant à leur besoin tout en analysant le comportement du joueur.

Objectifs scientifiques
3D Sound Labs et CentraleSupélec participent au projet HPPA de la région Bretagne, qui vise à améliorer les performances des prothèses auditives en y intégrant des HRTF (Head Related Transfert Functions) personnalisées. Elles caractérisent la morphologie de l’oreille de l’utilisateur et lui permettent de localiser une source sonore dans l’espace. Nous aimerions les évaluer plus précisément en mesurant les erreurs de localisation des sources sonores de l’utilisateur dans un jeu immersif.
Catherine de Waele et l’équipe FAST ont déjà conçu un ensemble de tests immersifs (casque de RV Vive) permettant de mesurer la charge mentale et la performance de production des saccades oculaire d’un individu (casque de RV Fove avec détecteur de la direction du regard intégré). Il faudra aller plus loin sur ces sujets et travailler en étroite collaboration avec la Salpêtrière.
Immersive Therapy développe une application, Diapason, donnant la possibilité au patient d’évaluer automatiquement sont audiogramme, de caractériser son acouphène et de mesurer au jour le jour la gêne occasionnée. Catherine de Waele propose une thérapie sonore qui consiste à produire un signal audio personnalisé tenant compte de l’audiogramme et du type d’acouphène du patient. Il faudra mettre en œuvre cette thérapie dans un contexte ludique (therapeutic games).

Stage, fév 2018 - aout 2018 - Analyse longitudinale des variations d’humeur

Problématique
De nombreux travaux ont été réalisés sur la reconnaissance automatique d’expressions faciales pour l’analyse des émotions, mais peu s’intéressent à des analyses long terme (plusieurs vidéos d’un même sujet sur plusieurs mois). Et pourtant, ces analyses sont indispensables dans de nombreux cadres médicaux, incluant notamment le dépistage de la dépression.

Objectifs scientifiques
L’objectif de ce stage est de proposer une première étude de données longitudinales. Nous avons à notre disposition des enregistrements vidéo d’un même sujet, réalisés depuis plus d’un an, dans des conditions identiques (ouverture, lecture et traitement des mails). Il s’agira de détecter automatiquement le ou les comportements nominaux de ce sujet afin de pouvoir identifier automatiquement des variations dans ces comportements. L’analyse se fera par des méthodes de machine learning non supervisé. Il s’agira notamment d’étudier les différentes modalités temporelles de variations : du court terme (jour) au glissement long terme (modification de l’humeur sur plusieurs mois).
Un second objectif de ce stage concernera la création d’une base de données plus importante (et non limitée à un seul sujet) pour l’analyse longitudinale d’humeur.

Stage, fév 2018 - aout 2018 - Analyse audio-vidéo et perception

Partenaire industriel
Créé en 2015 en Californie, Blonk est une plateforme de matching qui met en relation directe des recruteurs et des candidats sélectionnés. Inspirée du modèle Tinder, cette application mobile, intuitive et intelligente s'adresse à une population très large de candidats et d'entreprises en France, en Asie et aux US. Afin d'améliorer la pertinence du matching non seulement sur des critères objectifs mais aussi sur des critères plus subjectifs propres au domaine du recrutement, nous avons développé plusieurs applications qui permettent d'optimiser le temps de sélection et qui participent à une expérience plus qualitative du processus de recrutement. Une première levée de fonds nous permet à présent d’investir dans la recherche ; ce stage est un premier pas menant vers une thèse.

Objectifs scientifiques
Dans le cadre de nos efforts constants d'amélioration de nos performances, nous souhaitons augmenter l'éventail de nos critères de sélection en intégrant la video des candidats à nos processus d’analyse.
Afin de nous appuyer dans ce projet, nous recherchons un Stagiaire R&D dont la mission sera de proposer un traitement en Machine Learning audio-video permettant d’analyser la personnalité d’un candidat dans un double but de conseil et de pre-qualification. Ce stage est une étape préliminaire à un travail de thèse qui se tournera vers des outils de type Deep Learning dans la continuité de l’approche proposée dans le stage ; ces outils nécessitent un grand nombre de données. Le deuxième objectif du stage sera d’imaginer et de mettre en place un outil visant à constituer une telle base.

Post-doc, oct 2017 - oct 2018 - Modélisation de la thérapie sonore pour traiter les acouphènes à partir de données audio

Problématique
Les acouphènes sont des sons parasites entendus en l’absence de son réel extérieur. Ils sont générés par le système auditif suite à un choc auditif (concert, accident de voiture, …) ou à la vieillesse (perte de l’audition) et interprétés par le cerveau comme des sons. L’un des axes de recherche ORL montre que l’écoute de certains sons (fréquence et bande passante spécifiques) de façon prolongée permet de diminuer voire de supprimer les acouphènes. Cette thérapie s’appelle la thérapie sonore. Les derniers travaux de recherche montrent que pour une thérapie efficace, les caractéristiques du son diffusé doivent être personnalisées en fonction de l’audiogramme et de l’acouphénométrie du patient. Cette thérapie reste à ce jour de l’ordre de l’expertise des médecins ORL et n’a pas été modélisée. C’est l’objet de ces travaux de recherche.
Actuellement il n'existe pas d'outils permettant de réaliser rapidement et efficacement un audiogramme précis du patient. Par ailleurs, l'impact ou le lien entre audiogramme, acouphène et son thérapeutique n'est pas clairement établi : Quelles sont les caractéristiques de l'audiogramme qui sont liés à l'acouphène et à la thérapie à mettre en œuvre ? Ces caractéristiques peuvent-elles être obtenues automatiquement avec un matériel peu cher de type écouteurs ?

Objectifs scientifiques
Nous nous proposons donc de modéliser l'audition du patient en en extrayant les caractéristiques permettant d’obtenir une thérapie sonore efficace. Ce modèle et les mesures nécessaires pour l’obtenir devront être robustes à des perturbations de l’environnement sonore et à la qualité du matériel d’acquisition.
Dans un premier temps, il s'agira d'analyser sur un ensemble de patients la corrélation entre la fréquence de l’acouphène et les données de l’audiogramme. Il n’existe actuellement pas à ce jour de travaux précis sur le sujet. Pour cela, il sera nécessaire de créer un modèle d'audiogramme, qui permette d’en extraire les caractéristiques liées à l'acouphène.
Une seconde étape consistera à modéliser le processus de thérapie sonore. Il faudra extraire les informations pertinentes de l’audiogramme et de l’acouphénométrie (fréquence et bande spectrale de l’acouphène) permettant de déduire le signal sonore à générer pour la thérapie sonore d’un patient donné.
Dans une dernière étape, il s’agira de proposer un algorithme intelligent qui puisse réaliser un ensemble de mesures audiométriques sur un patient, et qui permet de découvrir de manière efficace et robuste les caractéristiques pertinentes dans le cadre du traitement des acouphènes par thérapie sonore.
Pour finir, il s'agira d'étudier l'impact de l'environnement sonore et de la qualité des écouteurs sur l'audiométrie, ou tout au moins sur les caractéristiques nécessaires à la caractérisation de l'acouphène.
Ce projet se fait en partenariat avec Catherine de Waele, Chercheur O.R.L. à la Salpêtrière. Ce projet s’inscrit dans le programme de recherche de la Start-up Immersive Therapy.

Mise à jour : le 15/12/2017 17:45