Étude scientifique : détecter et représenter l’état émotionnel grâce à un système neuro-réactif

Vous est-il déjà arrivé de ressentir une émotion intense sans savoir comment la partager avec vos proches ? Aujourd’hui, la plupart des échanges émotionnels passent par le langage verbal ou des indices non verbaux (ton de la voix, expression faciale, posture). Pourtant, il existe souvent un fossé entre ce que l’on ressent vraiment et ce que l’on parvient à exprimer… Cet écart peut engendrer malentendus, frustrations et incompréhensions, tant dans la sphère intime que professionnelle. Comment la technologie peut-elle combler cette distance ? L’étude scientifique Neo-Noumena s’est penchée sur la question en proposant un système inédit associant des capteurs EEG, le machine learning et la réalité mixte (MR). Les citations de cet article sont extraites des références citées dans l’étude menée par Nathan Semertzidis, Michaela Scary, Josh Andres, et al., Neo-Noumena: Augmenting Emotion Communication.

Le contexte de l’étude : les enjeux de la communication émotionnelle

L’expression des émotions au-delà des mots

En tant qu’êtres sociaux, la communication émotionnelle se place au centre de nos relations humaines. Au sein du couple, de la famille ou dans le contexte professionnel, la qualité de nos interactions dépend largement de notre capacité à identifier, partager et comprendre les émotions.

Pourtant, le décryptage de l’état émotionnel se heurte à plusieurs limites. Chaque interlocuteur filtre ses propos, les mots manquent parfois de justesse pour décrire un sentiment et les signaux non verbaux ne traduisent pas toujours fidèlement l’intensité ou la nature exacte d’une émotion.

Face à ce constat, nous restons en partie incompris, imperméables aux nuances de ce que l’autre traverse. Et si la technologie parvenait à dissiper les flous pour nous aider à mieux nous comprendre ?

Les solutions numériques existantes pour améliorer la communication émotionnelle

La technologie ambitionne depuis des années à combler l’écart entre notre monde intérieur et son expression pour favoriser le lien de proximité. Dans cette optique, les solutions numériques se sont concentrées sur :

• les émojis pour dépasser les mots et offrir une palette visuelle de nos ressentis ;
• les dispositifs de biofeedback tels que les bracelets mesurant le rythme cardiaque indiquent un niveau d’activation physiologique (stress, relaxation), sans pour autant préciser l’émotion elle-même ;
• les applications de suivi émotionnel et de journaux intimes numériques accompagnent l’utilisateur dans la prise de conscience de son état d’esprit.

Ces approches restent néanmoins partielles : elles ne combinent pas la capture en temps réel de ce qui se joue dans notre cerveau pour la représenter de manière compréhensible à autrui.

En ce sens, l’étude Neo-Noumena propose une innovation de rupture : traduire en continu l’activité cérébrale d’un individu afin que son interlocuteur puisse immédiatement percevoir son état émotionnel.

Cette recherche s’inscrit dans une tendance émergente qui cherche à intégrer les données biosensorielles dans la communication quotidienne, non pas pour surveiller ou diagnostiquer, mais pour enrichir la relation à soi et à l’autre.

Crédit photo : Exertion Games Lab, Neo-Noumena – Emotion BCI.

La méthode de l’étude : un protocole à plusieurs facettes pour mesurer l’aura émotionnelle en temps réel

Le dispositif Neo-Noumena

Neo-Noumena est un système « neuro-réceptif » conçu pour approfondir la communication émotionnelle entre deux personnes. Pour y parvenir, il combine trois technologies :

1. Électroencéphalographie portable : deux casques EEG avec huit électrodes au total afin de mesurer l’activité électrique du cerveau et de capturer des variations subtiles liées aux émotions.

2. Classification en temps réel : un algorithme de machine learning pré-entraîné sur la base de données DEAP (Dataset for Emotion Analysis using Physiological signals) traite le signal EEG filtré pour en extraire des caractéristiques spectrales. Le modèle SVM classe ensuite l’état émotionnel en quatre catégories :

• éveil élevé/valence positive ;
• éveil élevé/valence négative ;
• éveil faible/valence positive ;
• éveil faible/valence négative.

3. Réalité mixte et fractales émotionnelles : chaque participant porte un casque HoloLens qui affiche, en surimpression sur le monde réel, une nuée de fractales colorées autour de sa tête. La couleur et la forme, associées à un son, correspondent à l’une des quatre catégories émotionnelles. Cette restitution visuelle et auditive ouvre une fenêtre sur soi et sur l’état émotionnel de son partenaire, au-delà de la parole et des expressions.

Pourquoi avoir privilégié la réalité mixte plutôt que la réalité virtuelle dans cette recherche ? L’avantage de la MR est qu’elle superpose les éléments virtuels à un environnement réel, préservant ainsi le cadre social et spatial de l’échange. L’utilisateur conserve ainsi la spontanéité d’une conversation en face à face, tout en bénéficiant d’une visualisation augmentée de l’état émotionnel de l’autre.

Crédit photo : Exertion Games Lab, Neo-Noumena – Emotion BCI.

Le protocole de l’étude

Lors de cette étude, les chercheurs ont recruté dix participants formant cinq paires. L’âge moyen était de 34 ans, sans critère d’inclusion particulier hormis l’existence d’un lien affectif. Chaque dyade a conservé le système trois jours consécutifs chez elle avec un seul impératif : au moins une heure d’utilisation par jour.

Le protocole complet comprenait plusieurs volets :

1. Évaluation psychométrique (PEC) : avant la première session, chaque participant remplissait un questionnaire validé mesurant dix sous-échelles : identification, expression, compréhension, régulation et utilisation des émotions, chacune vue à la fois en dimension intrapersonnelle et interpersonnelle. Après trois jours d’usage, le PEC était administré de nouveau afin d’évaluer toute évolution statistique.
2. Journal en ligne : chaque participant complétait un journal décrivant le contexte d’utilisation (activités, moment de la journée, etc.), son ressenti émotionnel (avant, pendant, après la session) et ses impressions sur la correspondance entre les fractales et ses émotions réelles. Il notait également les observations sur l’interprétation de son partenaire et tout événement marquant (surprise, gêne, émerveillement, etc.).
3. Entretiens semi-directifs : à l’issue de la période d’expérimentation, chaque participant a été convié à un entretien individuel. Un chercheur a exploré plusieurs thématiques : l’expérience d’utilisation, le confort, les prises de conscience inattendues, l’impact sur la dynamique de la dyade (ressentis, empathie, conflits éventuels), ainsi que les limites et frustrations liées au dispositif (poids, latence, précision). Les entretiens ont été enregistrés, transcrits et anonymisés pour une analyse thématique.
4. Analyse quantitative et qualitative : les scores PEC avant/après ont été comparés via des tests t appariés (n = 10). Côté qualitatif, une analyse thématique des entretiens et des journaux a permis d’identifier trois grands thèmes dominants : conscience du changement émotionnel, miroir neutre de l’émotion et flux continu d’informations non filtrées.

Les résultats de l’étude Néo-Noumena : quand l’intime devient visible

Analyse quantitative

Parmi les dix sous-échelles du questionnaire PEC, une seule a montré une amélioration significative entre les mesures pré et postutilisation : la régulation émotionnelle interpersonnelle.

Cette donnée suggère que Neo-Noumena a favorisé la capacité des participants à moduler ou ajuster les émotions d’autrui, par exemple en détectant des signes de tension et en adaptant leur comportement en conséquence.

Les autres dimensions de la compétence émotionnelle n’ont pas montré de variation significative dans cet échantillon réduit, mais les retours qualitatifs ont permis d’enrichir la compréhension des effets du dispositif.

Analyse qualitative

1. Spatiotemporal actualization : la conscience du caractère fugace des émotions

Le dispositif propose une approche innovante : matérialiser une activité intérieure jusqu’alors invisible et imperceptible par notre entourage. Au lieu de décrire ce qui nous traverse, souvent sans y parvenir pleinement, le système propose de le montrer :

« On a l’impression que quelqu’un interprète activement des choses que l’on ne voit pas pour en donner une représentation » (P8).

Peu à peu, une peinture en mouvement constant se dessine, illustrant la nature éphémère et variable des émotions :

« Je suis toujours surpris de la fréquence à laquelle le système suggère que ces états émotionnels changent. Il est rassurant de savoir que ces états peuvent changer et évoluer si rapidement » (P3).

Cette relation entre le temps et les émotions s’est renforcée par l’utilisation rénouvelée du dispositif. Jour après jour, les variations devenaient perceptibles avec l’influence de l’environnement, incitant même à modifier volontairement les activités pour constater leur impact sur l’état émotionnel.

2. Objective representation : un miroir « neutre » de l’émotion

Au-delà d’une observation des émotions au fil du temps, le dispositif a permis aux participants de plonger à l’intérieur d’eux-mêmes. Ce processus s’est mis en place grâce à la comparaison entre ce qu’ils ressentaient et la représentation donnée par Neo-Noumena :

« Il s’agissait plutôt d’un miroir » (P4).

Le dispositif devenait alors un moyen de vérifier des hypothèses, de confirmer un pressentiment et de gagner en confiance sur son intuition. Les participants se transformaient en enquêteurs de leurs perceptions :

« Je pense que je me sens plutôt bien, mettons un peu de Neo-Noumena et voyons si je me sens vraiment bien ou si je me trompe en pensant que je vais bien » (P7).

Le jugement de valeur se détachait de l’émotion, elle se laissait alors observer pour elle-même, sans attachement à ce qu’elle représente :

« Même lorsqu’il s’agissait d’un événement négatif, c’était toujours très beau. C’était comme si on pouvait apprécier les humeurs négatives autant que les humeurs positives » (P4).

Si la visualisation de l’émotion a un effet introspectif, elle ne se limite pas à un regard tourné vers soi. Étant donné que les utilisateurs observent l’état émotionnel de leur partenaire, ils deviennent aussi plus empathiques et conscients de ce qui se joue pour eux :

« C’était comme un rappel visuel constant de prendre en compte l’humeur de quelqu’un […] et d’apprécier le fait que d’autres personnes ont aussi des émotions » (P4).

3. Preternatural transmission : un flux continu d’informations non filtrées

Le système fournit des informations de manière constante et automatique, devenant un point d’ancrage sécurisant et fiable :

« c’était comme si vous aviez une “aura” à laquelle vous pouviez toujours vous référer, peu importe ce que vous faisiez […] elle était toujours là » (P4).

Au-delà de faciliter la communication, Neo-Noumena apporte des données supplémentaires par rapport à la parole ou à un discours non verbal. À la question « n’est-ce pas redondant, étant donné que vous pourriez demander à la personne comment elle se sent ? », un participant a ainsi répondu :

« Non, parce qu’il faut se fier à ce que la personne dit, et il se peut qu’elle invente des conneries […] Et il faut aussi se fier à sa propre interprétation de ce que l’on ressent, qui peut être biaisée […] donc c’est cool de le voir automatiquement » (P3).

Toutefois, des divergences d’interprétation se sont manifestées :

« Oh non, ne pense pas que je suis en colère contre toi, s’il te plaît, j’aime t’entendre chanter, j’ai juste mal à la tête » (P7).

Cette variabilité souligne la nécessité d’un cadrage commun ou d’une phase de calibration individuelle pour harmoniser les significations.

Les limites et perspectives : vers l’interprétation 3.0 des émotions

Si la transparence émotionnelle laisse rêveur, tant au niveau thérapeutique que personnel, elle soulève des défis éthiques. Qui a le droit d’accéder à votre flux émotionnel ? Comment protéger cette « intimité émotionnelle » ? Certains participants ont exprimé une gêne à voir leurs émotions exposées à grande échelle ou mal interprétées.

De même, les utilisateurs ont relevé la nécessité de diversifier le panel des émotions mesurées pour rendre compte de la finesse de ce qui est vécu. Face à cette demande, les chercheurs évoquent la possibilité de moduler la taille des fractales par rapport à l’amplitude du signal EEG ou les couleurs en fonction de la densité de fréquence, tout en conservant les attributs géométriques liés à la classification des émotions.

Du point de vue technique, les auteurs reconnaissent certaines limitations :

• la latence dans le modèle de détection des émotions (fenêtres de 30 secondes) peut affecter la réactivité perçue ;
• l’ergonomie du dispositif rend son utilisation prolongée inconfortable.

En perspective, des améliorations sont envisagées : adoption de modèles plus robustes (deep learning), entraînement individualisé, miniaturisation des dispositifs et adaptation à des contextes cliniques (thérapie, autisme, etc.) ou sociaux (cohabitation, enseignement émotionnel).

Dispositif Neuromind : une solution de neurofeedback innovante basée sur la mesure émotionnelle

Si Neo-Noumena se concentre sur le partage de votre « aura » émotionnelle à votre entourage, Neuromind se focalise plutôt sur l’apprentissage de la régulation émotionnelle pour accompagner et soutenir les patients, notamment dans le cas de pathologies chroniques comme la dépression.

Grâce à un casque intégrant des électrodes EEG, l’activité cérébrale est mesurée afin de saisir les schémas cognitifs à l’œuvre. Le dispositif Neuromind associe ainsi :

• l’encéphalographie (EEG) ;
• l’électrocardiographie (ECG) ;
• le suivi oculaire (eye tracking) ;
• l’immersion en réalité virtuelle.

Nos algorithmes détectent et classifient les données recueillies en fonction de deux biomarqueurs propriétaires de l’attention et de l’émotion. Au-delà de l’analyse des émotions, Neuromind cohabite avec le casque VR pour évaluer ce que l’environnement virtuel procure à l’utilisateur. Il est alors possible de définir un état cible tel que la relaxation, les immersions évoluant jusqu’à que l’utilisateur y parvienne.

Neo-Noumena ouvre la voie à une nouvelle forme de communication émotionnelle, où l’invisible devient visible, et où la subjectivité affective se partage en temps réel. Cette approche pourrait transformer la manière dont nous percevons, exprimons et régulons nos émotions, aussi bien pour soi que pour les autres. En parallèle, la réalité virtuelle basée sur le neurofeedback présente le potentiel de révolutionner la régulation émotionnelle. Si vous voulez constater les bénéfices de nos dispositifs par vous-mêmes, nous serions ravis de vous proposer une démonstration.

Sources :

• Semertzidis, N., Scary, M., Andres, J., Dwivedi, B., Kulwe, Y., Zambetta, F., Mueller, F. Neo-Noumena: Augmenting Emotion Communication. CHI 2020. Long paper. ACM.
• Semertzidis, N., Scary, M., Andres, J., Kulwe, Y., Dwivedi, B., Zambetta, F., Mueller, F. Neo-Noumena. CHI 2020 Interactivity. ACM.