Résumé:
Ces dernières années, le développement d'interfaces homme-machine intuitives a permis la démocratisation de systèmes intégrant à la fois des utilisateurs humains et des compagnons artificiels (robots et/ou personnages virtuels) dans une interaction sociale. Le travail principal de cette thèse concerne les interactions dialogiques qui ont lieu dans un contexte multi-partie , c'est-à-dire impliquant plusieurs utilisateurs et plusieurs robots ou agents virtuels. L'objectif de cette thèse est donc d'étudier les moyens théoriques et pratiques permettant une interaction multi-partie entre plusieurs agents virtuels, robots et humains.
Elle se concentre sur le choix des actions dialogiques, en particulier avec une composante émotionnelle des compagnons artificiels. L'intégration de cette composante émotionnelle permet d'augmenter l'engagement des utilisateurs dans l'interaction et la crédibilité des agents. L'expression du comportement le plus naturel possible, c'est-à-dire similaire à celui d'un utilisateur humain, nécessite l'utilisation de plusieurs modalités (énoncé, voix, geste, etc.). Le comportement des agents dépendra à la fois du dialogue et de l'état émotionnel inféré des utilisateurs humains. Au cours d'une interaction dialogique, un agent suit un cycle simplifié composé d'une phase de perception, de décision et d'action. Cette thèse intervient dans les trois phases, où deux verrous ont été identifiés :
Pendant la phase de perception, un mécanisme d'interprétation des actions, attitudes, déclarations dialogiques et émotions des utilisateurs humains est nécessaire. Cela implique l'extraction de la sémantique des observations brutes à partir de données multimodales (texte, son, vidéo, etc.). Dans cette thèse, l'accent principal sera mis sur la reconnaissance des émotions affichées dans une conversation multi-partie, via l'extraction de plusieurs modalités (énoncé, voix, visage).
Pendant les phases de décision et d'action, l'émotion à jouer par l'agent est générée en fonction de ce qu'il a perçu et de ce qu'il a décidé. Dans le contexte d'un groupe de discussion où un agent joue le rôle de facilitateur, une stratégie de facilitation basée sur l'intelligence émotionnelle de groupe est proposée pour évaluer l'engagement des participants dans la conversation. Nous visons à répondre à la question de recherche suivante : Comment améliorer un agent conversationnel agissant en tant que facilitateur une discussion de groupe ?
Nous avons étudié la question sous plusieurs aspects : l'intelligence émotionnelle perçue de l'agent, l'engagement de l'utilisateur, la confiance qu'ils partagent avec l'agent, leur sentiment de rapport avec lui et l'acceptabilité du système. Une étude expérimentale a été réalisée, dans un scénario multi-partie où trois participants humains interagissent avec un robot. Nous avons constaté que les participants étaient plus impliqués dans le scénario grâce aux interventions individuelles et de groupe basées sur les émotions prédites par notre modèle de reconnaissance des émotions dans la conversation (REC).