A multimodal contrastive study of (dis)fluency across languages and settings : towards a multidimensional scale of inter-(dis)fluency
Une étude multimodale et contrastive de la (dis)fluence à travers les langues et contextes : vers une évaluation multidimensionnelle de l’inter-(dis)fluence
Résumé
The research presented in this thesis deals with so-called “disfluency” phenomena, a topic of study traditionally concerned with the annotation of a priori “disfluent” forms, such as “uh” and “um”, silences, repairs, repetitions, and the like, marking an interruption or a suspension in the verbal channel. More recently, a number of researchers have vouched for an ambivalent approach to these markers, also known as “fluencemes”, to uncover the potential for the same forms to serve both fluent and disfluent functions depending on the context. The present study is situated within this field of research, and offers an additional multimodal and interactional approach, taking into account the multiple modalities available to speakers in situated interactional practices, such as hand gestures, gaze, facial displays, or artefacts, used to build meaning in discourse. The purpose of this thesis is to go beyond production- oriented models of disfluency, and evaluate the degrees of fluency, fluidity, or flow, of face-to-face communication with a tridimensional scale, considering the levels of speech, gesture, and interaction. Our analysis targets more specifically the durational, positional, functional, sequential, and visual-gestural properties of fluencemes, and combines quantitative annotations with micro-analyses of the data. Based on a video dataset in French and English of university students engaged in different tasks across different settings and languages, this research shows that the construct of disfluency should not be restricted to the level of speech production, as it also exhibits recurrent interactive multimodal practices which are relevant to speakers’ language activities. Data available at : https://hdl.handle.net/11403/corpus-disreg
Ce travail de thèse porte sur les phénomènes dits de « disfluence », un domaine de recherche qui s’appuie traditionnellement sur l’annotation de formes a priori « disfluentes », telles que « uh » et « um », les silences, les réparations, les répétitions, etc., qui marquent une interruption ou une suspension de la chaîne parlée. Plus récemment, des chercheurs ont mis en avant une approche ambivalente de ces marqueurs, aussi connus sous le nom de « fluencemes » afin de dévoiler le potentiel qu’ont ces mêmes formes à avoir des emplois à la fois fluents et disfluents selon les contextes de production. La présente étude se situe dans la continuité de cette démarche, et intègre une approche multimodale et interactionnelle, en prenant en compte les différentes modalités qui participent à la construction du discours, tels que les gestes, le regard, les expressions faciales, ou l’utilisation d’objets. L’objectif de cette thèse est d’évaluer les degrés de fluence dans la séquentialité de l’interaction multimodale, via une échelle tridimensionnelle qui considère la parole, la gestualité, et l’interaction. Notre analyse porte plus particulièrement sur les caractéristiques temporelles, positionelles, fonctionelles, et visuo-gestuelles des fluencemes, en combinant des annotations quantitatives et micro analyses des données. A partir d’un corpus vidéo en français et en anglais comprenant des échanges entre étudiants universitaires dans différentes langues et contextes, cette étude montre que la notion de disfluence ne saurait se réduire à une difficulté cognitive sur le plan verbal, puisqu’elle incarne également des pratiques interactives multimodales récurrentes et pertinentes aux activités langagières des locuteurs. Données associées disponibles sur : https://hdl.handle.net/11403/corpus-disreg
Fichier principal
These_KOSMALA_Loulou_2021.pdf (8.55 Mo)
Télécharger le fichier
Resumefrancais_KOSMALA_Loulou_2021_annexes.pdf (1.17 Mo)
Télécharger le fichier
Origine : Version validée par le jury (STAR)
Format : Autre