Interprétation linguistique du contour intonatif méthodes acoustiques

Interprétation linguistique du contour intonatif : méthodes acoustiques, physiologiques et psycholinguistiques Mariapaola D’Imperio LPL, CNRS & Université de Provence 16 mars 2007 – Université Paris VII

Plan de l’exposé 1. Introduction - Cadre general: a. Phonologie de laboratoire et phonologie intonative b. Théorie Autosegmentale-Metrique (AM theory) 2. Le contour intonatif et ses cibles a. Données acoustiques -algorithmes pour l’extraction des cibles tonales b. Données physiologiques -Optotrak et EMA c. Données psycholinguistiques -identification et mouvements oculaires 3. Comparaison inter- et intra-linguistique a. langues romanes : apport syntaxique et prosodique au phrasing b. parole de laboratoire vs. parole spontanée. Exemples d’un corpus Map Task. 2

Paradigmes Linguistiques RÉCUPÉRATION DE CIBLES TONALES ACOUSTIQUES/ CORRÉLATIONS AVEC PRODUCTION Théories linguistiques sur la prosodie Retombées fondamentales (fondation perceptive et physiologique des primitives théoriques) VALIDATION PERCEPTIVE Retombées appliquées Outils d’acquisition Modélisation Théories (synthèse, reconnaissance acoustique de signaux psychoétiquetage automatique, 3 acoustiques dialogue homme/machine, apprentissage de L 2)

Approche de la Phonologie de Laboratoire • Tester certaines hypothèses phonologiques explicites (pas nécessairement à l’intérieur d’une théorie) • Objectif ultime: renforcer les bases scientifiques de la phonologie Les modèles phonologiques doivent permettre de faire des prédictions explicites qui peuvent être testées par l’expérimentation 4

Pourquoi la phonologie de laboratoire? • Pierrehumbert (1990): “Si la phonétique n’est pas reliée à la phonologie, elle modélise des bruits et des gestes auxquels aucune signification ou catégorie structurelle ne peut être assignée. Une théorie englobant la phonologie, la phonétique et leur relation entre elles est nécessaire pour asseoir les fondations d’une théorie du processus langagier et de l’acquisition du langage ”. 5

Outil théorique : Phonologie Intonative • Au niveau segmental : séquence d’événements phonologiques discrets m e 't a (foglio) • Au niveau intonatif : séquence d’événements phonologiques discrets LH !HL 6

Autosegmental-metrical theory (Pierrehumbert 1980, Pierrehumbert and Beckman, 1988, inter alia) – Structure tonale : séquence d’événements tonals (Hs, Ls) associés avec des têtes ou des frontières de domaines prosodiques ip T* T – Accent mélodique : ton associé avec une syllabe métriquement forte, monotonal (e. g. , H*, L*) ou bitonal (e. g. , L+H*). – Ton de frontière : ton aligné avec la frontière d’un constituent prosodique de niveau plus haut (e. g. , accents de syntagme H-, L-). 7

Pourquoi approche autosegmentale ? • Simplicité et pouvoir descriptif (comparaison inter- langues) • Lien entre structure tonale et texte (association et alignement) • Applications technologiques (synthèse multilingue) 8

Association de la mélodie au texte • Même contour (tune), mais mots différents (tiré de Grice, D’Imperio, Savino and Avesani, 2005). L*+H HL(rise) (fall) NAno 9

Association de la mélodie au texte • Même contour (tune), mais mots différents (tiré de Grice, D’Imperio, Savino and Avesani, 2005). L*+H HL(rise) (fall) BELla mano di MAM 10

Modèle d’interpolation des cibles = underspecified regions = specified tonal targets 11

THEME #1 DONNEES ACOUSTIQUES 12

Représentation de la F 0 [ ][v] [d][ ] F 0 [s] Pierre viendra [s] ce soir F 0 est perturbé en cas de forte constriction du conduit vocal et absente dans segments sourds 13

F 0 Abstraction du contour Pierre viendra ce soir Mais…. notre perception du contour intonatif fait abstraction de ces perturbations. 14

F 0 Cibles tonales H L H H L Pierre viendra L ce soir Degré d’abstraction encore plus important : analyse en cibles tonales. 15

Interprétation linguistique du contour v. Niveaux tonals vs. configurations LHL LH HL Rise-fall Rise Fall 16

Cibles tonales et alignement Alignement = synchronisation temporelle de certaines parties de la courbe de F 0 (points cible) avec des unités ou des frontières segmentales. (Silverman and Pierrehumbert, 1990; Arvaniti et al. , 1998; Ladd et al. , 1999, 2000; D’Imperio, 1995, 1997, 2001; inter alia). scaling Pic F 0 L a l time l a 17

Variabilité acoustique et modélisation Variables linguistiques : • structure focale • structure syllabique • position dans le mot • position dans la phrase • environnement segmental M a R I a 18

Facteurs qui influencent l’alignement – Tonal crowding (D’Imperio, 2001; Silverman and Pierrehumbert, 1990) – Longueur phonologique et structure syllabique (Ladd et al. , 2000; D’Imperio, 2000) – Composition segmentale de la syllabe (van Santen and Hirschberg, 1994; Rietveld and Gussenhoven, 1995) – Débit de parole (Ladd et al. , 1999) 19

Longueur phonologique et structure syllabique • En italien, les voyelles en syllabe ouverte (pénultième) accentuée sont longues (D’Imperio & Rosenthall, 1999 ; Van Santen & D’Imperio, 1999). • La durée consonantique est contrastive (nono “neuvième”/ nonno “grandpère”), mais la durée de la voyelle précédente varie en fonction de la quantité consonantique. 20

Structure syllabique et alignement (D’Imperio 2000; D’Imperio, Petrone and Nguyen, 2004) A. Nonno « grandpère » il vedrai n o L*+H nn o H L*+H B. Nono « neuvième » vedrai il n o L*+H n o H 21

Exemple 1 : Individuation d’une cible tonale (D’Imperio 1999, 2002) L? Hypothèses: a. Pas de cible contrôlée. b. Une cible de niveau bas (L), dont alignement et F 0 sont contrôlés. b 1. LH* b 2. H*L H* 22

Analyses compétitives Corpus : 1, 2 ou 3 mots dans constituent focalisé (mamma, mano di mamma, bella mano di mamma) 1. (L)H H H sagging interpolation (cf. Pierrehumbert, 1980 for A. English) 2. (L)HL H H L est une cible 3. (L)H LH LH L est une cible 23

Mesures 24

Régression linéaire (Elbow detection) (D’Imperio 1995, 2000, 2002) H L 25

Régression linéaire et pente 2 MOTS Pente moins rède pour constituants focalisés à 3 mots 3 MOTS L L(H) 26

Régression logistique (D’Imperio, 2000) 27

Exemple 2: structure intonative du français (D’Imperio et al. , 2006) • Vérifier l’existence de différences formelles et acoustiques entre les accents nucléaires (IP-final) et prénucléaires (non-final de IP) ascendants, qui ne sont pas attribuables à la structure segmentale. [[Les amis]AP [de mami]AP]S/IP [[ils n’arrivent que demain]]S/IP [(H*)AP]IP ? 28

Méthode : approche double 1. Transcription auditive de l’emplacement et du type d’accent mélodique, ainsi que de la frontière prosodique. 2. Mesures acoustiques (hauteur et alignement des cibles tonales, etc. ) 29

1 ou 2 cibles? L? 30

Modélisation acoustique des cibles 1 ou 2 cibles? MOMEL (Hirst et al. 2000) H L [[Les amis]AP [de mami]AP]S/IP [[ils n’arrivent que demain]]S/IP 2 -line regression (D’Imperio, 2000) L 31

Résumé Intermédiaire • L’interprétation linguistique du contour de F 0 dépend fortement de la notion de cible tonale. • Les hypothèses sur la structure tonale ainsi que sur la nature et la taille de l’inventaire d’accents mélodiques d’une langue donnée peuvent être testées à l’aide de la phonologie de laboratoire. 32

THEME #2 DONNEES PHYSIOLOGIQUES 33

Acquisition données articulatoires OBJECTIFS : 1. Corrélation entre contrôle tonal et contrôle du conduit vocal. 2. Alignement systématique des cibles tonales avec des repères articulatoires. Trajectoires verticales de la lèvre inférieure Accent de focus F 0 MAMma temps 34

Acquisition données articulatoires : EMA • Articulograph (Carstens AG-100, 2 -D EMA system). • Système electromagnétique à 2 dimensions. • 9 capteurs (lèvre supérieure et inférieure, mandibule, 4 sur la langue, 1 sur nez et incisifs supérieures). 35

Hypothèse Les cibles H sont alignées/synchronisée avec des événements articulatoires cruciaux indépendamment de la structure syllabique et du débit de parole. 36

Mesures Latency F 0 values LATENCY (s) Articulatory Trajectory/ Velocity F 0 v 0 Linear velocity of tongue apex_y V v 1 peak min 2 37

Visualisation des données m a mm a waveform étiquettes F 0 distance entr les levres 38

THEME #3 DONNEES PSYCHOLINGUISTIQUES 39

Alignement et catégories accentuelles • Ward et Hirschberg (1985) proposent qu’en anglais américain il y a un contraste de sens entre accents montants avec un pic avancé et accents montants avec un pic retardé. 40

Alignement et catégories accentuelles A: I’d like to fly to Davenport, Iowa on TWA. B: TWA doesn’t fly there. . . they fly to Des Moines EARLY PEAK (assertion) L+H* they fly to Des Moines LATE PEAK (suggestion/uncertainty) 41 L*+H

Alignement et catégorialité • Pierrehumbert & Steele (1989) synthétisent plusieurs contours intonatifs avec différents degrés d’alignement du pic, en demandant d’imiter le contour perçu par des locuteurs. • L’alignement des pics des réponses des locuteurs n’était pas graduel, mais dans deux catégories distinctes : pic 42 avancé (‘assertion’) ou retardé (‘suggestion’).

Alignement et contraste L A L la Q = L*+H L L (D’Imperio et House, 1997; D’Imperio et al. 2000; D’Imperio 2001, to appear) A = L+H* ? question . affirmation Une différence temporelle minimale est cruciale 43 pour la catégorisation (justification perceptive).

Stimuli synthétiques Stylization et resynthèse du contour L*+H Vedrai il nono? “Verras-tu le neuvième? ” 44

Méthode 300 Alignment: A. Linear stylisation 280 F 0 (Hz) 250 H 210 200 210 180 L 1 150 L 2 Time Alignment: B. Temporal shift A 2 A 3 Vocalic offset 0 15 A 4 200 250 H L 1 L 2 150 F 0 (Hz) 300 A 1 -15 Shift (msec) 30 45

Exemple de résultats Changement catégoriel du à la manipulation temporelle (S-shaped curve) 46

Effet de l’intonation sur la résolution de l’anaphore • Les auditeurs se servent de la catégorie accentuelle pour identifier l’objet auquel on fait référence (Dahan et al. 2002). • Eye-tracking A. “Put the candle/candy below the triangle. ” B 1. NOW, put the CANDLE above the square B 2. NOW, put the candle ABOVE THE SQUARE. CANDLE (accentué) est non-anaphorique fixation to candy candle (non-accentué) est anaphorique fixation to candle 47

Mouvements oculaires 48

Catégories tonales et pragmatique : Eyetracking (Ito et Speer 2005) Pierrehumbert & Hirschberg, 1990 Compositional tune meaning PA types meaning H* Added to mutual belief space. L* Already part of mutual beliefs. Salience-without-predication L*+H Uncertainty, lack of speaker commitment L+H* Contrast with some alternative related item http: //www. ling. ohio-state. edu/~speer/Expt. Prag_shorter. ppt 49

Parole semi-spontanée (unscripted speech) • Tâche: Donner des instructions pour décorer un arbre de Noël – L’écran montre une photo d’un ornement et une photo d’un arbre avec une étiquette (e. g. blue ball) indiquant l’emplacement de l’ornement. • Newness, Givenness & Contrastiveness manipulées par ordre d’occurrence dans le discours. New: The first mention of the discourse entity Given: Subsequent mentions of the discourse entity Contrastive: Immediate repetition of an entity. E. g. blue ball -> blue DRUM / blue ball -> RED ball http: //www. ling. ohio-state. edu/~speer/Expt. Prag_shorter. ppt 50

http: //www. ling. ohio-state. edu/~speer/Expt. Prag_shorter. ppt * * * 18 23 28 * * * * orange candy 19 20 24 25 29 * 30 * 16 17 21 26 31 22 27 32 51

Exemples http: //www. ling. ohio-state. edu/~speer/Expt. Prag_shorter. ppt 52

Question Est-ce que l’emplacement d’un accent de type L+H* sur un modificateur (e. g. adjectif de couleur) facilite la recherche de l’objet modifié? http: //www. ling. ohio-state. edu/~speer/Expt. Prag_shorter. ppt 53

Procedure • Sujets suivent des instructions audio pour décorer un arbre de Noël. • Les ornements sont visualisés sur une grille de 11 cells (8 target + 3 filler) • Mouvements oculaires enregistres avec un head-mounted eye-tracker (ASL e 5000, magnetic head tracking) a 60 Hz. http: //www. ling. ohio-state. edu/~speer/Expt. Prag_shorter. ppt 54

http: //www. ling. ohio-state. edu/~speer/Expt. Prag_shorter. ppt 55

Experiment 1: Stimuli • Felicitous Patterns green onion ORANGE onion L+H* no accent brown ball brown ANGEL H* L+H* • Infelicitous Patterns gray stocking brown STOCKING H* L+H* orange candy ORANGE onion L+H* no accent 56

THEME #4 COMPARAISON INTER-LINGUISTIQUE 57

Phrasing Mary & Elena’s mother mall I met Mary and Elena’s mother at the mall yesterday 1 syntagme intonatif avec F 0 assez constante. 58

Phrasing Elena’s mother mall Mary I met Mary and Elena’s mother at the mall yesterday 2 syntagmes séparés avec gamme tonale plus étendue 59

Phrasing Comparaison inter- et intra-linguistique Langues romanes : apport de facteurs syntaxiques et prosodiques au phrasing 60

Language-specific tendencies • Déclaratives focalisation large: anglais : catalan : (S)(VO) & (SV)(O) (Nibert 2000) (Prieto 1997) português : italien : (SVO) (Frota 2000) (D’Imperio 2000) 61

Comparaison inter-langues RLD = Romance Languages Database, D’Imperio et. al. 2005 Catalan (SV)O Italian (SVO) 62

Finalités • Etudier l’apport du branchement syntaxique et de la longueur des constituants (en s) sur le phrasing dans 4 langues romanes (catalan, italien, portugais européen du Nord et du Sud et espagnol). 63

METHODE • Etudes systématiques des facteurs cruciaux au niveau intra- et inter-linguistiques. • Séparer l’apport de la prosodie de celui de la syntaxe (e. g. , # syllables, #prosodic words, # syntactic words, syntactic branching? ). 64

Corrélats phonétiques en italien • Dans la plupart des cas, la fin de la phrase était marquée par une montée de F 0 (continuation rise or sustained pitch), un accent de niveau H* en fin de syntagme et une pause optionnelle. 65

La parole de laboratoire est-elle la vrai parole? • When the object of the analysis is the phonetics/phonology interface, laboratory speech is an adequate source of data. • Lickley, Shepman e Ladd (2005) : read speech is real speech (analysis on Dutch read speech and Map Task data). • If the object of study is the pragmatic level, the distribution of a certain contour in a specific type of pragmatic interaction, then spontaneous or semispontaneous speech is needed. • Different speech styles do not imply the existence of difference tonal grammars. 66

The case of short expressions : Italian and Swedish Category Tonal realizat ion Percentage of occurren ce RN H+L* L-L% 90% RP H+L* L-L% 81% FA H+L* L-L% 73% FCy L* L-H% 73% FCI H+L* L-L% 71% FR H+L* L-L% 67% DH H* H-L% or L* L-L% 55% FE L+H* L-L% 50% Table 2 Most common tonal realizations per functional category in the Italian materials Continuer (you go on) 67

Acoustic Similarities and Dissimilarities per function categories: F 0 and duration for ja and sì Label Swedish Italian FCY (continuation Rising F 0, lengthening, BIG SPAN Rising F 0, lenghtening you go on) Flat F 0, SLIGHTLY Mainly Falling F 0, RISING (small span, high short duration range) (lengthening for speak 1) FA (acceptance) (Mainly) Rising F 0 (small span, low range) Falling F 0 RP Rising and long (if in context) Falling and short (if in isolation) Falling F 0 FCI (continuation I (positive answer) 68

Conclusion • Afin de modéliser et interpréter linguistiquement le contour de F 0, il est nécessaire d’adopter des modèles de la cible tonale explicites, qui rendent compte et de la production et de la perception. • Des modèles explicites sont aussi a la base de l’extraction automatique des cibles tonales. • L’investigation de la parole spontanée doit être accompagnée par des données de parole de laboratoire, permettant de se concentrer sur une problématique spécifique a l’interface entre la phonétique et la phonologie, et de bénéficier de données qui pourraient être mal représentes dans la parole spontanée. 69