面部表情如何輔助嬰兒語感研究

更新時間：2025-08-14

點擊次數(shù)：437

在嬰兒語言發(fā)展關(guān)鍵期，準確感知語音對后續(xù)能力發(fā)展至關(guān)重要。

傳統(tǒng)研究多依賴注視測量，卻難全面捕捉嬰兒復雜反應。本研究聚焦嬰兒語音感知中面部情感變化，引入自動化面部表情分析，探究了嬰兒在面對母語與非母語時的面部變化與感知調(diào)諧能力之間的關(guān)系，旨在挖掘面部表情分析作為注視測量補充的潛力，為早期語言發(fā)展研究提供更豐富、精準的工具與視角（Tsuji et al., 2025）

嬰兒語言的感知調(diào)諧發(fā)展

嬰兒在出生后的第一年內(nèi)，其語言能力的發(fā)展經(jīng)歷了從廣泛感知到精細區(qū)分的顯著變化。最初，嬰兒能夠區(qū)分世界各種語言中的廣泛音素對比，但隨著年齡的增長，他們對非母語音素的敏感性逐漸下降，而對母語音素的區(qū)分能力則顯著增強。這一過程被稱為感知調(diào)諧（Perceptual Attunement），它反映了神經(jīng)可塑性和突觸修剪在關(guān)鍵發(fā)展期的作用，并與后期的語言技能正相關(guān)。

傳統(tǒng)的感知調(diào)諧研究主要依賴于注視時間測量，即通過測量嬰兒對新穎聲音和熟悉聲音的注視時間差異來判斷其區(qū)分能力。然而，感知調(diào)諧并非一個統(tǒng)一的過程，它受到語言和社會環(huán)境豐富性的影響。例如，雙語嬰兒可能比單語嬰兒需要更長的時間來調(diào)諧其語音類別，而社會互動豐富的環(huán)境則能增強嬰兒對語音對比的習得。

鑒于這些多方面的影響，僅依賴注視時間這一單一測量指標可能無法全面捕捉嬰兒在感知調(diào)諧過程中的豐富反應。而面部表情能提供關(guān)于嬰兒情感狀態(tài)和認知參與的額外信息，這些信息可能揭示感知調(diào)諧過程中更復雜的機制。

因此，本研究旨在探索將面部表情分析作為注視時間測量的補充工具，以更全面地理解嬰兒在語音感知過程中的情感和認知反應。

利用Baby FaceReader捕捉嬰兒情感變化

實驗研究被試來自東京的日語單語嬰兒，分為9個月和12個月兩個年齡組。對于母語音素區(qū)分實驗，9個月組有31名嬰兒，12個月組有33名嬰兒；對于非母語音素區(qū)分實驗，9個月組有29名嬰兒，12個月組有29名嬰兒。

每個嬰兒需要參與包含兩組會話的實驗，即使用母語刺激（日語）的會話和使用非母語刺激（英語）的會話。實驗在隔音實驗室中進行，視覺刺激顯示在顯示屏中，音頻刺激通過屏幕下方的前置揚聲器播放。嬰兒坐在照顧者的腿上，照顧者佩戴降噪耳機播放音樂以屏蔽音頻刺激。實驗者通過攝像機觀察嬰兒，并通過按鍵記錄其注視屏幕的情況。

實驗采用改進的視覺習慣化范式，包括四個階段：預測試、習慣化、測試和后測試。習慣化階段持續(xù)呈現(xiàn)一種語音類型的刺激列表，伴隨靜態(tài)紅黑棋盤格視覺刺激，直到嬰兒達到習慣化標準。測試階段包括四個試次：兩個“轉(zhuǎn)換"試次（呈現(xiàn)與習慣化不同的語音類型）和兩個“相同"試次（匹配習慣化刺激）。其中，注視行為數(shù)據(jù)通過提取記錄的按鍵數(shù)據(jù)來分析嬰兒注視和遠離屏幕的情況。

整個過程使用諾達思的嬰幼兒面部表情分析系統(tǒng)(Baby FaceReader)進行記錄分析。軟件能夠檢測嬰兒面部標志點并逐幀分析注視、頭部方向和面部肌肉運動。Baby FaceReader根據(jù)面部動作編碼系統(tǒng)（FACS）生成面部肌肉動作單元(Action Units, AU)數(shù)據(jù)，并組成特定表情的表達式；同時，系統(tǒng)會分析情緒效價和喚醒度。效價反映了整體的情緒基調(diào)，喚醒度表示強度。此外，研究者對由特定的消極情緒（AU3 +AU4）和積極情緒（AU12）進行了分析。

語感能力引起情感變化

研究者首先分析了注視行為以評估感知調(diào)諧，使用線性混合效應模型分別對母語和非母語實驗中的每個年齡組進行建模。結(jié)果表明，對于母語語音感知調(diào)諧，9個月和12個月的嬰兒均表現(xiàn)出顯著的區(qū)分能力。對于非母語語音感知調(diào)諧：9個月和12個月的嬰兒均無顯著區(qū)分能力。

接下來對面部表情進行三組驗證性分析，以效價、喚醒度、積極情緒或消極情緒作為因變量創(chuàng)建混合效應模型。

習慣化階段的結(jié)果表明（圖1），效價隨著試次數(shù)量的增加顯著下降。母語刺激的效價低于非母語刺激。年齡與母語性存在交互作用，9個月的嬰兒在非母語刺激下的效價顯著高于12個月的；喚醒度隨著試次數(shù)量的增加顯著下降。非母語刺激的喚醒度高于母語刺激；積極情緒隨著試次數(shù)量的增加而顯著增加，9個月的嬰兒的積極情緒高于12個月的。母語刺激的積極情緒高于非母語刺激。測試階段的結(jié)果顯示，不同試次中面部表情沒有出現(xiàn)顯著差異，這表明這些條件可能不會引起情感反應的足夠強烈的變化。

此外，結(jié)果表明面部情緒與母語語音區(qū)分能力有關(guān)，更好的區(qū)分能力與較低的負面情緒有關(guān)（圖2）。這種模式可能表明，成功處理熟悉的對比會減少挫敗感或消極反應。對母語的偏好也被認為反映了對信息的期望，目前的結(jié)果可能表明，在檢測相關(guān)信息方面做得更好的嬰兒表現(xiàn)出更好的感知調(diào)諧。

面部表情分析助力理解嬰兒語言發(fā)展

本研究通過增加面部表情分析到傳統(tǒng)的注視時間測量中，探索了嬰兒在視覺習慣化范式中的面部情感反應，以更全面地理解其對母語和非母語語音的感知調(diào)諧。

研究結(jié)果表明，面部表情分析可以作為研究感知調(diào)諧的傳統(tǒng)注視時間測量的補充工具，特別是在捕捉習慣化階段的情感變化方面。然而，并非所有刺激都能引發(fā)可檢測的面部情感差異，這可能受到刺激的非社交和非情感特性的限制。未來的研究可以進一步探索面部表情分析在不同實驗設計和刺激類型中的應用，以更全面地理解嬰兒在語音感知過程中的情感和認知反應。此外，將面部情感數(shù)據(jù)與嬰兒的社會交流環(huán)境和語言結(jié)果測量相結(jié)合，可能有助于深化我們對嬰兒情感反應和參與度如何影響語言學習的理解。

參考文獻

Tsuji S, Alonso F, Hagihara H, Kimura N, Polka L and Lov?evi? I (2025) Facial affect and arousal as a complement to gaze measures in infant speech sound perception studies.Front. Neural Circuits 19:1553918.

歡迎關(guān)注諾達思公眾號，了解更多精彩內(nèi)容！