「論文文獻」Body Expressions Influence Recognition of Emotions in the Face and Voice

Body Expressions Influence Recognition of Emotions in the Face and Voice
Jan Van den Stock、Ruthger Righart 、Beatrice de Gelder
Emotion, Vol 7(3), Aug 2007, 487-494. doi: 10.1037/1528-3542.7.3.487
By the American Psychological Association
URL: http://psycnet.apa.org/journals/emo/7/3/487/

此篇論文主要以臉部、聲調、全身肢體所表達出的情緒做為探討，因為很少有研究做關於肢體情緒表達，因此研究者為了調查肢體情緒分別利用三種實驗來研究。

實驗一

• 目的：識別肢體的情緒
• 17位受測者，年齡為18-28歲，讓他們分類照片中的身體情緒(臉模糊)，分類的情緒只有生氣、害怕、快樂、傷心。

• 測試中一組會有三張照片，分為上、下右、下左呈現三角形(圖一)，三張照片會有不同的性別組成，且三張照片中，如果有2張的害怕情緒，其中會出現不是害怕情緒的誤選項(ex.快樂、傷心、生氣)。

• 總共有72張照片，安排24組試驗(4種情緒 x 3種誤選項 x 2種性別)，參與者必須將選擇下方左右兩張的情緒照片去搭配上方的照片的相似情緒。
• 以單一樣本t檢定顯示，識別全部的身體情緒的機率等級為百分之50，P值小於等於.001。

• 使用重複測量變異數分析去分析4種情緒的變數，發現有顯著的影響，之後利用邦弗朗尼事後檢定，觀看成對比較，發現有三組具有顯著差異，分別為生氣與傷心t(16) = 3.79, p < .002，害怕與快樂t(16) = 4.40, p < .001以及害怕與傷心t(16) = 5.22, p < .001。(圖2)

  

  圖2. 正確的情緒配對

  
  
• 針對誤選項因素實施 重複測量變異數分析，也發現一些顯著的影響， 之後利用邦弗朗尼事後檢定，觀看成對比較有兩組具有顯著差異，傷心與生氣的誤選項 t(16) = 3.85, p < .001以及害怕與傷心的誤選項 t(16) = 3.05, p < .008.
• 之後計算每位參與者的中位數之反應時間，進行重複測量變異數分析4 種情緒，發現生氣與傷心t(16) = 5.10, p < 0.001，害怕與快樂t(16) = 3.92, p < 0.001、害怕與傷心t(16) =   3.94, p < 0.001為顯著。(圖3)
  
  

  

  圖3. 辨別情緒的時間

• 實驗一的數據呈現出害怕的身體表達比較讓人困難辨認情緒。

實驗二

• 實驗二主要的實驗為測驗身體語言在臉部表情的識別影響。

• 實驗工具方面，創建一個5個階段連續表情，從害怕→快樂的表達五階段(X5)各搭配快樂與害怕的身體(X2)，總共10張(圖4)。

圖4. 不同階段的臉部表情搭配快樂的身體

• 利用臉部表情(5階段)以及身體表達(2階段)的因子，實施重複測量變異數分析，得出主要顯示情緒認知受到臉部的影響為 F(1, 13) = 37.56, p < .001，身體為F(1, 13) = 37.56, p < .001，臉部與身體互動為F(4, 52) = 4.78, p < .002.
• 之後比較的臉部表情與身體表達的“快樂情緒”的比例之間的差異反應，發現從害怕的臉部表情到第三個臉部表情配合身體的三種組合中，有顯著的差異( p <.006, p < .001,  p < .001,，後面兩個組合則無(圖4、圖5)。

圖5

• 計算每位參與者的中位數之反應時間，進行重複測量變異數分析，發現時間的辨別情緒的速度並沒有顯著差異。
• 實驗二的結論為：當臉部表情情緒呈較為模糊(模擬兩可)的狀態時，身體所呈現的姿勢容易影響臉部的情緒。

實驗三

• 實驗三主要為 身體語言對音律的情緒識別的影響
• 將句子的音調從害怕→快樂被分成7個階段，配上 快樂、害怕兩種沒有臉部表情的身體語言(圖5)，總共有14種配對組合。

圖5

• 讓參與者分辨音律(7) x 身體(2)的14種組合的聲音情緒(主要以聲音為主，省略身體的情緒)，之後利用重複測量變因數分析得到聲音的情緒 F(6, 78) = 24.90, p < .001 與身體的情緒 F(1, 13) = 9.94, p < .008 都有達到顯著差異，然而彼此之間卻沒有互相作用。
• 之後計算每位參與者的中位數之反應時間，進行重複測量變異數分析，F(6, 78) =  9.43, p <  .001，得到的結果為聲律的情緒位於模糊地帶，反應的聲律的情緒時間會拉長。(圖6)

圖6

• 雖然希望參與者能夠不要受到身體語言的影響選擇聲律的情緒，然而結果顯示參與者較為容易受到身體語言的影響。

結論

雖然照片中的身體是靜態的，但是臉部與聲律還是會被身體語言所干預，對觀看者而言有很重大的影響。

此篇論文並沒有講到動作，然而卻提出了沒有動作的身體就可以帶給觀看者有很大影響，那帶有動作的身體語言是否可以更加的讓人們感受到情緒這一點可以好好的思考以及研究(實驗)。

內容雖指出害怕的身體語言很難被辨別，不過對於害怕的姿態比較難以辨認這一點我還是採取保留態度。

另外觀看它的實驗步驟與方法，感覺很有趣，似乎可以運用到動作的研究上，只不過該如何運用就該好好思考一下了。

「書籍閱讀心得」錯把太太當帽子的人

錯把太太當做帽子的人

作者：奧立佛。薩克斯
2008.08  台北市：天下文化

有些人因為自己的身體變化與一般人不同，而感到痛苦，但也有些人卻因身體的"功能不足"與"功能過度"的變化而感到了開心，如得到愛神病的一位婦人，因為感染了神經性梅毒讓他得到過度的興奮而感到幸福。

前一陣子，本人因極愛推理劇，因此觀看了一部ATARU的日劇，會注意到此部日劇不只是因為推理劇，其實是因為男主角是一位患有學者症候群的人，而讓我有想觀看的理由，裡面的劇情有些被塑造成"因為天生擁有比一般人還要強的某項技能(絕對音感或電體質)，而對人生感到絕望"的角色，因此讓我想到了錯把太太當做帽子的人這本書所提到的功能過度的案例，其實本片中的男主角ATARU也是一位具有功能過度與功能不足的人，對於觀察事務有極端的敏銳觀察力，但是表達情感卻是比一般人還要來的差勁，為了讓ATARU的觀察能力能夠運用在適當的事物上，因此他被訓練成幫助FBI破案的協助人員(尋找破案的蛛絲馬跡).....

然而並不是所有的人都能像得愛神病的婦人或日劇中的ATARU能夠在社會地位中找到特殊的定位，畢竟在這社會中的人們很難理解與自己不同的人，面對這樣的特異族群或許我們會認為他們很難搞，但是那並不是他們所願意的，或許我們該學習要如何理解以及改變自己的心態去看待他們才對。

「論文文獻」Enhancing Emotion Recognition in Children with Autism Spectrum Conditions: An Intervention Using Animated Vehicles with Real Emotional Faces

Enhancing Emotion Recognition in Children with Autism Spectrum Conditions: An Intervention Using Animated Vehicles with Real Emotional Faces

Ofer Golan  /  Emma Ashwin / Yael Granader / Suzy McClintock / Kate Day /  Victoria Leggett / Simon Baron-Cohen
Journal of Autism and Developmental Disorders Volume 40, Number 3 (2010), 269-279, DOI:10.1007/s10803-009-0862-9
URL:  http://www.springerlink.com/content/y4164n56855305p0/

此論文以轉運車的人臉動畫，讓自閉症兒童因對轉運車的喜愛而不抗拒人臉，進而訓練自閉症兒童對人臉所表達的情緒產生理解。
轉運車是一種高品質的3D動畫，擁有15種的5分鐘節目，情緒部分有15種的關鍵不同情緒，有快樂、悲傷、憤怒、害怕、厭惡、驚訝、激動、勞累、不友善、親切、抱歉、驕傲、忌妒、開玩笑、慚愧。


挑選三組實驗者，互相比較轉運車是否有幫助自閉症兒童辨認人臉情緒，
第一組為自閉症兒童介入訓練組，15個男生，5位女生，每天至少觀看三種不同的轉運車的情節。
第二組為自閉症兒童無訓練組，15個男生，4位女生，只接受學校教育而沒接受轉運車的動畫訓練
第三組為正常發展組，12個男生，六個女生。

實驗時間有2次，時間1為第一次測試時間，時間2為四周後，三組都得測試。

實驗內容
讓第一組的自閉症兒童訓練組實施四種測驗，任務分別為情緒的詞彙、臉部表達的情境配對。

1. 情緒的詞彙
參與者被要求定義16個情緒的字彙並且提供情境的例子來誘發他們。有15個情緒是從轉運車的關鍵情緒出來，第16種的擔心情緒是因為動畫裡一直被頻繁地提及而成為第16個情緒。


2. 臉部表達的情境配對

總共有三種任務，每一個任務都由16個項目所組成(情緒)，每一個項目包含一張照片，描繪著簡短描述的場景。物件或人物會在照片上的場景展現，裏頭沒有臉部的表情。在螢幕的底下有3個臉部表情的影片，參與者必須選擇正確的臉部情緒來配對情境。(圖1)

配對任務1. 讓參與者配對熟悉的場景與熟悉的腳色的人臉表情(圖1-a)

配對任務2.讓參與者配對轉運車的小說場景與小說人物表情，這組任務沒有展現在第一組訓練期間的轉運車動畫中。

配對任務3.讓參與者觀看非轉運車中的人臉表情與場景來進行情境配對(圖1-b)。

圖1

分析

• 互相比較三組的年紀、口頭能力、自閉症傾向並無任何差別，除了自閉傾向的項目的正常發展組的得分較低以外。(表1)

表1

• 使用 four-one-way analyses of variance 與 Holm’s sequential rejective Bonferroni procedure，發現第1組的自閉症兒童介入訓練組在第2次的測驗比第1次的分數還要來的高。(表2)

表2

以下為臉部表達的情境配對的任務1(a)、任務2(b)、任務3(c)、情緒的詞彙(d)的平均分數。

藍色為第一組的自閉症兒童介入訓練組、紅色為第二組的自閉症兒童無訓練組、黃色為正常發展組，很明顯地看到第一組的進步(圖2)。

圖2

結論

轉運車動畫的確讓自閉症兒童明顯得知人臉情緒的意義，但轉運車動畫跟現實生活中有差異，並不代表生活中真正的經驗。另外因轉運車的動畫，自閉症兒童更加對人臉的表情更有興趣，這是一種出乎意料的結果。

感想

此論文利用自閉症的特性，選擇自閉症兒童所喜愛"具有規則性的車子"作為教具的動畫材料，藉此轉移他們對人臉的排斥，並且利用故事的上下文情境讓自閉症兒童選擇適當的人臉表情配對，讓自閉症兒童不會產生厭煩。個人認為把真人的人臉鑲在車子上還蠻特別的，如果是我們一般人看到，說不定覺得非常詭異。

另外，從論文可得知，情境也是一種對自閉症兒童的重要提示，光是觀看人臉不見得讓自閉症兒童理解人臉的情緒在表達什麼感受。

「書籍閱讀心得」今昔之筆

今昔之筆 從鉛筆到像素
作者：巴倫(Dennis Baron)
譯者：陳信宏
出版社：貓頭鷹
出版日期：2011年8月

此書從文字發明到電腦書寫，描述文字所引發的衝突，在現代人的眼中，鮮少把文字當成科技看待，其實以前的人類對於文字的出現就等於我們現代所出現的臉書、ipad一樣，是一種新興的科技產物，這樣的科技產物改變了我們的生活。有了文字就有書籍、鉛筆、打字機、電腦打字等，有了文字我們可以進行溝通、知識傳承等等行為，文字滲透了我們的周遭環境以及本身的自己。

無論什麼科技，一旦被發明，就會有俗稱的科技反對者，就連當初鼎鼎有名的哲學家-柏拉圖，也是站在發明文字的反對立場，因柏拉圖認為「人們一但學會書寫，就再也不會運用記憶」，然而我們不會運用記憶嗎?錯了!我們依然還是充分使用我們的記憶，只是把一些不必用頭腦記下的瑣事給記到紙上去，文字的發明減少記憶被消耗的空間。

當iPad、iPhone發明時，我對那些東西保持著一種沒有那東西，我依然還是可以生存在這世界上，我不了解為何要有iPad、iPhone的存在，它不是只是個娛樂的產物嗎?對社會有什麼貢獻呢?但是我發現iPad、iPhone這類的科技產品的特別地方並不是存在於硬體本身，而是在它背後所產生的服務，這時發現社會已經慢慢地改變，因為iPad、iPhone這類智慧產品的發明，出現了許多社會服務，醫療、圖書館、餐廳等等都已經因應這波科技潮流，就算我們不想改變，社會環境也會讓我們不自覺地改變自己。

因此，科技一旦發展，就沒辦法走回路，此刻的我們就只能朝著科技的洪流逐步地前進，與其抵抗，不如學著如何運用科技，因「科技帶來的通常是正面的影響，好處與壞處不只是來自科技本身的優缺點，也來自人性的變化無常」。

「書籍閱讀心得」選擇的弔詭-只想買條牛仔褲

選擇的弔詭-只想買條牛仔褲
作者：貝瑞‧史瓦茲(Barry Schwartz)
譯者：劉世南
出版社：天下雜誌
出版日期：2004.11.15

選擇在我們的生活中是必不可或缺的，但是多樣化選擇卻不是一種好事，我們會因多樣選擇而浪費許多時間，甚至成為極大化者。

極大化者與憂鬱症有相關的關係，但卻是不是絕對的，過多的選擇會導自自己無法負荷太多選擇(無法控制)，而產生無力感，這樣無力又使我們感到挫敗，這就叫於習得無助，習得無助容易使人們產生憂鬱症。除了習得無助是選擇所產生的負面因素，懊悔、適應現象等等也是痛苦的因素。

觀看自己在日常生活中買東西的斤斤計較，發現自己也是一位極大化者，浪費時間不說，選擇中的過程更是讓自己感到非常焦慮且累人，當收到商品時，感受到的愉悅卻沒那樣的深刻，我已喪失購物的快樂。仔細想想當我們心情不好時，為什麼去外頭Shopping是非常果斷且開心，因為負面情緒會使我們的選擇變的較為狹隘，因此Shopping的選擇變少，所以發洩了我們的負面情緒。

另外以設計面來說，當我們設計介面時，我們必須將選項分類，不要讓使用者一開始面對過多的選項，因為讓使用者產生煩躁的情緒這可是非常不妙的!

「論文文獻」Communication of Emotion in Social Robots through Simple Head and Arm Movem

Communication of Emotion in Social Robots through Simple Head and Arm Movem
Jamy Li · Mark Chignell
 International Journal of Social Robotics
Volume 3, Number 2, 125-142, DOI: 10.1007/s12369-010-0071-x
Springer Science & Business Media BV 2010
https://springerlink3.metapress.com/content/51285j125028682x/resource-secured/?target=fulltext.pdf&sid=to3bjgk13dpnbncliplh4si1&sh=www.springerlink.com

此篇論文主要探討人們如何評價機器人的姿勢，希望能有助於設計機器人與人類的社會互動。
他實施了四種實驗，分別為情境脈絡、手勢的複雜度、情緒效價、創造者的專業知識。


為了得知運動的特性與情境的脈絡是否會影響手勢編碼和譯碼， 在實驗一的部分，參與者利用熊機器人(圖1)創造手勢。在實驗二部分參與者觀看與片段在實驗一所創造的手勢，選擇做為機器人在影片或動畫的動作。

圖1.熊機器人

讓4個參與者(2男2女)的創造者利用表1的句子(12個場景)，去擺弄熊機器人能夠使用的姿勢(頭、手臂)，設計的姿勢必須為參與者在與面對熊機器人時，要能夠了解熊機器人的手勢所表達的情緒與訊息，並且錄製下來，事後參加者必須填寫了對機器人量表（NARS的）調查和負向態度的人口統計資料。

表1

姿勢的複雜動作可用2種方法測量，a.頭部動作由計算機器人的頭部方向的變化 。b. 手臂的動作由機器人的手臂與雙臂總合做為相似數據



實驗二

1.  邀請有12位參與者(9男3女，不包括實驗1 的參與者)的觀賞者，將實驗1所創造的48個手勢與表2(由2位調查員與1 位實驗1參與者的手勢翻譯員提供書面說明編碼)搭配情境上的情緒選擇。
2. 另外還有動作的生動程度-問卷調查，以李克特量表1~7去調查人群資訊對機器人的負面態度調查(NARS)
3. 建立4種架構：媒介物(影片、動畫) X  脈絡 (提供、不提供)，讓參與者去觀看動畫(圖2-a)、影片(圖2-b)與有無提供脈絡(情境)的搭配是否會照成不同的社會心理。

 

表2

 

圖3

正面情緒趨向於左，右手臂動作的最高數量和頭部運動的最低數量。尤其是“I love you”，平均值有兩種頭部方向的變化，但有七種左右手臂方向的變化。負面情緒的頭部跟左右手臂較為均衡。中性情緒整體的動作較少。"I am confused"的動作所持續的時間較長。

表2

 假設1
首先 首先432情緒的判斷，評分創造者的姿勢所選擇的情緒是否正確或不正確 ，使用在spss的 Z approximation to the binomial test，觀察正確的回應(22%)明顯的比預期的(10%)還要大 ，雖然有78%的情緒是不正確的。

假設2
利用 Two Way ANOVA去進行媒介物(影片、動畫) 、 脈絡 (提供、不提供)之間的差別，在圖3顯示出擁有脈絡的情境之下的媒介物較容易提高情緒。

圖3

在假設1、2之後，利用One Way ANOVA測量正面 (M = 4.64)、中性(M = 3.89) 、負面(M = 3.84)情緒之間測量likeability rating，以中性情緒做為控制類別，以此數據F（1，11）=28.34，P<.001，R= 0.84發現正面情緒與中姓情緒的差異較大，因此觀賞者較喜愛姿勢傳遞正面情緒。
在lifelikeness部分，也是利用One Way ANOVA測量，發現正面情緒（M= 4.83）的手勢比負面（M =4.32）、中性（M= 3.95）還要更生動。正面情緒與中性情緒相比之下，F（22）=16.86，P <0.001，R= .66顯著差異性較大，但負面與中性相比則顯著性較小。

事後利用three-way repeated measures ANOVAs 測量媒介物、 脈絡、手勢動作與媒介物、 脈絡、頭部動作這2組的動作特性。發現手臂的動作多(M = 4.68, SD = .147)比動作少(M= 4.22, SD = .123)會顯得生動程度較高且逼真(圖4)，在頭部動作上，則沒有發現這樣的效果，而且跟媒介物、脈絡之間沒有互動的影響。

圖4

研究1與研究2的結論為發現機器人的手臂可以提供情緒上的資訊，但是簡單的姿勢不能提供大量的資訊以及識別是較低的。


研究3
實驗對象(參與者)為沒有操控木偶經驗的人(三男二女)與有經驗的人(三男二女)，讓參與者去操弄機器人的憤怒，厭惡，恐懼，快樂，悲傷和驚奇的6個情緒的姿勢。在實施期間可用放聲思考去創作姿勢。


研究4
讓觀賞者去填寫問卷(李克特量表1-7)，觀看研究3的60個動作與6個情緒之間的喜愛程度、生動程度以及去評價情緒與姿勢在機器人身上的程度有多大。


此研究3.4的架構為2(木偶操作專家、木偶業餘愛好者 )X6情緒(憤怒，厭惡，恐懼，快樂，悲傷和驚奇)，探討觀賞者對機器人的性格和姿態。


測量的方式為分為2種措施，第一種為原始評價，也就是評斷研究3的參與者(創造者)所創造的手勢所傳達的情緒是否有達到觀賞者所認為的情緒。


第二種則為規範化評價，讓觀察員選擇手勢的情感減掉5個其他平均所給予的態度(標準差從-6(選1，其他5個情緒平均為7)~6(選7，其他5個情緒平均則為1))。

對於手勢創造者的意見評估，(negative attitudes toward social influence of robots, M = 14.6, SD = 3.24;negative attitudes toward emotions in interaction with robots, M = 9.8, SD = 1.81.)與觀賞者的意見評估(negative attitudes toward social influence of robots, M = 15.3, SD = 2.75; negative attitudes toward emotions in interaction with robots, M = 8.58, SD = 2.07.)發現創造者與觀賞者之間數據是相似的。


假設3部分，將生動程度、喜愛程度進行配對t檢驗，作為獨立因子和重複的依賴因素的評級，對木偶與情感的數據。後來發現沒辦法分出木偶操作專家、 沒有操控木偶經驗的人之間的喜愛程度的差別，只有生動程度的happiness,有輕微顯著的效果 t (11)=−1.71, p = .058.。


假設4則為對操作木偶的經驗程度如何影響情感識別，用T檢定識別依賴測量，但原始評價 (raw ratings)沒有什麼差異，但是在 厭惡 的情感部分發現木偶操作專家高於木偶業餘愛好者(M= 3.72, SD = .97 compared to M= 3.35, SD =.88, t (11)=−1.46, p = .086, one tailed)。

從圖5可看出木偶操作專家對於厭惡、害怕的情感動作表現較好，木偶業餘愛好者則對快樂的動作較優。

圖5

從圖6觀看，a與c的動作分為恐懼、厭惡的最好表現動作，那是由木偶操作專家所創造的。
b與d則為恐懼、厭惡的最不好表現動作，那是由木偶業餘愛好者所創造的。

圖6

使用 兩兩相對 Pearson product-moment 相關計算，負面情緒之間的相關性為正相關，生氣與厭惡為 r = .59, p <.01.

然而分別與生氣、厭惡做相關性的快樂(r = −0.11, p < .01 and r = −0.16, p < .01)，則為負相關。

圖7

研究3與研究4的結論為
恐懼與害怕需要更複雜的動作和表現力，因此專業的木偶操作師比業餘愛好者能提供更好的動作。


結論
一個簡單的社會機器人的手臂和頭部運動 (不包括可移動的手指，手腕或手肘）的手勢可以傳達情感意義。 


感想  


此論文的動作是利用受測者所設計出來的，與以往學姊們所提的拉邦理論較無相關，因此他的缺點是在於它不能利用參數去控制機器人，雖然他是以人們所認定的動作去設計的...
比較有趣的是，他利用有無脈絡(情境)去測試人們對機器人的情緒程度如何，會增強人們對機器人的動作的感受，也就是脈絡提供了情緒表達的線索。忽然想到玉美學姊的研究也是有使用到機器人動作與脈絡結合(在一個特定的情境時，判別機器人的不同動作，哪一種動作較適合此情境)。

「統計」ANOVA 字母與數字的意義

 當看了某篇論文充滿著F(1, 11) = 28.34, p <.001, r = .84,這樣的奇異數字時，心中充滿著"明明把字母數字分開都知道怎麼念，為啥一旦組合起來後就像是個外星文...."的想法時，找到了研究生2.0的ANOVA講解，瞬間對某篇論文產生了希望!!
 以下為 研究生2.0的ANOVA講解
http://newgenerationresearcher.blogspot.com/2009/01/spss-one-way-anova.html