开心六月综合激情婷婷|欧美精品成人动漫二区|国产中文字幕综合色|亚洲人在线成视频

作者：孫波、劉永娜、陳玖冰、 羅繼鴻、張迪

摘要

情感與認(rèn)知加工之間存在著密不可分的聯(lián)系，學(xué)習(xí)過(guò)程中的情感狀態(tài)對(duì)學(xué)習(xí)效果有一定的影響。在智慧學(xué)習(xí)環(huán)境中實(shí)現(xiàn)學(xué)習(xí)者情感分析，有利于促進(jìn)智慧學(xué)習(xí)的發(fā)生。表情作為人類(lèi)情感表達(dá)的主要方式，其中蘊(yùn)含了大量有關(guān)內(nèi)心情感變化的信息，通過(guò)面部表情人們可以推斷內(nèi)心微妙的情感狀態(tài)。目前，人臉檢測(cè)技術(shù)已經(jīng)實(shí)現(xiàn)了從復(fù)雜背景中定位人臉，分類(lèi)算法也相對(duì)成熟，因此表情識(shí)別的研究工作主要集中在表情特征提取上，而現(xiàn)有研究基本上都是基于人臉與表情的混合特征進(jìn)行的識(shí)別，這產(chǎn)生了較大的干擾。在表情識(shí)別時(shí)，理想情況是將個(gè)體相關(guān)的人臉特征和與個(gè)體無(wú)關(guān)的表情特征相分離。依據(jù)心理學(xué)家Ekman提出的FACS（面部表情編碼系統(tǒng)）構(gòu)建的智慧學(xué)習(xí)環(huán)境下基于面部表情識(shí)別的情感分析框架，通過(guò)特征分解將個(gè)體特征及表情特征分解到不同的子空間，在表情子空間中進(jìn)行表情識(shí)別，從而排除個(gè)體特征對(duì)表情識(shí)別的干擾。經(jīng)JAFFE表情庫(kù)的驗(yàn)證，表情識(shí)別結(jié)果比較理想，已在三維虛擬學(xué)習(xí)平臺(tái)Magic Learning的師生情感交互子系統(tǒng)上實(shí)現(xiàn)了基于面部表情的學(xué)習(xí)者情感識(shí)別及情感干預(yù)。

關(guān)鍵詞：智慧學(xué)習(xí)環(huán)境；表情識(shí)別；表情特征；情感分析；情感干預(yù)

一、引言

社會(huì)信息化進(jìn)程推動(dòng)著學(xué)習(xí)方式與學(xué)習(xí)環(huán)境的變革，從在線(xiàn)學(xué)習(xí)（E-Learning）到移動(dòng)學(xué)習(xí)（M-learning）再到泛在學(xué)習(xí)（U-Learning），無(wú)一不體現(xiàn)其所處時(shí)代的信息化水平。目前，云計(jì)算、物聯(lián)網(wǎng)、虛擬現(xiàn)實(shí)技術(shù)、普適計(jì)算及人工智能的發(fā)展與成熟為新一輪的教育信息化提供了強(qiáng)大的技術(shù)支持。在這種背景下，智慧學(xué)習(xí)環(huán)境的出現(xiàn)成為必然的發(fā)展趨勢(shì)。智慧學(xué)習(xí)環(huán)境的關(guān)鍵技術(shù)特征主要體現(xiàn)在能夠自動(dòng)記錄學(xué)習(xí)過(guò)程、感知學(xué)習(xí)情境（黃榮懷等，2012），這為學(xué)習(xí)情感分析的研究提供了強(qiáng)有力的支撐。

與普通的學(xué)習(xí)相比，智慧學(xué)習(xí)更加注重培養(yǎng)高階思維能力、復(fù)雜問(wèn)題解決能力及創(chuàng)新能力，而這些能力的培養(yǎng)都離不開(kāi)注意、記憶、思維等認(rèn)知活動(dòng)的調(diào)節(jié)與控制。心理學(xué)研究表明，學(xué)習(xí)過(guò)程中的積極情感會(huì)促進(jìn)認(rèn)識(shí)活動(dòng)，而消極情感則會(huì)妨礙認(rèn)識(shí)活動(dòng)?？梢?jiàn)，學(xué)習(xí)過(guò)程中的情感狀態(tài)對(duì)學(xué)習(xí)效果有一定的影響。在智慧學(xué)習(xí)環(huán)境中實(shí)現(xiàn)學(xué)習(xí)者情感分析，有利于智慧學(xué)習(xí)的發(fā)生。

近幾年興起的生物特征計(jì)算，如腦電分析、心電分析及皮膚電分析等可以很好地捕獲人類(lèi)主觀(guān)心理特征（蔡菁，2010；聶聃，2012）。但通過(guò)復(fù)雜的可穿戴設(shè)備測(cè)量腦電、心電、皮膚電、血壓及呼吸變化來(lái)識(shí)別學(xué)習(xí)者學(xué)習(xí)過(guò)程中的情感狀態(tài)，在實(shí)際應(yīng)用中會(huì)比較困難。心理學(xué)家 Mehrabian的研究結(jié)果表明，感情表達(dá)=7%的言詞+38%的聲音+55%的面部表情（Mehrabian，1968）。可見(jiàn)，通過(guò)面部表情分析情感狀態(tài)相比獲取其他情感信號(hào)更加自然可行。因此，本文對(duì)智慧學(xué)習(xí)環(huán)境下基于面部表情的情感分析技術(shù)進(jìn)行深入研究。

二、相關(guān)研究

1.情感計(jì)算技術(shù)

情感是人類(lèi)隱藏在內(nèi)心的微妙生理狀態(tài)，讓計(jì)算機(jī)識(shí)別、理解、表達(dá)和適應(yīng)人的情感具有一定難度。在學(xué)習(xí)過(guò)程中對(duì)學(xué)習(xí)者的情感狀態(tài)進(jìn)行跟蹤、記錄并加以分析更是一項(xiàng)具有挑戰(zhàn)性的工作。賦予計(jì)算機(jī)情感智能是對(duì)以往智能計(jì)算的質(zhì)性突破，也是人工智能領(lǐng)域的一個(gè)全新研究方向。

情感計(jì)算由MIT實(shí)驗(yàn)室Picard教授提出，她在《Affective Computing》一書(shū)中將情感計(jì)算定義為“與情感有關(guān)、由情感引發(fā)或者能夠影響情感因素的計(jì)算”（Picard，1997）。情感計(jì)算的目的是賦予計(jì)算機(jī)感知、理解及表達(dá)情感的能力。情感計(jì)算的研究框架如圖1所示，主要包括６部分內(nèi)容：情感機(jī)理、情感信號(hào)的獲取、情感信號(hào)的分析識(shí)別、情感理解、情感表達(dá)及可穿戴設(shè)備。

情感機(jī)理部分以認(rèn)知科學(xué)、情緒心理學(xué)、神經(jīng)生理學(xué)等為理論基礎(chǔ)，主要研究情感狀態(tài)與生理反應(yīng)及行為特征之間的對(duì)應(yīng)關(guān)系。每一種情感的觸發(fā)可能伴隨幾種生理或行為的變化，而某種生理或行為變化也可能是因多種情感刺激而起。情感狀態(tài)的變化與人體生理反應(yīng)及行為特征之間存在著錯(cuò)綜復(fù)雜的關(guān)系。只有掌握了情感及其表現(xiàn)特征的變化規(guī)律，才能明確采集什么樣的情感及如何進(jìn)行情感分析。由此可見(jiàn)，情感機(jī)理是整個(gè)情感計(jì)算研究的基礎(chǔ)。情感信號(hào)的獲取部分主要包括傳感器設(shè)計(jì)及情感信號(hào)采集方法研究。某些生理信號(hào)和行為特征隨著情感狀態(tài)的不同有著明顯的差異，如表情、語(yǔ)音、腦電、心電、皮膚電、血壓及呼吸等。針對(duì)不同情感信號(hào)，開(kāi)發(fā)便捷、易操作的采集設(shè)備及研究采集方法是實(shí)現(xiàn)情感計(jì)算的前提條件。情感信號(hào)分析、識(shí)別并理解是情感計(jì)算的核心研究?jī)?nèi)容，包括情感模型的建立、情感信息提取和情感分類(lèi)幾項(xiàng)工作。以上幾部分都是依據(jù)生理反應(yīng)及行為特征來(lái)推斷情感狀態(tài)的研究。情感表達(dá)則與其相反，研究的是如何讓計(jì)算機(jī)表達(dá)某種給定的情感。如機(jī)器人通過(guò)姿態(tài)、表情及語(yǔ)音語(yǔ)調(diào)的變化可表達(dá)相應(yīng)的情感?？纱┐髟O(shè)備的研究包括可穿戴產(chǎn)品的設(shè)計(jì)及相應(yīng)軟件的開(kāi)發(fā)，屬于情感計(jì)算的應(yīng)用層面?？纱┐髟O(shè)備的深入研究必將推動(dòng)整個(gè)情感計(jì)算的發(fā)展。同時(shí)，可穿戴設(shè)備的研究也依賴(lài)于前幾部分的發(fā)展水平。

2.表情識(shí)別技術(shù)

表情作為人類(lèi)情感表達(dá)的主要方式，其中蘊(yùn)含了大量有關(guān)內(nèi)心情感變化的信息，通過(guò)面部表情人們可以推斷內(nèi)心微妙的情感狀態(tài)。但是，讓計(jì)算機(jī)讀懂人類(lèi)面部表情所蘊(yùn)含的情感并非簡(jiǎn)單的事情。作為智能化人機(jī)交互的重要組成部分，人臉表情識(shí)別一直是備受關(guān)注的研究課題。人臉表 情 識(shí) 別 （Facial Expression Recognition， FER）所研究的就是如何準(zhǔn)確、高效地利用人臉表情所傳達(dá)的信息進(jìn)行內(nèi)心情感分析。FER 涉及圖像處理、機(jī)器視覺(jué)、情感計(jì)算及心理學(xué)等多個(gè)學(xué)科，一般包括三個(gè)環(huán)節(jié)，即人臉檢測(cè)、表情特征提取及表情分類(lèi)，如圖2所示。

目前，人臉檢測(cè)技術(shù)已經(jīng)實(shí)現(xiàn)了從復(fù)雜背景中定位人臉，分類(lèi)算法也相對(duì)成熟，因此表情識(shí)別的研究工作主要集中在表情特征提取上。表情特征提取是表情識(shí)別系統(tǒng)的重要組成部分，表情識(shí)別的性能很大程度上依賴(lài)于所提取表情特征的有效性。好的表情特征應(yīng)具備以下幾個(gè)特點(diǎn)：完整的表示表情的本質(zhì)特征；去除與表情識(shí)別無(wú)關(guān)的干擾信息；數(shù)據(jù)表示形式緊湊，避免特征維數(shù)過(guò)高；不同類(lèi)別的表情特征之間具有良好的區(qū)分性（劉曉 等，2006）。

關(guān)于表情特征提取已經(jīng)有了較多的研究成果，大致分成兩大類(lèi)。一類(lèi)是基于局部信息的方法，首先人工選取面部關(guān)鍵點(diǎn)或關(guān)鍵區(qū)域，然后提取局部特征進(jìn)行表情分類(lèi)（Pantic et al.，2004；Bashyal et al.，2008；Cheon et al.，2009）。另一類(lèi)是子空間特征提取方法。該類(lèi)方法針對(duì)面部的整體特征，尋找在某種準(zhǔn)則下的最優(yōu)變換，將高維數(shù)據(jù)投影到低維空間，在子空間中只保留對(duì)表情分類(lèi)具有鑒別能力的特征，從而達(dá)到降維、消除相關(guān)性和提高分類(lèi)性能的目的（Shan et al，2006）。

表情特征具有典型的局部性，對(duì)分類(lèi)起關(guān)鍵作用的特征主要集中在眉、眼、嘴等部位。通過(guò)文獻(xiàn)調(diào)研發(fā)現(xiàn)，現(xiàn)有表情特征提取方法大多需要先從人臉圖像中提取特征點(diǎn)或特征區(qū)域來(lái)獲得描述表情變化的參數(shù)，然后再將這些參數(shù)綜合起來(lái)進(jìn)行表情識(shí)別。這種人為選取特征點(diǎn)或特征區(qū)域的方法損壞了原始數(shù)據(jù)的局部幾何結(jié)構(gòu)，同時(shí)使特征提取工作變得繁瑣而嚴(yán)重影響表情識(shí)別的自動(dòng)化程度。同時(shí)，我們也注意到，表情識(shí)別的最大干擾因素是不同個(gè)體的人臉差異，而現(xiàn)有研究基本上都是提取人臉與表情的混合特征進(jìn)行表情識(shí)別。

3.智慧學(xué)習(xí)中關(guān)注的情感與表情

（1）智慧學(xué)習(xí)中關(guān)注的情感

實(shí)現(xiàn)智慧學(xué)習(xí)環(huán)境中學(xué)習(xí)者情感識(shí)別，首先要明確識(shí)別哪些情感及每種情感所對(duì)應(yīng)的面部表情特征是什么。目前，表情識(shí)別領(lǐng)域廣泛研究的情感有Ekman等提出的 6種基本情感，即高興、憤怒、厭煩 、 恐 懼 、 悲 傷 及 驚 訝 （Ekman et al.， 1975）；Plutchik 提出的 8 類(lèi)基本情感，即接受、生氣、期待、厭煩、高興、害怕、傷心及驚訝（Plutchik，1980）。孟菲斯大學(xué)的 Mello對(duì)智能導(dǎo)師系統(tǒng)（AutoTutor）中學(xué)習(xí)計(jì)算機(jī)基礎(chǔ)知識(shí)學(xué)生的情感變化進(jìn)行監(jiān)控。研究結(jié)果表明在學(xué)習(xí)過(guò)程中 Ekman提出的 6種基本情感并非全部起到關(guān)鍵作用；高興、驚訝、厭煩、困惑、挫敗感在順利完成目標(biāo)或受阻時(shí)起了關(guān)鍵作用，而且高興和驚訝情感的出現(xiàn)較為頻繁（Mello et al.， 2007）。 一 些 研 究 者 對(duì) 遠(yuǎn) 程 學(xué) 習(xí) 及E-Learning系統(tǒng)中學(xué)習(xí)者的情感狀態(tài)進(jìn)行了深入的研究。解迎剛等對(duì) E-Learning系統(tǒng)中學(xué)習(xí)者的喜歡和厭煩兩種情感狀態(tài)進(jìn)行識(shí)別，利用識(shí)別結(jié)果判斷學(xué)習(xí)者對(duì)課程是否感興趣（解迎剛等，2007）。詹澤慧基于學(xué)生三維情緒空間模型從喚醒、興趣及愉快三個(gè)維度監(jiān)測(cè)遠(yuǎn)程學(xué)習(xí)者的疲勞、興趣及愉悅情感狀態(tài)（詹澤慧，2013）。汪亭亭等為了識(shí)別并干預(yù)網(wǎng)絡(luò)學(xué)習(xí)者出現(xiàn)的疲勞狀態(tài)，定義了專(zhuān)注、疲勞及中性三種與學(xué)習(xí)相關(guān)的狀態(tài)（汪亭亭等，2010）。

Ekman等和Plutchik提出的基本情感在學(xué)界被廣泛認(rèn)同并研究，但是這些情感與智慧學(xué)習(xí)環(huán)境中所關(guān)注的情感存在一定差異。借鑒網(wǎng)絡(luò)學(xué)習(xí)、遠(yuǎn)程學(xué)習(xí)和 E-Learning系統(tǒng)中學(xué)習(xí)者情感狀態(tài)研究成果，以及智慧學(xué)習(xí)環(huán)境的特點(diǎn)，本文提出研究的情感類(lèi)型為：高興、驚訝、厭煩、困惑、疲勞、專(zhuān)注及自信。

（2）情感與面部表情的關(guān)系

經(jīng)多年研究，Ekman 發(fā)現(xiàn)人類(lèi)表達(dá)同一情感時(shí)，面部肌肉運(yùn)動(dòng)具有一定的規(guī)律，不受性別、年齡、種族及受教育程度等因素的影響。在面部肌肉運(yùn)動(dòng)的基礎(chǔ)上，Ekman 以面部活動(dòng)單元（Action Unit，AU）為單位提出了面部活動(dòng)單元編碼系統(tǒng)（Facial Action Coding System，F(xiàn)ACS），詳細(xì)描述了內(nèi) 心 情 感 與 面 部 表 情 的 關(guān) 系 （Ekman & Friesen，1978；Ekman et al.，2002）。FACS 在表情識(shí)別領(lǐng)域被廣泛應(yīng)用，是目前公認(rèn)的分析復(fù)雜表情的有效工具（Bartlett et al.，2006）。

筆者基于 FACS，對(duì)高興、驚訝、厭煩、困惑、疲勞、專(zhuān)注及自信情感所對(duì)應(yīng)的面部活動(dòng)特征進(jìn)行研究，提出如表 1 所示的情感與面部活動(dòng)特征對(duì)應(yīng)關(guān)系。表1中包含了26個(gè)與特定肌肉運(yùn)動(dòng)相關(guān)的 AU，其中包括描述上半臉的 9個(gè) AU和描述下半臉的 17個(gè) AU。從表 2中的數(shù)據(jù)可以發(fā)現(xiàn)，有些AU單獨(dú)出現(xiàn)時(shí)即可蘊(yùn)含某種特定的情感，如AU27或 AU43 可表示疲勞情感；某些 AU 單獨(dú)出現(xiàn)卻沒(méi)有特定的情感意義，如 AU2 和 AU13；某些 AU 在特定的組合中才能蘊(yùn)含某種特定的情感，如 AU6與AU12同時(shí)出現(xiàn)才表示高興。

三、智慧學(xué)習(xí)環(huán)境中的表情識(shí)別

1.SLE-FER框架設(shè)計(jì)

智慧學(xué)習(xí)環(huán)境中表情識(shí)別應(yīng)用框架（下文簡(jiǎn)稱(chēng)SLE-FER）如圖 3所示，包括感知層、傳輸層、數(shù)據(jù)層、分析層和應(yīng)用層。感知層主要提供感知終端，用來(lái)采集表情數(shù)據(jù)，主要設(shè)備有移動(dòng)電話(huà)、網(wǎng)絡(luò)攝像頭、筆記本電腦及 iPad 等。這些設(shè)備可隨時(shí)隨地采集學(xué)習(xí)者學(xué)習(xí)過(guò)程中的表情數(shù)據(jù)。傳輸層可提供無(wú)處不在的便捷上網(wǎng)環(huán)境，保證表情數(shù)據(jù)安全、高速地傳送到服務(wù)器。感知層采集的表情數(shù)據(jù)通過(guò)傳輸層傳送到數(shù)據(jù)層，在數(shù)據(jù)層中存儲(chǔ)表情視頻及表情圖像。分析層主要實(shí)現(xiàn)表情識(shí)別功能，是SLE-FER 的核心部分，數(shù)據(jù)層中存儲(chǔ)的表情圖像在分析層進(jìn)行處理得到表情所對(duì)應(yīng)的情感狀態(tài)。應(yīng)用層利用分析層的處理結(jié)果為整個(gè)智慧學(xué)習(xí)環(huán)境提供智能服務(wù)，如利用學(xué)習(xí)者的情感數(shù)據(jù)分析學(xué)習(xí)者在學(xué)習(xí)中的專(zhuān)注度、耐心度、理解度及是否出現(xiàn)疲勞狀態(tài)等。同時(shí)情感數(shù)據(jù)也可為學(xué)習(xí)者學(xué)習(xí)方案制定、學(xué)習(xí)資源推送、學(xué)習(xí)伙伴連接及學(xué)習(xí)活動(dòng)建議等個(gè)性化方案的制定提供重要依據(jù)；還可在輔助評(píng)估學(xué)習(xí)過(guò)程、預(yù)測(cè)未來(lái)表現(xiàn)及發(fā)現(xiàn)潛在的問(wèn)題等方面發(fā)揮作用（祝智庭等，2012）。更重要的是，在在線(xiàn)學(xué)習(xí)及虛擬學(xué)習(xí)環(huán)境中，情感數(shù)據(jù)是實(shí)現(xiàn)學(xué)習(xí)者及虛擬教師情感交互的主要數(shù)據(jù)來(lái)源。

2.SLE-FER中分析層設(shè)計(jì)

在 SLE-FER 框架中，分析層是整個(gè)研究工作的核心，其功能是實(shí)現(xiàn)學(xué)習(xí)者表情識(shí)別。感知層采集的人臉視頻包含了豐富的信息，對(duì)不同的識(shí)別任務(wù)來(lái)說(shuō)利用的信息也各不相同。人臉識(shí)別需要利用能夠代表不同個(gè)體的人臉特征，而表情識(shí)別則需要尋找各種表情之間的差異。在不同應(yīng)用中，對(duì)一種識(shí)別任務(wù)有利的信息有時(shí)反而會(huì)對(duì)其他識(shí)別任務(wù)造成干擾。而表情識(shí)別的最大干擾因素是不同個(gè)體的面部差異。在表情識(shí)別時(shí)，理想情況是將個(gè)體相關(guān)的人臉特征和與個(gè)體無(wú)關(guān)的表情特征相分離。圖 2的表情識(shí)別流程中，第二個(gè)環(huán)節(jié)提取的特征實(shí)際上是人臉與表情的融合特征，在分類(lèi)階段人臉特征會(huì)對(duì)表情特征產(chǎn)生干擾而影響表情識(shí)別的效果。因此，本文對(duì)提取的人臉特征進(jìn)行分解，將人臉特征與表情特征進(jìn)行分離，如4所示。

四、基于張量分解的表情識(shí)別

張量分解是矩陣奇異值分解在多重線(xiàn)性代數(shù)中的高階推廣，在圖像處理、計(jì)算機(jī)視覺(jué)等領(lǐng)域有著廣 泛 的 應(yīng) 用 。 三 階 張 量 的 高 階 奇 異 值 分 解（Higher-Order Tensor Singular Value Decomposition,HOSVD） 直 觀(guān) 表 示 如 圖 5 所 示 （Lathauwer et al.，2000）。

三階張量 D進(jìn)行 HOSVD分解得到：D=ZX1U（1）X2U（2）X3U（3），其中 Z∈RI1×I2×I3為核張量；U（n）∈RIn×In（n=1，2，3）為正交因子矩陣；符號(hào) Xn表示張量的n階分解。

在圖 6（a）中不難發(fā)現(xiàn)，同一種表情因個(gè)體面部差異而相差甚遠(yuǎn)，因此不同個(gè)體的面部差異會(huì)對(duì)表情識(shí)別產(chǎn)生干擾。但在二維空間中我們無(wú)法將圖像的個(gè)體特征（下文將不同個(gè)體的人臉特征簡(jiǎn)稱(chēng)為個(gè)體特征）及表情特征進(jìn)行分離。下面基于HOSVD方法將三階人臉張量的個(gè)體及表情特征進(jìn)行分解。在三維空間中，按表情、個(gè)體及圖像特征建立三階張量 D∈Ri×j×k，其中 i，j，k分別表示表情種類(lèi)數(shù)、個(gè)體數(shù)及特征維數(shù)，圖 6（b）為四個(gè)人三種表情的人臉張量的直觀(guān)表示，每張圖像的特征維數(shù)為40×40pixel。

用 HOSVD方法，將三階人臉張量的表情與個(gè)體特征進(jìn)行分離，D=Z× eUexpression× pUperson× fUfeature，其中 Z為核張量，描述三個(gè)子空間之間的相互關(guān)系；Uexpression、Uperson、Ufeature均為列正交矩陣，分別為表情子空間、個(gè)體子空間及特征子空間。 Uexpression ×Uperson× Ufeature中間每行都是具有特定物理意義的向量，Uexpression的第 n 行表示第 n 類(lèi)表情的特征。因此，我們可以用不同類(lèi)別的表情圖像訓(xùn)練表情系數(shù)，然后將待測(cè)圖像的表情系數(shù)與訓(xùn)練圖像的表情系數(shù)進(jìn)行比較，判斷該測(cè)試圖像的表情類(lèi)別（Sun et al.，2014）。由此可見(jiàn)，通過(guò)特征分解可將個(gè)體特征及表情特征分解到不同的子空間，在表情子空間中進(jìn)行表情識(shí)別，從而可以排除個(gè)體特征對(duì)表情識(shí)別的干擾。

五、實(shí)驗(yàn)及應(yīng)用

1.算法驗(yàn)證與分析

對(duì)局部保留投影（Locality Preserving Projections，LPP）（He et al.，2005）方法及 LPP+HOSVD方法在日本 JAFFE 表情庫(kù)上進(jìn)行了實(shí)驗(yàn)，兩種方法 均 采 用 支 持 向 量 機(jī) （Support Vector Machine，SVM）進(jìn)行分類(lèi)。

JAFFE表情庫(kù)共包含 10名女性的 7種表情（中性、高興、悲傷、吃驚、生氣、厭煩及恐懼），每人每種表情有 2-4 張圖像，共有 213 張。實(shí)驗(yàn)中，從每人每種表情圖像中隨機(jī)選取 1張為測(cè)試樣本，剩下的為訓(xùn)練樣本，隨機(jī)重復(fù) 3 次對(duì)算法進(jìn)行測(cè)試。首先對(duì) JAFFE 表情庫(kù)中原始圖像進(jìn)行尺度、角度及灰度歸一化處理，處理后的圖像大小為 40×40pixel，如圖7所示。

本文提出的方法排除了人臉差異對(duì)表情識(shí)別的干擾，使得表情識(shí)別結(jié)果比較理想。表 3 中的識(shí)別結(jié)果可以看出，7 類(lèi)表情的平均識(shí)別率從87.62%提高到了 89.05%。然而，與人臉識(shí)別相比，表情識(shí)別更加具有難度，人臉差異對(duì)表情識(shí)別的影響遠(yuǎn)遠(yuǎn)大于表情差異對(duì)人臉識(shí)別的影響。僅從表情的外顯特征來(lái)看，悲傷與厭煩特征極其相似，很難加以區(qū)分，給識(shí)別工作帶來(lái)了一定難度。

2.基于面部表情的情感識(shí)別應(yīng)用

將本文提出的方法在北京師范大學(xué)虛擬現(xiàn)實(shí)實(shí)驗(yàn)室基于開(kāi)源分布式三維虛擬環(huán)境 Opensim開(kāi)發(fā)的三維虛擬學(xué)習(xí)平臺(tái)“Magic Learning” 的師生情感交互子系統(tǒng)上進(jìn)行應(yīng)用，系統(tǒng)結(jié)構(gòu)圖見(jiàn)圖 8（趙慧勤 & 孫波，2009；2012）。

通過(guò)感知層移動(dòng)終端（筆記本電腦、iPad及手機(jī)等）的攝像頭對(duì) Magic Learning中學(xué)習(xí)者的表情進(jìn)行采集，用 WiFi 或局域網(wǎng)將數(shù)據(jù)傳輸?shù)綌?shù)據(jù)層。圖 9為預(yù)處理后的表情圖像，第一行為高興、第二行為專(zhuān)注、第三行為困惑、第四行為疲勞。在分析層中完成對(duì)四種表情的特征提取、特征分解及表情識(shí)別，識(shí)別結(jié)果傳輸給應(yīng)用層。

在應(yīng)用層中，表情識(shí)別結(jié)果作為師生情感交互模塊的輸入變量（見(jiàn)圖 8），通過(guò)情緒分析、情感計(jì)算得到學(xué)習(xí)者的內(nèi)心情感狀態(tài)，從而激發(fā)虛擬教師的情感表達(dá)。這樣可以對(duì)學(xué)習(xí)者在學(xué)習(xí)過(guò)程中出現(xiàn)的負(fù)向情感進(jìn)行干預(yù)，幫助其快速調(diào)節(jié)；對(duì)出現(xiàn)的正向情感則給予一定的鼓勵(lì)和贊揚(yáng)（見(jiàn)圖 10）。

本文選用虛擬教師的 5 種情感表達(dá)方式與學(xué)習(xí)者進(jìn)行情感互動(dòng)，包括兩個(gè)頭部姿態(tài)（點(diǎn)頭和搖 頭）、 一 個(gè) 面 部 表 情 （ 微 笑 ） 及 兩 個(gè) 手 勢(shì)（Victory 和拍肩膀）（趙慧勤 & 孫波，2010；趙慧勤等，2011；Sun，2011）。當(dāng)學(xué)習(xí)者出現(xiàn)高興表情時(shí)，虛擬教師通過(guò)微笑、點(diǎn)頭或 Victory 手勢(shì)等情感表達(dá)方式給予贊揚(yáng)；當(dāng)學(xué)習(xí)者出現(xiàn)專(zhuān)注表情時(shí)，虛擬教師對(duì)其進(jìn)行正常的學(xué)習(xí)指導(dǎo)；當(dāng)學(xué)習(xí)者的表情為困惑時(shí)，虛擬教師通過(guò)微笑、拍肩膀等情感表達(dá)方式給予鼓勵(lì)并進(jìn)行幫助；當(dāng)學(xué)習(xí)者表現(xiàn)為疲憊時(shí)，虛擬教師通過(guò)搖頭、輕拍肩膀等情感表達(dá)方式進(jìn)行干預(yù)（見(jiàn)圖 11）。

六、結(jié)束語(yǔ)

感知學(xué)生在學(xué)習(xí)過(guò)程中的情感狀態(tài)變化，提供即時(shí)的學(xué)習(xí)分析和教學(xué)干預(yù)，不僅對(duì)智慧學(xué)習(xí)環(huán)境而且對(duì)傳統(tǒng)的課堂教學(xué)都有著非常重要的意義。學(xué)生自發(fā)性表情識(shí)別是實(shí)現(xiàn)基于非認(rèn)知因素學(xué)習(xí)評(píng)價(jià)的關(guān)鍵技術(shù)支撐。在學(xué)習(xí)過(guò)程中，通過(guò)攝像頭采集學(xué)生圖像，利用表情識(shí)別技術(shù)分析面部表情，判斷學(xué)習(xí)者對(duì)當(dāng)前學(xué)習(xí)內(nèi)容的專(zhuān)注度、注意力狀態(tài)和對(duì)知識(shí)點(diǎn)的理解及掌握情況，并將這些信息及時(shí)反饋給教師，為教師及時(shí)調(diào)整教學(xué)活動(dòng)、教學(xué)進(jìn)度和教學(xué)方法提供可靠的依據(jù)。

然而，學(xué)習(xí)過(guò)程中的表情識(shí)別相對(duì)于識(shí)別 6種基本表情具有更高的難度。首先，學(xué)習(xí)過(guò)程中的表情更加細(xì)微，不同表情的區(qū)分度很小，這些給研究表情與學(xué)習(xí)情感之間的聯(lián)系帶來(lái)一定困難；其次，目前并沒(méi)有大規(guī)模帶標(biāo)注的自發(fā)性學(xué)習(xí)表情數(shù)據(jù)庫(kù)支持算法的深入研究。因此，如何利用大數(shù)據(jù)挖掘?qū)W生學(xué)習(xí)情感與表情的數(shù)據(jù)關(guān)聯(lián)模式以及建設(shè)大規(guī)模帶標(biāo)注的自發(fā)性學(xué)習(xí)表情數(shù)據(jù)庫(kù)是未來(lái)繼續(xù)研究的重點(diǎn)。

基金項(xiàng)目：北京自然科學(xué)基金“三維虛擬教學(xué)環(huán)境中虛擬教師和教學(xué)過(guò)程建模的研究”（4102030）；中央高?；究蒲袠I(yè)務(wù)費(fèi)專(zhuān)項(xiàng)資金資助項(xiàng)目“自發(fā)性課堂學(xué)習(xí)情感的視覺(jué)建模與計(jì)算”（2014KJJCA15）。