經(jīng)過多年在人因工程技術(shù)創(chuàng)新領(lǐng)域的探索，津發(fā)科技自主研發(fā)的ErgoLAB人機(jī)環(huán)境同步平臺于2016年12月再次迎來重大更新并正式發(fā)布面部表情分析系統(tǒng)Facial Emotion Coding System(FECS)！

FECS面部表情分析系統(tǒng)簡介

面部表情分析系統(tǒng) Facial Emotion Coding System(FECS)能夠?qū)崿F(xiàn)在人機(jī)交互過程中實時同步記錄面部表情并進(jìn)行數(shù)據(jù)分析。采用三維模型識別人臉并定位面部肌肉特征點的位置計算和分類面部表情，可以全自動分類和識別七種表情下的情緒：

• 快樂(Joy)

• 憤怒(Anger)

• 驚訝(Surprise)

• 恐懼(Fear)

• 輕蔑(Contempt)

• 悲傷(Sadness)

• 厭惡(Disgust)

面部表情分析系統(tǒng) Facial Emotion Coding System(FECS)通過圖像和視頻可以自動識別人的面部表情，可以區(qū)分心理狀態(tài)（積極，中性，消極），進(jìn)行面部特征識別（內(nèi)眼角、外眼角、鼻尖、嘴等），進(jìn)行檢測（挫敗、困惑），評估頭部動作（頭部的三維轉(zhuǎn)動度數(shù)，包括pitch, yaw, roll），測定注視方向（左面、前面、右面）等。

人臉表情識別技術(shù)

心理學(xué)家 Mehrabian的研究結(jié)果表明，感情表達(dá)=7%的言詞+38%的聲音+55%的面部表情（Mehrabian, 1968）。表情作為人類情感表達(dá)的主要方式，其中蘊(yùn)含了大量有關(guān)內(nèi)心情感變化的信息，通過面部表情人們可以推斷內(nèi)心微妙的情感狀態(tài)。但是，讓計算機(jī)讀懂人類面部表情所蘊(yùn)含的情感并非簡單的事情。作為智能化人機(jī)交互的重要組成部分，人臉表情識別一直是備受關(guān)注的研究課題。人臉表情識別 （Facial Expression Recognition, FER）所研究的就是如何準(zhǔn)確、地利用人臉表情所傳達(dá)的信息進(jìn)行內(nèi)心情感分析，其研究涉及圖像處理、機(jī)器視覺、情感計算及心理學(xué)等多個學(xué)科。

面部表情研究

研究表明，面部表情對于快樂、憤怒、驚訝、恐懼、輕蔑、悲傷、厭惡這七種情緒的表現(xiàn)具有普遍性。達(dá)爾文(1872)*個提出面部表情對于情緒表現(xiàn)的普遍性這一觀點，他認(rèn)為情緒和它們的表現(xiàn)具有生物內(nèi)在性和進(jìn)化適應(yīng)性，情緒及其表現(xiàn)的相似性體現(xiàn)在不同的生物種系中。

Tomkins(1964)*次用實驗證明了面部表情和情緒狀態(tài)相關(guān)。20世紀(jì)60年代，心理學(xué)家Paul Ekman提出了一套廣為接受的實驗方法：他將帶有不同面部表情的西方人照片展示給遠(yuǎn)居世外的土著，然后問他們照片中的人表達(dá)了怎樣的情緒。隨后眾多研究人員通過大量研究發(fā)現(xiàn)，不同文化下的人都能夠正確地識別出這七中情緒下的面部表情。同時，在這七種情緒產(chǎn)生時，不同文化下的人也會產(chǎn)生相同的面部表情。

到目前為止，科學(xué)研究的結(jié)果都有力地證明了面部表情對于快樂、憤怒、驚訝、恐懼、輕蔑、悲傷、厭惡這七種情緒表現(xiàn)的普遍性。因此對于人機(jī)交互或心理學(xué)研究人員來說，分析面部表情能夠可靠有效地了解被試的情緒狀態(tài)，對于優(yōu)化人機(jī)交互過程具有重要意義。

表情分析技術(shù)應(yīng)用

以產(chǎn)品設(shè)計領(lǐng)域為例，研究人員能夠通過獲取消費(fèi)者使用產(chǎn)品過程中的面部表情，分析他們對于產(chǎn)品真正的感覺和喜好，而不是僅僅依靠主觀測評或問卷來獲取相關(guān)信息，減少了研究中的主觀性和偏見。使用ErgoLAB人機(jī)環(huán)境同步平臺，還能夠在人機(jī)交互過程中同步采集和分析被試的腦電、眼動、生理、行為、肢體動作、生物力學(xué)、物理環(huán)境等數(shù)據(jù)，結(jié)合面部表情分析數(shù)據(jù)為產(chǎn)品的評估提供客觀的數(shù)據(jù)支撐。

研究領(lǐng)域

• 人機(jī)交互與人工智能：人類情感計算可以基于面部表情數(shù)據(jù)形成數(shù)據(jù)庫，并進(jìn)行模式識別和機(jī)器學(xué)習(xí)，對于未來人機(jī)交互和人工智能研究具有重要意義。

• 人機(jī)界面設(shè)計與可用性測試：易用性和用戶界面的效率都能夠通過情感變化表達(dá)出來，面部表情在人機(jī)界面設(shè)計研究方面能夠提供非常有價值的信息。如在測試新開發(fā)的時，了解測試者觀看時會出現(xiàn)怎樣的情緒，觀察他們是否能很輕松地瀏覽。此外，人們更感興趣的是當(dāng)測試參與者觀看的哪一個部分時，面部出現(xiàn)“喜悅”或“驚訝”的表情。

• 市場研究：對一個新型商業(yè)設(shè)計人們反應(yīng)如何？例如，一個廣告能否使人們在適當(dāng)?shù)臅r刻發(fā)笑，或者在目標(biāo)人群間是否存在差異。

• 消費(fèi)者行為：研究參與者在特定的感覺測定系統(tǒng)中對刺激如何響應(yīng)，如研究兒童食用不同食物時的行為。

• 心理學(xué)：在恐懼研究中人們對特定的刺激如何反應(yīng)？使用面部表情分析系統(tǒng)去分析這些傳統(tǒng)刺激-反應(yīng)實驗中的情緒表達(dá)，了解人們的反應(yīng)：驚訝，生氣，喜悅等等。

• 醫(yī)學(xué)：識別特定腦神經(jīng)心理活動發(fā)生的時間。

面部表情分析與人機(jī)環(huán)境同步技術(shù)

津發(fā)科技自主研發(fā)ErgoLAB人機(jī)環(huán)境同步平臺正式發(fā)布了面部表情分析系統(tǒng)模塊Facial Emotion Coding System(FECS)，可實現(xiàn)與多元數(shù)據(jù)同步，完成多通道多模態(tài)大數(shù)據(jù)的整合統(tǒng)計與分析。隨著FECS面部表情分析功能模塊的發(fā)布，ErgoLAB人機(jī)環(huán)境同步平臺已經(jīng)能夠?qū)崿F(xiàn)在四種不同的實驗環(huán)境下進(jìn)行定量的科學(xué)研究實驗（VR虛擬現(xiàn)實環(huán)境、虛擬仿真環(huán)境、實驗室和真實現(xiàn)場自然環(huán)境），實時同步采集腦電、眼動、生理、行為、面部表情、動作捕捉、生物力學(xué)和物理環(huán)境等多元數(shù)據(jù)，并進(jìn)行綜合分析。面部表情數(shù)據(jù)可與其他模塊數(shù)據(jù)進(jìn)行同步分析，例如觀察被試在露出害怕表情時心率、皮電的變化等。zui終數(shù)據(jù)可以用表格、圖表等可視化形式呈現(xiàn)并導(dǎo)出。

津發(fā)科技堅持自主研發(fā)與創(chuàng)新的發(fā)展道路，致力于人因工程與工效學(xué)技術(shù)創(chuàng)新與進(jìn)步，為中國教育與科研事業(yè)的發(fā)展提供服務(wù)！

參考文獻(xiàn)

Darwin, C. (1872). The expression of emotion in man and animals. New York: Oxford University Press.

Mehrabian, A. (1968). Communication without words. Psychology Today, 2(4):53-56.

Tomkins, S. S., & McCarter, R. (1964). What and where are the primary affects? Some evidence for a theory. Perceptual and Motor Skills, 18(1), 119-158.