俳優のジェームズ・フランコは、映画『127時間』の中でビデオ日記を記録しながら幸せそうにみえる。だが、それはカメラがズームアウトして、彼の腕が巨石の下でつぶれているのが明らかになるまでである。彼の間の抜けた笑顔は苦痛を誤魔化すためだったのだ。

それが人々の心の状態を読もうとするときに視覚的な文脈（背景や行動）が、表情やボディランゲージと同じくらい重要である理由である、と米国カリフォルニア大学バークレー校の研究者らは言う。

最近『国立科学アカデミー論文集』に発表された本研究は、ながらくいわれてきた、感情の知覚と認識は、主として顔の表情を読む能力に依存するという仮説に挑戦するものである。

「我々の研究が明らかにしているのは、感情の認知はその核心部分では、表情と同じくらい文脈に依存しているということだ」と筆頭研究者のチミン・チェン博士候補生は語っている。

研究チームは、表情と身体の動作をぼかした数十件のハリウッド映画やホームムービーを作成した。性格が読めなくなっているはずであるにも関わらず、数百名の参加者は、正確に彼らの感情を、背景やそこでの相互作用から読み取ったという。

「感情追跡(affective tracking)」モデルという、チェンが本研究のために作り出したモデルは、人々のある瞬間から次の瞬間への感情の変化のランク付けをビデオを観るように追跡していける。

チャンの方法は、短時間に大量のデータを収集できるだけでなく、自閉症や統合失調症のような患者が実時間で感情を読む補助として使える可能性があるという。

「ある種の人々は表情を読むことが困難だが、文脈からの感情を読むことはできる」とチャンは言う。「別の人々は、その逆である。」

さらに、この研究結果は、集めたランク付けの統計解析に基づいて、表情認識技術の開発のためのデータにも使えるという。

「まさに今、多くの企業が感情を読み取る機械学習のアルゴリズムを開発中であるが、コマ切れの表情にも続いて学習するだけであり、それも顔の表情しかないのが普通だ」とチェンは言う。「我々の研究が示したのは、顔は本当に本当の感情は明らかにしない。彼の心のフレームは文脈にも依存するのである。」

研究では、チェンらの研究チームは、400名近い若年成人の感情認知能力を検査した。彼らが用いた視覚刺激は、ハリウッド映画のビデオクリップと、より自然なセッティングでの感情を示すホームビデオであった。

参加者はオンラインでそれをみてランク付けした。ランク付けグリッドは、ビデオにスーパーインポーズされ、そのため研究者らは、各々の参加者のカーソルがスクリーン上を動き回るのをみながら、瞬間から瞬間へのランク付けの変化を知り、記録することができた。

「全体として、この結果が示唆しているのは、文脈は感情を知覚するのに充分ではないが、必要なものものである」と主任研究者のデビッド・ホイットニー教授はコメントしている。