研究方向

Research direction

研究方向

当前位置: 首页 >> 研究方向 >> 正文

视频情感计算

发布日期:2017-04-26    作者:     来源:     点击:

视频情感计算是与观众情绪有关的,由观众情绪引发的视频分析和处理技术,是基于内容视频分析和处理技术发展的高级阶段。
   为了有效进行视频情感计算的研究,我们把视频的“内容”划分成为三个不同的抽象层次,即:特征层、认知层和情感层,如下图所示。在图1所示的三个抽象层次中,对于前两个抽象层次的研究已经开展了近15个年头,但是限于当前计算机视觉、人工智能和语音识别等技术的发展水平,从视频信号中提取出的各种特征数据与人类对原始 视频内容的理解之间仍然存在较大的“语义鸿沟”,使得当前认知层视频检索技术未能在原有的基础上获得突破性的进展。我们的研究重点是面向情感层的视频内容分析与检索,即图中以深色标示的内容。结合情感计算、心理学和影视创作领域的相关理论对位于情感层的视频语义内容分析和处理技术进行深入的研究。针对目前国内外视频情感语义内容表示与建模的研究现状,首次提出视频情感计算的概念,准备建立一个统一的视频情感语义空间,并在其上定义一套完备的情感向量运算系统。基于此情感语义空间,提取并构造视频情感特征向量,建立通用视频情感语义空间模型并对位于该空间中各种情感状态进行表示,建立情感向量与情感空间中情感状态的映射关系,从而有效地解决视频情感内容理解的“情感鸿沟”问题。基于领域视频(如电影)设计各种具体可信的实验验证该理论模型的有效性。
   
科研项目:
[1] 国家自然科学基金:情感层视频检索关键技术研究(60703049)
[2] 武汉市青年科技晨光计划:基于情感语义的视频检索研究(200850731353)
[3] 湖北省自然科学基金项目:基于情感的海量视频检索关键技术研究(2007ABA265)

专利与软件著作权:
[1] 基于情感激励的足球视频精彩镜头提取软件(简称:[SHE])(2010SR066361)
[2] 视频情感内容分析与检索系统(简称:[VACAR])(2010SR066242)

发表论文:
[1] 于俊清,何欢欢,何云峰. 利用情感激励提取足球视频精彩镜头,计算机研究与发展,2010, 46(10):1823-1831 (EI 收录)
[2] 孙凯, 于俊清. 面向观众的个性化电影情感内容表示与识别, 计算机辅助设计与图形学学报(EI 收录期刊),  2010 , 22(1): 136-144 (EI 收录)
[3] Kai Sun,Yu Junqing, Huang Yue, Hu Xiaoqiang, Liu Qing. A Personalized Emotion Space for Video Affective Content Representation, Wuhan University Journal of Natural Sciences, 2009, 14(5):393 -398
[4] Kai Sun, Junqing Yu, Yue Huang, Xiaoqiang Hu. An Improved Valence-Arousal Emotion Space for Video Affective Content Representation and Recognition, Proceedings of IEEE International Conference on Multimedia and Expo, 2009, 266-569( EI 收录)
[5] Kai Sun, Junqing Yu. Video Affective Content Representation and Recognition Using Video Affective Tree and Hidden Markov Models, Proceeding of the 2nd International Conference on Affective Computing and Intelligent Interaction (ACII2007), Lisbon, Portugal, 2007, 594-605(  EI 收录:9660756)
[6] Kai Sun, Junqing Yu. Video Affective Content Representation and Recognition Based on Video Affective Tree and HMMs, Proceeding of the 6th International Conference on Entertainment Computing, 2007, 249-254(EI 收录:9688548)
[7] 于俊清,黄岳. 电影视频景别音阶的识别与检测, 计算机应用, 2009, 29(12):3422-3426

相关网站:
【1】Humaine Association: http://emotion-research.net
 
参考书籍:
【1】 Rosalind W. Picard. Affective Computing, The MIT Press, 2000.
【2】 Andrew Ortony, Gerald L. Clore, Allan Collins. The Cognitive Structure of Emotions, Cambridge University Press, 1990.

上一条:网络安全与大数据处理
下一条:虚拟实验

返回顶部