基于内容的视频分析、索引与检索


随着多媒体技术和网络技术的快速发展,随着我国数字电视改造和三网融合的逐步深化,视频数据的生成、处理和获取变得越来越方便,视频数据量呈现出爆炸性的增长。各类网络传输环境和终端设备也日益呈现出异构性和多样化的趋势,基于网络环境通过各种各样的固定或移动终端观看视频已经成为人们获取和消费视频信息的主要途径。但是,不同的网络平台(如有线电视、ADSL、WiMax、WLAN、3G等)在传输带宽、时延、误码率等性能上存在较大的差异,不同接收终端(如PC显示器、HDTV、PDA、3G终端等)在内容的回放性能上也各不相同,不同用户在内容的选择和偏好上更是复杂多变。与视频数据量的快速增长相反的,人们生活和工作的节奏越来越快,真正用于观看电视节目的时间越来越少。因此,随着视频类型的增加和数据量的日益庞大,如何有效地组织、管理和传输这些数据,如何有效地按照视频节目的内容和视频数据的特性去存取和获取这些数据,使电视观众能够任何时间、任何地方、以人们喜欢的任何方式从海量的视频数据中找到自己感兴趣的相关视频内容已成为一种迫切的需求。能够满足这一需求的技术便是目前人们普遍关注的基于内容的视频检索技术(CBVR, Content-Based Video Retrieval),研究内容涉及数字视频分析、索引和搜索三个部分。数字视频分析立足于视频中的低层特征,对视频的内容进行分析,包括镜头检测、关键帧提取、场景聚类、视频摘要提取、精彩镜头检测等。 由于语义鸿沟的存在,视频内容语义描述难以获得,使得目前基于语义的视频检索困难重重。视频数据库索引研究致力于建立高维多特征索引结构,提供高效的多特征视频检索服务。视频搜索的研究主要着眼于基于语义和样例的视频检索,建立不同视频片段(关键帧、镜头、场景等)的特征相似度匹配模型,在数据库索引结构的基础上,研究视频片段的相似度搜索算法。
经过十多年的发展,CBVR领域已经取得了一些很好的研究成果,但总体来说,由于受到“语义鸿沟”、“维度灾难”和“用户鸿沟”等挑战的制约,一直没有一个很好的商用系统出现,视频内容的搜索远未达到实用的程度,还有大量的问题需要解决。三网融合为基于内容的视频搜索提供了新的机遇,同时也面临新的挑战,如何吸取过于在相关领域的研究经验,开辟新的研究思路将是成功与否的关键。
实验室在数字视频分析、处理与检索领域研究多年,尤其在视频内容分析与组织、高维视频索引、体育视频内容搜索、基于内容的自适应视频传输、三网融合环境下的以用户为中心的视频内容搜索等方向上已经积累了大量的研究成果,在国内外权威期刊和重要国际会议上发表论文70余篇,申请专利和软件著作权多项,承担了包括国家自然科学基金、湖北省杰出青年基金、武汉市青年科技晨光计划和湖北省自然科学基金在内的多项科研课题。
热忱欢迎感兴趣的同学加盟我们的团队!

科研项目:
[1] 国家自然科学基金:面向视频大数据处理的数据流编程语言与并行优化方法研究61572211)
[2] 国家自然科学基金:面向海量图像搜索的高维索引结构与快速检索算法研究(61202300)
[3] 国家自然科学基金:三网融合环境下多模视频内容搜索关键技术研究(61173114)
[4] 国家自然科学基金:情感层视频检索关键技术研究(60703049)
[5] 武汉市应用基础研究计划项目:面向大数据的视频内容搜索关键技术研究(2014010101010027)
[6] 湖北省杰出青年基金项目:基于内容的自适应视频传输关键技术研究(2010CDA084)
[7] 中国博士后基金项目:基于高层语义的视频检索关键技术研究(20060400847)
[8] 湖北省科技攻关项目:基于内容的海量自适应视频摘要研究 (2004AA101C94)
[9] 湖北省自然科学基金项目:基于内容的自适应视频检索系统研究(2005ABA265)
[10] 华为基金:基于内容的自适应视频检索关键技术研究(YJCB2005024IN, YJCB2006047IN)
[11] 华中科技大学自主创新基金:基于内容的自适应视频传输策略与优化算法研究(M2009019)
[12] 华中科技大学自主创新基金(前沿探索类):面向三网融合的视频内容搜索关键技术研究(2011TS094)
[13]广东省产学研项目:三网融合环境下以用户为中心的视频内容搜索关键技术研究(2011B090400251)

发明专利:
[1] 一种自适应生成足球视频摘要的方法和装置(专利号:ZL200710079271.0,申请日:2007.2.13,授权日:2009.8.19)
[2] 生成视频摘要的方法及装置(专利号:ZL200710165165.4,申请日:2007.11.5,授权日:2012.1.4)
[3] 一种视频传输方法及装置、系统(专利号:ZL200810118766.4,申请日:2008.8.21,授权日:2013.1.16)
[4] 网络视频和电视节目的在线查询和播放控制方法(专利申请号:2013103085933,申请日:2013.7.23,授权日:2016.7.6)
[5] 一种基于HOG特征的台标识别方法(专利申请号:20131031423.2,申请日:2013.4.17)
[6] 基于多特征的视频索引方法(专利申请号:201310231918.2,申请日:2013.6.9)
[7] 面向大规模图像视觉特征的多维倒排索引与快速检索算法(专利申请号:201410126920.8,申请日:2014.3.31)
[8] 一种多模态信息融合的足球视频事件检测与语义标注方法(专利申请号:201410449960.6,申请日:2014.9.4)
[9] 面向三网融合的电视节目内容搜索与推荐方法(专利申请号:201510455189.8,申请日:2015.7.29)
[10] 一种斯诺克比赛视频事件检测与语义标注方法(专利申请号:201510564255.5,申请日:2015.9.8)
[11] 一种结合语义特征的ERVQ图片索引与检索方法(专利申请号:201510562949.5,申请日:2015.9.8)


软件著作权:
[1] 视觉与听觉信息提取工具(简称:[AVIE])(2010SR066316)
[2] 基于内容的足球视频搜索引擎(简称:[搜球网-SSE])(2010SR066424)
[3] 自适应网络视频播放器(简称:[ANV-Player])(2012SR076537)
[4] 足球视频聚焦爬虫软件(简称:[SVCrawler])(2012SR076371)
[5] 足球视频搜索引擎用户偏好挖掘软件(简称:[SV-UPM])(2012SR076375)
[6] 基于视觉特征量化的大规模图像检索系统(简称:[CBIR-IFQ])(2014SR058931)
[7] 融合多模态特征的足球视频语义标注系统(简称:[SVEA])(2014SR148250)


发表论文:
[1]Liefu Ai, Junqing Yu, Yunfeng He, Tao Guan. Optimized residual vector quantization for efficient approximate nearest neighbor search, Multimedia Systems (SCI收录, 通讯作者, 2015.5录用,DOI: 10.1007/s00530-015-0470-9)
[2] Zengkai Wang, Junqing Yu, Yunfeng He. Soccer Video Event Annotation by Synchronization of Attack-defense Clip and Match Report with Coarse-grained Time Information, IEEE Transactions on Circuits and Systems for Video Technology,2015(录用DOI:10.1109/TCSVT.2016.2515280)
[3] 艾列富, 于俊清, 管涛 , 何云峰. 基于超球体过滤的大规模图像自适应检索, 计算机学报, 2015, 38(1): 122-133 (通讯作者,EI收录)
[4] 吴飞,朱文武,于俊清. 多媒体技术研究:2014——深度学习与媒体计算,中国图形图像学报,2015, 19(11): 1423-1433
[5] Zengkai Wang, Junqing Yu, Yunfeng He, Tao Guan. Affection Arousal based Highlight Extraction for Soccer Video, Multimedia Tools and Applications, 2014, 73(1): 519-546 (SCI收录)
[6] Liefu Ai, Junqing Yu, Tao Guan, Yunfeng He. Efficient Approximate Nearest Neighbor Search by Optimized Residual Vector Quantization, Proceedings of 12th International Workshop on Content-Based Multimedia Indexing (CBMI2014), 2014, 1-4 (EI收录, 通讯作者)
[7] 胡雨成, 于俊清, 黄贤强, 何云峰, 管涛. 足球视频搜索引擎中的用户偏好挖掘, 中国图象图形学报, 2014, 19(4): 622-629 (通讯作者)
[8] 于俊清, 张强, 王赠凯, 何云峰. 利用回放场景和情感激励检测足球视频精彩镜头, 计算机学报, 2014, 37(6): 1268-1280 (EI收录)
[9] Zengkai Wang, Junqing Yu. Event Boundary Determination Based on Attack-defense Transition Analysis in Soccer Video, Proceedings of the 19th International Conference on Digital Signal Processing (DSP2014), 2014, 321-326 (通讯作者) (EI收录)
[10] 黄铁军, 郑锦, 李波, 傅慧源, 马华东, 薛向阳, 姜育刚, 于俊清. 多媒体技术研究:2013——面向智能视频监控的视觉感知与处理, 中国图形图像学报, 19(11): 1539-1562(通讯作者,2014年学报评为年度优秀论文)
[11] Zengkai Wang, Junqing Yu. Using Minute-by-Minute Match Report for Semantic Event Annotation in Soccer Video, Proceedings of the 1st ACM International Workshop on Human Centered Event Understanding from Multimedia(HuEvent’14), 2014, 11-16.
[12] Liefu Ai, Junqing Yu, Yunfeng He, Tao Guan. High-dimensional indexing for large scale content-based image retrieval: a review, Journal of Zhejiang University-SCIENCE C (Computers & Electronics), 2013, 14(7): 505-520 (SCI收录, IF0.415, 通讯作者)
[13] Zengkai Wang, Junqing Yu. Extraction of highlight with semantic boundary from the perspective of affection for broadcast soccer video. ICIMCS 2013, 207-213 (EI收录, 通讯作者)
[14] 林朝晖, 于俊清, 何云峰, 管涛, 艾列富. 高维分布式局部敏感哈希索引方法, 计算机科学与探索, 2013, 7(9):811-818
[15] 张宝印, 于俊清, 唐九飞, 何云峰, 王赠凯. 面向情感的电影背景音乐分类方法, 计算机科学, 2013, 40(12): 37-40, 74
[16] 中国计算机学会多媒体专业委员会. 多媒体技术研究:2012-多媒体技术索引与检索技术研究进展, 2013, 18(11): 1383-1397 (通讯作者)
[17] Liefu Ai, Junqing Yu, Tao Guan. Spherical Soft Assignment: Improving Image Representation in Content-based Image Retrieval, 2012 Pacific-rim Conference on Multimedia (PCM 2012), 2012, 801-810.
[18] 何云峰, 周玲, 于俊清, 徐涛, 管涛. 基于局部特征聚合的图像检索方法, 计算机学报, 2011, 34(11): 2224-2233 (EI 收录)
[19] 于俊清, 刘青, 何云峰. 基于感兴趣区域的H.264视频加密算法, 计算机学报,2010,33(5): 945-953 (EI 收录)
[20] Junqing Yu, Yunfeng He, Kai Sun, Xingming Ouyang. Content-Based Organization, Analysis and Retrieval of Soccer Video, Int. J. Computer Application in Technology, 2010, 38(1/ 2/3): 64-73 (EI 收录)
[21] 于俊清,胡小强,孙凯. 改进的混合音频分割方法, 计算辅助设计与图形学学报(EI 收录期刊), 2010, 22(7): 1174-1181 (EI 收录)
[22] 于俊清,何欢欢,何云峰. 利用情感激励提取足球视频精彩镜头,计算机研究与发展,2010, 46(10):1823-1831 (EI 收录)
[23] Yunfeng He, Junqing Yu. MFI-Tree: An Effective Multi-feature Index Structure for Weighted Query Application, Computer Science and Information System (SCI 收录期刊), 2010, 7(1): 139-151 (SCI和EI 收录)
[24] 何云峰,于俊清. 面向可变权值的多特征索引结构,武汉大学学报(信息学版)(EI 收录期刊),2010, 35(8): 920-924 (EI 收录)
[25] 何云峰,于俊清,唐九飞,管涛. 基于MPEG-7的视频数据组织与管理,武汉大学学报(理学版),2010 ,56(6): 711-716 (通讯作者)
[26] 胡胜红, 于俊清. 视频适配的关键技术与研究进展, 第六届和谐人机环境联合学术会议(HHME2010)——第19届中国多媒体学术会议(NCMT 10)论文集, 洛阳,2010,84-90
[27] 于俊清, 刘冲,何云峰,胡胜红. 利用运动强度自适应传输视频内容, 计算机辅助设计与图形学学报, 2009, 21(6): 847-852 ( EI 收录)
[28] 于俊清, 王旋, 何云峰. 足球视频三维重建中的摄像机标定及球员检测, 软件学报(增刊), 2008, 19(sup): 151-160 ( EI 收录:20090711906526)
[29] 于俊清, 王宁. 基于子窗口区域的足球视频镜头分类, 中国图像图形学报, 2008, 13(7): 1347-1352
[30] 于俊清, 王旋, 何云峰. 足球视频三维重建中的摄像机标定及球员检测, 第15届中国计算机辅助设计与图形学学术会议, 大连, 2008, 581-585
[31] Yu Junqing, Tian Bo. Video Segmentation Based on Shot Boundary Coefficient, Proceeding of the 2nd International Conference on Pervasive Computing and Applications, 2007, 630-635. ( EI 收录:9724594)
[32] Yu Junqing,Wang Zhifang, Shi Lejian. Playfield and Ball Detection in Soccer Video, Proceeding of the 3rd International Symposium on Visual Computing, Nevada, USA, 2007, 387-396 ( EI 收录:9707519)
[33] 于俊清, 崔玉强, 何云峰. 足球比赛中的音频信息提取与自动分类, 华中科技大学学报(自然科学版), 2007, 35(10): 35-38, 45 (EI 收录:080311033205)
[34] Yu Junqing, He Yunfeng, Sunkai, Wang Zhifang, Wu Xiangmei. Semantic Analysis and Retrieval of Sports Video, Proceeding of Japan-China Joint Workshop on Frontier of Computer Science and Technology, Aizu-Wakamatsu,2006,97-108.( EI 收录:073110738685)
[35] 王志芳,于俊清,施乐剑. 利用改进的GLA算法快速检测球场区域, 系统仿真学报,2006,18(10): 2984-2987 ( EI 收录:064910290151)
[36] Yu Junqing, He Yunfeng, Li Shijun. Content-based news video Mining, Proceeding of 1st International Conference on Adavanced Data Mining and Applications, 2005, 3553: 431-438 (SCI 收录:BCR26,EI收录:05439437190)
[37]Yu Junqing, Li Shijun, He yunfeng. Video Analysis and Retrieval Based on Multi-modal Features, Proceeding of the 1st International Conference on Universal Digital Library, Hangzhou, 2005, 464-471
[38] 于俊清, 汤旸, 周向东. 利用主色模板匹配检测新闻视频口播帧, 计算机辅助设计与图形学学报, 2005, 17(3): 558-562 (EI 收录:05169051902)
[39] Yu Junqing, Zhou Dongru. Content-based analysis of news video, In: Proceeding of The 2th SPIE International Symposium on Multispectral Image Processing and Pattern Recognition, Wuhan, 2001, 332-337 (EI 收录:02447171142)
[40] Yu Junqing, Zhou Dongru, Modeling Digital Video Database System with UML, Wuhan University Journal of Natural Sciences, 2001, 6(1-2): 234-238 (EI 收录:6896214)
[41] Yu Junqing, Zhou Dongru. Content-Based Hierarchical Analysis of News Video Using Audio and Video Information, Wuhan University Journal of Natural Sciences, 2001, 6(4): 779-783 (EI 收录:02016817965)

相关网站:
(1) TRECVID: http://trecvid.nist.gov , Digital Video Retrieval at NIST
(2) Video Olympics: http://www.videolympics.org/
(3) Video Collection:http://www.open-video.org
(4) Leonardo’ s Project: http://www.chiariglione.org
(5) MPEG: http://www.mpeg.org
(6) Information Organization & Retrieval:http://www2.sims.berkeley.edu/courses/is202/f01/index.html
(7) Movie Tools: http://www.ricoh.co.jp/src/multimedia/MovieTool/index.html
(8) vdbms Project: http://www.cs.purdue.edu/vdbms/
(9) DirectShow: http://www.codeproject.com/KB/directx/directshownet.aspx

参考书籍:
[1] Ziyou Xiong, Regunathan Radhakrishnan, Ajay Divakaran, Yong Rui, Thomas S. Huang. A Unified Framework for Video Summarization, Browsing & Retrieval: with Applications to Consumer and Surveillance Video. Academic Press, 2005.
[2] Remco C. Veltkamp, Hans Burkhardt, Hans-Peter Kriegel. State-of-the-Art in Content-Based Image and Video Retrieval, Springer, 2001.
[3] Ying Li, C.C. Jay Kuo. Video Content Analysis Using Multimodal Information: For Movie Content Extraction, Indexing and Representation. Springer, 2003.
[4] Sagarmay Deb. Video Data Management and Information Retrieval, IRM Press, 2004.
[5] Katashi Nagao. Digital Content Annotation and Transcoding, Artech House Publishers, 2003.
[6] Ahmed K. Elmagarmid, Haitao Jiang, Abdelsalam A. Helal, Anupam Joshi, Magdy Ahmed. Video Database Systems: Issues, Products, and Applications, Springer, 1997.
[7] HongJiang Zhang, Philippe Aigrain, Draguin Petkvic. Representation and Retrieval of Video Data in Multimedia, 1997.
[8] A. Hanjalic, G.C. Langelaar, P.M.B. van Roosmalen, J. Biemond, R.L. Lagendijk. Image and Video Datases: Restoration, Watermarking and Retrieval, Elsevier Science, 2000.
[9] Milan Petkovic, Willem Jonker. Content-based Video Retrieval: A Database Perspective, Springer, 2003.
[10] Oge marques, Borko Furht. Content-Based Image and Video Retrieval, Springer, 2002.
[11] Alan Hanjalic. Content-Based Analysis of Digital Video, Springer, 2004.


Copyright @2007 华中科技大学数字媒体处理与检索实验室 版权所有
地址:华中科技大学南一楼西部441 电话:13871273335