智能化视频检索与处理系统建设项目可行性研究报告.docx

1、智能化视频检索与处理系统建设项目可行性研究报告智能化视频检索与处理系统项目可行性研究报告一. 项目申请的必要性 21. 项目的重要意义22. 项目与天河区重点发展技术领域的符合程度33. 技术的先进性与创新性34. 技术在本领域的关键程度45. 项目所研究技术的行业推动作用4二. 承担单位情况51. 承担单位基本情况52. 研究开发能力53. 财务、经济状况64. 承担单位的科研及生产经营管理状况7三. 项目实施方案71 项目的目标、研究范围和主要内容72 项目的技术方案83 项目的阶段与进度134 资金筹措及使用13四. 经济及社会效益分析161 市场分析162 经济及社会效益分析19五.

2、风险分析241 技术人员风险242 资金风险24六. 附表26七. 附件 一项目申请的必要性1. 项目的重要意义随着信息技术和网络技术的发展，引发社会对信息化服务更高的要求和服务需求，随着通讯带宽技术的不断发展，视频技术以其信息容量大、事物表达形象化的特点，越来越受到人们的重视。今后，社会的发展将会以多媒体为中心，通过将图像、语音及文字信息有机整合，产生更直观生动、更容易使用户接受的信息存在形式。在具备了大量的视频多媒体信息之后，多媒体数据库的有效管理，按需进行视频内容检索和处理，就成为了急需解决的关键问题。智能化视频检索与处理系统运用在计算机图形图像学计算机视觉语音处理及人工智能方面先进的学

3、术研究成果，通过开发具有自主知识产权的多模式视频信息处理核心技术, 对包含在视频信息中的图像语音及文字等信息进行综合分析判断，提供基于内容的智能视频检索手段，并对索引出的视频段按需进行加工处理，从而推动数字化多媒体技术应用到更多领域，使他们效率更高，工作更智能。声像信息以数字形式存储和传播，为人们更灵活使用这些信息提供了可能性。但随之而来的问题是，随着网络上信息爆炸性的增长，获取到我们感兴趣的信息的难度越来越大。传统的基于关键词或文件名的检索方法显然不适用于数据量庞大又不具备天然结构的声像信息，比如“在这段新闻片中找出有胡锦涛主席讲话和有胡锦涛主席出现的镜头片段”，这种形式的检索是传统检索方法

4、难以胜任的工作。基于视频内容的智能化检索技术是解决这一难题的有效方法。1993年12月，英国计算机学会在英国Leeds大学举行了多媒体系统和应用（Multimedia System and Application）国际会议。英国Michael DVislon(Rutherford Appleton Laboratory)在会上作了关于建立多智能多媒体系统的报告，明确提出了研究智能多媒体技术问题。近年来，美国，日本等国在该领域投入了大量的人力和物力，取得了一些卓有成效的成果和专利。我国在该领域的起步较早，许多大专院校和研究所以及许多从事媒体方面研究的公司在多媒体研究方面都倾注了大量的心血，取得了

5、丰硕的理论研究成果，但限于经费和体制，自主开发的主流产品较少。本项目所自主研发的智能化视频检索和处理系统正是要解决这一问题。基于内容的视频资料数字智能化管理系统是一个当前快速发展的多学科交叉研究领域。通过对视频内容的智能分析，能够产生出不断增加的，涉及到社会生活各个领域的应用前景，包括电视媒体应用互联网智能检索音像资料库管理反恐监控系统司法领域展馆多媒体运营系统体育训练和赛事辅助系统远程教学电子商务视频游戏以及有线和无线通信服务等等。同时，视频内容智能分析上的技术进步，可以促使很多相关领域例如信号处理计算机视觉模式识别和多媒体数据库管理等方面的技术进步。我们所自主研发的智能化视频检索和处理系统

6、涉及到图像识别处理语音识别处理文字识别处理机器学习以及模式识别等方面的内容，其中场景的自动切割台标定位语音DNA处理特写镜头慢速播放及视频加密等核心技术又成为项目内容的关键。一些核心技术本身的研发也有着重要意义和广泛的应用前景。语音DNA识别可应用于新闻节目自动标注,基于特定人的语音文档的检索,说话者的验证和自动跟踪,以及语音数据库的自动生成和索引。随着信息时代的发展,用于标志各人身份的代码使用非常广泛,比如各种购物卡、信用卡、长途电话卡和证券电话委托服务等。这类卡或服务均具有数字、字符串形式的电子帐户与电子密码。若电子帐户及密码失密,将会造成用户不可估量的经济损失。以提取说话人声音特征为手段

7、的语音DNA识别技术,则可以将密码失密造成的损失降到最低。一方面,语音识别可识别用户说出的数字代码,向用户提供自然便利的接口界面,另一方面,说话人识别将用户本人固有的发音特性运用于身份核查,提供了更安全的保护,即使他人窃取了密码,也会因为其发音的特征不同而被拒绝。目前,语音DNA技术被应用到说话人核对、声控电子密码锁、罪犯确认、医学中患者确认以及军事等领域。随着现代企业自动化和安全化要求的提高,语音DNA识别系统也逐步应用到到工厂中。为了工厂运行的安全，防止无权限人员进入控制系统现场，必须要进行身份确认。同时，夜间无人值守的自动化工厂系统在响应用户进行的远程操作前，也必须要进行身份确认。数字水

8、印技术是上世纪90年代中后期发展起来的新兴学科。随着多媒体技术和网络技术的迅速发展与广泛应用,大量的数据可以方便、高效地进行传输,与此同时，对于防止网上侵权行为、资源所有人的身份确认等问题提出了更高的要求。传统的加密技术已经不足以解决新出现的问题,数字水印技术的产生，在这方面显示出了巨大的潜力，并且在版权的认定与保护加指纹标题与注释篡改提示及使用控制等方面展现了良好的应用前景。国内在这方面的研究相对滞后些，而作为我们智能化视频检索和处理系统的核心组成部分，水印加密技术的研发有着其重要的意义。2. 项目与天河区重点发展技术领域的符合程度智能化视频检索和处理系统以场景自动切割台标定位语音DNA识别

9、特写镜头慢速播放及视频加密等技术为核心，以计算机图形图像学计算机视觉语音处理数据库技术及信息安全技术为主要研究领域，这些都完全符合天河区在计算机图形与图像技术、计算机软件与网络技术方面的重点发展方向，具有重要的发展意义和良好的应用前景。3. 技术的先进性与创新性智能化的视频信息检索与处理是一个全新的研究领域，是对传统多媒体信息管理的全面挑战。我们的系统在原理上和应用上都有很大的创新之处。相对于以文件存贮目录为主要存在形式的传统方式，以视频内容语义概念进行检索的工作模式，使内容提取更直接，更符合用户要求。传统的多媒体信息管理需要借助人力的辅助，才能完成相对个性化的，以用户需求为概念的视频信息查询

10、，而智能化内容检索全部由系统自动完成，而且查询结果与需求直接匹配，简洁高效。基于查询结果按内容分类的视频流的特性，智能化检索与处理系统还可以进而进行方便的特殊功能处理，例如场景缩放，特写镜头的慢速播放等等。考虑到搜索结果安全发布的问题，我们的系统还可以对索引视频段进行水印加密，有效防止盗版篡改等行为的发生。而所有这些功能都是传统多媒体管理方式没有实现，技术上也无法实现的。我们智能视频检索与处理系统的核心技术也有其本身的先进创新性。在原理上，我们在国内工业界首次提出了综合图象语音和文字识别技术的多模式综合信息处理方式，用于智能化的视频检索标引。在图象放大问题上，通过自主开发的超线性算法，有效的解

11、决了模糊化和纹理方向改变的问题。在慢速回放问题上，通过研发新型的运动补偿内插算法，在充分利用图像信号的帧间相关性的同时，还充分利用其帧内相关性，将运动估值与图像分割有机地结合起来，既刻画出它们之间的相互依赖性，又采用了恰当的解藕处理，从而改进了图像质量。在语音DNA识别技术方面，我们系统有效解决了对不同语种不同方言的语音识别问题，在水印加密方面，通过采用基于离散余弦变换和小波变换的一组高效的水印嵌入和盲检测方法，在不完全解码的情况下快速实现水印的嵌入和检测，同时实现了鲁棒性好和不可见性的特点。系统的主要创新点如下： 多种特征参数作为判决依据，可以提高系统判决的可靠性、鲁棒性和分辨能力，克服由于

12、语音信号变异性所导致的话者特征空间移动而带来的判决的不确定性； 针对语音检索和标引系统的特点，对背景噪声中的有用信息进行分析和利用； 采用改进的径向基函数（RBF）网络，如椭圆基函数（EBF）网络，对话者特征的描述性更好，识别率高； 基于支持向量机的人脸模式分类方法在小样本训练的前提下具有较强的非线性分类能力和学习能力。4. 技术在本领域的关键程度在网络和数字化进程不断深入的过程中，多媒体数字资产的拥有者对有效管理和充分利用这些资源提出了全新的要求。只有当多媒体视频信息以内容为基础，以事件为中心进行管理和检索，数字化多媒体资产智能化管理的实现才能够成为可能，也才能够进一步推动相关产业和应用领域

13、在此基础上进一步发展，而智能化视频检索与处理系统是实现这一目标的技术关键，在此基础上将可以发展出广阔的应用前景。XXX公司作为专门从事数字视频应用和信息安全的软件开发及技术咨询服务企业，通过多年与探索和实践，深刻认识到了开发此项目的必要性和迫切性。5. 项目所研究技术的行业推动作用通过开发具有自主知识产权的智能化视频检索和处理系统，可以带动多媒体信息管理，电视媒体资产管理等行业技术革新，促进劳动生产率的提高，进一步提高行业本身的竞争力，满足用户数字时代个性化的需求。开发所涉及到的技术创新又可以促使很多相关领域例如信号处理计算机视觉模式识别和多媒体应用等方面的技术进步。二承担单位情况1.承担单位

14、基本情况XXX成立于2000年3月，是由美国XXX公司与广州市政府共同投资兴办的留学生企业，注册资金1928万元人民币。其中，DISTINCTIVE TECHNOLGY LIMITED 占78%。广州市科技风险投资公司占22%。专门从事数字视频技术应用和电视台媒体资产管理软件开发。公司拥有一批充满朝气的经营管理者和富有才华的高技术人才，追求“创建一流企业、造就一流人才、开发一流产品、提供一流服务”的企业目标，倡导开拓创新、追求卓越、优质服务、规范管理的企业理念。2.研究开发能力毕业于美国、新加坡和中国的 6 位博士和 19 硕士，构成了公司研究开发的核心力量。与上海大学和华中理工大学等国内高校

15、联合组建的研究中心，为公司提供了多方位的技术支持。总部设在美国，使公司能够及时跟踪国际上的前沿技术。多项拥有自主产权的关键技术，确立了公司雄厚的技术基础。自有技术： 基于ADM的信息存储与检索系统 实时体育比赛标引与素材管理系统 基于内容的电视台多媒体数字化管理系统前期成果情况： 前期成果实时体育比赛数字化素材管理系统已获得国家科技部“科技型中小企业技术创新基金”立项。 实时体育比赛数字化素材管理系统列入2003年度广东省技术创新项目计划（第二批）。 前期成果实时体育比赛数字化素材管理系统已在上海电视台应用。 前期成果已有国外实施案例：美国NBA联盟、美国MLB联盟（大棒球联盟）。项目负责人简

16、历陈宝辉年龄：42学历：硕士专业：机械工程主要经历：毕业于华中理工大学，88年赴美国留学，获得美国纽约市立大学机械工程硕士学位。毕业后曾在纽约市立大学任计算中心主任，负责规划、设计和组建纽约市立大学（City College of New York CCNY）计算机网络，是第一批开始进行互连网工作的开拓者。曾在美国道琼斯Dow Jones & Company任高级系统管理员，管理该公司的计算机内部和外部（互连网）网络；曾在美国美林证券Merrill Lynch & Company公司任副总裁助理，负责设计和管理公司DMZs及防火墙系统；曾在美国ING Barings 公司任副总裁，负责公司全球

17、信息安全系统。99年陈宝辉先生在美国新泽西州创立了XXX Systems, Inc.公司，从事国际化的软件开发工程，陈宝辉先生在公司担任CEO职务。2000年回国考察市场后，他将美国XXX的中国总部设在广州，并先后建立北京办事处、上海办事处和西安研发中心。陈宝辉先生负责公司全球化的战略计划、资本运作及业务管理和运行。通过他的管理与经营，XXX公司已经成功地将业务从E-LEARNING软件开发扩展到数字化的基于内容的视频技术管理与软件工程的开发。技术专长：软件开发和企业管理主要工作业绩： 主持了美国摩根财团全球计算机网络安全性和保密性的评估。报告对JP Morgan全球网络的保密性和安全性进行了

18、全面的、具体的评估,对改进JP Morgan网络提出了多种可行的改进意见,并得到了JP Morgan网络工程委员会的好评。 主持了美国摩根财团（JP. Morgan）VPN(Virtual Private Network)的设计和安装。这对改善JP Morgan网络的安全性和可用性有很大的帮助.该项目已经开始在美国,欧洲及亚洲进行试运行。 主持了美国Lehman Brothers计算机网络的审查和评估。对Lehman Brothers网络的弱点及不足之处提出了建设性的意见，审查和评估报告已交公司执行委员会进行实施，此报告发表在Lehman Brother Network，日期为2000年5月。

19、 主持设计了美国大的制药商（世界第四大）Bristol Myers-Squibb 的VPN网络和个人上网络联接。 主持评估了美国道琼斯（Dow Jones）和英国路透社（Reuters）Internet网络站设计的安全性及可靠性。主持设计了美国PERSHING（美国最大的股票交接公司）的DNS DHCP的总体结构。主要承担人员姓名学历所学专业职务备注伍行健博士应用力学技术总监刘昉博士计算机应用研发部经理高健博士系统工程项目经理何南忠硕士计算机图像处理研发人员王以治硕士数学和软件技术研发人员陈宝辉硕士机械工程总经理/技术统筹郭毅怡硕士计算机应用高级工程师武卫本科计算机应用研发人员杨继平本科计算机

20、应用质量部经理3.财务、经济状况(1)历史财务公司目前的财务指标为（2002年）项目数量资本金合计1380.68万元资产总额1556.68万元流动资产总额603.38万元流动负债总额23.63万元固定资产总额137.18万元固定资产净值100.69万元资产负债率8.68%销售收入万元总成本万元销售税金及附加万元实现利润万元所得税0万元净利润万元4.承担单位的科研及生产经营管理状况核心管理人员曾留学美国并长期在国际知名企业任职,如美国道琼斯、ING霸菱、美林证券、美国摩根财团和野村证券等，切身体验并掌握了西方先进的管理理念和方法，结合中国市场的特点，形成了专业而科学的管理风格。公司高层管理人员中

21、，三分之二具有硕士以上学位，包括MBA，先进的管理理念、国际化的管理经验、科学的组织结构，构成了公司质量体系的基础，而ISO9000质量认证体系在保障高效率的同时，更是完善质量控制的保证。三项目实施方案1. 项目的目标研究范围和主要内容（1）项目目标的确定及其主要依据通过开发具有自主知识产权的多模式视频信息处理核心技术, 提供基于内容的智能视频检索手段，并对索引出的视频段进行加密处理，从而推动基于内容的数字化多媒体技术应用到更多领域，使他们效率更高，工作更智能。随着数字和网络技术的进步，视频信息不断增多，并且由于其特有的直观性和易交互性，对于视频内容的分析掌握和处理正变的越来越重要。通过对视频

22、内容的有效智能检索，可以实现基于个人需求的视频服务，并且在此基础上使其在电视媒体应用互联网智能检索音像资料库管理反恐监控系统司法领域展馆多媒体运营系统体育训练和赛事辅助系统远程教学电子商务视频游戏以及有线和无线通信服务等涉及到社会生活各方面内容的领域里得到更深入有效的应用。（2）项目范围的选择及其主要依据为了深入分析视频内容，准确把握视频信息中所发生的事件，以及处理和加密后续的视频产品，本系统需要包括图像识别处理语音识别处理文字识别处理机器学习以及模式识别等内容。其中场景的自动切割台标定位语音关键词识别语音DNA处理特写镜头慢速播放及视频加密等核心技术是关键的内容。通过这些简洁高效的自动分析，

23、蕴涵在海量流媒体里的内容事件信息就可以以简洁的形式表示出来，使项目成功实现成为可能。（3） 项目的主要内容在软件方面，基于视频数据是由视频音频以及文字等多模式信息流的形式组成，并且这些同步的信息流之间又有语义上的相互关联性，通过开发包括自动场景切割台标定位和语音DNA等在内的多模式视频信息处理技术，利用这些数据流之间相互语义关联的特性，提高系统对视频内容分析理解的有效性和可靠性，达到在一定应用范围内智能检索的目的。在实现有效智能检索的基础上，系统可以根据需求对索引出的视频段进行加工处理，包括特写镜头慢速回放水印加密等等。在硬件方面，系统通过分布式多重专用处理器并行计算的方式，实现系统运行的快速

24、有效。2. 项目的技术方案（1）技术方案的主要内容视频智能化检索和处理就是通过对视频流中包含的各种信息进行综合分析，对事件内容给出一个较为全面的描述。因此，对各种信息的分析和获取建立在图像识别和处理，语音识别和处理，文字识别和处理等基础之上。以下是本项目方案所涉及到的主要技术内容。 图象识别和处理：关键人物的人脸识别系统运动物体的追踪系统电影或电视场景切换的自动识别系统慢动作播放图像放大数字水印电视台标识别 语音识别和处理：语音关键词识别系统语音DNA系统（话者识别）语音合成 文字识别：文字定位文字识别文字内容与视频内容的相关性判断 知识工程以及人工智能 具有自学习和自适应的综合智能化评判系统

25、其中，场景的自动分割台标定位语音DNA识别特写镜头慢速放大和水印加密又成为技术内容的关键。整套系统的工作和技术原理拓扑图如下所示。通过场景自动切割台标定位和语音DNA技术的交互作用形成的多模式视频信息处理方式，快速有效地解决了自动标引的问题，使基于内容的智能化检索易于实现。特写镜头慢速放大和水印加密技术的引入又丰富了视频处理内容，使系统能够对用户输入的搜索关键字进行智能分析并给出符合搜索要求的视频段。例如，用户给出“中央电视台胡锦涛讲话内容”的检索要求，系统就可以智能的分析用户要求，在视频资料库里找出相应内容片断。智能化视频检索与处理系统主要由以下部分组成： 用户视频信息采集主要功能是采信视音

26、频信号，将横模拟的信号转换成高清晰的数字信号。 视频检索处理器系统包括属于图象处理的场景切割台标定位服务器和语音文字处理处理器。这些系统分工合作，共同构成多模式视频检索处理器系统 综合智能判断系统基于智能识别知识库，通过自学习自适应的方式，对视频检索处理器结果进行综合判断选择，并进行必要反馈。 视频处理器系统基于视频检索和智能选择判断结果，对所得视频流信息按需进行各种加工处理。 范围广泛的应用领域通过智能检索引擎接口，可实现在电视台节目制作音像馆及数字图书馆多媒体资料管理互联网与电子商务展馆多媒体运营体育训练与赛事辅助公安司法与反恐监控视频游戏及远程教学等领域的广泛应用。（2） 技术关键问题场

27、景镜头的自动分割提供特定时段或全时段镜头切换时间点的统计数据，为电视插播基于内容的视频检索和全片内容的浏览提供服务。镜头切换算法是根据连续图像相关性原理构造的，具有算法简洁，实时性好的特点。台标信息为有效的区分整合海量电视资料内容提供了有效的手段。根据台标画面固定不变，背景不断变动这一特征，利用统计方法，可在一段时间内将台标从画面上分割出来，从而完成台标定位，为后续工作大下基础。语音关键词识别是对视频内容进行定义的一个十分重要的技术，虽然目前的语音识别技术对于连续长句子识别效率不高，但对于经过特殊训练的关键词的识别，从实际应用的效果和技术角度来看，语音关键词识别在视频智能化系统中是一个切实可行

28、的技术。通过对语音关键词库进行分类，可进一步保证识别的快速性和准确性。语音DNA识别技术通过特征参数提取(语音分析)和识别算法(或模型)的选取两个关键步骤，在必要的样本模式的训练后，实现未知模式的识别。另外还采用自学习技术，如果在进行识别过程中发现误判，通过自学习分析误判原因，利用聚类分析方法改进语音库，有效的提高识别率。 特写镜头慢速放大技术的关键是图像放大与帧间插值两个问题。在图象放大问题上，通过自主开发的超线性算法，有效的解决了模糊化和纹理方向改变的问题。在慢速回放问题上，通过研发新型的运动补偿内插算法，在充分利用图像信号的帧间相关性的同时，还充分利用其帧内相关性，将运动估值与图像分割有

29、机地结合起来，既刻画出它们之间地相互依赖性，又采用了恰当的解藕处理，从而改进了图像质量。 水印加密技术为保护视频信息的版权以及实用的合法性提供了有效的指南，本项目通过采用基于离散余弦变换和小波变换的一组高效的水印嵌入和盲检测方法，在不完全解码的情况下快速实现水印的嵌入和检测，同时实现了鲁棒性好和不可见性的特点。（3）先进性和创新性基于内容的智能化视频检索处理与传统视频检索处理手段相比，有着显而易见的先进性。基于内容的智能化检索和处理传统检索和处理检索手段以语义感念检索以文件存贮目录检索工作方式机器自动完成需大量借助人力辅助检索结果与需求直接匹配视频段大量包含需求内容的视频文件效率简洁高效费时费力检索结果应用能直接进行编辑处理需要再加工后才能使用功能性能够根据需求进行特写镜头慢速放大等实用功能结果单一，五更多功能延伸结果安全性具有水印加密功能，安全性高，防止侵权盗版等无安全防范功能我们的系统在技术上又具有以下技术创新之处：综合图像语音和文字的多模式视频信息处理电视台台标的准确识别定位对不同方言和