面向公共安全的跨媒体计算理论与及方法Word文档格式.docx

面向公共安全的跨媒体计算理论与及方法Word文档格式.docx

《面向公共安全的跨媒体计算理论与及方法Word文档格式.docx》由会员分享，可在线阅读，更多相关《面向公共安全的跨媒体计算理论与及方法Word文档格式.docx（18页珍藏版）》请在冰豆网上搜索。

主要研究内容

针对跨媒体数据统一表示和建模方法这一关键科学问题，本项目将结合跨媒体特有的自然属性和社会属性，研究跨媒体基元提取与描述方法，实现跨媒体一致性语义结构的统一表示和关联建模，刻画跨媒体数据所包含自然属性和社会属性之间的复杂关系。

主要研究内容包括：

（1）跨媒体基元提取与表达

（2）跨媒体度量学习和关联建模

（3）跨媒体关联性语义结构一致性描述

（4）跨媒体数据增量整合与索引

针对跨媒体关联推理与深度挖掘这一关键科学问题，本项目将建立跨媒体推理模型，挖掘跨媒体数据中关联关系，对离线和在线数据以及群体网络行为数据进行分析，研究跨媒体数据相互作用、渗透和扩散的物理模型，以揭示跨媒体数据涌现、传播和演化机制，对热点话题进行语义理解、检测跟踪和预测预警。

（1）跨媒体数据涌现、传播和演化机制

（2）跨媒体推理模型

（3）网络群体智能交互与社会关注度分析

（4）跨媒体关联结构挖掘与聚合机制

针对基于跨媒体数据综合搜索和内容合成这一关键科学问题，本项目将研究跨媒体综合搜索的理论和方法，对用户以自然语言和跨媒体样例来表达的检索意图进行理解，实现从一种类型媒体数据检索其他类型媒体数据的综合检索方法。

同时对跨媒体数据所蕴含的热点话题中重要性数据进行析取，合成摘要和代表性单元等，对其发生、发展和演化过程进行多视点和多侧面呈现。

（1）跨媒体数据综合检索与排序

（2）热点话题重要性因子分析

（3）跨媒体数据合成与多粒度呈现

（4）面向公共安全的态势分析与预测预警示范平台

二、预期目标

总体目标

本项目总体目标是面向我国公共安全重大需求，开展跨媒体计算基础理论研究，在跨媒体数据统一表示和建模、关联推理与深度挖掘、综合搜索与内容合成等方面取得突破性进展，形成较完整的理论体系，为我国公共安全和应急处理提供方法和相应技术。

同时，为国家培养一批青年学术带头人和研究队伍，使我国在本领域的研究整体上处于国际先进水平，并在一些关键点达到国际领先水平，为我国公共安全领域预测预警快速发展奠定理论基础、提供技术支撑。

五年预期目标

（1）基础理论研究

研究跨媒体计算的基本理论和方法，预期取得如下突破：

发现跨媒体数据与现实世界个体和群体行为之间的规律，用于指导跨媒体数据所蕴含语义的理解；

揭示蕴含社会热点话题的跨媒体数据涌现、传播和演化的机制，建立跨媒体推理模型，辨识热点话题的起源和迁移；

实现跨媒体综合检索，通过类别和联想等手段，对跨媒体内容进行合成。

（2）关键技术突破

在跨媒体计算关键算法上取得突破性进展，包括异构特征度量学习、跨媒体关联建模、跨媒体语义理解、公共安全事件检测、跟踪和演化、大规模跨媒体分布计算、跨媒体多粒度呈现等关键技术，为公共安全重大需求中实际问题解决提供技术保障。

（3）构建仿真验证平台与实施重大应用示范

面向公共安全领域，构建热点话题预测预警仿真、验证和示范平台，提供开放式的数据接口、应用接口。

本项目的预期研究成果在诸如IEEE顶级汇刊等国际高水平期刊上以及在ACM和IEEE等有重要影响力国际会议发表重要论文150篇以上，形成由中国学者提出的较为系统的跨媒体计算理论与方法，在国际上产生重要影响，并力争获得国家级科技奖励；

在关键技术突破和构建仿真验证平台方面取得授权发明专利15项以上。

（4）高层次人才培养

结合本项目的实施，培养我国相关领域的优秀人才和学术队伍。

锻炼出一批青年学术带头人，其中国家杰出青年科学基金获得者、教育部“长江学者”特聘教授和中科院“百人计划”入选者5人以上；

培养一批优秀的青年学术骨干，争取获得全国百篇优秀博士学位论文或国际学术会议优秀论文奖2项以上。

三、研究方案

总体研究思路

本项目的总体研究思路是：

瞄准国家重大需求和科学前沿，依据国家对社会公共安全的迫切需要，围绕“跨媒体数据统一表示与建模方法”、“跨媒体数据关联推理与深度挖掘”、“跨媒体数据综合搜索和内容合成”等关键科学问题，基于社会学、认知、信息和统计等学科的相关理论和方法，瞄准原创性研究，从科学问题解决、关键技术攻关、仿真验证和应用示范三个方面着手，利用项目组相关工作基础和研究成果，将研究内容分解为有机结合的六个课题，并将在此基础上实现突破和进行成果集成，完成成果的应用验证和示范实施。

技术途径与路线

本项目对跨媒体数据进行分析，通过语义理解和深度挖掘，理解现实世界个体和群体行为，挖掘热点话题，对关联性语义结构一致性描述、跨媒体属性感知模型、跨媒体数据传播和演化、跨媒体搜索和内容合成等关键技术提出了极高的要求。

在总体学术思路的基础上，本项目将研究内容分为跨媒体数据语义结构与属性获取、跨媒体数据传播和演化机制、跨媒体内容高效利用三个层次，采取如下技术路线进行研究：

（a）在跨媒体数据关联性语义结构一致性描述和属性获取方面，项目组将注重多学科知识交叉，运用流形学习、语言学、压缩感知和图论等理论和方法来实现相互关联的跨媒体数据一致性语义描述，解决跨媒体统一表达和建模这一科学问题。

由于跨媒体数据来自不同渠道（如微博、手机、社交网站和新闻网站等），包含丰富自然属性（如文本、视觉、空间等）和社会属性（如评价、热度和偏好等），有必要对这些属性分别进行处理，析取其内嵌拓扑结构，以对跨媒体语义进行一致性描述，进而对跨媒体数据自然属性和社会属性之间关联关系建模。

鉴于跨媒体数据关联性语义结构一致性描述和建模是后续智能处理的基础，本项目将充分利用机器学习中基于几何观点流形降维、统计分析中压缩感知以及图论中超图和谱图等理论和方法，实现关联性语义结构一致性描述和表达。

（b）在跨媒体数据传播和演化机制方面，项目组将通过复杂网络和数据挖掘等理论与方法，揭示蕴含热点话题的跨媒体数据传播和演化机制，发现跨媒体数据与现实社会行为相互影响规律，从网络数据中理解现实世界个体和群体社会行为。

在网络空间中，热点话题会随着人们对跨媒体数据的评价、标注和复制等社会行为而不断演化和迁移，结合动力学等模型，建立跨媒体推理的理论和方法，对话题所存在的深层次关联进行挖掘。

项目组将通过复杂网络方法对跨媒体数据传播进行分析，用所建立的模型对这一传播过程进行跟踪分析，通过网络挖掘技术对跨媒体数据所蕴含深层次关联进行挖掘和推理，生成跨媒体数据关联谱图。

（c）在跨媒体数据高效利用方面，项目组将研究跨媒体综合检索的新方法和新手段，通过理解用户以自然语言和跨媒体样例来表达的检索意图，对跨媒体数据按照内容、质量、热度和社区推荐等属性进行排序，克服现有数据搜索过程中机械式匹配的排序方法，实现从一类媒体数据检索另外一类媒体数据。

同时，以因果推断为手段，观察特定社会事件涌现、发展和演化过程中时空动态变化和积累，析取其动态演化过程中的重要因素和决定性阈值，挖掘特定热点话题代表性语义单元和摘要等信息，通过类比和联想等手段，合成跨媒体数据，以对特定社会事件各种可能后果以跨媒体形式进行多粒度和多视点呈现，并给出特定热点话题演化相关的主题关联图。

上述理论和算法成果将为面向公共安全跨媒体计算理论与方法的应用示范提供支撑，本项目将研发相应验证和仿真平台，验证这些理论和算法。

项目创新性

（一）研究思路的创新与特色

本项目注重社会科学、认知科学、信息科学和统计科学等理论和方法的交叉融合，从反映个体和群体在客观世界行为方式的跨媒体数据出发，强调跨媒体数据中自然属性和社会属性的结合，在刻画特定热点话题为内容的跨媒体数据传播和演化机制基础上，建立跨媒体推理模型，对热点话题的关联和迁移变化过程进行动态推演和可视化呈现。

（二）基础理论和方法的突破点

（1）在跨媒体建模理论方面，针对跨媒体数据所包含自然属性和社会属性的异构、多阶和高维特点，拟从度量学习和相关性分析出发，发现异构特征之间内嵌本征结构，在跨媒体数据关联性语义结构一致性描述、自然属性和社会属性及交互行为复杂关系建模等方面取得原创性成果。

（2）在特定社会事件演化机制方面，针对热点话题在互联网上发生的特点，在揭示蕴含特定社会事件的跨媒体数据涌现扩散和演化机制、发现跨媒体数据传播过程与现实生活中个体和群体社会行为之间相互影响规律等方面取得突破。

（3）在跨媒体数据高效利用方面，研究从一类型媒体数据检索另一类型媒体数据的综合检索方法，对特定社会事件演化过程中关键因素进行析取，通过类别和联想手段对跨媒体数据进行合成，进而以跨媒体形式对潜在性社会事件进行呈现，形成特色。

可行性分析

针对跨媒体数据“表达和建模”、“关联推理和深度挖掘”以及“综合搜索和内容合成”等要解决的关键性科学问题，项目组对跨媒体数据自然属性和社会属性所形成高阶关联关系进行提取，通过图、张量和矩阵等方式建模，引入动力学等扩散模型对特定社会事件的跨媒体数据演化机制分析，以理解跨媒体数据所蕴含语义，并进一步挖掘话题和事件之间深度关联关系，按照跨媒体形式对社会事件演化过程和未来趋势进行呈现。

在具体实现上，将项目分解为有机联系、相互支持的六个课题，研究重点突出，层次分明，所开展研究反映了国际热点和重大需求。

项目研究队伍整合了国内在多媒体、数据挖掘、机器学习、模式识别和社会科学等方面的优秀研究骨干，在项目所涉及的研究领域拥有很好的研究基础和技术积累，已做出了国际先进水平的研究成果。

从研究基础、队伍组织和人员保障等各方面来看，项目组有望在关键科学和技术研究方面取得突破。

课题设置

本项目围绕凝炼的三个科学问题，将研究内容分为跨媒体数据语义结构与属性获取、跨媒体数据传播和演化机制、跨媒体内容高效利用三个层次，从表达建模与属性获取、关联理解与深度挖掘、内容整合与搜索排序、动态推演与应用示范等四个方面，共设六个课题（见图1）。

这六个课题分别是跨媒体数据统一表示和建模机制、跨媒体属性感知模型与行为计算、跨媒体语义学习与内容理解、海量跨媒体数据挖掘与公共安全态势分析、跨媒体搜索与内容整合以及面向公共安全的跨媒体呈现与验证和示范平台。

从研究层面来看，这六个课题分别对应表达与模型层、理论与方法层以及验证与示范层。

图1项目科学问题与课题设置

六个课题之间的相互关系，六个课题相互补充，彼此支持，从模型、理论、手段和应用逐层深入，可将具体研究内容分为表达建模与属性获取、关联理解与深度挖掘、内容整合与搜索排序以及动态推演与应用示范四个方面：

课题1和课题2相互促进，通过属性感知模型获取跨媒体数据内蕴属性，建立跨媒体数据关联性语义结构的一致性描述理论，研究跨媒体数据的建模方法；

在课题1和课题2所提供的表达和建模基础上，课题3和课题4开展跨媒体语义理解和特定事件关联与演化研究，为跨媒体计算提供理论和方法支持；

课题5研究跨媒体内容整合与搜索排序方法，为特定社会事件动态推演和示范应用提供手段支持；

课题6对项目本身成果进行集成，在研究动态推演基础上，实现项目成果的验证和应用示范。

各课题的名称、主要研究内容和目标、承担单位、课题1、跨媒体数据统一表示和建模机制

预期目标：

针对具有海量、异构、高维和多阶特性跨媒体数据及其所具有社会属性，研究跨媒体基元提取与描述方法，对跨媒体数据关联性语义结构进行一致性描述，建立跨媒体数据中自然属性和社会属性相互关联的模型，实现海量跨媒体高效索引。

研究内容：

（1）跨媒体基元提取与描述

研究具有异构、高维和多阶特性跨媒体局部特征和全局特征之间映射机制，提取具有不变性的跨媒体基元元素，建立跨媒体对象特征提取、描述理论和方法，使之既能充分表达跨媒体的语义内容，又便于构建海量跨媒体的索引结构。

（2）跨媒体关联性语义结构一致性描述

研究跨媒体复杂异构特征稀疏表示和选择方法，构造不同类型属性所形成的几何拓扑结构，揭示跨媒体属性特有的内嵌结构。

在张量、矩阵和图模型基础上，深入研究异构特征之间存在的共享子空间，形成跨媒体数据关联性语义结构一致性描述。

研究基于上下文属性的跨媒体度量学习方法。

（3）跨媒体关联建模

研究跨媒体多任务学习的并行计算模型，揭示跨媒体多任务学习的协同耦合机制；

研究跨媒体中所具备异质领域知识的迁移学习方法；

利用图模型对跨媒体多重属性关系和实例关系进行建模；

研究跨媒体模型时序动态演化机理。

（4）跨媒体增量整合和高效索引

面向动态变化的海量跨媒体流式数据，研究可伸缩跨媒体建模方法，突破和拓展处理海量、实时和流式跨媒体数据瓶颈问题；

研究跨媒体高效索引方法和相应增量整合技术，建立紧凑、高效的索引结构，对跨媒体模型所反映关联关系进行层次化增量整合。

经费比例：

16%

课题2、跨媒体属性感知模型与行为计算

从不同网络平台上可获取大量包含丰富自然属性和社会属性的跨媒体数据，能反映人们在社会生活中的行为方式。

本课题将建立跨媒体属性感知模型，对大规模、实时、连续、动态呈现的跨媒体数据及其相应社会属性的有效性和质量进行辨识，发现网络跨媒体数据与现实世界行为相互影响规律，为理解个体和群体行为提供指导。

（1）跨媒体数据有效性辨识

结合跨媒体数据底层特征、标注和评价等丰富的自然属性和社会属性上下文关系，研究跨媒体数据有效性检测等算法，通过对历史静态网络数据和当前动态网络数据进行挖掘，实现辨识存在矛盾、不真实的跨媒体数据方法。

（2）跨媒体数据重要性选择机制

借鉴视觉认知机理，在融合跨媒体多模态特征基础上，结合用户点击、评价和转发等个体或群体社会行为，研究跨媒体数据注意力模型，从而建立跨媒体数据质量评估方法，给出跨媒体重要性选择机制。

（3）社会个体和群体交互机制

研究人们对跨媒体数据进行点击、评价和转发等社会行为属性的高效收集方法，结合数据挖掘和时序分析等技术，辨识随机性、重复性、倾向性以及真实性等不同模式社会属性行为，建立社会关注度模型，以指导发现瞬时涌现和动态发展的热点话题和重大事件。

（4）跨媒体数据与社会行为相互作用规律

引入稀疏图模型，有效利用重要实体、关键链接、子图、角色与传播机制等网络特性，通过跨媒体数据的自然属性和社会属性来定义用户个体和群体之间所存在的社区，深入分析社区间和社区外用户分享和传递观点和事件方法，揭示网络跨媒体数据与社会行为之间相互作用规律，为建立可计算跨媒体模型提供理论基础。

课题3、跨媒体语义学习与内容理解

围绕跨媒体数据呈现的多态性、异构性、海量性和社会性特点，分析跨媒体数据所蕴含的热点话题及重大事件结构模式，提出检测突发性热点话题及重大事件的方法，形成基于群体智能的协同反馈计算手段，建立符合社会感知与网络特性的跨媒体内容理解理论与方法。

研究内容:

（1）热点话题及重大事件结构模式表示

研究网络中热点话题与重大事件形成机理，提出融合跨媒体数据的主题与事件表示方法，关联网络事件中不同模态的数据，构建事件结构化计算模型，实现有效的跨媒体主题与事件之间的相关性度量，建立主题与事件间的结构化描述。

（2）热点话题及重大事件检测

研究在不同网络渠道下同时涌现跨媒体数据的相似性计算方法，建立可计算的通感（synaesthesia）模型，挖掘图像、网页、评注和标签等之间关联性，对历史数据和在线数据进行综合分析，利用通感，在跨领域学习和多任务学习基础上，实现流式跨媒体数据中热点话题及重大事件检测方法。

（3）跨媒体语义单元学习和标注

针对跨媒体数据异构多样、歧义性大的特点，扩展传统多核学习方法，通过非线性回归模型和多核学习方法对自然属性和社会属性之间关联关系进行学习，对图像、网页、评注和标签中有意义单元进行标注和提取，提出相应的适合多核学习的高效低复杂度优化求解策略。

（4）基于群体智能的协同交互机制

结合个体和群体的标注、评价、浏览和搜索等交互行为信息，研究个体和群体行为参与跨媒体语义理解的协同交互机制，提出针对网络群体智能的协同语义学习方法，挖掘跨媒体数据自然属性和社会属性之间，以及与个体和群体之间的深度关联关系，提升对跨媒体语义分析和理解的能力。

课题4、海量跨媒体数据挖掘与公共安全态势分析

预期目标:

跨媒体数据所蕴含的话题和事件会随时间动态发展，不同话题和事件在社会个体和群体交互下会不断演化，针对这一特点，本课题研究面向公共安全的跨媒体数据挖掘理论，突破海量数据实时处理瓶颈问题，建立公共安全中热点和敏感话题及重大事件发展、渗透与演化模型，对公共安全态势进行跟踪、评估和预测。

研究内容

（1）海量跨媒体数据高效处理

拓展现有机器学习的理论和方法，在大规模数据采样、优化求解、矩阵分解和并行算法等方面取得突破。

在复杂度平滑分析理论指导下，通过数据扰动等手段，探讨并建立海量数据处理关键算法的实际性能分析机制。

（2）跨媒体数据关联挖掘

利用复杂图聚类和典型性相关分析等方法，研究海量跨媒体数据挖掘的理论与方法，通过区别式或生成式，监督学习或半监督学习等方法，发现话题、事件和对象之间蕴含的关联关系，建立跨媒体数据关联关系全景谱图，提取蕴含在跨媒体数据中与公共安全相关的模式和知识。

（3）多尺度公共安全事件跟踪与演化模型

分析公共安全事件中热点话题及重大事件呈现特点和组成要素，从不同的时间和空间尺度对其进行跟踪。

结合渗透理论和社会关注度方法，建立不同话题和事件在社会个体和群体交互下不断扩散和演化模型，从不同层次对公共安全事件动态发展趋势进行评估。

（4）公共安全态势分析与预测

构建公共安全态势评估指标和模型，以当前的公共安全事件为基础，对公共安全态势进行客观评估；

揭示公共安全事件自身的发展规律，以及事件之间的作用机理，预测公共安全事件和态势的走向。

18%

课题5、跨媒体搜索与内容整合

研究对网页、图像、视频、标签和评价等异构数据以及浏览、点击和热度等交互属性通过联想和类比等手段进行合成的方法，使之对热点和敏感话题及重大事件从不同角度和侧面进行整体表示。

研究结合语义内容和信息质量的排序模型及其相关反馈方法，提高跨媒体数据检索质量。

（1）跨媒体搜索

通过研究迁移学习、跨域（cross-domain）学习、多任务学习和典型相关性学习等理论

和方法，挖掘关联性异构媒体数据之间存在的共享子空间，以支持从一种类型媒体数据检索另外一种媒体数据。

建立高效海量数据索引机制，以提高跨媒体检索性能。

（2）问答式检索意图理解

研究对用户以文本和图像等跨媒体样例来表达检索意图进行理解的方法，反映用户检索的个性化需求。

在理解用户检索意图基础上，实现跨媒体数据的问答式检索，以不同类型数据对用户检索请求匹配的结果进行呈现。

（3）跨媒体排序和相关反馈

改变传统以内容匹配程度来对检索结果进行排序的方法，辨识网络跨媒体数据质量，分析网络跨媒体数据的影响力，研究综合考虑热度、质量和内容等属性的排序方法。

研究对跨媒体中所包含的丰富自然属性和社会属性进行交互反馈，改善跨媒体检索结果的方法。

（4）跨媒体内容整合

通过相似度计算和关联性分析，以类比和联想等手段，对网页、图像、视频、标签和评价等异构数据以及浏览、点击和热度等交互属性进行合成，按照摘要、主题、演化进程以及代表性语义单元等不同粒度对热点话题及重大事件进行表示。

课题6、面向公共安全的跨媒体呈现与验证和示范平台

基于因果推断理论，研究推动热点话题和突发事件涌现、发展和演化重要因素的析取方法及其可控仿真手段；

通过高质量高解析度的立体动态多媒体显示手段，紧扣热点话题和突发事件涌现、发展和演化的时间轴，在虚拟模拟与真实仿真环境下，身临其境地体验回溯历史和预测将来经历，构建一个特定社会事件的跨媒体呈现和验证平台。

（1）社会事件因果推演与可控仿真

对蕴含热点话题和突发事件跨媒体数据的统计分布进行分析，基于因果推断相关理论，析取演化过程中的重要因素和决定性阈值，观察其在不同条件下的时空动态变化和积累，真实感知其不同的演化过程和相应的结果，充分展示真实社会感知过程中多样性、不确定性和不完整性，从而建立热点话题和突发事件可控、可重复性的仿真体验环境。

（2）热点话题和突发事件跨媒体呈现

以热点话题和突发事件涌现、发展和演化的时间轴为核心，按照空间地理索引，对某一热点话题或突发事件及其包含主题、对象、摘要、热度和代表性语义单元等属性在网络空间中及其在现实空间中相应的发展演化过程进行呈现。

同时，对不同热点话题及重大事件按照与查询无关和与查询有关聚合分析，呈现话题和事件之间复杂关联关系及其相关社会关系网络。

（3）公共安全快速预警与决策支持

分析影响当前公共安全态势的因素，基于历史范例，在不同条件下对特定社会事件进行仿真，以跨媒体形式对其呈现，为有关部门制定公共安全警戒指标和制定应急预案提供科学依据，并对预案进行模拟仿真和评价，辅助决策，依据公共安全态势的评估结果，向有关部门提供快速预警服务。

（4）面向公共安全的综合验证和示范平台

制定接口规范，对相关算法和系统进行集成。

针对具体应用问题，向有关部门提出整套预测预警方案和对其态势发展的完整评估建议。

建立综合验证和示范平台，对本项目的研究内容进行验证与示范。

四、年度计划

预期目标

第

一

年

1）研究基于词典学习的跨媒体内容的显著性检测技术以及基于半监督学习的典型相关分析技术。

2）研究跨媒体复杂异构特征稀疏表示和选择方法，构造不同类型属性所形成的几何拓扑结构；

研究跨媒体在线增量学习技术。

3）研究具有多源异构特征的跨媒体数据采集方法；

结合跨媒体数据底层特征、标注和评价等信息提取自然属性和社会属性及上下文关系。

4）研究跨媒体数据有效性检测等