互联网视频及舆情剖析文档格式.docx

1、系统软件模块流程图如下：网络视听节目监管系统软件系统主要包括三层：节目及网站数据采集层、数据分析处理层、业务功能模块及数据接口层。1、分布式数据采集层数据采集层通过采集控制中心，统一管理数据采集功能。根据系统监测目标和技术手段，数据采集包括互联网视听节目及网站搜索引擎、元搜索引擎。各个搜索引擎从功能和业务上相互独立，从相应网络/网站中全面获取视听网站及节目信息。搜索引擎具备采集控制中心，对搜索引擎工作进行配置管理。采集控制中心支持网站发现、种子分配、地址解析、文本解析、性能监控等功能，同时支持应用平台下发配置指令，例如节目下载、取证、快照等等：2、数据分析处理层数据分析处理层包括数据处理分析模

2、块和数据存储模块。数据处理分析模块接收数据采集层上传视听节目信息，采用先进全文自然语言分析技术和分词技术进行数据清洗，获取数据元信息，并对视听节目进行节目归类、排重、关联分析，根据上层应用配置规则，对节目进行规则匹配、关键帧抽取等操作，结合上层应用数据业务处理后，对数据进行深度分析、汇总和统计，并存入数据库和磁盘阵列上。3、功能模块及接口层功能模块及接口层采用目前流行B/S架构，以web网页形式将各个功能进行展示。用户通过WEB浏览器对系统进行登录和访问，根据权限调用不同功能模块，实时开展网上监管工作，掌握系统运行数据。3各子系统详细介绍3.1互联网视听监管功能对我省互联网视听节目网站中视音频

3、节目进行扫描采集、分类罗列，并识别节目中是否存在政治有害、淫秽色情等违规行为，一旦发现及时预警。3.1.1网站管理3.1.1.1网站发现系统可根据网站IP地域分布特征和网站内容地区服务特征对xx省新闻出版广电局辖区内视听节目网站进行扫描，对系统监控重点网站搜索周期为每4小时扫描一周，爬取深度不低于5层。并对扫描到符合条件网站根据网站标题、网站内容、网站内部链接等特征进行网站音视频属性判断，初判其是否属于视听节目网站。3.1.1.2未批站点系统可以对管辖范围内未审批站点进行相应监控。可以从站点类别角度（待审批、未审批和未申报等类别）对相关站点基本信息进行分类和查询。同时可以按照不同分类标准对相关

4、站点进行分类。对获得站点信息进行排重，而且可以采用信息检索技术，检索相应站点文本信息和视频内容。3.1.1.3已批站点系统可以对已经审批通过站点进行搜索信息比对，对已审批站点进行分类、站点人工信息录入、站点内容自动监控跟踪，而且可以采用信息检索技术对其文本信息和视频内容进行检索。3.1.1.4重点网站系统能够对重点监控网站进行内容比对、网站分类、站点信息同步、人工核实、网站内容自动跟踪，及时发现其中传播违法违规内容及视听节目具体情况，同时通过针对音视频节目抓取引擎，对含有违规、热点内容及音视频节目网页主动发现、采集和保存。并为实现各种查询功能建立相应索引。系统对重点网站进行重点监控，可对该网站

5、节目节目名称、节目URL、节目详细信息、点击数、回复数进行抓取。并且可对系统初判为疑似违规节目进行自动下载和分析。3.1.1.5节目采集对监控范围内音视频网站进行爬虫模块定制，轮循采集网站中音视频节目（视频、音频（含听书）及网络直播），对系统监控重点网站搜索周期为每4小时扫描一周，爬取深度不低于5层，抓取过程中实时比对违规关键字库，识别是否出现违规行为。3.1.2无证网站监管系统可以对xx省新闻出版广电局管辖区域内未审批站点进行相应监测。系统能够对某些未审批、带有不良记录或有转载非法节目嫌疑等特征网站，进行重点监控，定期全面地监管相关网站内容，及时报告相关监管结果。实现根据相应主题词，对相应网

6、页进行重点检索，重点网页内容摘要抽取功能。多模式联合检索、搜索系统性能分析及改进、聚类抽取等功能。3.1.3持证网站监管系统可以对于已经审批通过站点进行搜索信息比对、对已审批站点进行分类、站点人工信息录入、站点内容自动监控跟踪，而且可以采用信息检索技术，检索相应站点文本信息和视频内容。3.1.4持证重点网站监管系统能够对持证重点网站进行内容比对、网站分类、站点信息同步、人工核实、网站内容自动跟踪，而且可以采用信息检索技术，检索相应站点文本信息和视频内容。系统能够对热点、广泛关注视听节目进行重点监控，并能及时发现节目传播、转载情况，以便相关监管部门采取必要管理措施。实现对于网络热点视听节目摘要抽

7、取、关键网页文字内容摘要抽取等功能。3.1.5网站备案信息核查核查网站ICP备案信息真实性。3.1.6违规节目识别违规视听节目识别主要对采集网站视听节目，对许可证进行及开发机构进行识别，可以通过关键字策略分析判断政治有害，黄赌毒淫秽色情，境外频道（节目）等有害分类，支持有害关键字及有害规则管理，可以通过建立境外频道/节目备案信息库来判断检测境外视听网站及节目内容；可以对指定IP范围内或相关ICP备案信息中网站进行扫描。3.1.7审核流程定制在研判业务流程中，提供一审、二审等多种角色。监管中心具体业务流程和角色均可根据实际业务流程调整而做出相应变化。主要业务流程为：监管中心将各研判员上报有害节目

8、报告进行汇总，统一进行报告内容研判审核，查看上报节目违规取证文件，若监管中心审核不通过，则报告会打回到研判员进行重新取证和审核；若监管中心审核通过，则按照标准格式撰写报告，提交到二审人员进行审核；二审人员对一审人员提交报告进行审核，查看节目取证文件信息，审核通过后对报告进行签发、报出，有害节目研判业务流程正常结束。确认为有害节目由提交相关部门实施删除或封堵3.1.8违规取证违规节目取证对违规识别模块发现违规节目进行页面截图，视频下载，音频下载取证，取证结果首先存入取证人员本地磁盘，然后通过上传操作上传至中心监管平台加密存储，判断违规后将违规节目存入违规视听节目数据库，视频证据文件存入存储设备并

9、及数据库建立映射关系。3.1.9音视频节目采集通过针对视音频抓取引擎，对业务部门动态设定重点视听节目网站上视音频网页进行主动发现和采集，并依据设定规则对疑似有害视听节目自动进行采集保存。3.1.10内容分析及样本建立综合利用文本信息抽取、视频关键帧提取，对采集数据进行数据分析及规整，得到相应文本摘要和媒体特征信息，然后以这些特征信息为索引，对视听节目进行自动排重和自动分类、自动聚类，建立有序分类视音频节目数据库3.1.11检索及比对提供友好人机界面，对重大事件进行预警，并提供关键字、视频样例、音频样例等多模态检索和多种灵活统计方式，为上级领导和业务部门实时提供上述重点网站上视听节目传播、变更、

10、用户关注度等方面监管信息。3.1.12节目归类对主动抓取下来网页精确抽取描述文本信息，结合对节目视音频特征分析，根据预定义特征（关键字、视音频样例、图片等）实现节目自动识别和分类（政治有害、淫秽色情、暴力、惊悚恐怖、低俗、赌博、其它有害），为监管信息查询、统计提供基础数据。3.1.13网站地理定位开放式用户自定义判定视听节目网站标准，系统可根据网站IP地址对网站地理地址进行定位，并在GIS地图上进行标注，地图可以自由拖动和缩放，并提供根据所属城市、网站名称、网站URL进行查询、并支持分区地图显示。3.1.14定制任务受国家广电总局等有关部门指派，对个别社会危害大、影响恶劣视听节目采取专项清理任

11、务和行动，具有较强针对性和时效性。完成专项任务，需要系统能够按照监管要求制定专门监控策略，按照即时搜索、专项任务优先原则，灵活配置和调度专项搜索任务，集中调拨系统资源对专项任务涉及领域或节目进行搜索和识别，从而达到对专项任务监控对象有效监管目。主要是针对及总局紧急下达监管任务进行快速准确响应，并且第一时间发现问题网站并进行监管，系统界面上设有专项任务功能模块，在该模块中提供工作人员对专项任务配置和结果检索查看功能。3.1.15信息查询通过WEB界面，提供包含关键字、视频样例、音频片断等在内，全局检索方式，和报表、饼图等多种灵活统计方式，并能直接显示、播放相应视音频节目内容，为上级领导和业务部门

12、实时提供重点网站传播、变更、用户关注度等方面监管信息。3.1.16报表功能对系统发现互联网视听节目监管数据进行统计分析，自动生成报表，可以包括：备案信息核查报表、违规节目报表、网站监管报表、违规节目动态统计报表、持证网站节目增量区段分布报表等。3.1.17系统管理系统能够对整个区域环境内运行系统运行信息、统计信息进行监控和授权管理。对系统运行状态进行监控，为系统提供安全稳定运行环境，有利于系统维护、资源调配和系统运行优化。系统监控：对系统硬件设备性能、网络运行状态进行监控，及时发现故障。用户管理：对系统用户、权限和日志进行管理和维护。系统配置：为系统各功能模块相关业务参数提供统一配置界面，实现

13、对业务参数统一配置和管理。3.2互联网舆情监测功能3.2.1敏感信息共享3.2.1.1事件关键字系统支持配置关注事件关键字，根据关键字自动匹配相关帖文并智能展现给对应用户，代替手工逐条筛选现状，不仅提高工作效率且获取信息更全面。3.2.1.2地域关键字xx本地涉及多个国内外知名企业，这些企业名誉也关系到我省对外形象，因此系统将预先设定类似地域特征关键字，对搜索到信息进行逐一排查，识别相关舆情热点。3.2.1.3领导人关键字可根据事先配置领导人关键字自动推送预警领导人舆情。在地方性突发事件中，通过网络转载及个别心怀叵测人员推波助澜，其地方最高领导人往往无辜推上舆论“制高点”，为保护领导及地方政府

14、声誉，将地方相关领导设置为舆情监测对象，在某些居心叵测人员策划事件升级前，及早发现并预警舆情，才能将这些非正当事件扼杀在萌芽状态。3.2.2敏感舆情监测对敏感信息和本地敏感信息舆情信息进行监测，对违规网站和和违规节目文书列表详情集中进行监控管理，页面展示出境外代理网站入口、直接采集于各主流搜索引擎热点事件列表、热点舆情信息和报告文件。3.2.2.1激增事件系统通过以轮巡方式对互联网中每条节目点击率、收听收看率进行采集，利用数据分析模块进行周期趋势对比，从而发现哪些节目发生了激增，展现在界面中，便于监管人员做出积极响应。3.2.2.2热点话题系统通过采集节目点击数、收听收看人数利用数据分析模块来

15、判断当前最受关注热点节目及话题，系统跟踪节目转发地和转发人群，系统通过相关话题时间轴，并跟踪此话题子话题，总结其中关键词，关注关于该关键词类似话题，也就是其话题演变趋势，从而可以对这些话题进行分析，得到其中联系。3.2.2.3头条新闻头条新闻是将国内较大门户网站（例如：新浪、搜狐）上新闻热点Top10采集汇总到系统中，监管人员可以对不同网站中传播相似话题节目予以重视，判断该话题是否可能成为下一个舆论热点，并做出相应预处理措施。3.2.2.4事件跟踪在激增事件、热点话题、头条新闻中发现了重要信息，需要进一步探测跟踪时，定制跟踪模块可以对相关信息进行跟踪探测，发现信息首发时间、首发平台、首发单位等

16、.3.2.2.5内容跟踪内容跟踪主要是通过提交关键字、音频片段和视频片段来扫描系统采集到数据，并发现信息首发时间、首发平台、首发单位等.3.2.2.6敏感舆情系统通过获取国内新闻门户网站、网络视听网站等媒体上登载及xx省视听节目相关动态信息，生成各种舆情简报，为用户全面掌握互联网视听舆情动态，提供翔实分析数据。3.2.3违规信息3.2.3.1违规网站对识别出违规节目或者敏感信息网站信息进行汇聚统一展示。展示内容包括：违规节目数、总节目数、最近一个违规节目上传时间等信息。3.2.3.2有害节目对识别出有害节目网站信息进行汇聚统一展示。3.2.4舆情专题在敏感关键字库中建立关键字子项，一个关键字相

17、当于一个舆情专题分类，对于匹配到子项系统自动归类为同一个专题下，系统可以对该专题下节目传播情况进行展示，包括传播时间轴、首发网站、首发时间等。用户可定义每一个舆情专题紧急程度，系统将对应发布舆情告警信息。3.2.5舆情告警3.2.5.1一级告警一级告警主要是指监管人员对舆情专题事件进行审核时设定指数，若设定一级告警，系统将自动以短信形式发布相应告警信息到相关部门人员手机中，提示各部门做好下一步防范措施。3.2.5.2二级告警二级告警相比于一级告警级别更高，紧急程度也更高，系统将自动以短信形式发布相应告警信息到相关部门人员手机中，并建议相关人员进入待命状态，准备下一步处置措施。3.2.5.3三级

18、告警三级告警属于最高级别预警，是指涉及辖区政治导向问题、最高领导人敏感话题、重大企业敏感话题等舆情专题，系统也将调集优势资源对相关舆情信息进行管辖范围网站搜索，相关执法部门也将根据搜索结果对传播此类信息网站予以通告，并下发删除违规信息通知。同时，系统也将发布重大舆情事件告警信息到相关人员以及领导层人员手机中。3.2.6统计报表系统设定舆情专题报告模版，监管人员可以对每一个舆情专题生成舆情报告，可支持导出下载。报告内容包括舆情事件、传播网站、传播时间趋势、涉及关键字内容、处置过程、处置结果等。3.3移动互联网应用程序（APP）监测功能3.3.1手机APP节目EPG信息获取功能使用合法账号模拟手机

19、APP软件对内容服务器进行请求，获取全部节目菜单，以及节目海报、简介等节目信息。周期性自动更新节目信息，及时发现新增APP节目。3.3.2手机APP节目码流信息获取功能通过对内容服务器进行请求，合适EPG信息并进行节目地址获取，获取到节目地址可以直接进行码流采集。3.3.3节目详细信息查看对采集到手机APP节目，可查看其详细信息，包括URL、节目名称、发布时间、发布者、播放次数、评论数等元数据信息，并能够直接播放查看其视频内容，用户可根据视频图像摘要快速了解该节目内容，如点击关键帧图片快速定位播放视频内容，通过节目全景图快速了解节目全貌。节目详细信息还需包含节目所APP信息。3.4网络剧微电影

20、审核系统对系统搜索到网络剧、微电影等节目信息进行核查，及时发现未按要求或未标注备案号节目，上报相关行政管理部门进行查处。根据节目信息列表、节目备案状态、备案审核操作查看网络剧、微电影视听节目备案情况。对持证网站传播网络剧、微电影信息备案和备案号标注进行核查，包括是否已在“网络剧、微电影等网络视听节目备案系统”中及时备案，是否在片头加注网站自查审核信息等，并对违规情况进行记录，提供审核确认功能。备案号获取方式：主要分为两类，一类是融合在视频里面，另一类是纯文本以frame形式盖在视频上。融合在视频里面需要采用OCR识别技术或者图像识别技术去获取备案号。纯文本以frame形式盖在视频上通过配置模板解析就可以获取备案号审核系统功能：3.4.1节目信息列表查看列表包括节目编号、节目名称、节目类型、备案单位、省份、备案时间备案状态、备案人员等字段信息3.4.2节目备案状态显示系统能够显示备案节目送审状态，送审状态分为备案中及备案通过，状态显示为审核通过后表示完成节目备案程序。3.4.3节目信息备案审核页面提供备案通过一级备案驳回等右键操作，针对单个节目进行备案审核，下方工具条操作：备案通过 备案驳回，针对多个节目进行批量备案审核。管理员可以针对节目信息进行审查，必要时能够作出通过备案或驳回修改等操作。