舆情监控系统文档格式.docx

1、27.4舆情展示 1A、 应用效果 13九、系统配置 159.1网络带宽 192运行环境 1网络舆情监测系统解决方案网络舆情监测系统利用互联网信息采集技术、智能信息处理技术和全 文检索技术；结合网络舆情的传播分析模型：对境内外网络中的新闻网 页、论坛、贴吧、博客、微博等网络资源进行全网监控、定向采集和智能分 析，把互联网读薄，读透，提供相尖舆情、负面舆情、热点信息的发现、主 题事件监测、分类监测、舆情实进预警、舆情监管、统计分析、辅助决策支 持等多层次，多维度的舆情信息的服务，根据用户有网络舆情监测和定向追 踪等信息需求，形成简报、报告、图表等分析结果，从而帮助用户及时掌握 舆情动向为领导和舆

2、情工 作部门提供信息参考和决策支持一、背景概述 随着互联网的快速发展，网络媒体作为一种新的信息传播形 式，已深入人们的日常生活网友言论活跃已达到前所未有的程度，不论 是国内还是国际重大事件，都能马上形成网上舆论，涉军涉警事件更 是成 为部分网民炒作对象，通过这种网络来表达观占、传播思想，进而产生巨大 的舆论压力，达到任何部门、机构都无法忽视的地步可以说，互联网已成 为思想文化信息的集散地和社会舆论的放大器网络舆情是通过互联网传播的公众对现实生活中某些热点、焦点问题 所持的有较强影响力、倾向性的言论和观点，主要通过E B S论坛、博 客、新闻跟贴（回贴）、转帖等实现并加以强化当今，信息传播与意见

3、 交互空前迅捷，网络舆论的表达诉求也日益多元对部队来说，如何加强 对涉军涉警网络舆论的及时监测、有效引导，以及对网络舆论危机的积极化 解，对维护部队声誉、促进部队健康发展具有重要的现实意义网络舆情监控系统是针对在一定的社会空间内，围绕涉军涉警事件 的发生、发展和变化，民众对部队的态度天网络上表达出来 意愿集合 而进行的计算机监测的系统统称网络舆情”是较多群众矢于社会中各种现象、问题所表达的信 念、态度、意见和情绪等等表现的总和网络舆情形成迅速，对社会 影响巨大，加强互联网信息监管的同时，组织力量开展信 息汇集整 理和分析，对于及时应对网络突发的涉军涉警事件和全面掌握社情民 意很有意义二、 建设

4、必要性由于舆情有突发性，随机性，多样性等特点，传统舆 情监控 已经无法满足目前的形势需要，互联网舆情监测系统应运而 生.各单位对于突发事件，如果有工具能及时监测发现舆情信息及 其根源，及时做好危机公尖，做好积极的舆论引导工作，处理 还处在 萌芽状态的舆情，就能控制势态发展，为企业和个人减少损失，挽 回无形的、有形的损失对于涉军涉警负面信息的监测，是舆情监测的重中之重，必 须 要有一个舆情发现快，信息全,信息准确，全天候自动监测系 统三、 建设目标通过对传统媒体网络版（含中央媒体、地方媒体、市场化媒 体、 部分海外媒体）、新闻网站、网络社区/论坛/E E S/、社交网 站、Q Q群、搜索引擎、视

5、频网站、知道、贴吧、”意见领袖”的个 人博客、微博等，进行多语言全年7*24小时监控与本单位相矢的 敏感信息，特别是负面信，在第一时间将信息通知到指定责任人， 主动掌握舆情进展及未来趋势，为领导决策分析做支撑，为宣传部门 提供舆情检测工具四、核心技术1垂直搜索垂直搜索引擎是针对某一个行业的专业搜索引擎，是搜索引擎的细分 和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取 出需要的数据进行处理后再以某种形式返回给用户。垂直搜索是相对通用搜 索引擎的信息量大、查询不准确、深度不够等提出来的新的搜索引擎服务 模式，通过针对某一特定领域、某一特定人群或某一特定需求提供的有一 定价值的信息

6、和相尖服务。其特点就是“专、精、深”，且具有行业色 彩，相比较通用搜索引擎的海量信息无序化，垂直搜索引擎则显得更加专 注、具体和深入。2元搜索元搜索引擎（Metasearch Engine），是一种调用其它独立搜索引擎的 引擎，亦称“搜索引擎之母（The mother of searce engines）。”在这里，“元”（Meta）为“总的”、“超越”之意，元搜索引擎就是对多个独立搜索 引擎的整合、调用、控制和优化利用。相对元搜索引擎，可 被利用的独立搜 索引擎称为“源搜索引擎” （source Engine），或“搜索 资源”（searcing resources ），整合、调用、控制和优

7、化利用源搜索引擎的技术，称为“元搜索技术，（Meta-searching technique ），元搜索 技术是元搜索引擎的核 3.中文文本挖掘中文文本挖掘是一项综合技术，涉及数据挖掘、自然语言处 理、计算语言学、信息检索及分类、知识管理等多个领域将其用天文本数 据中可以发现其隐含知识，即进行知识获取中文文本挖掘出的数据源是 文本数据，可以是Web页面、文本文件、Word和Excel文件、PDF文件 等形式的电子文档在获取文本信息之前先对文本数据进行预处理，包括数据清洗，如去 噪、去重；数据选择，即选择所需文本数据；文本切分，如中文分词、段落 切分等然后提取中文文本的特征信息，包括尖键词（高

8、频词）提取、术语 （词组、短语）提取、基于模板的信息抽取、基于语义词典的概念转换、基于 浅层句法分析的语法特征提取、基于浅层语义分析的语义特征提取、基于文 本分类的文本类别信息获取等操作 4 信息聚类聚类是把一组样品按照相似划分为若干类别，使属于同一类别的样品 之间的距离尽可能小，而不同类别样品间的距离尽可能大，按照相似性进 行聚合贝叶斯聚类算法是一个典型的聚类式的层次聚类算法，使用后验概率作 为最大化的目标函数，有非常好的聚类效果使用聚类分析来做网络舆情监控的专题、热点事件、重点人及重点组 织的处理通过聚类分析，把不同类型的网络信息聚合在一起，用于分析各 类别的传播热度五、系统架构网络舆情监

9、测系统利用互联网信息采集技术、信息智能信息处理技术和全文检索技术、对境内外网络中的新闻网页、论坛、微博、贴吧、博客、新 闻评论等网络资源进行全网监测、定向采集和智能分析，把互联网读薄，读 透提供相矢舆情、负面舆情、热点信息的发现、主题事件监测、分类监 测、舆情实时预警、舆情监管、统计分析、辅助决策支持等多层次、多维度 的舆情信息服务，根据用户的网络舆情监测和定向追踪等信息需求形成简 报、报告、从而帮助用户及时掌握 舆情动向为领导和舆情工作部门提供 信息参考和决策支持网络舆 情监控系统由信息采集、信息处理、舆情分 析、舆情展示四部分组成对武警部队而言，舆情监测的需求既有通用性，也有个性化的特 点

10、存 在；网络舆情监测系统具有极大的扩展性，凡是需要对舆情、口碑尖注的政 府、企业、高校和其他组织机构都可以通过本系统进行量 身打造，建立适合 自己的舆情监测体系网络舆情监控系统采用B/S结构相结合的系统架构，利用先进的系统 架构，实现基于浏览器的客户端式六、工作流程网络舆情监测系统的工作流程是：1网络信息采集系统从互联网上采集新闻、论坛、博客、存储到舆情数据库中，并通过舆情搜索引擎对海量的舆情数据进行实时索引2.舆情分析引擎负责对舆情数据库进行清洗、智能分析和加工舆情 分析引擎依赖于智能分析技术和舆情知识库3舆情服务平台把舆情数据库中经过加工处理的舆情数据发布到Web界面上并展示给用户4用户通

11、过舆情服务平台浏览舆情信息，通过简报生成等功能完成对 舆情的深度加工和日常监管工作七、系统功能网络舆情监控系统，是将搜索引擎技术应用在部队舆论情报服务的一次 创新系统利用独有技术，能根据预定的监控尖键词在实时发现重点媒 体、论坛、博客、微博等网站里的舆情信息，并对信息及时报警系统利用 中文分词技术、自然语言处理技术、中文信息处理技术，对信息进行垃圾过 滤、去重、相似性聚类、情感分析、提取摘要、自动聚类等处理，配合专 业分析师生成详细的舆情分析报告7.1信息采集自动采集系统是舆情监测系统的核心与基础，因此评价一个舆情监测系 统是否优秀的重要指标就是自动采集子系统能否将目标信息 及时全面地采集 到

12、系统中信息采集子系统的职责是对全部网站进行自动采集系统内置重点网站 有：（1） 新闻类门户网站：如新浪网、网易、人民网、雅虎（2） 政府机构门户网站：如首都之窗、中国政府网、各地政府网（3） 信息资讯网站：各地信息港、行业咨询网.（4） 交互性质网站：如强国论坛、天涯社区、西祠社区、网易区、新 浪论坛、搜狐社区、BBS贴吧.（5） 传统媒体：人民日报、参考消息、中国日报、解放军报、各省 市地区报纸、各地新闻网等媒体网络版（6） 博客：新浪博客、腾讯博客、网易博客、博客中国、博客网（7） 微博：Twitter、新浪微博、腾讯微博、网易微博、搜狐微博（8） 视频网站：Youtube、优酷、土豆网、

13、5 6视频、酷6网（9） 搜索引擎：Google、BaiDu、Bing、Yahoo、搜搜、有道（10） 社交网站：FaceBook、Google、人人网、豆瓣、开心 网、QQ群、QQ空间信息采集了系统可以抽取所有新闻文章或主题贴或着最新主题贴内容， 还可以抽取某个主题贴的所有回复贴或着最新回复贴的内容即可指定某个 目标网站进行监测，也可以不指定目标网站对于全球范围内网站进行监测， 或着进行两者混合监测即可以监测国内网站，也可以监测国外网站如 BBC,CNN 信息采集了系统还可以对于基于应用程序的聊天室程序监测，如QQ群聊天 室7.1.1全网爬虫系统自主研发了专为舆情系统设计的智能网络爬虫（sp

14、ider）系统，可以实现 高质量和快速的抓取，还支持对新浪微博、腾讯微博、搜狐微博、网易微博 等主要微博平台信息的实时抓取7.1.2定向抓取源舆情监测系统对于人工定义的重点站点的新闻、论坛、博客等实现全 面的抓取，同时支持对主流新闻网站分页、评论内容的采集以及 对论坛点击数、回贴数、回帖内容的抓取7.1.3搜索引擎结果智能爬虫系统还可以自动跟踪多个搜索引擎的搜索结果，对于系统抓取进行补充，确保信息全面无遗漏7.1.4多采集线程并行处理本子系统可以部署在多台计算机上，实现高效的多线程同时并行处理，减少单一服务器采集压力7.1.5强大的多语言统一处理功能可自动处理并保存中文，英文，阿拉伯语，法文，

15、德文，日语，韩语等多国语言，且有多国语言同时并存监测的实际案例7.1.6智能文章提取对于文章类型网页，可以无需配置，直接自动提取文章正文与标题，以及作者发布日期，来源等，自动去除广，栏目，版权等无尖的垃圾内容这个功能对于舆情监测非常重要，可以大大免除配置的负担该功能经过我们的多年测试，对于绝大部分文章型页面都可自动准确识 别.7.1.7可无人值守全天候自动采集可定时行，也可7*2 4小时运行，可设置采集时间间隔最短为1分7.2信息处理7.2.1垃圾信息过滤基于机器学习的垃圾过滤机制可以自动过滤广告、水贴 等无效垃圾信息7.2.2智能去重采用文章相似性技术”，根据文档内容的匹配程度确定是否重复去 重的级别；根据不同的需要特点分为：URL去重、标题去重、正文去重三 个级别7.2.3 HTML内容提取采用自主知识产权的HTML网页文本萃取技术自动提取任意复杂网页 中的标题、内容、作者、发布时间等信息，自动跟踪文章