谷尼网络舆情监控系统技术白皮书.doc

1、谷尼网络舆情监控系统技术白皮书(简版)谷尼国际软件（北京）有限公司二一年八月5谷尼国际软件（北京）有限公司制目录1系统概述12系统结构13系统特点24功能描述34.1热点话题、敏感话题识别34.2舆情主题跟踪34.3自动摘要44.4舆情趋势分析44.5突发事件分析44.6舆情报警系统54.7舆情统计报告55运行环境51 系统概述 网络舆情形成迅速，对社会影响巨大，不仅需要各级党政干部密切关注，也需要社会各界高度重视。该方案可应用在政府的新闻监管、舆论监督等部门。 网络舆情监控系统是一套利用搜索引擎技术、文本处理技术、知识管理方法，通过对互联网海量信息自动获取、提取、分类、聚类、主题监测、专题聚

2、焦，实现用户对网络舆情监测和热点事件专题追踪等需求，形成舆情决策库、舆情简报等分析结果，为客户全面掌握舆情动态，做出正确舆论引导提供分析依据。谷尼网络舆情监控系统是以信息采集技术为核心，应用信息采集技术、内容管理技术、知识管理技术、信息分类技术，实现网络舆情监测和新闻热点追踪、新闻监管等功能需求。为客户全面掌握群众思想动态，做出正确舆论引导，提供分析依据。系统工作流程如下: 信息采集：互联网信息实时监测、采集、内容提取及排重； 信息处理：对抓取的内容进行自动分类聚类、主题检测、专题聚焦等； 信息服务：将采集并分析整理后的信息直接为用户或为用户辅助编辑提供信息服务，如自动形成舆情信息简报、追踪已

3、发现的舆论焦点等。 2 系统结构总体来说，网络舆情监控系统软件的结构如下：3 系统特点该项目与国内外互联网舆情监控系统或类似功能的系统比较，具有自己显著的技术特点，如允许用户定制舆情监控的范围、方式等，具体如下： 支持网页编码自动识别 支持URL去重识别 支持正文自动识别抽取，无须标签配置 支持分页采集 可设置采集频率 支持分布式部署 强大的信息采集功能 智能化的中文信息处理 全面的敏感信息分布式检索系统 分类、聚类等中文智能处理技术广泛采用 实时增量备份原则 合理的模块化结构及方便的分类监控 灵活的调度算法 支持新闻、博客、论坛、贴吧的采集监控 基于内容相似性去重识别 支持互联网关键词搜索采

4、集入库 支持敏感词过滤提取 支持热点发现 支持网页快照4 功能描述4.1 热点话题、敏感话题识别 网络舆情监控系统可以根据新闻出处权威度、发言时间密集程度等参数，识别出给定时间段内的热门话题。利用内容主题词组和回贴数进行综合语义分析，识别敏感话题。4.2 舆情主题跟踪 网络舆情监控系统分析新发表文章、贴子的话题是否与已有主题相同。是根据文档内容间的相关程度进行分组归并。聚类不需要类别及相关训练样本。 聚类可以发现当前舆论焦点,或者相关文档的查找.网络舆情监控系统通过对同一个阶段搜索到的大量信息进行聚类，我们可以很方便地发现当前关于什么类别的文章数量更多，那些信息之间的关系更紧密，这样我们可以很

5、直观地了解到当前舆论的焦点，以及各个舆论点之间的联系紧密程度。4.3 自动摘要 网络舆情监控系统对各类主题，各类倾向能够形成自动摘要。信息自动摘要的中心思想是让用户在查看搜索结果时候，无需点击进入每一个搜索结果去了解具体内容，而自动在搜索结果条目下显示摘要信息。这些“摘要”帮助用户迅速了解搜索结果的主要内容，提高了工作效率。4.4 舆情趋势分析分析某个主题在不同的时间段内，人们所关注的程度。4.5 突发事件分析 网络舆情监控系统对突发事件进行跨时间、跨空间综合分析，获知事件发生的全貌并预测事件发展的趋势。4.6 舆情报警系统网络舆情监控系统对突发事件、涉及内容安全的敏感话题及时发现并报警。4.7 舆情统计报告 网络舆情监控系统根据舆情分析引擎处理后生成报告，用户可通过浏览器浏览，提供信息检索功能，根据指定条件对热点话题、倾向性进行查询，并浏览信息的具体内容，提供决策支持。5 运行环境 操作系统:Microsoft Windows XP/NT/2000/2003/数据库为:SQL2005/MYSQL/ORACLE服 务 器:CPU3.2G/内存2G/硬盘40G以上带宽要求:2M独享以上服务器数量:2台(1台采集监控、1台 数据库服务器)应用规模较大，可以采用多服务器集群的方式