在大数据环境下的网络舆情监测发展.docx

1、在大数据环境下的网络舆情监测发展在大数据环境下的网络舆情监测发展在大数据环境下的网络舆情监测发展 随着互联网的发展大数据不断地向社会各行各业渗透，为每一个领域带来变革性影响，并且正在成为各行业创新的原动力和助推器。互联网社交互动技术的不断发展创新，人们越来越习惯于通过微博、微信、博客、论坛等社交平台去分享各种信息数据、表达诉求、建言献策，每天传播于这些平台上的数据量高达几百亿甚至几千亿条，这些数量巨大的社交数据构成了大数据的一个重要部分，这些数据对于政府收集民意动态、企业了解产品口碑、公司开发市场需求等发挥重要作用。 互联网已经成为收集民意、了解政府和企业工作成效的一个非常有效的途径。然而由于

2、缺乏对互联网发贴等行为的必要监管措施，在舆情危机事件发生后，难以及时有效获取深层次、高质量的网络舆情信息，经常造成舆情危机事件处置工作的被动。于是，重视对互联网舆情的应对，建立起“监测、响应、总结、归档”的舆情应对体系是成为大数据时代政务工作的重要内容之一。在这样的背景下，舆情监测及分析行业就是为适应大数据时代的舆情监测和服务而发展起来的。其主要专注于通过海量信息采集、智能语义分析、自然语言处理、数据挖掘，以及机器学习等技术，不间断地监控网站、论坛、博客、微博、平面媒体、微信等信息，及时、全面、准确地掌握各种信息和网络动向，从浩瀚的大数据宇宙中发掘事件苗头、归纳舆论观点倾向、掌握公众态度情绪、

3、并结合历史相似和类似事件进行趋势预测和应对建议。大数据将带来舆情监测的新局面在信息时代，信息爆炸式的增长令网络舆情监测面临越来越复杂的局面。由于言论数据海量，必须有强大的数据分析处理技术和分析平台来支撑网络舆情的分析与检测。而拥有强大信息聚合分析和挖掘处理能力的大数据技术无疑是最好的选择。1.大数据技术可以完整记录民意和舆情随着网络的普及化，网民在网络上留下了海量数据，这些数据记录和反映了他们的行为、思想、情感状况，这些数据 记录是信息时代网络与现实交融的结果，有诸多规律性可循，通过大数据平台分析这些相关数据，可了解网民的意见与诉求。在某种程度上，大数据好似大众行为 和思想的记录仪，可清楚地记

4、录人类的所思所想。值得一提的是，这种记录不只停留于大的层面，还可以建立在个体之上，可以即时化和细节化地测量个体行为和情绪。2.大数据技术可以精确反映舆情背后的内在逻辑和社会关系大数据不仅能对网民话语表达进行记录，还能探索他们之间的社会互动方式和关系，甚至整个群体的界限和联系。从宏观上看，使用大数据既可以清晰地描绘网民的社会语言表达，又能记录和反映出网民背后的社会关系网络。3.大数据技术具有强大的预测能力，可以预测舆情走向诚如巴拉巴西所言：“人类行为93%是可以预测的。” 我们通过大数据强大的预测能力，可以预测出社会舆情走向。当然，在某些情形下，舆情分析中使用大数据可能存在某些风险和缺点。比如，

5、一旦其被广泛使用， 个人隐私可能受到极大威胁，通过大数据分析可以看清个体的行为和思想的轨迹。另外，一些别有用心的人或者组织可以根据大数据分析掌控和操纵舆论。大数据技术下的网络舆情监测Web2.0时代最突出的特征就是更紧密的网状结构。用户自主生成内容使网络内容生产者数量呈几何级增长，用户与网站之间双向交互，用户与用户之间也在 进行多渠道、多层次的立体的交互。Web2.0的网络内容不再是离散的，具有强烈的“关系”属性。这种基于各种强弱关系的网状结构，也直接使网络舆情能够 快速成型、发酵，短时间内可以多次转向。Web2.0时代的舆情监测，更关注“关系”，能够更快速、更准确地跟踪舆情变化。这正是早期网

6、络舆情监测的缺陷。 新的舆论环境，需要加强网络舆情的监测，而新的网络舆情，需要新的监测方式。大数据技术下的网络舆情监测，就是这样一种新的方式。 大数据通常指的是庞大、复杂，难以用传统的软件工具来分析处理的数据集。对大数据的处理，又牵涉到从数据抓取、整理、分析、共享、可视化到存储、传输等 一系列问题。大数据集合常常来源于日常生活，与人的行动、交往有一定的同构性，部分条目直接附加了时间、地理等信息。可以说，在大数据的数据集合中天然蕴 含着各种关系。因此，大数据集合能提供同数据量的若干小数据集合无法带来的新信息。人们可以通过数据挖掘寻找数据之间的联系，确立数据之间相关关系的规 律，进而提供多方面的预

7、测。大数据处理技术的优势，正契合了Web2.0时代的特点。正因为大数据在挖掘数据之间的关系、进行发展趋势预测方面的能力，已经有很多机构借助其进行舆情监测和呈现，并取得了不俗的成绩。大数据时代舆情监测的现实转变1.舆情监测向多元化和多向度发展随着大数据视角趋于多元化，要从社会话语表达、社会关系和心理描绘、社会需求和诉求的反映和预测等多个方面， 进行多向度的研究。大数据时代，社会舆情监测视角必须从单向度的内容研究转向多向度的内容及关系研究，通过这样的转变，可以彻底改变舆情监测基础匮乏的现状。2013年至2014年，很多机构采用的大数据抓取技术都是多向度的，比如新华社的新媒体中心联合数托邦工作室，对

8、新浪微博发布相关原创信息的用户的气质、年龄及社交关系等进行多元化和多向度研究，对爸爸去哪儿进行大数据解读，找出该节目火爆的原因。2.数据库向非结构化的海量数据库转变随着大数据的信息数据的激增性和驳杂化，国际市场研究机构IDC的最新报告显示：目前，非结构化数据的内容占据了当前数据海洋的80%，并将在2020年之前以44倍的速度迅猛增长。过去那种有限内容和结构单一的数据库显然无法满足未来舆情监测的需要，因此只有 海量大数据库才能支撑，同时只有这种非结构化大数据库才能做出丰富且非结构化的呈现。3.高度集约化将成未来舆情行业发展趋势大数据时代的竞争将越来越激烈，而核心竞争力将是它们的数据处理与呈现能力

9、。在舆情监测软件领域，不同的舆情监测软件企业可以获取同样的数据，它们需要依靠自身的数据处理技术和能力以及用户的体验来占领市场份额。在这种情况下，舆情监测软件行业中原有零散低能的监测软件公司将被淘汰出局，行业内部高度集约化将成为舆情行业的发展趋势。4.舆情监测将转向未来式，服务将转向综合性从目前的网络舆情监测的格局来看，重点仍是舆情监测，其主要功能是对某些事件的舆情发展动态、影响范围、影响 力大小等进行监测和研判，多体现为“过去式”，偶尔能展现“现在式”，而“未来式”几乎没有体现。大数据可探知舆情的规律性，对舆情发展进行有效而且准确 的预测，在某种意义上说，其核心就是预测。在大数据时代，大数据技

10、术可以分析和处理大量数据，通过人工智能技术，辅于人类经验，对未来态势进行研判，以实现人类经验作用范围外的准确预测。未来大数据支撑的舆情监测功能将大大丰富，其服务将是全方位的综合性舆情服务，将引导客户从过去的“应对舆情”向“驾驭 舆情”方向转变。大数据在舆情监测上的应用价值1、核心：舆情预测传统网络舆论引导工作的起点，是对已发生的网络舆情进行监测开始。然而这种方式的局限在于滞后性。大数据技术的应用，就是挖掘、分析网络舆情相关联的数据，将监测的目标时间点提前到敏感消息进行网络传播的初期，通过建立的模型，模拟仿真实际网络舆情演变过程，实现对网络突发舆情的预测。2、基础：舆情量化大数据预测舆情的价值实

11、现，必须建立在对已挖掘出的海量信息，利用数学模型进行科学计算分析的基础之上，其前提是各类相关数据的量化，即一切舆情信息皆可量化。但数据量化，不等同于简单的数字化，而是数据的可计算化。要在关注网民言论的同时，统计持此意见的人群数量； 数据背后是网络，网络背后是人，研究网络数据实际上是研究人组成的社会网络。大数据技术预测舆情的价值实现，最关键的技术就是对舆情间的关系进行关联，将不再仅仅关注传统意义上的因果关系，更多关注数据间的相关关系。按大数据思维，每一个数据都是一个节点，可无限次地与其他关联数据形成舆情链上的乘法效应-类似微博裂变传播路径，数据裂变式的关联状态蕴含着无限可能性。舆情监测的实现对大

12、数据的采集加工是整个舆情监测的基础，掌握数据抓取能力，通过“加工”实现数据的“增值”是舆情监测分析的必备技能。捷讯安网络舆情监测云平台利用互联网信息采集技术、智能信息处理技术和全文检索技术，对境内外网络中的新闻网页、论坛、贴吧、博客、新闻评论等网络资源进行全网采集、定向采集和智能分析，把互联网读薄，读透。根据用户的网络舆情监测和定向追踪等信息需求，形成简报、报告、图表等分析结果，从而帮助用户及时掌握舆情动向，为领导和舆情工作部门提供信息参考和决策支持。通过输入关键字监测指定网站，可以监测新闻网站、论坛、博客、微博以及国外媒体网站等；监测后的信息，可以在舆情服务平台中管理、导出简报、生成图表等，为用户全面掌握互联网舆情动态，做出正确舆论引导，提供分析依据；快速、准确、全面、分布式，是本系统的特点及优势。第一时间监测到互联网上的舆论信息。