浅谈大数据技术及应用.docx

浅谈大数据技术及应用.docx

《浅谈大数据技术及应用.docx》由会员分享，可在线阅读，更多相关《浅谈大数据技术及应用.docx（6页珍藏版）》请在冰豆网上搜索。

《物流工程学》专题小论文

浅谈大数据技术及应用（黑体小二）

哈尔滨商业大学管理学院物流工程2015王兴哲

摘要：

大数据的概念由来已久，但在多数人眼中大数据就是数据大，甚至有时和云计算混为一谈。

本文主要对大数据的定义进行重新的认识，并将其与云计算加以区别。

而在大数据流行的今天，大数据究竟带来了什么有利的影响，或者说它将有什么样的前景。

这些问题都将在文中一一列举

关键词：

大数据云计算应用

浅谈大数据技术及应用

1引言

大数据这一术语正是产生在全球数据爆炸增长的背景下,用来形容庞大的数据集合。

与传统的数据集合相比,大数据通常包含大量的非结构化数据,且大数据需要更多的实时分析。

此外,大数据还为挖掘隐藏的价值带来了新的机遇,同时给我们带来了新的挑战,政府机构最近也宣布了一项加快大数据进程的重大计划,各行各业也都在积极讨论大数据的吸引力。

大数据时代的到来，是全球知名咨询公司麦肯锡最早提出的，麦肯锡称：

“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。

人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。

”近几年大数据一词的持续升温也带来了大数据泡沫的疑虑，大数据代表了互联网的信息层（数据海洋），是互联网智慧和意识产生的基础。

包括物联网，传统互联网，移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。

2大数据的定义

一般意义上,大数据是指无法在有限时间内用传统IT技术和软硬件工具对其进行感知､获取､管理､处理和服务的数据集合。

大数据技术描述了新一代的技术和架构体系,通过高速采集､发现或分析,提取各种各样的大量数据的经济价值。

大数据的特点可以总结为4个V,即volume（体量浩大）､variety（模态繁多）､velocity（生成快速）和value（价值巨大但密度很低）。

大数据价值链可分为4个阶段:

数据生成､数据采集､数据储存以及数据分析。

数据分析是大数据价值链的最后也是最重要的阶段,是大数据价值的实现,是大数据应用的基础,其目的在于提取有用的值,提供论断建议或支持决策,通过对不同领域数据集的分析可能会产生不同级别的潜在价值。

3大数据的价值 

大数据在投资者眼里是金光闪闪的两个字：

资产。

[3]

比如，Facebook上市时，评估机构评定的有效资产中大部分都是其社交网站上的数据。

如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

Target 超市以20多种怀孕期间孕妇可能会购买的商品为基础，将所有用户的购买记录作为数据来源，通过构建模型分析购买者的行为相关性，能准确的推断出孕妇的具体临盆时间，这样Target的销售部门就可以有针对的在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。

Target的例子印证了维克托·迈尔-舍恩伯格提过的一个很有指导意义的观点：

通过找出一个关联物并监控它，就可以预测未来。

Target通过监测购买者购买商品的时间和品种来准确预测顾客的孕期，这就是对数据的二次利用的典型案例。

如果，我们通过采集驾驶员手机的GPS数据，就可以分析出当前哪些道路正在堵车，并可以及时发布道路交通提醒；通过采集汽车的GPS位置数据，就可以分析城市的哪些区域停车较多，这也代表该区域有着较为活跃的人群，这些分析数据适合卖给广告投放商。

不管大数据的核心价值是不是预测，但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。

从大数据的价值链条来分析，存在三种模式：

1手握大数据，但是没有利用好；比较典型的是金融机构，电信行业，政府机构等。

2没有数据，但是知道如何帮助有数据的人利用它；比较典型的是IT咨询和服务企业。

3既有数据，又有大数据思维；比较典型的是Google，Amazon等。

未来在大数据领域最具有价值的是两种事物：

1拥有大数据思维的人，这种人可以将大数据的潜在价值转化为实际利益；2还未有被大数据触及过的业务领域。

这些是还未被挖掘的油井，金矿，是所谓的蓝海。

下面是大数据在当下的杰出表现：

大数据帮助政府实现市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督；大数据帮助城市预防犯罪，实现智慧交通，提升紧急应急能力；大数据帮助医疗机构建立患者的疾病风险跟踪机制，帮助医药企业提升药品的临床使用效果，帮助艾滋病研究机构为患者提供定制的药物；大数据帮助电商公司向用户推荐商品和服务，帮助旅游网站为旅游者提供心仪的旅游路线，帮助二手市场的买卖双方找到最合适的交易目标，帮助用户找到最合适的商品购买时期、商家和最优惠价格；大数据帮助企业提升营销的针对性，降低物流和库存的成本，减少投资的风险，以及帮助企业提升广告投放精准度，而当物联网发展到达一定规模时，借助条形码、二维码、RFID等能够唯一标识产品，传感器、可穿戴设备、智能感知、视频采集、增强现实等技术可实现实时的信息采集和分析，这些数据能够支撑智慧城市，智慧交通，智慧能源，智慧医疗，智慧环保的理念需要，这些都所谓的智慧将是大数据的采集数据来源和服务范围。

未来的大数据除了将更好的解决社会问题，商业营销问题，科学技术问题，还有一个可预见的趋势是以人为本的大数据方针。

人才是地球的主宰，大部分的数据都与人类有关，要通过大数据解决人的问题。

比如，建立个人的数据中心，将每个人的日常生活习惯，身体体征，社会网络，知识能力，爱好性情，疾病嗜好，情绪波动„„换言之就是记录人从出生那一刻起的每一分每一秒，将除了思维外的一切都储存下来，这些数据可以被充分的利用：

医疗机构将实时的监测用户的身体健康状况；教育机构更有针对的制定用户喜欢的教育培训计划；服务行业为用户提供即时健康的符合用户生活习惯的食物和其它服务；社交网络能为你提供合适的交友对象，并为志同道合的人群组织各种聚会活动；政府能在用户的心理健康出现问题时有效的干预，防范自杀，刑事案件的发生；金融机构能帮助用户进行有效的理财管理，为用户的资金提供更有效的使用建议和规划。

4大数据应用 

大数据应用,是利用大数据分析的结果,为用户提供辅助决策,发掘潜在价值的过程。

4.1 大数据分析的关键领域 

根据数据的生成方式和结构特点不同,本文将数据分析划分为6个关键技术领域。

   4.1.1结构化数据 

一直是传统数据分析的重要研究对象,目前主流的结构化数据管理工具,如关系型数据库等,都提供了数据分析功能。

分析商业和科研领域会产生大量的结构化数据,而这些结构化数据的管理和分析依赖于数据库､数据仓 库､OLAP和业务流程管理成熟商业化技术。

得益于关系型数据库技术的发展,结构化数据的分析方法较为成熟,大部分都以数据挖掘和统计分析为基础。

2.1.2文本 

是常用的存储文字､传递信息的方式,也是最常见的非结构化数据。

存储信息最常见的形式就是文本,例如电子邮件通信､公司文件到网站页面､社交媒体内容等。

因此,文本分析被认为比结构化数据挖掘更具有商业化潜力。

通常情况下,文本分析,也称为文本挖掘,指的是从非结构化文本中提取有用信息 和知识的过程。

文本挖掘是一个跨学科领域,涉及到信息检索､机器学习､统计､计算语言学尤其是数据挖掘。

2.1.3 Web数据 

Web技术的发展,极大地丰富了获取和交换数据的方式,Web数据高速的增长,使其成为大数据的主要来源。

在过去的10年中,我们见证互联网信息的爆炸式增长,同时 Web分析作为一个活跃的研究领域也已经出现。

Web分析旨在从 Web 文档和 服务中 自动检索､提取和评估信息用以发现知识。

Web分析建立在几个研究领域之上,包括数据库､信息检索､自然语言处理和文本挖掘等。

Web内容涉及多种类型的数据,例如文本､图像､音频､视频､代号､元数据以及超链接等。

2.1.4多媒体数据随着通讯技术的发展,图片､音频､视频等体积较大的数据,也可以被快速地传播,由于缺少文字信息,其分析方法与其他数据相比,具有显著的特点。

近来,多媒体数据（主要包括图像､音频和视频）正以惊人的速度增长,几乎无处不在。

由于多媒体数据多种多样而且大多数都比单一的简单结构化数据和文本数据包含更丰富的信息,提取信息这一任务正面临多媒体数据语义差距的巨大挑战。

多媒体分析的研究涵盖的学科种类非常多,从多媒体摘要､多媒体注解､多媒体索引和检索､多媒体的建议和多媒体事件检测等。

5物联网大数据应用 

物联网不仅是大数据的重要来源,还是大数据应用的主要市场。

在物联网中,现实世界中的每个物体都可以是数据的生产者和消费者,由于物体种类繁多,物联网的应用也层出不穷。

在物联网大数据的应用上,物流企业应该有深刻的体会。

UPS快递为了使总部能在车辆出现晚点的时候跟踪到车辆的位置和预防引擎故障,它的货车上装有传感器､无线适配器和 GPS。

同时,这些设备也方便了公司监督管理员工并优化行车线 路。

UPS为货车定制的最佳行车路径是根据过去的行车经验总结而来的。

智慧城市,是一个基于物联网大数据应用的热点研究项目,帮助政府领导在治理水资源､减少交通拥堵和提升公共安全方面制定决策时获得更好的信息支撑武汉交管局将大数据分析运用到了今年端午节的交通导流，武汉交管局科研部门与以往凭经验预测不同，此次预报利用了高德电子地图提供的大数据，经过交管部门最新开发的软件进行运算后得出结论。

市交管局首次与导航服务平台合作，通过采集智能手机以及车载导航定位等信息，分析道路通行规律，合理分流，细化交通管制措施，在节假日和重要节点对交通拥堵状况进行预警。

  据预测，拥堵时段自端午节前的19日下午2时开始，持续到晚上9时，下午5时至6时拥堵最为严重。

端午期间，20日10时至12时、22日傍晚6时至7时为拥堵高峰，建议错峰出行。

大数据分析武汉高峰、平峰交通显示，6月19日14时起，我市各大主干道将提前进入拥堵，持续至21时，其中晚高峰17时至18时拥堵状况将最为严重。

3.结论

参考文献

[1]草根网.大数据:

创新、竞争和生产力的下一个新领域［EB/OL］.［2012－11－15］.

[2][英]维克托·迈尔-舍恩伯格，[英]肯尼思·库克耶著；盛杨燕，周涛译《大数据时代》浙江人民出版社2013

[3]Bigdata,BigImpact:

NewPossibilitiesforInternationalDevelopment[EB/OL].

6