大数据在it方面的应用.docx
《大数据在it方面的应用.docx》由会员分享，可在线阅读，更多相关《大数据在it方面的应用.docx（11页珍藏版）》请在冰豆网上搜索。
大数据在it方面的应用
大数据IT领域的意义
课程：
14MGB002H-D4自然辩证法
学号：
2015E8013261170
姓名：
薛智友
大数据IT领域的意义
大数据的简介
大数据，英文bigdata。
多大的数据才叫大数据?
其实，关于大数据，难以有一个非常定量的定义。
维基百科给出了一个定性的描述：
大数据是指无法使用传统和常用的软件技术和工具在一定时间内完成获取、管理和处理的数据集。
IDC（互联网数据中心）的定义则是：
为了更经济的从高频率获取的、大容量、不同结构和类型的数据中获取价值而设计的新一代架构和技术。
但不管怎么定义，大数据大概有以下四个方面的特点
1、巨大的数据量（volume）,集中存储和集中处理数据已经无法处理这么巨大的数据。
近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。
动辄达到数百TB甚至数十至数百PB规模的行业/企业大数据已远远超出了现有传统的计算技术和信息系统的处理能力，因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求[1]。
机构或公司
业务数据量
XX
10PB～100PB/天
淘宝
100PB/天
Twitter
2亿条消息/天
会城市公安局道路车辆监控
200亿条/三年
表一部分机构的数据量
图一数据量的庞大
Ø每天有2940亿封电子邮件发出，如果这些是纸质信件，在美国需要花费两年时间处理；
Ø每天有200万篇博客在网上发布，这些文章相当于《时代》杂志刊发770年的总量；
Ø每天有2.5亿张照片上传至社交网站Facebook，如果都打印出来，摞在一起能有80个埃菲尔铁塔那么高；
Ø每天有86.4万小时视频被上传至视频网站Youtube，相当于不间断播放视频98年；
Ø每天有1.87亿个小时的音乐会在流媒体音乐网站Pandora上播放，如果一台电脑从公元元年就开始播放这些音乐会，到现在还没完没了地接着放；
Ø谷歌翻译每天处理的文字数量,每天翻译次数达十亿次，相当于一百万册图书，超过了全世界的专业翻译人员一年能够翻译的文字规模。
2、多结构化的数据（variety）,文本、图片、音频、视频、文档等
3、增长速度快（velocity）,海量数据需要及时处理，用户庞大、设备多，数据指数增长。
4、价值密度低（value）,单条数据并无太多价值，但庞大的数据量蕴含巨大的财富。
谈及大数据就不得不谈谈他的孪生兄弟--云计算。
大数据是应用需求驱动发展的，而云计算则是靠商业模式驱动发展。
有人说云计算改变了IT，大数据改变了业务。
现如今，大数据在各行各业发挥着必不可少的作用。
图二大数据占的市场规模
图三大数据在各行业的分布
大数据的意义
大数据的研究和分析应用具有十分重大的意义和价值。
被誉为“大数据时代预言家”的维克托·迈尔-舍恩伯格在其《大数据时代》一书中列举了大量详实的大数据应用案例，并分析预测了大数据的发展现状和未来趋势，提出了很多重要的观点和发展思路。
他认为：
“大数据开启了一次重大的时代转型”，指出大数据将带来巨大的变革，改变我们的生活、工作和思维方式，改变我们的商业模式，影响我们的经济、政治、科技和社会等各个层面。
由于大数据行业应用需求日益增长，未来越来越多的研究和应用领域将需要使用大数据并行计算技术，大数据技术将渗透到每个涉及到大规模数据和复杂计算的应用领域。
不仅如此，以大数据处理为中心的计算技术将对传统计算技术产生革命性的影响，广泛影响计算机体系结构、操作系统、数据库、编译技术、程序设计技术和方法、软件工程技术、多媒体信息处理技术、人工智能以及其他计算机应用技术，并与传统计算技术相互结合产生很多新的研究热点和课题。
大数据给传统的计算技术带来了很多新的挑战。
大数据使得很多在小数据集上有效的传统的串行化算法在面对大数据处理时难以在可接受的时间内完成计算;同时大数据含有较多噪音、样本稀疏、样本不平衡等特点使得现有的很多机器学习算法有效性降低。
因此，微软全球副总裁陆奇博士在2012年全国第一届“中国云/移动互联网创新大奖赛”颁奖大会主题报告中指出：
“大数据使得绝大多数现有的串行化机器学习算法都需要重写”。
大数据技术的发展将给我们研究计算机技术的专业人员带来新的挑战和机遇。
目前，国内外IT企业对大数据技术人才的需求正快速增长，未来5～10年内业界将需要大量的掌握大数据处理技术的人才。
IDC研究报告指出，“下一个10年里，世界范围的服务器数量将增长10倍，而企业数据中心管理的数据信息将增长50倍，企业数据中心需要处理的数据文件数量将至少增长75倍，而世界范围内IT专业技术人才的数量仅能增长1.5倍。
”因此，未来十年里大数据处理和应用需求与能提供的技术人才数量之间将存在一个巨大的差距。
目前，由于国内外高校开展大数据技术人才培养的时间不长，技术市场上掌握大数据处理和应用开发技术的人才十分短缺，因而这方面的技术人才十分抢手，供不应求。
国内几乎所有著名的IT企业，如XX、腾讯、阿里巴巴和淘宝、奇虎360等，都大量需要大数据技术人才[2]。
大数据的意义已经扎根在我们生活的方方面面。
大数据仅仅是大量的“薄数据”，它们是通过对人们的活动和行为进行跟踪而获得的。
我们最常去的地方，我们在网上搜索的东西，我们每天睡了多久，我们有多少联系人，我们所听的音乐类型等等。
这些数据是通过你浏览器中的“cookies”、你戴在手上的FitBit腕带或你手机上的GPS来收集的。
这些信息无疑是重要的，但我们不能通过它们来获得对人的完整理解。
为了真正地了解人，我们不久需要大数据，而且需要厚数据。
厚数据不仅包括事实，而且包括事实的前后联系。
比如说，美国有86%的家庭每周会喝掉6夸脱以上的牛奶，但是她们为什么喝牛奶？
他们是怎么喝的？
一块包含三种颜色、绣着星星和条纹图案的布，这是薄数据；一面在风中飘扬的美国国旗，这是厚数据。
基于“我们做了什么”，大数据对我们进行简单化的理解；厚数据则试图通过我们与周围世界的联系来理解我们。
只有理解人与周围世界的联系，人们才能从整体上认识这个世界，这恰恰也是谷歌、facebook等公司想要做的。
企业大数据项目
行业拓展者，打造大数据行业基石。
大数据的价值在企业究竟何在，先看大牛公司对大数据的重视情况[4]。
ØIBM:
IBM大数据提供的服务包括数据分析，文本分析，蓝色云杉（混搭供电合作的网络平台）业务朝理；IBMMashupCenter的计量，监测，和商业化服务（MMMS）
ØIBM的大数据产品组合中的最新系列产品的Infospherebiglnsights，基于ApacheHadoop。
Ø微软：
2011年1月与惠普合作目标是开发了一系列提升生产力和提高决策速度的设备。
ØEMC:
斩获了纽交所和Nasdap;大数据解决方案包括40多个产品。
ØOracle:
Oracle大数据机与OracleExalogic中间件云服务器、OracleExadata数据库云服务以及Oracleexalytics商务智能云服务器一起组成了甲骨文最广泛，最高集成化系统产品组合。
数据是企业最宝贵的财富。
Ø产品数据：
计算、设计、仿真、工艺、加工、试验、维护数据、产品结构、配置关系、变更记录等。
随着三维造型技术、真三维渲染、虚拟现实技术的广泛应用，产品模型的数据量也迅速增大；而对产品进行多学科仿真分析，更是需要高性能计算环境来处理海量的数据。
计算能力的迅速提升，使得工程师在产品性能仿真时，可以设定更细的有限元网格和更多的自由度，从而进行更加准确的仿真。
这加速了产品数据量的“扩容”。
Ø运营数据：
组织结构、管理制度、人力资源、薪酬、福利、设备、营销、财务、质量、生产、采购、库存、标准/行业法规、知识产权、工作计划、市场推广、办公文档、媒体传播、电子商务等。
例如，在市场推广方面，涉及到越来越多的多媒体数据，例如视频。
Ø价值链数据：
客户、供应商、合作伙伴、联系人、联络记录、合同、回款、客户满意度等。
例如，在客户服务过程中，涉及到很多服务原始记录的保存。
Ø外部数据：
经济数据、政策信息、行业数据、竞争对手数据等。
政府部门
Ø重视应用大数据技术，盘活各地云计算中心资产：
把原来大规模资产园、物联网产业园从政绩工程，改造成智慧工程
Ø在安防领域，应用大数据技术，提高应急处理能力和安全防范能力
Ø在民生领域，应用大数据技术，提升服务能力和运作效率，以及个性化的服务，比如医疗、卫生、教育、刑警等部门；
Ø在金融方面，电信两样等数据分析的问题：
一直得到极大的重视，但受困于存储能力和计算能力的限制，只局限在交易数型数据的统计分析；
个人
Ø购物，不受时空限制，随时随地购物。
在看不到商品的情况下，口碑就是质量。
喜好的识别更智能化。
图四购物
Ø旅行：
足不出户，安排好一切。
你可以根据APP等软件很方便的查看交通的拥堵、车位的情况、某个景区的人流量、某个目的地的路程最近、钱最省、时间最短等作出选择。
图五旅行线路
Ø信息，每个人都可以在微博、朋友圈等地方进行信息的分享和传播
图六微博、朋友圈分享消息
Ø社交，可以搜索到你的曾经的好友或朋友
图七搜索好友
企业管理
预测
预测对企业的各项职能活动包括采购原材料、扩充机器设备、补充人员等需要依据市场进行调整的活动有重要意义。
预测是整个企业系统的重要输入和依据，具体地将，其重要性可以从以下几个方面来考虑：
Ø对于战略部门而言，预测可以提供决策的依据；
Ø对于销售部门而言，为补充销售人员提供依据；
Ø对于成本会计而言，预测可以为预算和成本控制提供依据；
Ø对于采购部门而言，便于采购部门制定制定准确的采购计划，以降低总的生产成本；
Ø对于生产计划和控制部门而言，预测是企业编制生产计划的基础，是生产计划编制的主要输入；
Ø对于研发部门而言，新产品的预测可以为设计提供参考，根据对市场的预测进行产品的开发，这样的产品才会有市场，才会有竞争力；
……
更有效地组织企业以节省资金
ERP是对企业物流与资金流进行一体化管理和集成化运行的计算机管理软件系统，它的应用涉及企业财务管理部门、业务管理部门、销售部门、生产部门以及人力资源管理部门等，它强调系统运行的整体集成性、数据共享与数据一致性控制机制。
在大数据时代的ERP有了更多的功能，可以与大数据集成，更有效地组织企业以节省资金[3]。
案例：
使用新的大数据源，可以使供应链中的物流业可以变得更高效。
送货的卡车内的电子车载定位功能可以告诉我们他们在哪里、通过结合道路状况、交通信息和天气条件以及客户的位置等数据，驱动送货的卡车进行最优路径的运送，可以大大节省您的时间和金钱[5]。
真正了解客户
在过去，企业普遍通过采用小组和调查问卷的方式找出我们的客户在哪里。
而当调查结果总结出来时，结果往往已经是过时的了。
而利用大数据，这种状况将不再发生。
使用互连的社交媒体数据、移动数据、网络分析和其他数据分析，企业可以充分了解每一位客户，实时的知道他们想要什么，以及何时想要。
真正了解客户，意味着可以结合客户的个性化特点，给出有针对性的建议或显示广告。
案例：
亚马逊已然将这一点做到了极致，他们为客户推荐的产品绝不是一个巧合。
亚马逊的推荐引擎完全是基于客户在过去一段时间的购买行为所做的：
客户的购物车中所收藏的商品、客户喜欢的商品、其它用户浏览或购买的商品。
亚马逊使用的该算法，为每位客户定制了专属的个人主页。
利用该策略是：
该公司在其第三财政季度期间销售增长27%，达到了131.8亿美元，而去年同期的销售额则为96亿美元。
企业共同创建、实时改进和创新产品
大数据分析可以帮助企业更好地了解客户所想要的产品。
通过从社会媒体和博客上收集人们如何评价某款产品，能够为企业提供比传统的问卷调查更多的信息。
特别是当这些信息是实时收集到的，企业可以立即有针对性的对可能存在的问题做出改进。
这样不仅可以很好的评估您的产品，同时还能够收集到不同人口群体或不同的地方的人对于某款产品的评价。
案例：
福特公司便在硅谷开设了一件实验室进行汽车产品的改进研发。
为了提高汽车的质量、减少燃油消耗、提升安全性能、减少排放，福特公司收集了超过400万辆汽车的数据，包括汽车传感器和远程应用程序管理软件。
所有的数据都是实时的，允许工程师实时分析问题，了解并掌握汽车在不同的道路和天气状况、以及任何其他因素影响下的行驶状况。
利用大数据找到新的商业机会
企业可以使用大数据发现顾客尚未提出的需求。
大数据也可以帮助企业发现在哪个市场推出首款产品，或哪里放置产品。
案例：
丹麦的一家能源公司维斯塔斯风力系统使用大数据和分析，找到了世界上最好的使用风力涡轮机的地方。
总之，大数据的意义已经体现在了多个方面和领域。
海量数据的出现催生了一种新的科研模式，即面对海量数据，科研人员只需从数据中直接查找或挖掘所需要的信息、知识和智慧，甚至无需直接接触需研究的对象。
2007年，已故的图灵奖得主吉姆·格雷（JimGray）在他最后一次演讲中描绘了数据密集型科学研究的“第四范式”（TheFourthParadigm），把数据密集型科学从计算科学中单独区分开来。
格雷认为，要解决我们面临的某些最棘手的全球性挑战，“第四范式”可能是唯一具有系统性的方法。
其实，“第四范式”不仅是科研方式的转变，也是人们思维方式的大变化[6]。
未来大数据将会遵循消费化模式，核心基础设施将作为服务或应用程序来提供。
数据分析和数据可视化将会在原始数据基础上作为一套标准的服务，并允许用户创建自己的数据模型。
参考文献
[1]
[2]
[3]
[4]ChrisAnderson.TheEndofTheory:
TheDataDelugeMakesthe
ScientificMethodObsolete.Wired,2008,16（7）.
[5]BigData.Nature,2008,455（7209）:
1-136.
[6]ResearchStatusandScientificThinkingofBigData,LiGuojieChengXueqi
升级会员 