毕业论文大数据.docx
《毕业论文大数据.docx》由会员分享，可在线阅读，更多相关《毕业论文大数据.docx（15页珍藏版）》请在冰豆网上搜索。
毕业论文大数据
毕业设计
设计（论文）题目：
大数据时代下专科教育的改革
专业班级：
网络安全121班
学生姓名：
娇
指导教师：
唐建
设计时间：
2015年4月25日
工业职业技术学院
工业职业技术学院毕业设计（论文）任务书
任务下达日期：
设计（论文）题目：
设计（论文）主要容和要求：
教研室主任签字：
指导教师签字：
年月日年月日
工业职业技术学院毕业设计（论文）指导教师评语
评语：
成绩：
指导教师签名：
年月日
工业职业技术学院毕业设计（论文）答辩记录
学生
系别
专业班级
设计（论文）题目
说明书共页，图纸共
答辩情况
提出问题
回答问题
正确
基本正确
有一般性错误
有原则性错误
回答不清
1
2
3
4
5
6
7
8
答辩委员会评语及建议成绩：
答辩委员会主任：
年月日
大数据时代下专科教育的改革
摘要：
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：
“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。
人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。
”“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。
关键词：
大数据时代互联网教育专科教育改革
Abstract
Thefirstproposedtheadventoftheeraofbigdataisworld-renownedconsultingfirmMcKinsey,McKinseysaid:
"datahaspenetratedintoeveryfieldoftoday'sindustriesandbusinessfunctionsandbecomeanimportantfactorofproduction.Peopleforthemassivedatamininganduse,indicatesanewwaveofproductivitygrowthandthearrivalofthewaveofconsumersurplus.""Bigdatainthefieldofphysics,biology,environmentalecology,militaryaffairs,finance,communication,etc.industryexisttherearedays,butbecauseofthedevelopmentoftheInternetandinformationindustryinrecentyearsandcausepeopleconcern.
Keywords：
BigdataeraInterneteducationCollegeeducationreform
1、大数据的由来1
2、大数据带给我们的改变1
3、大数据的最新动态1
4、在大数据时代下教育的改革2
5、在大时代下，学生应该学习的技能知识4
5.1Hadoop4
5.2HPCC5
5.3Storm6
5.4ApacheDrill6
5.5RapidMiner6
5.6PentahoBI7
6、大数据的未来以及学生的未来8
6.1国家政策下的未来发展8
6.2未来学生的发展9
1、大数据的由来
大数据用于描述这样的数据组，其规模超出了日常软件在可容忍期限获取、管理和加工数据的能力。
一些网络技术领先的公司持续地投资于昂贵的大数据技术，成效显著。
大数据使得创新型公司变成了经营新方法的率先接受者，经营更为成功。
通过大数据的分析挖掘，公司可以发现新的经营模式，对工艺加以改进。
例如，在获悉消费者行为后，可以将发现用于某些改变，如降低成本或增加销售，就会产生价值。
在任意大的数据组中应用统计方法可以发现有用信息，将这些信息商业化即可获益。
2、大数据带给我们的改变
大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型，引发思维变革、商业变革和管理变革。
大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系，颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。
大数据的核心就是预测。
大数据将为人类的生活创造前所未有的可量化的维度。
大量展示了谷歌、微软、亚马逊、IBM、苹果、facebook、twitter、VISA等大数据先锋们最具价值的应用案例。
”
在未来的世界里我们将活着一个透明的世界里，我们的动态，行踪都可以由数据组成，所有企业的经营模式，服务模式，都将发生改变，但请别害怕，你要相信所有新技术的产生都是为了让我们的生活更方面，更快捷！
3、大数据的最新动态
大数据最核心的价值就是在于对于海量数据进行存储和分析。
相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。
借着大数据时代的热潮，微软公司生产了一款数据驱动的软件，主要是为工程建设节约资源提高效率。
在这个过程里可以为世界节约40%的能源。
抛开这个软件的前景不看，从微软团队致力于研究开始，可以看他们的目标不仅是为了节约了能源，更加关注智能化运营。
通过跟踪取暖器、空调、风扇以及灯光等积累下来的超大量数据，捕捉如何杜绝能源浪费。
从海量数据中“提纯”出有用的信息，这对网络架构和数据处理能力而言也是巨大的挑战。
在经历了几年的批判、质疑、讨论、炒作之后，大数据终于迎来了属于它的时代。
2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家战略。
奥巴马政府甚至将大数据定义为“未来的新石油”。
大数据时代已经来临，它将在众多领域掀起变革的巨浪。
但我们要冷静的看到，大数据的核心在于为客户挖掘数据中蕴藏的价值，而不是软硬件的堆砌。
因此，针对不同领域的大数据应用模式、商业模式研究将是大数据产业健康发展的关键。
我们相信，在国家的统筹规划与支持下，通过各地方政府因地制宜制定大数据产业发展策略，通过国外IT龙头企业以及众多创新企业的积极参与，大数据产业未来发展前景十分广阔[4]。
4、在大数据时代下教育的改革
在考试中，两个同样得了90分的考生，他们的能力完全一样吗？
课堂上，老师告诉同学们，“完成第一题到第十题”。
可是，真的是所有学生都有必要完成这10道题吗？
教学过程中，如何更好地启发学生、如何更好地课堂互动，一节课的时长究竟是40分钟合适，还是45分钟合适。
这些问题，老师们是“凭经验”，还是靠科学分析？
如果你对以上问题有思考，那么，你就会对大数据对教育形态的改变持开放的心态。
大数据时代悄然来临，过去无法收集与分析的数据都被新的技术手段赋予了可能性。
谁能对大数据的挖掘更为深刻，谁就会在行业发展中抢占先机，教育领域也是如此。
就在几天前，慧科教育宣布在原来“开课吧”的基础上正式上线“找座儿吧”，即在原来在线教育平台的基础上，又推出垂直的招聘平台。
从学习者职业性向的分析，到适合岗位的推荐，再到个性化设计的课程，经过考核、认证，最终推送到匹配的招聘岗位，完成了学习者从学习到求职的一整套完整路径。
这样一套同以往学校教育截然不同的教育模式，引发了业的热议，而这，正是基于对学习者个性化的数据分析完成的。
两个同样考90分的考生，能力水平完全一样吗？
大数据让教育真正面对每一个独立的个体
“不得不承认，对于学生，我们知道得太少。
”这是卡耐基·梅隆大学教育学院的一句经典的口号，同时也是美国十大教育类年会关注度最高的议题。
类似的思考在我们国家的教育领域同样存在。
“我们真的了解孩子吗？
”“每一个孩子都是独特的，都是与众不同的，但是我们能针对他们进行真正个性化、差异化的教学吗？
”
举个简单的例子，两个同样在数学考试中取得90分的考生，他们的能力完全一样吗？
根据传统的教学模式，我们会认为，成绩相同的学生，能力大体相仿。
但如果借用大数据的分析手段，学生的差异性就会清晰展现。
根据对同为两个90分的考生进行分析，我们发现，第一个学生更多的是依靠出色的逻辑思维，而另一名同学逻辑推理能力相对薄弱，是依靠出色的记忆力而获得较好的成绩。
因此，大数据能够让我们更全面地看待学生的发展，发现以往考试成绩所反映不了的深层次问题。
当然，如果老师能对这一情况及时掌握，就能对两位同学开展不同的教学方式和方向。
比如，通常老师布置作业的方式是，“请同学们完成第一题到第十题。
”“请同学们在假期读完这10本书”。
把同样的书目和同样的题目布置给不同的学生，在传统教育模式下无可厚非，但如果新技术已经帮助我们对每一个学生的个性和特点都有了充分的了解，就会有针对性地布置作业，进而实现那个绵延2000多年的梦想—因材施教。
如A同学做对了第二题，系统马上可以告诉他，他可以跳过第四题和第八题，这是因为，二、四、八三道题目在考查同样的知识点，如果都做则是简单重复。
如果B同学做错了第三题，那么系统就会提示他强化式练习第六题和第九题，这是因为基于大数据的分析，第三题做错的同学很有可能在第六题和第九题也出现错误。
而有针对性地反复训练，是十分必要的。
5、在大时代下，学生应该学习的技能知识
大数据和大数据分析的产生，使他们对企业的影响有一个兴趣高涨。
大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。
而我们在大数据时代生活的计算机专业的学生，就必须学会如何捕捉数据甚至是要捕捉到有价值的，对企业有用的数据，只有这样，才能让我们在公司中发挥更重要的作用，才能对自己的未来进行进一步的规划。
以下便是现在国外对于收集数据，处理数据最实用的6个参考软件：
5.1Hadoop
[5]Hadoop是一个能够对大量数据进行分布式处理的软件框架。
但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。
Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对Hadoop失败的节点重新分布处理。
Hadoop是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。
Hadoop还是可伸缩的，能够处理PB级数据。
此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。
用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。
它主要有以下几个优点：
⒈高可靠性。
Hadoop按位存储和处理数据的能力值得人们信赖。
⒉高扩展性。
Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
⒊高效性。
Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
⒋高容错性。
Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
Hadoop带有用Java语言编写的框架，因此运行在Linux生产平台上是非常理想的。
Hadoop上的应用程序也可以使用其他语言编写，比如C++。
5.2HPCC
HPCC，HighPerformanceComputingandCommunications（高性能计算与通信）的缩写。
1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：
高性能计算与通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。
HPCC是美国实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：
开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。
该项目主要由五部分组成：
1、高性能计算机系统（HPCS），容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;
2、先进软件技术与算法（ASTA），容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;
3、国家科研与教育网格（NREN），容有中接站及10亿位级传输的研究与开发;
4、基本研究与人类资源（BRHR），容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来提供必需的基础架构来支持这些调查和研究活动;
5、信息基础结构技术和应用（IITA），目的在于保证美国在先进信息技术开发方面的领先地位。
5.3Storm
Storm是自由的开源软件，一个分布式的、容错的实时计算系统。
Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。
Storm很简单，支持许多种编程语言，使用起来非常有趣。
Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。
Storm有许多应用领域：
比如实时分析、在线机器学习、不停顿的计算、分布式RPC（远过程调用协议，一种通过网络从远程计算机程序上请求服务）、ETL（Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载）等等。
Storm的处理速度惊人：
经测试，每个节点每秒钟可以处理100万个数据元组。
Storm是可扩展、容错，很容易设置和操作。
5.4ApacheDrill
为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。
ApacheDrill实现了Google'sDremel.
据Hadoop厂商MapRTechnologies公司产品经理TomerShiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。
“Drill”项目其实也是从谷歌的Dremel项目中获得灵感：
该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在AndroidMarket上的应用程序数据、分析垃圾、分析谷歌分布式构建系统上的测试结果等等。
通过开发“Drill”Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。
5.5RapidMiner
RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。
它数据挖掘任务涉及围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。
RapidMiner的功能和特点
1、免费提供数据挖掘技术和库
2、100%用Java代码（可运行在操作系统）
3、数据挖掘过程简单，强大和直观
4、部XML保证了标准化的格式来表示交换数据挖掘过程
5、可以用简单脚本语言自动进行大规模进程
6、多层次的数据视图，确保有效和透明的数据
7、图形用户界面的互动原型
8、命令行（批处理模式）自动大规模应用
9、JavaAPI（应用编程接口）
10、简单的插件和推广机制
11、强大的可视化引擎，许多尖端的高维数据的可视化建模
12、400多个数据挖掘运营商支持
耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。
5.6PentahoBI
PentahoBI平台不同于传统的BI产品，它是一个以流程为中心的，面向解决方案（Solution）的框架。
其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。
它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。
PentahoBI平台，PentahoOpenBI套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。
工作流引擎使用流程定义来定义在BI平台上执行的商业智能流程。
流程可以很容易的被定制，也可以添加新的流程。
BI平台包含组件和报表，用以分析这些流程的性能。
目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。
这些组件通过J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。
Pentaho的发行，主要以PentahoSDK的形式进行。
PentahoSDK共包含五个部分：
Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的Pentaho网络服务器。
其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体;Pentaho数据库为Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。
PentahoBI平台构建于服务器，引擎和组件的基础之上。
这些提供了系统的J2EE服务器，安全，portal，工作流，规则引擎，图表，协作，容管理，数据集成，分析和建模功能。
这些组件的大部分是基于标准的，可使用其他产品替换之。
大的数据需要特殊的技术，以有效地处理大量的容忍经过时间的数据。
适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统
一些但不是所有的MPP的关系数据库的PB的数据存储和管理的能力。
隐含的负载，监控，备份和优化大型数据表的使用在RDBMS的。
6、大数据的未来以及学生的未来
根据观研天下监测统计，2011年全球数据总量已经达到1.8ZB1ZB等于1万亿GB，1.8ZB也就相当于18亿个1TB移动硬盘的存储量，而这个数值还在以每两年翻一番的速度增长，预计到2020年全球将总共拥有35ZB的数据量，增长近20倍。
开源分析机构Wikibon预计，2012年全球大数据企业营收为50亿美元，未来5年的市场复合年增长率将达到58%，2017年将达到500亿美元。
6.1国家政策下的未来发展
[6]据权威专家透露，在有关部门协商的基础上，经国务院同意，将来或推出一个国家科技和产业专项来引导和支持大数据的研究和产业发展。
这个专项包括大数据的发展目标、发展原则和重点任务。
有关院士建议，我国大数据的发展目标是，“十二五”时期以及未来十年，实现大数据产业技术创新，产业的整体质量效益得到提升，应用水平明显提高，推动经济社会发展。
发展原则是，市场主导、创新发展；应用牵引、融合发展。
重点任务主要有布局关键技术、推进示应用、完善支持政策等三方面。
首先，布局关键技术研发创新。
一是以数据分析技术为核心，加强人工智能、商业智能、机器学习等领域的理论研究和技术研发，夯实发展基础。
二是加快非结构化数据处理技术、非关系型数据库管理技术、可视化技术等基础技术研发，并推动与云计算、物联网、移动互联网等技术的融合，形成较为成熟、可行的解决方案。
三是面向大数据应用，加强网页搜索技术、知识计算搜索技术、知识库技术等核心技术的研发，开发出高质量的单项技术产品，并与数据处理技术相结合，为实现商业智能服务提供技术体系支撑。
其二，加速推进示应用。
一是面向能源、金融、电信等行业，引导企业参与，发展数据监测、商业决策、数据分析等软硬件一体化的行业应用解决方案；二是面向城镇化建设与民生需求，加快推动大数据在城市建设生活服务领域的应用，不断提升数字容加工处理软件等服务发展水平。
三是推动行业数据深加工服务。
大力开发深度加工的行业数据库，对高科技领域数据进行深度加工，建立基于不同行业领域的专题数据库，提供容增值服务。
四是推进政府及大型公共信息服务平台建设。
发展和利用跨部门的政府信息大平台，提高行政工作效率，降低政府运行成本。
利用政府信息大平台，提高政府决策的科学性和精准性，提高政府预测预警能力以及应急响应能力。
最后，完善支持政策，鼓励民间投资。
一是加大财政投入。
加大中央预算投资和中央财政信息技术专项资金对大数据产业的投入，安排国有资本经营预算支出支持重点企业实施大数据项目。
二是拓展投融资渠道。
积极创新金融产品和服务，支持大数据成果转化和产业化。
鼓励和引导民间投资和外资进入大数据领域。
6.2未来学生的发展
而再这样一个由国家进行推动，各行各业加速发展的大数据时代，计算机行业已不再仅仅只局限于科学创新以及基层建设了，各行各业的人都需要学会计算机并通晓计算机的一定原理，各个企业的发展，个体户的成长以及关会自身的发展都需要使用到计算机，都需要从海量的数据中迅速有效的搜索到有价值的数据，并合理运用。
在未来各行各业都将是信息的时代，各个职业都需要使用计算机熟练并有一定才能的人员，未来的发展离不开科技，而科技离不开数据，数据则需要人员，软件，硬件的合作整理，而整理出这些能让企业上层人员能看懂，能认可的数据的人必将是现在就进行互联网教育改革的学校的学子们！
参考文献
[1]大数据究竟是什么？
一篇文章让你认识并读懂大数据.中国大数据.2013年11月4日
[2]《大数据时代》[英]维克托·迈尔-舍恩伯格（ViktorMayer-Schönberger）.大数据中心.2014年4月9日
[3]大数据向人类认知方式提出新挑战.云创存储.2013年3月26日
[4]大数据引领产业变革.大数据.2014年4月1日
[5]大数据处理分析的六大最好工具.云创存储.2014年4月23日
[6]2014-2018年中国大数据产业发展前景与投资战略规划分析报告.2014年7月7日
升级会员 