大数据分析讲稿PPT格式课件下载.ppt

大数据分析讲稿PPT格式课件下载.ppt

《大数据分析讲稿PPT格式课件下载.ppt》由会员分享，可在线阅读，更多相关《大数据分析讲稿PPT格式课件下载.ppt（82页珍藏版）》请在冰豆网上搜索。

为一种基础性资源（原始数据和应用数据）。

“如如如如何何何何更更更更好好好好地地地地管管管管理理理理和和和和利利利利用用用用大大大大数数数数据据据据”已已已已经经经经成成成成为为为为普普普普遍遍遍遍关关关关注注注注的的的的话话话话题题题题。

大大大大数数数数据据据据的的的的规规规规模模模模效效效效应应应应给给给给数数数数据据据据存存存存储储储储、管管管管理理理理以以以以及及及及数数数数据据据据分分分分析析析析带带带带来来来来了了了了极极极极大的技术挑战和利用价值。

大的技术挑战和利用价值。

自自自自20082008年年年年NatureNature杂杂杂杂志志志志发发发发表表表表大大大大数数数数据据据据专专专专辑辑辑辑以以以以来来来来，大大大大数数数数据据据据的的的的概概概概念念念念和和和和价价价价值值值值得得得得到到到到越越越越来来来来越越越越多多多多的的的的关关关关注注注注。

20122012年年年年，美美美美国国国国和和和和中中中中国国国国分分分分别别别别将将将将大大大大数数数数据据据据提提提提升升升升到到到到国家战略高度。

国家战略高度。

大大数数据据综综述述卫星监测数据卫星监测数据卫星监测数据卫星监测数据资源环境数据资源环境数据资源环境数据资源环境数据智慧城市数据智慧城市数据智慧城市数据智慧城市数据大大数数据据综综述述视频监测气象监测-24个指标土壤养分监测-15个指标土壤水分监测-5个指标生长监测-16个指标过程监测数据过程监测数据过程监测数据过程监测数据统计数据统计数据统计数据统计数据网络数据网络数据网络数据网络数据大大数数据据综综述述特点特点量大量大实时实时复杂复杂类杂类杂数据无处不在数据无处不在数据无时不有数据无时不有数据无物不生数据无物不生数据无人不感数据无人不感多源性多源性异质性异质性多样性多样性增长性增长性随随随随着着着着传传传传感感感感器器器器、智智智智能能能能移移移移动动动动设设设设备备备备、互互互互联联联联网网网网等等等等技技技技术术术术的的的的发发发发展展展展，数数数数据据据据呈现爆炸式增长。

呈现爆炸式增长。

大大数数据据综综述述自古以来，在科学研究上，先后历经了实验、理论和计算自古以来，在科学研究上，先后历经了实验、理论和计算自古以来，在科学研究上，先后历经了实验、理论和计算自古以来，在科学研究上，先后历经了实验、理论和计算3333种范式。

当数据量不断增长和累积到今天，传统的种范式。

当数据量不断增长和累积到今天，传统的3333种范式在种范式在种范式在种范式在科学研究，特别是一些新的研究领域已经无法很好地发挥作用，科学研究，特别是一些新的研究领域已经无法很好地发挥作用，科学研究，特别是一些新的研究领域已经无法很好地发挥作用，科学研究，特别是一些新的研究领域已经无法很好地发挥作用，需要有一种全新的第需要有一种全新的第需要有一种全新的第需要有一种全新的第4444种范式来指导新形势下的科学研究。

基种范式来指导新形势下的科学研究。

基于这种考虑，图灵奖获得者、著名数据库专家于这种考虑，图灵奖获得者、著名数据库专家于这种考虑，图灵奖获得者、著名数据库专家于这种考虑，图灵奖获得者、著名数据库专家JimGrayJimGray博士博士博士博士提出了一种新的数据探索型研究方式，被他自己称之为科学研提出了一种新的数据探索型研究方式，被他自己称之为科学研提出了一种新的数据探索型研究方式，被他自己称之为科学研提出了一种新的数据探索型研究方式，被他自己称之为科学研究的究的究的究的“第第第第4444种范式种范式种范式种范式”。

大大数数据据综综述述nn科学研究方法科学研究方法科学研究方法科学研究方法科学范式科学范式时时间间方法论方法论经经验验上千年以前上千年以前描述自然现象描述自然现象理理论论最近几百年最近几百年使用模型，归纳使用模型，归纳计计算算最近几十年最近几十年模拟（仿真）复杂现象模拟（仿真）复杂现象数据探查数据探查（eScienceeScience）目目前前通过仪器或模拟获取数据，基于软件通过仪器或模拟获取数据，基于软件的数据处理，计算机信息存储，数据的数据处理，计算机信息存储，数据的科学分析的科学分析科学发现的科学发现的科学发现的科学发现的4444种范式种范式种范式种范式大数据的发展对传统的数据处理技术体系提出了巨大大数据的发展对传统的数据处理技术体系提出了巨大大数据的发展对传统的数据处理技术体系提出了巨大大数据的发展对传统的数据处理技术体系提出了巨大的挑战，需要我们在数据采集、数据标准、数据处理、数的挑战，需要我们在数据采集、数据标准、数据处理、数的挑战，需要我们在数据采集、数据标准、数据处理、数的挑战，需要我们在数据采集、数据标准、数据处理、数据分析、数据展现等方面做全新的技术升级。

据分析、数据展现等方面做全新的技术升级。

大大数数据据综综述述大大大大数数数数据据据据技技技技术术术术是是是是一一一一个个个个典典典典型型型型的的的的跨跨跨跨领领领领域域域域研研研研究究究究方方方方向向向向，在在在在数数数数据据据据的的的的采采采采集集集集、存存存存储储储储、传传传传输输输输、管管管管理理理理、安安安安全全全全和和和和分分分分析析析析等等等等诸诸诸诸多多多多方方方方面面面面均均均均面面面面临临临临着着着着技技技技术变革和创新。

术变革和创新。

ll数据复杂性数据复杂性数据复杂性数据复杂性ll计算复杂性计算复杂性计算复杂性计算复杂性ll系统复杂性系统复杂性系统复杂性系统复杂性nn数据处理技术与系统数据处理技术与系统数据处理技术与系统数据处理技术与系统ll批量数据处理技术与系统批量数据处理技术与系统批量数据处理技术与系统批量数据处理技术与系统ll流量数据处理技术与系统流量数据处理技术与系统流量数据处理技术与系统流量数据处理技术与系统ll交互式数据处理技术与系统交互式数据处理技术与系统交互式数据处理技术与系统交互式数据处理技术与系统ll多媒体数据处理技术与系统多媒体数据处理技术与系统多媒体数据处理技术与系统多媒体数据处理技术与系统大大数数据据综综述述nn大数据面临的挑战大数据面临的挑战大数据面临的挑战大数据面临的挑战nn大数据处理系统的三大发展趋势大数据处理系统的三大发展趋势大数据处理系统的三大发展趋势大数据处理系统的三大发展趋势ll数据处理引擎专用化数据处理引擎专用化数据处理引擎专用化数据处理引擎专用化ll数据处理平台多样化数据处理平台多样化数据处理平台多样化数据处理平台多样化ll数据计算实时化数据计算实时化数据计算实时化数据计算实时化nn大数据分析支撑技术和应用大数据分析支撑技术和应用大数据分析支撑技术和应用大数据分析支撑技术和应用ll深度学习深度学习深度学习深度学习ll知识计算知识计算知识计算知识计算ll社会计算社会计算社会计算社会计算ll可视化可视化可视化可视化ll典型应用场景等典型应用场景等典型应用场景等典型应用场景等大大数数据据综综述述nn大数据分析关键技术框架大数据分析关键技术框架大数据分析关键技术框架大数据分析关键技术框架11、大数据典型处理模式、大数据典型处理模式、大数据典型处理模式、大数据典型处理模式MapReduceMapReduceMapReduceMapReduce是一种编程模型，用于大规模数据集（大于是一种编程模型，用于大规模数据集（大于是一种编程模型，用于大规模数据集（大于是一种编程模型，用于大规模数据集（大于1TB1TB）的）的）的）的并行运算。

并行运算。

MapMap（映射）和（映射）和（映射）和（映射）和ReduceReduce（归约），以及它们的主要思想，（归约），以及它们的主要思想，（归约），以及它们的主要思想，（归约），以及它们的主要思想，都是从函数式编程语言里都是从函数式编程语言里都是从函数式编程语言里都是从函数式编程语言里借鉴借鉴借鉴借鉴的。

它极大地方便了编程人员在不会分的。

它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在布式并行编程的情况下，将自己的程序运行在布式并行编程的情况下，将自己的程序运行在布式并行编程的情况下，将自己的程序运行在分布式系统分布式系统分布式系统分布式系统上。

上。

当前的当前的当前的当前的软件软件软件软件实现是指定一个实现是指定一个实现是指定一个实现是指定一个MapMap（映射）函数，用来把一组键值（映射）函数，用来把一组键值（映射）函数，用来把一组键值（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的对映射成一组新的键值对，指定并发的对映射成一组新的键值对，指定并发的对映射成一组新的键值对，指定并发的ReduceReduce（归约）函数，用来保（归约）函数，用来保（归约）函数，用来保（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

证所有映射的键值对中的每一个共享相同的键组。

大大数数据据综综述述图图图图11MapReduceMapReduce执行流程图执行流程图执行流程图执行流程图大大数数据据综综述述pMapReducMapReduc模型首先将用户的原始数据源进行分块，然后分别交给不同的模型首先将用户的原始数据源进行分块，然后分别交给不同的模型首先将用户的原始数据源进行分块，然后分别交给不同的模型首先将用户的原始数据源进行分块，然后分别交给不同的MapMap任务区处理。

任务区处理。

MapMap任务从输入中解析出链任务从输入中解析出链任务从输入中解析出链任务从输入中解析出链/值值值值（Key/Value）（Key/Value）对集合，然后对集合，然后对集合，然后对集合，然后对这些集合执行用户自行定义的对这些集合执行用户自行定义的对这些集合执行用户自行定义的对这些集合执行用户自行定义的MapMap函数得到中间