大数据云计算系统高级架构师课程学习路线图.docx

1、大数据云计算系统高级架构师课程学习路线图大数据、云计算系统高级架构师课程学习路线图 大数据之Linux+大数据开发篇 Java Linux基础 Shell编程 Hadoop2.x HDFS YARN MapReduce ETL数据清洗Hive Sqoop Flume/Oozieo 大数据WEB工具Hue HBase Storm Storm ScalaSpark Spark核心源码剖析 CM 5.3.x管理 CDH 5.3.x集群 项目部分 项目一:北风网用户行为分析 项目二:驴妈妈离线电商平台分析平台 项目三:基于Spark技术实现的大型离线电商数据分析平台 大数据之阿里云企业级认证篇 阿里云

2、数据处理和分析 报表场景的实现(企业案例) 企业自助沙箱实验（10个) 阿里云企业认证(ACP11003模块) 大数据之Java企业级核心技术篇 Java性能调优 Tomcat、Apache集群 数据库集群技术 分布式技术 WebLogic 企业级技术大数据之PB级别网站性能优化篇 CDN镜像技术 虚拟化云计算 共享存储 海量数据 队列缓存 Memcached+RedisNo-SqlLVS负载均 Nginx 项目部分 PB级通用电商网站性能优化解决方案 大数据之数据挖掘分析&机器学习篇 Lucene 爬虫技术 Solr集群 KI分词 Apriori算法 Tanagra工具 决策树 贝叶斯分类器

3、人工神经网络 K均值算法 层次聚类 聚类算法 SPSS Modeler R语言 数据分析模型统计算法 回归 聚类 数据降维 关联规则 决策树 Mahout-Python金融分析 项目部分 项目一:地震预警分析系统 项目二:文本挖掘（Mathout中文分词) 项目三:电商购物车功能实现（R语言）项目四:使用Python构建期权分析系统 大数据之运维、云计算平台篇 Zookeeper Docker OpenStack云计算 项目部分 博客WordPress、ELK、日志管理:Maven+Jenkins项目部分了解更多详情 课程体系 北风大数据、云计算系统架构师高级课程大数- Hadoop阶段一、大

4、数据、云计算 据开发技术 基础课程一、大数据运维之Linux基础，以便更好地学习Linux本部分是基础课程，帮大家进入大数据领域打好等众多课程。docker,openstackStorm，hbase,NoSQL，Spark，Hadoop 因为企业 Linux环境下搭建或部署的。中的项目基本上都是使用6）用户和用户组管理 ）Linux系统概述 17）磁盘管理 2）系统安装及相关配置 8）Linux文件和目录管理 3）Linux网络基础9）Linux终端常用命令 4OpenSSH实现网络安全10）linux系统监测与维护 连接 文本编辑器vi）5课程二、大数据开发核心技术 - Hadoop 2.x

5、从入门到精通 本课程是整套大数据课程的基石：其一，分布式文件系统HDFS用于存储海量数据存储在其上面；其二是分布式资源Spark或者HBase、Hive数据，无论是 管理框架云操作系统（也称数据系统），管理集群资源和分布式数Hadoop YARN，是 分布式并行计算框架据处理框架MapReduce、Spark应用的资源调度与监控；的编Hadoop 2.xMapReduce目前是海量数据并行处理的一个最常用的框架。MapReduce集群资源管理与任务监控，环境搭建、HDFS Shell使用，YARN 译、 编 HA）必须要掌握的。程，分布式集群的部署管理（包括高可用性 Hadoop 2.xHad

6、oop 2.x一、初识 二、深入 文件系统的架构、功能、设计）1）大数据应用发展、前景 HDFS12）HDFS Java API使用 2.x2）Hadoop 概述及生态3）YARN 系统 架构、集群管理、应用监控 4环境搭建与Hadoop 2.x）MapReduce编程模型、Shuffle过程、编3）程调优 测试 四、实战应用 Hadoop 2.x三、高级 1）以【北风网用户浏览日志】数据进行实际Hadoop 1）分布式部署2.x 的分析 2）原数据采集）分布式协作服务框架 3）数据的预处理2（ETL） 4）数据的分析处理（MapReduceZookeeper ） 架构、配置、3）HDFS H

7、A 测试 ）4HDFS 2.x中高级特性 ）YARN HA架构、配置5主要发行版本Hadoop 6） ）、（CDHHDPApache课程三、大数据开发核心技术 - 大数据仓库Hive精讲 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行 运行。其优点是学习成本低，可以通类SQL语句快速实现简单的MapReduce 应用，十分适合数据仓库的统计分析。MapReduce统计，不必开发专门的 Hive 初识入门 深入使用二、Hive一、 ）11）Hive功能、体系结构、Hive中的内部

8、表、外部表、分区表 2）Hive 使用场景 数据迁移、select、whereHive2）环境搭建、初级使、distinct3）Hive常见查询（ join、group by）用 Hive 内置函数和UDF编程3）Hive原数据配置、常见4） 交互方式四、结合【北风网用户浏览日志】实际案例高级进阶 Hive三、 ）1Hive数据的存储和压缩 分析 1）依据业务设计表2）Hive常见优化（数据倾 2）数据清洗、导入（ETL斜、压缩等） ） 3）使用HiveQL，统计常见的网站指标 精讲课程四、大数据协作框架 - Sqoop/Flume/Oozieo、(mysql主要用于在Hadoop(Hive)

9、与传统的数据库Sqoop是一款开源的工具，MySQL 间进行数据的传递，可以将一个关系型数据库（例如： postgresql.)项目开始于,Oracle ,Postgres等）中的数据导进到关系型数据库中。Sqoop后来为了让使用者能够的一个第三方模块存在，年，最早是作为Hadoop2009 快速部Apache独立成为一个署，也为了让开发人员能够更快速的迭代开发，Sqoop项目。 一、数据转换工具Sqoop 二、文件收集框架Flume 1） Flume 设计架构、原理（三大组件） 1）Sqoop功能、使用原则2）Flume数据导入RDBMSHive初步使用，实时采集数据 2）将3）表中（全量、

10、增量） 如何使用Flume监控文件夹数据，实时采集录入HDFSHDFS3）将上文件导出到中 4）任务调度框架Oozie 表中RDBMS 三、Oozie功能、安装部署调度1）使用OozieHiveQL 和MapReduce Job 2）定时调度任务使用 精讲Hue工具WEB 大数据- 开发框架Web课程五、大数据演最早是由Cloudera DesktopHue是一个开源的Apache Hadoop UI系统，DjangoPython Web框架化而来，由Cloudera贡献给开源社区，它是基于 实现的。通集群进行交互来Hadoop过使用Hue我们可以在浏览器端的Web控制台上与 等等。分析处理数

11、据，例如操作HDFS上的数据，运行MapReduce JobDataBase Hue集成Hive、）1）Hue架构、功能、编译 4Oozie 5）Hue集成HDFS Hue集成2）MapReduce 集成3）Hue 从入门到精通 - 分布式数据库HBase课程六、大数据核心开发技术所Fay Chang HBase是一个分布式的、面向列的开源数据库，该技术来源于 HBase：一个结构化数据的分布式存储系统”。Google论文“Bigtable撰写的 在的能力，是一个高可靠性、高性能、面向Hadoop之上提供了类似于Bigtable上搭建起PC ServerHBase技术可在廉价列、可伸缩的分布式

12、存储系统，利用 大 规模结构化存储集群一、HBase初窥使用 二、HBase 深入使用 1是什么、发展、）HBase 数据存储模型 1）HBase2）HBase Java API使用（CRUD、SCAN等） 与RDBMS相比优势、企业使3）HBase 用 架构深入剖析 4HBase Schema）、表的设）HBase 与MapReduce集成、数据导入导出 2 计shell环境搭建、HBase 3） 初步使用（CRUD等）四、【北风网用户浏览日志】进行分析HBase 三、高级使用 1）依据需求设计表、创建表、预分区）如何设计表、表的预分1 2区（依据具体业务分析讲）进行业务查询分析 参数HBa

13、se对于密集型读和密集型写进行）3 解） 表的常见属性设调优2）HBase 置（结合企业实际）Java HBase Admin操作（3） API、常见命令）课程七、大数据核心开发技术 - Storm实时数据处理 Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、 推荐系统、预警系统、金融系统(高频交易、股票)等等， 大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Storm更是 流计算技术中的佼佼者和主流。 按照storm作者的说法，St

14、orm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map、reduce原语，使我 们的批处理程序变得简单和高效。 同样，Storm也为实时计算提供了一些简单高效的原语，而且Storm的Trident是基于Storm原语更高级的抽象框架，类似于基于 Hadoop的Pig框架， 让开发更加便利和高效。本课程会深入、全面的讲解Storm，并穿插企业场景实战讲述Storm的运用。 淘宝双11的大屏幕实时监控效果冲击 了整个IT界，业界为之惊叹的同时更是引起对该技术的探索。 学完本课程你可以自己开发升级版的“淘宝双11”，还等什么？ 1）Storm简介和课程介绍 15）Sto

15、rm事务案例实战之 ITransactionalSpout 原理和概念详解Storm）2 Storm事务案例升级之按天计算集群搭建及16）3）Zookeeper 基本使用 Storm分区事务案例实战17） Storm4）Storm集群搭建及测试 不透明分区事务案例实战18） DRPC精解和案例分析5）API简介和入门案例开19） Storm Trident 入门发 20） 和概念Trident APISpout）的Tail特性、21）6PV 实战之计算网站22storm-starter及maven使）Storm Trident实现、N)FirstN(取Top 23）ITridentSpout、

16、用、Grouping策略 Join Grouping策略流合并和7）实例讲解之函数、流聚合及核心概 Trident）Storm 24及并发State 8念）并发度详解、案例开发HBase综合实战一（基于Storm （高并发运用） Trident25） ）案例开发计算网站9State）的 种方式实现汇总Storm Trident综合实战二26）2PV，通过 Storm Trident综合实战三27）型计算。 集群和作业监控告警开发Storm2810）案例优化引入）锁控制线程操Zookeeper 作去重计算计算网站11）UV() 模式集群统一启动12【运维】） 脚本开发shell和停止事务工作原理

17、深13Storm）APIStorm 14入讲解）事务 及案例分析课程八、Spark技术实战之基础篇 -Scala语言从入门到精通 为什么要学习Scala？源于Spark的流行，Spark是当前最流行的开源大数据内存计算框架，采用Scala语言实现，各大公司都在使用Spark：IBM宣布承诺大力推进 Apache Spark项目，并称该项目为：在以数据为主导的，未来十年最为重要的新的开源项目。这一承诺的核心是将Spark嵌入IBM业内领先的分析和商务平台， Scala具有数据处理的天然优势，Scala是未来大数据处理的主流语言 的发布与订阅7) kafka 是什么1) kafkakafka 8)

18、 java编程操作体系结构2) kafkakafka 3) kafka配置详解 9) scala编程操作 和kafka 的整合4) kafka的安装 10) flume 和storm 的整合5) kafka的存储策略 11) Kafka 分区特点6) kafka 精讲内存计算框架Spark 课程九、大数据核心开发技术- 的通用并行Hadoop MapReduceUC Berkeley AMP lab所开源的类Spark是启用了内存分布数据所具有的优点。拥有Hadoop MapReduce框架，Spark， 集，除构Spark Streaming: 了能够提供交互式查询外，它还可以优化迭代工作负

19、载。数据分成小的Stream数据的框架，基本的原理是将建在Spark上处理Stream 时间片断 batch批量处理的方式来处理这小部分数据（几秒），以类似 10）案例分析）Spark 初识入门 1 Spark 高阶应用112）Spark 概述、生态系统、）YARN运行原理、运行模式及测Spark 12）与MapReduce比较 on 试 ）Spark 编译、安装部署313）（Standalone Mode）及测Spark HistoryServer历史应用监控 14）Spark Streaming 试流式计算 15）Spark Streaming 应用提交工具）Spark原理、DStream

20、设计 416spark-submit（，）Spark Streaming 常见input、out 17）Spark Streaming 与 spark-shell）Kafka集成 18）使用（变Spark对【北风网用户浏览日志】基本知识讲解Scala）5进行分析 量，类，高阶函数） RDD Spark 6）核心特性、常见操作、7）RDD 缓存策略StageDependency）8RDD 、 常、源码分析 9Spark ）核心组件概述 深入剖析- Spark 课程十、大数据核心开发技术。在本课Spark本课程主要讲解目前大数据领域热门、火爆、有前景的技术 ，并且会包含程中，会从浅入深，基于大量案

21、例实战，深度剖析和讲解Spark编程详解、Scala完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖 内核以及源码剖析、SparkSpark StreamingSpark核心编程、Spark SQL和 性能调优、企业级案例实战等部分内核源码深SparkSpark核心编程、编程、Hadoop与Spark集群搭建、1）ScalaSpark Streaming 、性能调优、Spark SQL度剖析、Spark 源码剖析）Spark2与，DataFrame二次排序，Spark分组取topnwordcount3）基于排序的，Spark Spark SQL的内置函数、开窗函数、RDD的两种转换方式

22、，、transformAPI、updateStateByKeyUDAF，Spark Streaming的Kafka Direct 、UDF Spark 性能优化、与滑动窗口、foreachRDD 、容错与事务SQL整合使用、持久化、checkpoint和销售额统uv项目实战：多个从企业实际需求抽取出的复杂案例实战：每日4）计案例、top3热卖商品统计案例、每日top3热点搜索词统计、广 告计费日志实时黑名单过滤案例、热点搜索词滑动统计案例、top3热门商品实时统计案例 课程十一、企业大数据平台高级应用 本阶段主要就之前所学内容完成大数据相关企业场景与解决方案的剖析应用及结合一个电子商务平台进行

23、实战分析，主要包括有： 企业大数据平台概述、搭建企业 大数据平台、真实服务器手把手环境部署、使用CM 5.3.x管理CDH 5.3.x集群 1）企业大数据平台概述 9）真实服务器手把手环境部署 10 ）安装Cloudera Manager 5.3.x 2）大数据平台基本组件11）使用CM 5.3.x比较、安装CDH 5.3.x ）3Hadoop 发行版本、12）如何使用CM 5.3.x管理CDH 5.3.x选择 集群 13）基本配置，优化集群环境的准备4）（系统、 14）基本性能测试基本配置、规划等） ）搭建企业大数据平台5）各个组件如何使用15）以实际企业项目需求为6 依据，搭建平台 ）需求

24、分析（主要业务）7）框架选择8 （HiveHBaseSpark等） 课程十二、项目实战：驴妈妈旅游网大型离线数据电商分析平台集群开发工具的一种方式，主要作用是hadoop离线数据分析平台是一种利用证券、银行、帮助公司对网站的应用有一个比较好的了解。尤其是在电商、旅游、 游戏所以对因为这些领域对数据和用户的特性把握要求比较高，等领域有非常广泛，本课程讲师本人之前在游戏、旅游等 于离线数据的分析就有比较高的要求了。 公司通过此项目将所有大数据内容贯穿，专门从事离线数据分析平台的搭建和开发等， 并前后展示！，、离线数据分析，SpringMVC、Oozie、SqoopFlume1）、Hadoop、Hb

25、ase、HiveHighchat 实现的电商离Flume+Hadoop+Hbase+SpringMVC+MyBatis+MySQL+Highcharts）2 线数据分析 ）日志收集系统、日志分析、数据展示设计3课程十三、项目实战：基于1号店的电商实时数据分析系统 课程基于1号店的业务及数据进行设计和讲解的，主要涉及 1、课程中完整开发3个Storm项目，均为企业实际项目，其中一个是完全由Storm Trident开发。 项目源码均可以直接运行，也可直接用于商用或企业。 2、每个技术均采用最新稳定版本，学完后会员可以从Kafka到Storm项目开发及HighCharts图表开发一个人搞定！让学员

26、身价剧增！ 3、搭建CDH5生态环境完整平台，且采用Cloudera Manager界面化管理 平台环境搭建和维护都变得轻而易举。Hadoop平台。让CDH5、分享实际项目的架构设计、优劣分析和取舍、经验技巧，陡直提升学员的经4 验值 作为外部存储）灵活运用完整项HBase61）全面掌握Storm）可以做到以一己之力完成从后台开发目开发思路和架构设计 7 Hbase、开发）（Storm Trident2）掌握项Storm、Kafka运用图表开发、Jquery目开发模式 到前台HighCharts 运维和API等，所有工作一个人搞定！3）掌握Kafka 开发、与Storm接口开发11 大屏幕项目

27、！可以一个人搞定淘宝双各类图4）掌握HighCharts表开发和实时无刷新加载 数据生态环境）熟练搭建CDH55 完整平台课程十四、项目实战：基于某团购网的大型离线电商数据分析平台 本项目使用了Spark技术生态栈中最常用的三个技术框架，Spark Core、Spark SQL和Spark Streaming，进行离线计算和实时计算业务模块的开发。实现了包括用 户访问session分析、页面单跳转化率统计、热门商品离线统计、广告点击流量实时统计4个业务模块。过合理的将实际业务模块进行技术整合与改造，该项目完全 涵盖了Spark Core、Spark SQL和Spark Streaming这三个

28、技术框架中几乎所有的功能点、知识点以及性能优化点。仅一个项目，即可全面掌握Spark技术在实际项 目中如何实现各种类型的业务需求！在项目中，重点讲解了实际企业项目中积累下来的宝贵的性能调优、troubleshooting以及数据倾斜解决方案等知识和技术 1）真实还原完整的企业级大数据项目开发流程：项目中采用完全还原企业大数据项目开发场景的方式来讲解，每一个业务模块的讲解都包括了数据分 析、需求分析、方案设计、数据库设计、编码实现、功能测试、性能调优、 troubleshooting与解决数据倾斜（后期运维）等环节，真实还原 企业级大数据项目开发场景。让学员掌握真实大数据项目的开发流程和经验！技

29、术手工画图与写笔记：所有复杂业务流程、架构原理、Spark2）现场Excel Excel画原理、业务需求分析、技术实现方案等知识的讲解，采用形象地透彻剖析理论知识，图或者写详细比较的方式进行讲解与分析，细致入微、 帮助学员更好的理解、记忆与复习巩固。 课程十五、大数据高薪面试剖析让学员真正的一个本阶段通过对历来大数据公司企业真实面试题的剖析，讲解，也是讲师多年来大1年以上的大数据开发工作经验的专业人士，菜鸟转型为具有 数据 企业开发的经验之谈。 7）常见面试题讲解1）大数据项目 如何快速融入企业进行工作（对于大数据82）企业大数据项目的类型 ） ）技术架构（如何使用各3公司来说非常关键） ）学

30、员答疑框架处理数据） 9 ）针对普遍问题进行公共解答10）冲刺高薪面试4 ）面试简历编写（把握重）一对一的交流115 点要点） 6）面试中的技巧阶段二、阿里云企业级大数据认证技术培训 课程十六、ACP11003全面理解阿里云上的数据处理和分析 如何快速有效的处理海量数据，并从中分析出宝贵的信息内容是每一个架构师和开发者梦寐以求的目标；对于运维人员来说，怎样部署维护庞大复杂的集群系统 也是、OTS、RDS、一个非常现实的问题。本课程将向您详细介绍阿里云的DRDS等相关数据处理和分析服务。课程由专业的阿里云讲师主DPCADS及、ODPS 讲，结合 丰富的实验资源，对阿里云产品、技术、解决方案等进行

31、专业讲解和引导。s 二、课程内容一、课程价值 、ODPS、RDSOTS、1）架构师和开发人员：如1）详细介绍阿里云的DRDS、DPC 及ADS何快速有效的处理海量数 据，等相关数据处理和分析服务。 并从中分析出宝贵的信息）真实客户案例：报表场景的实现2 内容）运维人员：怎样部署维2 护庞大复杂的集群系统阶段三、大数据、云计算 - Java企业级核心应用 课程十七、深入Java性能调优 国内关于Java性能调优的课程非常少，如此全面深入介绍Java性能调优，北风算是，Special讲师，十余年Java方面开发工作经验，资深软件开发系统架构师， 本套课程系多年工作经验与心得的总结，课程有着很高的含

32、金量和实用价值，本课程专注于java应用程序的优化方法，技巧和思想，深入剖析软件设计层面、代码层面、JVM虚拟机层面的优化方法，理论结合实际，使用丰富的示例帮助 学员理解理论知识。课程十八、JAVA企业级开放必备高级技术（Weblogic Tomcat集群 Apach集群） Java自面世后就非常流行，发展迅速，对C+语言形成有力冲击。在全球云计算和移动互联网的产业环境下，Java更具备了显著优势和广阔前景，那么滋生的基于 java项目也越来越多，对java运行环境的要求也越来越高，很多java的程序员只知道对业务的扩展而不知道对java本身的运行环境的调试，例如虚拟机调优，服务器集群等，所以也滋生本门课程的产生。 阶段四、大数据、云计算 - 分布式集群、PB级别网站性能优化 课程十九、大数据高并发系统架构实战方案(LVS负载均衡、Nginx、共享存储、海量数据、队列缓存 ) 随着互联网的发展，高并发、大数据量的网站要