大数据分析培训机构学习路线.docx

1、大数据分析培训机构学习路线课程主题课程内容课程目标第一阶段(Java基础高级)Java语言的高级特性静态导入、自动封箱拆箱、可变参数、增强for、枚举、类加载器、反射、内省、泛型、注解、动态代理回掌握Java语言的高级特性Java多线程多线程加强、线程池、Thread Local掌握Java线程池技术，掌握线程的Join、notify、notifyAll等机制XMLDom解析、Sax解析、Pull解析Schema基于Xml的解析与维护WebHtml,Css,Js掌握简单的Html，Css，Js的编写实训项目一：易买网项目第二阶段(Web阶段，易买网项目贯穿)JAVAWEB前端技术项目介绍、项目

2、开发流程Html、CSS、JS了解真实项目开发流程掌握前端开发基本技术JAVAWEB基础技术Tomcat、HTTP协议、Servlet、Jsp、EL、JSTL、自定义标签MVC、JAVAWEB三层架构软件分层、耦合、解耦AJAX掌握JAVAWEB基础知识深入理解软件分层思想AJAX实现异步刷新JAVAWEB高级技术Filter、Listener文件上传、下载在线支付过滤器、监听器及常见应用场景文件上传、下载在线支付功能实现 aaJAVAWEB框架加强面向切面编程通过注解控制事务java基础加强、框架加强JAVA高级特性熟悉常见设计模式通过模拟实现框架功能，为后续学习SSH打基础实训项目二：国际

3、物流项目第三阶段(Struts,Hibernate,Spring,SSH项目贯穿)Struts2分析Servlet缺点，进行重构Struts.xml配置文件ValueStackOgnl表达式属性驱动、模型驱动、拦截器、文件上传、token机制等掌握Struts2在项目开发时用到的各种知识点，能够应用该框架熟练的开发HibernateORM的概念、CRUD的完成、Hibernate常用的配置、API详细的分析、对象的三种状态、关联关系、检索、优化、缓存机制熟练掌握利用Hibernate框架完成项目的开发，深入理解ORMapping的概念，深入理解缓存机制SpringIOC、DI、动态代理模式、A

4、OP、基于Spring的数据库编程、Spring的声明式事务处理，Struts2与Hibernate与Spring的整合深入理解SpringIOC、DI在软件架构中的作用，深入理解SpringAOP的实现机制和应用场景，Struts2的高级特性(对象工厂、静态注入、插件机制、ThreadLocal针对ActionContext的封装、Struts2的核心流程、结果集架构)、深入理解SSH整合的原理JQueryJQuery常见选择器的应用利用JQuery控制Web界面JS高级JS面向对象的特征对象、原型、闭包、JQuery内部结构解析等MavenMaven的概念、使用、原理、Module的概念、

5、仓库能用Maven搭建项目环境熟练使用Maven的依赖和继承机制SSH项目：国际物流项目背景、系统USE CASE图、系统功能结构图、系统框架图、国际物流核心业务货运管理、购销合同业务、购销合同下货物、出口报运单、装箱单、委托书、发票、财务统计、海量数据导出、出口报运、装箱业务、Shiro高级安全框架、工作流Activiti5掌握画USECASE图、系统结构图、系统框架图。面试能顺畅讲述国际物流核心业务，包括：购销合同、出口报运、装箱、委托、发票、财务。了解大型数据库设计思路，及数据库在设计上如何优化。熟练实现合同、货物、附件两级主从结构。熟练POI制式表单应用。熟练应用Shiro高级安全框架

6、。熟练应用工作流Activiti5实现货运管理流程控制。实训项目三：易买电商项目第四阶段(SpringMVC,Mybaties,SSM项目贯穿)SpringMVC模拟SpringMVC的核心部件写一个例子、核心分发器、处理器映射、适配器、控制器、注解开发实例、标签机制、拦截器机制、AJAX与JSON调用熟练掌握SpringMVC的各个组件，理解SpringMVC的架构原理，利用SpringMVC开发项目MyBatiesCRUD操作、SqlSessionFactory对象、SqlSession对象、集合参数、动态SQL语句、代码优化、Mapper的接口、关联关系、缓存机制、拦截器、MyEclip

7、se插件的使用熟练掌握SpringMVC的各个组件，理解SpringMVC的架构原理，利用SpringMVC开发项目SSM项目(易买电商)项目需求讲解、环境的搭建、后台系统实现、前台系统搭建、内容管理实现、Redis缓存解决前台访问性能问题、单点登录、异步订单系统处理、Lucene与Solor实现文件的检索、ActivityMQ实现消息的异步通信、MySQL的数据库的读写分离、分布式环境的部署和实施了解电商项目的需求分析，掌握用pom.xml文件构建项目，实现电商项目的前台的内容管理、菜单管理、购物等。掌握Redis缓存如何提供性能、利用Solor做全文检索、利用ActivityMQ的异步机制

8、把缓存中的改动同步到各个环节、掌握MySQL的主从复制和读写分离。利用lvs，keepalived，nginx，tomcat搭建高并发的web环境实训项目四：电信项目第五阶段(分布式、高并发、集群、电信项目贯穿)网络编程Socket、Io、Nio、Mina、RPC技术、多线程、线程池把电信项目的部分环节利用mina、RPC技术实现数据仓库数据仓库基础知识ETLMySQL的导入工具、分表，分区、读写分离、存储过程级多维分析掌握数据仓库的知识内容，这是大数据分析的基础分布式缓存学习MemoryCache与Redis两种缓存掌握两种缓存的原理、以及操作ZookeeperZookeeper的选举、数据

9、的同步、Zookeeper的部署、Follow与Leader了解Zookeeper的选举算法、同步机制、掌握Zookeeper的集群的搭建集群Keepalived的Loadblancing机制、Nginex反向代理服务器、Tomcat集群、Lvs利用Lvs、Keepalived、Nginx、Tomcat搭建高并发、分布式的Web服务器SOARest风格的服务架构、基于Rest风格的WebService的使用、dubbo服务框架的使用利用服务性框架使得系统的耦合性更弱，扩展性更强云计算云计算的概念、Iaas、 Paas、Saas的理解、虚拟化的概念理解云计算电信项目把上面所学的知识点全部结合起来

10、做电信行业的日志分析系统通过项目掌握MySQL的集群、读写分离、优化、掌握Mina框架的通信机制、掌握Zookeeper的高可用机制、利用MySql掌握数据仓库的概念、利用分布式缓存提高系统的性能实训项目五：电信项目第六阶段(Hadoop,Spark,电信项目贯穿)Hadoop的分布式文件系统HDFSHDFS的概念、HDFS的API的应用、NameNode与SecondaryNameNode与DataNode的原理与通信机制、数据块Block的概念、NameNode的文档目录树、NameNode与DataNode的关联Hadoop伪分布式的搭建、利用HDFS的API对分布式文件系统进行操作、掌

11、握NameNode与SecondaryNameNode的通信原理、掌握NameNode与DataNode的通信原理Hadoop的计算框架MapReduce利用MapReducer的计算框架实现电信日志的分析、深入理解Shuffle机制、FileOutPutFormat、FileInPutFormat熟练Map、Reducer、Sort、Partition的编程、深入理解Shuffle机制、深入理解OutPutFormat与InputFormat、基于Hadoop的对象序列化机制Hadoop的资源管理与资源调度Yarn框架深入理解MapReducer的通信机制：利用Yarn的资源管理和资源调度机

12、制。理解进程ResourceManager，NodeManager，ApplicationMaster等进程的作用深入理解Yarn的资源管理与资源调度机制。掌握整个MapReducer的计算流程和资源调度流程HBase搭建NOSQL数据库HBase的集群、利用Zookeeper做HBase的HA机制掌握HBase的集群的的搭建HIVE数据仓库基础知识、Hive定义、Hive体系结构简介、Hive集群、客户端简介、 HiveQL定义、HiveQL与SQL的比较、数据类型、外部表和分区表、表的操作与CLI客户端演示、数据导入与CLI客户端演示、查询数据与CLI 客户端演示、数据的连接与CLI客户端

13、演示、用户自定义函数（UDF）的开发与演示利用HIVE做日志分析的查询SparkSpark介绍：Spark应用场景、Scala编程语言、Scala高级编程、Spark集群部署等利用Spark流式编程做日志的分析电信项目把第四阶段的电信项目用Hadoop与Spark实现熟练应用Hadoop的MapReducer，Hive与Spark走心课程 全面覆盖 实力熬炼 技术骨干8大授课阶段 全力培养未来高端大数据人才课程详情第一阶段Java语言基础第二阶段HTML、CSS与JavaScript第三阶段JavaWeb和数据库第四阶段Linux基础第五阶段Hadoop生态体系第六阶段Spark生态体系第七阶

14、段Storm实时开发第八阶段项目案例01第一阶段Java语言基础01Java开发介绍- Java的发展历史- Java的应用领域- Java语言的特性- Java面向对象- Java性能分类- 搭建Java环境- Java工作原理02熟悉Eclipse开发工具- Eclipse简介与下载- 安装Eclipse的中文语言包- Eclipse的配置与启动- Eclipse工作台与视图- “包资源管理器”视图- 使用Eclipse- 使用编辑器编写程序代码03Java语言基础- Java主类结构- 基本数据类型- 变量与常量- Java运算符- 数据类型转换- 代码注释与编码规范- Java帮助文档

15、04Java流程控制- 复合语句- 条件语句- if条件语句- switch多分支语句- while循环语句- dowhile循环语句- for循环语句05Java字符串- String类- 连接字符串- 获取字符串信息- 字符串操作- 格式化字符串- 使用正则表达式- 字符串生成器06Java数组与类和对象- 数组概述- 一维数组的创建及使用- 二维数组的创建及使用- 数组的基本操作- 数组排序算法- Java的类和构造方法- Java的对象、属性和行为07数字处理类与核心技术- 数字格式化与运算- 随机数与大数据运算- 类的继承与Object类- 对象类型的转换- 使用instanceof

16、操作符判断对象类型- 方法的重载与多态- 抽象类与接口08I/O与反射、多线程- 流概述与File类- 文件 输入/输出流- 缓存 输入/输出流- Class类与Java反射- Annotation功能类型信息- 枚举类型与泛型- 创建、操作线程与线程安全09Swing程序与集合类- 常用窗体- 标签组件与图标- 常用布局管理器与面板- 按钮组件与列表组件- 常用事件监听器- 集合类概述- Set集合与Map集合及接口02第二阶段HTML、CSS与JavaScript01PC端网站布局- HTML基础，CSS基础，CSS核心属性- CSS样式层叠，继承，盒模型- 容器，溢出及元素类型- 浏览器

17、兼容与宽高自适应- 定位，锚点与透明- 图片整合- 表格，CSS属性与滤镜- CSS优化02HTML5+CSS3基础- HTML5新增的元素与属性- CSS3选择器- 文字字体相关样式- CSS3位移与变形处理- CSS3 2D、3D 转换与动画- 弹性盒模型- 媒体查询- 响应式设计03WebApp页面布局- 移动端页面设计规范- 移动端切图- 文字流式/控件弹性/图片等比例/特殊设计的布局- 等比缩放布局- viewport/meta- rem/vw的使用- flexbox详解- 移动web特别样式处理04原生JavaScript交互功能开发- 什么是JavaScript- JavaScr

18、ipt使用及运作原理- JavaScript基本语法- JavaScript内置对象- 事件，事件原理- JavaScript基本特效制作- cookie存储- 正则表达式05Ajax异步交互- Ajax概述与特征- Ajax工作原理- XMLHttpRequest对象- 同步与异步- Ajax异步交互- Ajax跨域问题- Ajax数据的处理- 基于WebSocket和推送的实时交互06JQuery应用- 各选择器使用，及应用优化- Dom节点的各种操作- 事件处理、封装、应用- jQuery中的各类动画使用- 可用性表单的开发- jQuery Ajax、函数、缓存；- jQuery编写插件

19、、扩展、应用- 理解模块式开发及应用03第三阶段JavaWeb和数据库01数据库- Mysql数据库- JDBC开发- 连接池和DBUtils- Oracle介绍- MongoDB数据库介绍- apache服务器/Nginx服务器- Memcached内存对象缓存系统02JavaWeb开发核心- XML- HTTP及Tomcat- Servlet工作原理解析- 深入理解Session与Cookie- Tomcat的系统架构与设计模式- JSP语法与内置对象- JDBC技术- 大浏览量系统的静态化架构设计03JavaWeb开发内幕- 深入理解Web请求过程- Java I/O的工作机制- Jav

20、a Web中文编码- Javac编译原理- class文件结构- ClassLoader工作机制- JVM体系结构与工作方式- JVM内存管理04第四阶段Linux基础01Linux安装与配置- Linux常见版本及VMware- 安装Linux至硬盘及虚拟机安装Linux系统- 虚拟机网络配置（IP地址、主机名、防火墙）- 超级用户root- 关于硬件驱动程序- 进阶：配置Grub- CSS预处理器LESS框架使用- CSS组件框架编写02系统管理与目录管理- Shell基本命令- 使用命令行补全和通配符- find命令、locate命令- 查找特定程序:whereis- Linux文件系统

21、的架构- 移动、复制和删除- 文件和目录的权限- 文件类型与输入输出03用户与用户组管理- 软件包管理- 磁盘基本管理命令（df、du、fdisk、mount）- 高级硬盘管理RAID和LVM- 进阶：备份你的工作和系统- 用户与用户组管理- 内存使用监控命令（top、free等）- 软件安装方式（rpm、tar、yum）- 进程管理04Shell编程- Shell脚本编程概述- 正则表达式- 字符集和单词、字符类- Shell脚本编程- 脚本执行命令和控制语句- Shell定制- 个性化设置：修改.bashrc文件- Shell脚本调试05服务器配置- 系统引导- 管理守护进程- 通过xin

22、etd启动SSH服务- 配置inetd- Apache基础- 设置Apache服务器- PHP基础- 配置DHCP服务器06Vi编辑器与Emacs编辑器- vi中的常用命令- vi中的字符与文件操作- vi中的窗口操作- emacs概述- emacs文本编辑- emacs缓冲区和窗口- emacs的扩展工具05第五阶段Hadoop生态体系01Hadoop起源与安装- 大数据概论- Google与Hadoop模块- Hadoop生态系统- Hadoop常用项目介绍- Hadoop环境安装配置- Hadoop安装模式- Hadoop配置文件02MapReduce快速入门- WordCount准备开

23、发环境- MapReduce编程接口体系结构- MapReduce通信协议- 导入Hadoop的JAR文件- MapReduce代码的实现- 打包、部署和运行- 打包成JAR文件03Hadoop分布式文件系统- 认识HDFS及其HDFS架构- Hadoop的RPC机制- HDFS的HA机制- HDFS的Federation机制- Hadoop文件系统的访问- JavaAPI接口与维护HDFS- HDFS权限管理04Hadoop文件I/O详解- Hadoop文件的数据结构- HDFS数据完整性- 文件序列化- Hadoop的Writable类型- Hadoop支持的压缩格式- Hadoop中编码

24、器和解码器- gzip、LZO和Snappy比较05MapReduce工作原理- MapReduce函数式编程概念- MapReduce框架结构- MapReduce运行原理- Shuffle阶段和Sort阶段- 任务的执行与作业调度器- 自定义Hadoop调度器- YARN架构及其工作流程06MapReduce编程开发- WordCount案例分析- 输入格式与输出格式- 压缩格式与MapReduce优化- 辅助类与Streaming接口- MapReduce二次排序- MapReduce中的Join算法- 从MySQL读写数据- Hadoop系统调优07Hive数据仓库工具- Hive工作

25、原理、类型及特点- Hive操作及Hive复合类型- Hive的JOIN详解- Hive优化策略- Hive内置操作符与函数- Hive用户自定义函数接口- Hive的权限控制08开源数据库HBase- HBase的特点- HBase访问接口- HBase存储结构与格式- HBase设计- 关键算法和流程- HBase的Shell操作- HBase客户端09Sqoop与Oozie- 安装部署Sqoop- Sqoop数据迁移- Sqoop使用案例- Oozie简介- Oozie与Hive- Azkaban工作流06第六阶段Spark生态体系01Spark简介- 什么是Spark- Spark大数

26、据处理框架- Spark的特点与应用场景- Spark SQL原理和实践- Spark Streaming原理和实践- GraphX SparkR入门- Spark的监控和调优02Spark部署和运行- 部署准备与下载- Spark生态和安装部署- Local YARN模式部署- Local模式运行- Spark Standalone HA安装- YARN模式运行Spark- Spark应用程序部署工具spark-submit03Spark程序开发- 启动Spark Shell- 加载text文件- RDD操作及其应用- RDD缓存- 构建Eclipse开发环境- 构建IntelliJ IDE

27、A开发环境- 创建SparkContext对象- 编写编译并提交应用程序04Spark编程模型- RDD特征与依赖- 集合（数组）创建RDD- 存储创建RDD- RDD转换 执行 控制操作- 广播变量- 累加器05作业执行解析- Spark组件- RDD视图与DAG图- 基于Standalone模式的Spark架构- 基于YARN模式的Spark架构- 作业事件流和调度分析- 构建应用程序运行时环境- 应用程序转换成DAG06Spark SQL与DataFrame- Spark SQL架构特性- DataFrame和RDD的区别- 创建操作DataFrame- RDD转化为DataFrame-

28、 加载保存操作与Hive表- Parquet文件JSON数据集- 分布式的SQL Engine- 性能调优 数据类型07深入Spark Streaming- Spark Streaming工作原理- DStream编程模型- Input DStream- DStream转换 状态 输出- 优化运行时间及内存使用- 文件输入源- 基于Receiver的输入源- 输出操作08Spark MLlib与机器学习- 机器学习分类级算法- Spark MLlib库- MLlib数据类型- MLlib的算法库与实例- ML库主要概念- 算法库与实例09GraphX与SparkR- Spark GraphX架

29、构- GraphX编程与常用图算法- GraphX应用场景- SparkR的工作原理- R语言与其他语言的通信- SparkR的运行与应用- R的DataFrame操作方法- SparkR的DataFrame10spark项目实战- 大数据分析系统- 系统资源分析平台- 在Spark上训练LR模型- 获取二级邻居关系图11scala编程- scala编程介绍- Scala基本语法- Scala开发环境搭建- Scala开发Spark应用程序12Python编程- Python编程介绍- Python的基本语法- Python开发环境搭建- Pyhton开发Spark应用程序07第七阶段Storm实时开发01storm简介与基本知识- storm的诞生诞生与成长- storm的优势与应用- storm基本知识概念和配置- 序列化与容错机制- 可靠性机制保证消息处理- storm开发环境与生产环境- storm拓扑的并行度- sto