集团大数据平台整体方案建议书-最终版x.docx

1、集团大数据平台整体方案建议书533目 录1 项目概述141.1 建设背景141.1.1 集团已有基础141.1.2 痛点及需提升的能力141.1.3 大数据趋势151.2 建设目标151.2.1 总体目标151.2.2 分阶段建设目标161.3 与相关系统的关系161.3.1 数据分析综合服务平台161.3.2 量收系统171.3.3 金融大数据平台181.3.4 各生产系统181.3.5 CRM181.4 公司介绍和优势特点181.4.1 IDEADATA181.4.2 TRANSWARP201.4.3 我们的优势212 业务需求分析242.1 总体需求242.2 数据管理252.2.1 数

2、据采集252.2.2 数据交换262.2.3 数据存储与管理262.2.4 数据加工清洗272.2.5 数据查询计算272.3 数据管控282.4 数据分析与挖掘282.5 数据展现292.6 量收系统功能迁移303 系统架构设计313.1 总体设计目标313.2 总体设计原则313.3 案例分析建议323.3.1 中国联通大数据平台323.3.2 恒丰银行大数据平台403.3.3 华通 CDN 运营商海量日志采集分析系统513.3.4 案例总结563.4 系统总体架构设计573.4.1 总体技术框架573.4.2 系统总体逻辑结构613.4.3 平台组件关系633.4.4 系统接口设计683

3、.4.5 系统网络结构724 系统功能设计744.1概述744.2 平台管理功能744.2.1 多应用管理744.2.2 多租户管理784.2.3 统一运维监控794.2.4 作业调度管理984.3 数据管理1004.3.1 数据管理框架1004.3.2 数据采集1024.3.3 数据交换1054.3.4 数据存储与管理1064.3.5 数据加工清洗1244.3.6 数据计算1254.3.7 数据查询1404.4 数据管控1594.4.1 主数据管理1594.4.2 元数据管理技术1614.4.3 数据质量1644.5 数据 ETL1714.6 数据分析与挖掘1734.6.1 数据分析流程17

4、54.6.2 R 语言开发环境与接口1764.6.3 并行化R 算法支持1774.6.4 可视化R 软件包1804.6.5 编程语言支持1824.6.6 自然语言处理和文本挖掘1824.6.7 实时分析1834.6.8 分析管理1834.6.9 分析支持1874.6.10 指标维护1874.6.11 分析流程固化1884.6.12 分析结果发布1884.6.13 环境支持1884.7 数据展现1894.7.1 交互式报表1914.7.2仪表盘1964.7.3 即席查询1974.7.4 内存分析1984.7.5 移动分析1994.7.6 电子地图支持1995 技术要求实现2015.1 产品架构2

5、015.1.1 基础构建平台2045.1.2 大数据平台组件功能介绍2055.1.3 系统分布式架构2435.2 运行环境支持2455.2.1 系统操作支持以及环境配置2455.2.2 与第三方软件平台的兼容说明2465.3 客户端支持2475.3.1 客户端支持2475.3.2 移动端支持2475.4 数据支持2475.5 集成实现2495.6 运维实现2515.6.1 运维目标2515.6.2 运维服务内容2525.6.3 运维服务流程2545.6.4 运维服务制度规范2565.6.5 应急服务响应措施2575.6.6 平台监控兼容2575.6.7 资源管理2585.6.8 系统升级260

6、5.6.9 系统监控平台功能2615.7 平台性能2695.7.1 集群切换2695.7.2 节点切换2715.7.3 性能调优2725.7.4 并行化高性能计算2775.7.5 计算性能线性扩展2805.8 平台扩展性2815.9 可靠性和可用性2835.9.1 单点故障消除2835.9.2 容灾备份优化2855.9.3 系统容错性2895.10 开放性和兼容性2915.10.1 高度支持开源2945.10.2 操作系统支持以及软件环境配置3065.10.3 兼容性与集成能力3075.11安全性3085.11.1 身份鉴别3095.11.2 访问控制3095.11.3 安全通讯3155.12

7、 核心产品优势3155.12.1 高速运算、统计分析和精确查询3155.12.2 有效的资源利用3175.12.3 高并发、低延迟性能优化3185.12.4 计算资源有效管控3195.12.5 API 设计和开发工具支持3205.12.6 友好的运维监控界面3225.12.7 扩容、备份、恢复机制3265.12.8 集群自动负载均衡3285.12.9 计算能力扩展3285.13 自主研发技术优势3285.13.1 高稳定、高效的计算引擎 Inceptor3285.13.2 完整的 SQL 编译引擎3305.13.3 高性能的 SQL 分析引擎3305.13.4 SQL 统计分析能力3315.1

8、3.5 完整的 CURD 功能3325.13.6 Hyperbase 高效的检索能力3335.13.7 基于 Hyperbase 和 SQL 引擎的高并发分布式事务3355.13.8 Hyperbase 非结构化数据的支持3365.13.9 机器学习与数据挖掘3365.13.10 Transwarp Stream3405.13.11 内存/SSD/磁盘混合存储3425.13.12 MR/Spark/流处理统一平台3445.13.13 多租户支持能力3455.13.14 多租户安全功能3465.13.15 标准 JDBC 与 ODBC 接口3466 系统性能指标和测试结果说明3486.1 性能测

9、试报告3486.1.1 测试目标3486.1.2 测试内容3486.1.3 测试环境3486.1.4 测试过程和结果3506.2 TPC-DS 测试报告3536.2.1 测试目标3536.2.2 测试内容3536.2.3 测试环境3556.2.4 测试过程和结果3566.3 量收迁移验证性测试报告3576.3.1 测试目标3576.3.2 测试内容3576.3.3 测试环境3586.3.4 串行执行情况3586.3.5 并行执行情况3606.3.6 生产表数据规模3616.3.7 测试结果3636.4 某银行性能测试报告3636.4.1 测试目标3636.4.2 测试内容3636.4.3 测试

10、环境3636.4.4 测试过程和结果3647 系统配置方案3767.1 硬件系统配置建议3767.1.1 基础 Hadoop 平台集群配置规划3767.1.2 数据仓库集群配置规划3787.1.3 集群规模综述3807.1.4 开发集群配置建议3817.1.5 测试集群配置建议3817.2 软件配置建议3827.3 软硬件配置总表3837.4 网络拓扑3858 系统测试3868.1 系统测试方法3868.2 系统测试阶段3878.3 系统测试相关提交物3889 项目实施3909.1 项目实施总体目标3909.2 项目管理3909.3 业务确认3919.4 数据调研3929.5 系统设计阶段39

11、39.6 集成部署阶段3949.7 ETL 过程设计3949.8 ETL 开发与测试3959.9 系统开发阶段3969.10 系统测试阶段3979.11 系统上线及验收3989.12提交物4009.13系统的交接与知识转移40210 项目管理40410.1 项目总体管理40410.1.1 项目实施总流程40410.1.2 项目实施中各阶段的主要任务40410.1.3 项目组织架构40910.1.4 项目负责人及主要成员41510.1.5 项目管理制度49010.2 项目质量管理49310.2.1范围49410.2.2 过程目标49410.2.3 角色与职责49410.2.4 过程活动49610

12、.3 项目计划49911 安全保密50912 知识产权51113 技术服务51213.1 现场支持服务51213.2 标准售后技术服务51313.2.1 提供预防性维护51313.2.2 系统升级服务51413.2.3 系统性能优化51413.2.4 提供系统完整文档51413.2.5 定期系统健康检查服务51513.2.6 应急预案51613.3承诺51613.3.1 我方对集团的承诺51613.3.2 关于开发队伍的承诺51613.4 技术保证51713.4.1 方案实用性保证51713.4.2 应用系统的运行能力的保证51713.4.3 预防性维护检修内容51713.4.4 服务响应51

13、813.4.5 关于软件维护的保证51813.4.6 专业服务保证51913.4.7 售后服务流程及时限51914 人员培训52014.1 HADOOP 系统培训52114.2 业务使用培训52214.3 分析挖掘培训52314.4 运行维护培训52514.5 开发培训52614.5.1 培训目标53014.5.2 培训方式53014.5.3 培训资源5311 项目概述1.1 建设背景1.1.1 集团已有基础经过十几年的信息化建设，集团已经积累了覆盖邮务、速递物流、金融三大板块的海量生产和经营数据，这些数据分布在集团各类应用系统和数据库中，支撑着集团业务的发展。集团初步搭建了由名址系统、量收系统、速递平台系统、数据分析平台组成的初步的数据仓库，为数据分析挖掘工作打下了一定的技术基础。组建了专业的组织架构促进企业数据管理与应用的规范化与制度化。集团已成立数据中心，集团数据中心和各省的数据分析团队已经进行了多个专题的数据分析与成果应用的尝试。1.1.2 痛点及需提升的能力集团拥有丰富的客户资源，海量的数据积累。在大数据时代，要充分挖掘数据价值，跟上时代的步伐。板块间数据存在壁垒，共享不足，无法实现集团企业数据的充分有效利用。数据存在冗余、分散、安全性差、一致性差等问题，应建立有效的数据管控体系， 打破信息孤岛、实现企业信息数据共享、提升数据价