企业大数据平台解决方案.pptx

企业大数据平台解决方案.pptx

《企业大数据平台解决方案.pptx》由会员分享，可在线阅读，更多相关《企业大数据平台解决方案.pptx（29页珍藏版）》请在冰豆网上搜索。

,企业大数据技术平台介绍,1,企业大数据平台架构企业大数据平台能力,2,元数据管理,运行/监控/管理,企业大数据平台整体定位,应,分,析层模型构建层,数据处理层,业务主题分析,行业数据云,财务，供应链人力资源、CRMOLAP模型,企业对标管理诊断模型配置工具,财务、供应链,回归、决策树因子、维度配置,企业内外部数据ERPCRM企业外部数据,格式化数据非格式化数据,展现端,浏览器/IE,移动终端,ERP与嵌入式分析,分析报告,企业AE数据处企理平台业大数企据业UD平H（H台adoop）分布式存储、实时、并行计算数据集成管理平台,精准营销,智能生产数据挖掘模型,舆行情分业析数据云,大数大据数据应应用用方,需求案预测,用BQ8应用套件,1,企业大数据平台架构企业大数据平台能力,2,企业大数据平台能力,统一数据管理能力统一元数据管理功能,统一主数据管理功能,集成的数据质量管理功能集成的数据安全管理功能,全面数据集成能力支持多种数据库数据集成支持实时增量式数据集成支持海量结构化或非结构化数据集成,海量数据存储能力列式数据库：

采用列式存储、自适应压缩、水平分区、智能索引、并行处理等技术，存储空间比传统存储压缩10倍以上分布式存储：

实现PB级别结构化和非结构化数据存储,全面的数据计算能力多维分析:

大规模结构化数据的即时分析分布式计算:

海量结构化或非结构化分布式数据计算能力数据挖掘：

传统数据挖掘算法流计算：

信息流处理连续计算,丰富数据可视化展现能力支持丰富的仪表盘、多维分析展现。

支持中国式报表、智能报告展现。

支持嵌入式分析。

支持多移动分析展现。

云数据服务能力提供企业外部数据的获取通道，以及分析的云服务能力提供私有、公有以及混合数据部署,1、全面数据集成能力,AE-DI数据集成6+支持6种以上数据库源作为数据集成：

Oracle、SQLServer、DB2、GBASE、MySQL、.,20AE-DI预制20个不同类型的数据集成转换器，可视化拖拽设计；转换器大类包括：

通用，邮件，条件，脚本，批量加载，XML，应用，文件传输等类型,实C时D增C量实式时数据集成5000实时集成可支持5000个在线用户产生的业务数据集成延迟小于1秒,海量异构数据集成PB级支持海量结构化数据（10T以上）集成支持海量半结构化数据抽取和加载支持非结构化文件抽取和上传，例如：

（音频，视频，图片）,AE（AccelerationEngine）DI（DataIntegration）,CDC（ChangeDataCapture）,1PB=1024TB,1、全面数据集成能力

（1）AE-DI数据集成,数据集成,可视化设计拖拽设计模式支持多源、异构数据集成可集成模型元数据，提高数据集成规则设计效率支持丰富转换器支持数据校验和错误数据处理支持任务统一调度、监控管理数据集成产品AE-DI,1、全面数据集成能力

（2）实时数据集成,实时数据集成集成实时集成组件具备实时数据采集、处理，整合能力具备实时分析能力实时数据集成产品CDC,.,高性能数据引擎,AEDI,财务,供应链,AEDI,CDC,BQ展现端,BQ模型,Dashboard/Analysis/Reports,权限,1、全面数据集成能力（3）海量异构数据集成,企业管理,安装配置,数据集成接口,oZ,ek,pe,re,系统监控,用户授权,安全审计,预警日志,HadoopSQLinHadoop,HuePig,O,zo,ei,HIVE,MapReduce,YARN,HDFS,HBASE,HBaseHadoop,MapReduce,Pig,Mahout,Hive,HDFS,ExternalDatastores,RelationalDatabases,DocumentBasedSystems,EnterpriseDataWarehouse,UDH集成,UDH集成,企业UDH平台，基于Hadoop进行了优化；,可进行Hadoop和关系数据库的集成转换，数量级达到PB级；对于结构化、半结构化和非结构化的数据，按照统一的数据规范进行整合；,2、海量数据存储能力,结构化数据列式存储10存储引擎比传统快10倍以上，分析场景下实现50倍性能提升，3-20倍的存储压缩比。

实海时量增数量据式分数布据式集存成储PB级PB级结构化数据和非结构化数据存储：

通过UDH平台Hadoop分布式架构实现海量结构化数据，半结构化数据、非结构化数据存储。

2、海量数据存储能力

（1）结构化数据列式存储,0,5,10,15,20,25,30,35,40,45,AE平台,原来模式,4.05,43.83,0,2000,4000,6000,8000,10000,12000,AE平台,原来模式,1719,10893,存储空间对比（M）,响应时间对比（S）,基于智能聚合提供大规模数据的多维分析能力结合列存数据库的技术能力可实现最高50倍的分析场景性能提升,AEOLAP,MOLAP,ROLAP,数据规模与并发性能,分析操作响应速度低,高,高,关系数据库,聚合,分析立方体,采用列存、自适应压缩、水平分区、智能索引、并行处理等技术，存储空间比传统存储压缩10倍以上与传统数据处理方式的比较,2、海量数据存储能力

（2）海量数据分布式存储,列式数据仓库,AE-DW,OLTP,FS,UDH,HBASE,HUE交互式工作台,Impala,HIVE,HDFS,AE引擎,查询引擎,OLAP引擎,挖掘引擎,展现层,BQ,BO,其它工具,视屏,音频,PB级大规模数据存储能力支持Hadoop、大规模MPP集群。

可支持,PB级结构化数据PB级非结构化数据可支持结构化和非结构化数据的统一的存储、管理和分析,AE-DI（小于5T）业务系统,AE-DI（大于5T）数据加载或半结构化数据或非结构化数据,3、全面的数据计算能力,*5572=3.00865E+18即时分析响应时间小于3秒。

多维分析3业务数据5TB，事实表：

10亿条记录、客户维50万、时间维60001048410080*515026,实时增数量据式挖数掘据集成6+数据挖掘平台预制6种以上的算法，包括：

移动平均算法、指数平均算法、加权平均算法、聚类分析算法，自回归整合移动平均算法等,分布式计算30基于Hadoop平台的UDH产品对海量结构化数据和非结构化数据进行分布式计算，同时配合Hadoop平台Impala组件，这样能使性能提升30倍；,3、全面的数据计算能力,上传数据到HDFSMapReduce程序,准备数据启用（应用）拓扑,问题定义数据预处理,多维立方体单元处理层,立方体单元执行返回,模型解析、维度解析,聚合处理,数据装载,molap,Rolap结合实时集成可实时分析,（应用）拓扑,消息处理任务1任务2任务3,流元元元组组组,消息源任务1任务2,消息处理任务1,消息处理任务1,一个应用拓扑启动后会源源不断的执行，直到停止它,学习建模,模型发布,挖掘处理,传统算法引擎,数据预处理,分布式算法引擎,数据块1,数据块2数据块3,数据块4数据块5,Map（）,Map（）Map（）,Map（）Map（）,Reduce（）,Reduce（）,Reduce（）,结果,结果,结果,先装载数据基于磁盘高吞吐量,低延时基于内存实时处理数据,多维分析大规模结构化数据即时分析,数据挖掘传统数据挖掘分布式数据挖掘,分布式计算大规模非结构化数据高吞吐量非实时基于磁盘,流计算信息流处理连续计算实时处理低延时基于内存,平台即可满足企业传统在线分析和数据挖掘需求，也满足企业大规模批处理和流数据处理等新的数据处理需求。

良好的层次化、组件化设计架构不仅可满足企业端到端的数据处理场景，也可满足涵盖各种模式的统一的数据计算能力。

支持全面数据计算能力产品包括AE处理平台，UDH大数据处理平台。

3、全面的数据计算能力

（1）多维分析,AEOLAP,MOLAP,ROLAP,分析操作响应速度,数据规模与并发性能,低,高,高,DB,聚合,内存立方体,多维分析引擎，提供了大规模数据和高并发用户分析能力。

基于内存分析、智能聚合技术，在提供高扩展性的同时提供高性能,平滑数据库访问，减小数据库压力，提高处理效,率，缩短响应时间。

智能聚合：

最大化降低数据访问运算处理，提高聚合运算效率,业务数据5TB，事实表：

10亿条记录、客户维50,万、时间维6000,1048410080*515026*,5572=3.00865E+18。

即时分析响应时间小于3秒内存分析：

提高分析效率，降低分析操作响应时间。

3、全面的数据计算能力

（2）数据挖掘,数据挖掘架构,基于开源R平台，有非常丰富的算法支持，算法的更新推出速度快预置丰富的算法和模型，降低客户实施数据挖掘的难度高性价比，大幅降低数据挖掘项目的实施成本，使大多数企业都用上数据挖掘,客户端工具,服务器端,数据预处理,训练建模,模型发布,模型库,RSERVER,R算法包,结果展现仪表板,查询,报表,报告,多维,R算法包,展现调用接口,3、全面的数据计算能力（3）分布式计算,数据处理,数据采集,非结构化处理平台UDH（UAPDistributionforHadoop）IMPALASPARKPig,数据采集接口,HBASE,HIVE,结构化数据处理平台AE（AccelerationEngine）仓库建模元数据管理数据质量,ODSDW列式分析型数据库,DMMPP数据库集群,流处理接口,流处理接口,主数据,ETL,Web,移动,流媒体传感器,CRMPLMSCMEAM,HDFS,MapReduce,NOSQL,连接器,4、统一数据管理能力,为企业提供一整套用于生成和维护企业主数据的规范、技术和方案，从企业的多个业务系统中整合最核心的、最需要共享的数据，集中进行数据的清洗和丰富，有效地解决了在各应用系统中流转数据的一致性问题，从而提高了集成服务的质量。

统一数据质量管理,统一数据质量管理体系分为5步聚：

监控，检查，报告，处理，总结；企业数据质量，是企业进行一切数据处理、使用以及分析的基础，没有高质量的数据作为企业信息建设基础，企业一切的信息建设成果都将成为泡影。

统一元数据管理,统一元数据管理，覆盖业务元数据，分析元数据；其中分析元数据主要包括：

源系统表元数据，DI过程元数据，数据仓库模型元数据，语义模型元数据，多维模型元数据，分析报表元数据；,实时统增一量主式数数据据管集理成,4、企业级的统一数据管理能力,基于元数据技术，结合元数据管理、主数据管理产品，平台可提供以企业数据标准为准则，在数据管理分析的各个阶段进行质量和安全控制的系统解决方案，从而使企业和组织实现从数据管理到数据治理的跨跃。

范,理,理,4、统一数据管理能力统一元数据管理,ERP系统元数据,CRM系统元数据,业务元数据,分析元数据,统一元数据管理,统一元数据,统一元数据管理，为企业/组织数据治理提供技术基础数据可追溯，数据处理更透明、可靠、可信标准规范的元数据存取、血缘分析、影响分析服务简化IT运维复杂性，提高效率：

升级改造、问题分析定位简化应用开发：

复杂业务处理支撑，系统架构优化为产业链机制提供基础支持,数据分析系统典型层次,源系统数据模型,DI过程DI过程定义信息,数据仓库数据模型,语义模型,多维模型,即席查询报表多维分析仪表板,相关元数据表,字段1字段2,DI过程,任务转换,仓库模型,主题域表字段,语义模型,语义表语义视图,立方体,维度1维度2度量,报表,元素1元素2数据源,4、统一数据管理能力统一主数据管理,企业主数据是用来描述企业核心业务实体的数据，它是具有高业务价值的、可以在企