浪潮烟草数据中心介绍.ppt

浪潮烟草数据中心介绍.ppt

《浪潮烟草数据中心介绍.ppt》由会员分享，可在线阅读，更多相关《浪潮烟草数据中心介绍.ppt（49页珍藏版）》请在冰豆网上搜索。

2022/10/27Inspurgroup浪潮烟草数据中心介绍浪潮烟草数据中心介绍刘永祥刘永祥22022/10/27Inspurgroup内容内容数据中心架构数据中心架构数据中体系介绍数据中体系介绍系统简介系统简介题目题目32022/10/27Inspurgroup数据中心和数据中心和业务/管理系管理系统的区的区别？

业务、管理系统数据中心使用对象业务人员、普通管理人员领导层、高级管理、分析人员应用范围基于特定业务应用领域范围内的业务实现和信息集成，跨领域的信息无法集成。

可以处理跨部门、跨时间、跨业务、跨信息平台等复杂信息的集成问题；技术实现对简单的事务，短期、少量、实时数据请求提供高速响应对复杂的查询，集成的、历史的、大数据量的分析提供高速响应实现的功能日常业务操作处理；满足相对固定的报表及有限的业务分析需求。

提供灵活、直观的数据分析和信息展示；适应管理策略的调整对数据分析的需求变化及不断增长的查询和报表需求42022/10/27Inspurgroup方案概述国家局方案概述国家局实施意施意见两级数据中心、五个体系、三级用户52022/10/27Inspurgroup信息信息标准管理平台准管理平台62022/10/27Inspurgroup信息信息标准管理平台准管理平台国家局国家局行业信息分类行业信息分类及编码标准、及编码标准、数据元标准和数据元标准和数据交换标准数据交换标准由国家局统一由国家局统一制定、维护和制定、维护和发布。

发布。

省级公司省级公司省级单省级单位在国位在国家局规家局规范和信范和信息标准息标准库基础库基础上，对上，对需要由需要由企业统企业统一管理一管理的数据的数据元和编元和编码标准码标准进行维进行维护和发护和发布。

布。

地市公司地市公司如有需要，各如有需要，各基层单位也可基层单位也可在国家局和省在国家局和省级单位的的标级单位的的标准基础上，补准基础上，补充和扩展制定充和扩展制定适合本级单位适合本级单位的标准。

的标准。

制定和继承相应的信制定和继承相应的信息标准管理制度及操息标准管理制度及操作规范作规范确定数据使确定数据使用标准用标准建立信息维建立信息维护标准护标准建立信息标准管建立信息标准管理平台理平台统一维护和分发统一维护和分发信息信息7信息信息标准管理平台准管理平台规范规范数据数据装载装载转换转换校验校验清洗清洗数据元标准数据元标准信息分类和编信息分类和编码标准码标准数据交换标准数据交换标准信息资源信息资源标准管理标准管理平台平台信息标准业务数据数据仓库数据仓库业务系统业务系统业务系统业务系统新系统新系统信息维护库信息发布库标准格式规则数据交换与服数据交换与服务平台务平台82022/10/27Inspurgroup数据集成与交数据集成与交换平台平台抽取抽取转换转换装载装载92022/10/27Inspurgroup数据交数据交换过程数据源分析程数据源分析数据源分析策略主要有：

数据源确认：

确认数据的源系统（或文件）和结构、目标系统及结构数据采集方法：

针对每个数据源，定义抽取过程是人工抽取、自动触发、还是基于工具抽取；数据采集方式：

联机采集；对于关系型数据源，并且允许直接访问的，采用直接连接数据源读取的采集机制；中间表方式：

对于关系型数据源，能够联机，但不允许直接访问的，可以考虑采用中间表方式采集，即业务系统将需要提供的数据拷贝到中间表中，然后从中间表采集数据；数据离线导入：

对于不能联机访问的，可以采用数据离线导入的方式，即业务系统将数据定时导出（比如excel格式），然后采集系统根据这些文件进行离线导入；人工填报：

对于原来没有计算机系统，只有纸介质数据的，可以采用人工填报审核方式采集；采集频率：

对于每个数据源，确定数据抽取的频率，每天、每星期、每季度，等等；工作顺序：

决定抽取任务中某项工作是否必须等到前面的工作成功完成，才能开始；异常处理：

决定如何处理无法抽取的输入纪录。

102022/10/27Inspurgroup数据交数据交换过程数据程数据传输数据传输方式数据传输方式卷烟销售数据卷烟销售数据卷烟购进数据卷烟购进数据卷烟库存数据卷烟库存数据烟叶收购数据烟叶收购数据烟叶库存数据烟叶库存数据烟叶调拨数据烟叶调拨数据许可证发放数据许可证发放数据案件结案数据案件结案数据省内省内ETL日日采集数据采集数据卷烟数据卷烟数据供应商数据供应商数据卷烟价格卷烟价格组织机构数据组织机构数据零售户数据零售户数据坐席员数据坐席员数据送货员数据送货员数据稽查员数据稽查员数据客户经理数据客户经理数据财务数据财务数据烟叶基础数据烟叶基础数据省内省内ETL日更新数据日更新数据卷烟交易基础数据卷烟交易基础数据卷烟交易协议数据卷烟交易协议数据卷烟交易合同数据卷烟交易合同数据烟叶购销合同烟叶购销合同烟叶加工合同烟叶加工合同工商协同信息工商协同信息准运证信息准运证信息（国家局信息服务平台）（国家局信息服务平台）webservice即时同步数据即时同步数据销售计划销售计划采购计划采购计划信息分类标准信息分类标准绩效考核标准绩效考核标准社会经济基础数据社会经济基础数据行业经济运行数据行业经济运行数据工业产工业产/存存/价格价格工业销售工业销售/价格价格/客户客户工业销售合同数据工业销售合同数据销售合同执行情况销售合同执行情况辅料、原料消耗数量辅料、原料消耗数量外部填报外部填报/导入导入FTP/Excel一号工程上报数据一号工程上报数据打码到条数据打码到条数据非格式化上报数据非格式化上报数据MQ异步传输异步传输112022/10/27Inspurgroup一般存在三种类型的数据装载：

初始装载：

第一次对所有的数据仓库表进行迁移；增量装载：

根据需要定期装载应用运行过程中发生的变化；完全刷新：

完全刷新是指完全刷新一个或多个表的内容，并重新装载新的数据。

在装载过程中，一般会用到四种方式：

装载：

如果要装载的目标表已经存在，而且也有数据存在于表中，装载过程就会抹去已有的数据，应用输入文件中新的数据。

如果装载的目标是个空表，就直接应用来自输入文件的数据。

追加：

若表中已经存在数据，追加过程会无条件地增加输入数据，并在目标表中保存已有的数据。

当存在记录重复情况时，需要定义如何处理重复的输入数据的记录副本（可以作为副本增加进去，也可以将其丢弃）。

破坏性合并：

如果输入数据记录的主键与已有记录互相匹配，就对匹配的目标记录进行更新，如果没有匹配的目标纪录，就将输入记录添加入目标表。

建设性合并：

如果数据记录的主键与已有记录匹配，就保留已有记录，加入输入的记录，并将增加的记录标记为旧记录的替代。

抽取过程示例数据交数据交换过程数据装程数据装载12数据数据仓库层次次结构构2022/10/27Inspurgroup数据源SourceModel（包括信息资源标准库）ODSModelDataWareHouseModelStarSchemaModelDataMiningModelReportModelExternalModelOLAPCube元数据元数据MetaDataModelDWDW层层层层TDODSADAD展现层展现层132022/10/27Inspurgroup星形模型星形模型面向需求，采用星型模式建模14OLAPOLAP数据数据组织形式形式2022/10/27InspurgroupRDB数据组织数据组织MDDB数据组织数据组织产品名称产品名称地区地区销售量销售量红塔山红塔山公司公司150红塔山红塔山西北西北60红塔山红塔山华北华北100红河红河东北东北40红河红河西北西北70红河红河华北华北80云烟云烟东北东北90云烟云烟西北西北120云烟云烟华北华北140东北东北西北西北华北华北冰箱冰箱5060100彩电彩电407080空调空调90120140152022/10/27Inspurgroup对以多维形式组织起来的数据，采取切片、切块、旋转等各种分析动作，以求剖析数据，使最终用户能从多个角度、多侧面地观察数据库中的数据

（1）快速性:

用户对OLAP的快速反应能力有很高的要求。

（2）可分析性:

OLAP系统能处理与应用有关的逻辑分析和统计分析。

（3）多维性:

多维性是OLAP的关键属性。

提供对数据的多维视图和分析。

（4）信息性:

不论数据量有多大，也不管数据存储在何处，OLAP系统能及时获得信息，并且管理大容量信息。

公司1999897红塔山红河云烟9897公司2公司3OLAP分析分析162022/10/27InspurgroupOLAP分析分析1.切片和切块（SliceandDice）在多维数据结构中,按二维进行切片,按三维进行切块,可得到所需要的数据。

如在“城市、产品、时间”三维立方体中进行切块和切片,可得到各城市、各产品的销售情况。

172022/10/27InspurgroupOLAP分析分析2.钻取（Drill）改变维的层次达到分析效果。

按按时时间间维维向向下下钻钻取取按按时时间间维维向向上上钻钻取取60182022/10/27InspurgroupOLAP分析分析3.旋转（Rotate）/转轴（Pivot）通过旋转可以得到不同视角的数据。

19数据数据应用平台分析主用平台分析主题主题分析主题分析经济经济运行运行分析分析品牌品牌分析分析市场市场分析分析供应供应链分链分析析供应供应商分商分析析客户客户分析分析专卖专卖分析分析烟叶烟叶分析分析财务财务分析分析人力人力资源资源分析分析202022/10/27Inspurgroup数据数据应用功能用功能多维分析多维分析支持上钻、下钻、切片、切块、钻取、旋转等支持上钻、下钻、切片、切块、钻取、旋转等OLAP分析方式，支持任意级别、任意角度、任分析方式，支持任意级别、任意角度、任意范围的分析；意范围的分析；支持快速、多指标的汇总、同比、环比、累计计算支持快速、多指标的汇总、同比、环比、累计计算报表设计报表设计支持各种复杂的、固定格式报表；支持各种复杂的、固定格式报表；支持可视化、拖拽方式的灵活报表的自行定制，并可根据模板实现快速定制，以满足日益增支持可视化、拖拽方式的灵活报表的自行定制，并可根据模板实现快速定制，以满足日益增长的报表需求；长的报表需求；即席查询即席查询支持可选条件、自定义条件等方式的查询操作，可实现所见即所得的查询，查询结果可进行支持可选条件、自定义条件等方式的查询操作，可实现所见即所得的查询，查询结果可进行排序、生成报表、预览和打印；排序、生成报表、预览和打印；信息发布信息发布提供电子地图、分析报告、仪表盘、雷达图、对比图、趋势图等多样的信息展示方式；提供电子地图、分析报告、仪表盘、雷达图、对比图、趋势图等多样的信息展示方式；图形展示结果可方便的另存为图形展示结果可方便的另存为Excel、PPT、PDF等方式进行二次修改；等方式进行二次修改；实现功能之间的导航功能，贴近思维习惯，方便使用者的操作；实现功能之间的导航功能，贴近思维习惯，方便使用者的操作；预警监控预警监控根据设置的相关预警规则，自动对相关数据给予告警，并可发送告警消息给相关人员；根据设置的相关预警规则，自动对相关数据给予告警，并可发送告警消息给相关人员；统计及挖掘模型统计及挖掘模型可提供多种统计及数据挖掘模型，帮助领导进行决策，如：

可提供多种统计及数据挖掘模型，帮助领导进行决策，如：

80/20分析、波士顿矩阵分析、分析、波士顿矩阵分析、SWOT分析、分析、ABC分类分析、多元回归分析、时间序列预测、聚类分析等。

分类分析、多元回归分析、时间序列预测、聚类分析等。

信息反馈信息反馈对分析中发现的问题可以以消息、邮件或短信的方式反馈给相关人员或部门，并可以附带相对分析中发现的问题可以以消息、邮件或短信的方式反馈给相关人员或部门，并可以附带相应的报告或报表，系统自动实现信息的转发，从而实现消息的及时跟踪和反馈；应的报告或报表，系统自动实现信息的转发，从而实现消息的及时跟踪和反馈；21分析型指标分析型指标业务型指标业务型指标领导层领导层经营管理层经营管理层执行层执行层业务分析人员业务分析人员管理管理驾驶驾驶舱舱