数据开放共享平台解决方案-数据共享平台.pptx

数据开放共享平台解决方案-数据共享平台.pptx

《数据开放共享平台解决方案-数据共享平台.pptx》由会员分享，可在线阅读，更多相关《数据开放共享平台解决方案-数据共享平台.pptx（30页珍藏版）》请在冰豆网上搜索。

,数据开放共享解决方案,2009-2016BAIFENDIANCORPORATIONALLRIGHTSRESERVED.,1,目录页CONTENTPAGE,2,P1,P2,P3,P4,背景,解决方案,核心技术,行业案例,大数据的未来在于数据开放共享,3,数据开放与共享是大数据竞争战略核心,21世纪，互联网、移动互联网、3D打印、人工智能正如摩尔定律所言，人类的科技革新发展迅速，其中大数据的发展潜力最被看好。

大数据的概念非常火爆，但少有人真正理解大数据的核心内容，一个普遍而且严重的误解就是：

大数据=数据大，即大数据就是量大的数据。

但实际上，大数据的核心在于数据的交叉与流动，即数据的开放与共享。

数据开放共享基础设施建设完善,4,数据安全保障制度全面,政府政策推动2015年国务院发布促进大数据发展行动纲要，其核心就是推动数据资源开放共享。

2017数据资源共享共用格局基本形成。

2018年实现数据统一共享交换平台的全覆盖。

2020年逐步实现数据集向社会开放。

数据资产管理平台建设完善各单位企业数据资产管理平台已逐步建设形成，用于解决企业内部存在的信息孤岛问题，实现数据的互联互通。

有效推动数据开放共享脚步。

国务院促进大数据发展行动纲要明确落实信息安全保护，风险评估等网络安全制度。

建立健全大数据安全保障体系,强化大数据安全支撑,采用安全可信产品和服务,提升基础设施关键设备安全可靠水平。

数据开放共享建设面临的问题,5,数据提供者,用多久？

如何对外提供？

安全吗？

用途是什么？

需要什么数据？

谁需要？

我有什么数据？

数据使用者,要什么数据？

问谁要？

不会开放共享缺技术，缺人才不愿开放共享数据无法再利用、产生价值不敢开放共享数据安全及隐私无保障缺乏总体规划，未建立数据共享机制缺乏统一标准信息系统间自成体系，相互割裂，存在大量信息孤岛数据质量无法保证不同数据混合存储，数据分析复杂度高,数据在哪个,系统？

能提供么,能用多长时间？

如何获取？

解决手段,6,总体统筹规划,打破系统间数据壁垒,统一数据标准,以全量数据为范畴,开放共享平台,服务精细化碎片化,一站式商业运营挖掘数据深度价值,标准流程应用,可视化应用配置,全栈安全保障数据服务用户安全全管控,目录页CONTENTPAGE,7,P1,P2,P3,P4,背景,解决方案,核心技术,行业案例,数据开放共享解决方案,8,一方数据,二方数据,三方数据,相对较低,相对较高,高,数据价值,数据应用,数据交换,数据加工,数据接入,数据服务应用,数据开放共享平台数据服务运营,数据资源目录,数据服务化,大数据资产管理平台-（BD-OS）数据接入数据接入,数据开放共享平台功能架构,9,身份认证,权限认证,应用,开发者平台,门户,商品列表,KHan,MongoDB,HBase,ES,Hive,MySQL,数据源,数据选定,主题创建,数据网关在线调试,API文档,流量控制日志审计协议（HTTP/WebSocket）,API路由监控告警数据结构（JSON/CSV/XML）,API发布,API执行,API开放,API调用,商品管理,使用统计,账单管理,血缘分析,影响分析,API监控,服务监控,目录发布,目录导航,数据商城,定价系统,商品搜索,支付系统管理,商品发布/下架,用户认证,用户授权,API日志审计,用户日志审计,提供页面调试工具,数据开放共享平台,数据开放共享平台,数据开放共享平台,数据开放共享平台-API生命周期管理,数据开放共享平台,自动生成API文档，大大降低人力成本,数据开放共享平台,创建,生成,运行,发布,监控,API生命周期管理,10,数据开放共享平台-API托管服务,11,API,提供全面、可靠的一站式API托管服务，企业既是API提供者，又是API的消费者；将企业内部已有的服务或外部第三方服务接入平台，建立企业的API生态；拥抱API经济，助力企业通过API粘合更多合作伙伴。

数据开放共享平台,第三方服务接入,天气预报,股票行情,车型大全,合作商,用户,企业,合作伙伴,应用,12,SDK,API服务,JavaWeb,逻辑处理,流程,获取API逻辑,规则引擎执行API逻辑,按需调用函数,推送,数据库,MySQL,MongoDB,HBase,其他,Codis,变更推送,定时任务,CDC,监控数据变化,RPC,定期,计算,RPC,订阅/推送WebSocket/TCP/UDP,订阅推送,数据应用,数据开放共享平台,分业务主题的订阅/推送模式。

对用户设置标签分组，用户群组一键推送。

通过API或Web推送的历史过程全纪录，问题可追溯。

数据开放共享平台-数据推送,数据开放共享平台-数据资源目录,13,数据资源目录,综合应用（数据商城、统一数据门户）,主题1,主题2,主题n,标准规范体系,数据资源目录管理内容,元数据库,基础数据库专业数据库,数据库,系统,目录注册,目录导航,元数据管理,权限管理,目录发布,目录检索,计费管理,计费设置,账单管理数据开放共享平台,数据开放共享平台,数据开放共享平台,使用统计,包流量，频次，包月，包年，按需灵活设置细化到单个用户的计费方式定制个性化定制折扣优惠,实时统计用户账单，及时预警用户余额不足按金额，使用流量或次数多方式排序,多维度TOP10排名图表展示统计结果，清晰明了,数据开放共享平台-计费管理,14,影响分析,15,元数据管理,血缘分析,数据开放共享平台,审视数据关系溯源数据错误预测改动影响,完整细致的描绘源数据、表、API和函数的关系分业务主题场景的血缘分析,全面描述数据的背景、内容、数据结构及其生命周期管理包括业务元数据和技术元数据,数据开放共享平台,数据开放共享平台,数据开放共享平台-元数据管理,数据开放共享平台-运维监控,16,用户监控,服务监控,API监控,运维监控,API全过程可视化状态监控。

用户使用状态实时监控，清楚了解用户使用现状。

服务运行状况实时监控。

数据开放共享平台,数据开放共享平台,数据开放共享平台,数据商城,17,账单管理,定价系统,订购清单,商品管理,商品列表,数据商城,数据开放共享平台,商品展示、查询、试用，购买,商品上架、下架等,管理用户使用商品的计费情况数据开放共享平台,用户订购商品清单数据商城,出售的商品进行事前定价数据开放共享平台,数据开放共享平台-数据商城,数据开放共享平台-安全中心,用户日志,服务日志,API日志,18,数据安全,访问安全,安全审计,数据开放共享平台,数据开放共享平台,数据开放共享平台,数据开放共享平台,数据开放共享平台,数据开放共享平台,用户管理,身份认证,权限认证,数据开放共享平台,多租户管理,数据开放共享平台,数据加密解密,开放数据审批,数据开放共享平台,安全保障,目录页CONTENTPAGE,19,P1,P2,P3,P4,背景,解决方案,核心技术,行业案例,关键技术Netflix微服务架构体系,20,基于微服务的架构模式，建立松耦合高内聚的单体服务。

zuul网关,服务发现EUREKA,ServiceC,ServiceB,ServiceA,ServiceC,ServiceB,ServiceA,ServiceC,ServiceB,ServiceA,配置中心ConfigService,GIT,消息中间件RabbitMQ,Turbine,HystrixDashboard,SpringCloudDashboard,用户请求,服务间松散耦合，服务自治，支持持续化交付部署。

每个服务可以独立扩展。

1,2,3,关键技术分布式任务调度,任务调度器触发器,触发器：

用于定义任务调度时间规则,任务实例,日历,JobDataMap,线程池,JobDataMap,JobDataMap,JobDataMap,JobDataMap,JobDataMap,任务运行环境,1,完全基于Java实现。

2,强大的调度功能，支持丰富多样的调度方法，可以满足各种常规及特殊需求。

3,灵活的应用方式，支持任务和调度的多种组合方式，支持调度数据的多种存储方式。

4,分布式和集群能力。

很容易与Spring集成实现灵活可配置的调度功能。

5,关键技术HARPC消息通信,22,自主研发并开源，为实现服务之间高效通信、统一管理服务。

具备高性能、可视化及轻量级等特性。

2,支持跨语言Java、Python和C+的开发者使用。

高可用的RPC框架。

3,4,RPC方案,跨语言高可用高性能可视化轻量级,Thrift,Avro,Hessian,业内方案Dubbo,Dubbox,Ice,HARPC,Thrift,5,可实现API数据实时更新、系统间跨语言脚本等功能。

关键技术流量控制,23,大规模的API请求,大规模的用户请求,流量控制,API流量控制,用户流量控制,流量控制粒度,分钟,小时,天,稳定的后端服务,流量控制的目的是为了保证后端服务的稳定。

后端服务不至于被瞬间增长的流量挤爆服务而使得服务挂掉。

关键技术实时访问数据统计,24,利用Spark进行实时计算统计。

1,通过Logstash实现日志的收集管理。

2,通过高吞吐的分布式订阅消息系统kafka集群提供实时的消费。

3,网关访问日志,网关访问日志,网关访问日志,kafka集群,kafka集群,kafka集群,Spark实时统计,logstash日志收集,logstash日志收集,logstash日志收集,KHan,MYSQL.,数据开放共享平台优势特性,25,开放性-打破信息孤岛和数据壁垒高度兼容各种系统以及Word等各种文档数据，提供标准数据接口，打通数据传输通道。

安全性-全方位的安全保障通过用户认证，权限认证，数据加密等多种技术全方位保障数据安全和运行环境安全。

标准性-建立数据规范屏蔽不同系统间的差异性，对系统间接口进行规范统一，用标准化的接口实现系统集成。

易用性-良好的界面体验全Web界面的在线操作提供丰富的可视化组件,屏蔽技术门槛，降低学习成本。

审计性-实时平台监管实时监控API生命周期，服务运行情况，用户行为等，保障数据供销的稳定可靠、数据流通的有据可查。

适配性-兼容各种数据需求提供各种配置功能，满足不同用户对存储，接口，并发，缓存等个性化需求。

目录页CONTENTPAGE,26,P1,P2,P3,P4,背景,解决方案,核心技术,行业案例,按深股，基金，债券等分类，提供数据开放目录提供高性能、高可用的数据服务支持高并发的数据接口访问支持个性化订阅，及时推送行情等数据资讯用户个人管家，数据使用情况，账户余额，账单详情一目了然,27,目标通过给金融机构或上市公司等提供行情类和基础的公告资讯数据，帮助公司进一步扩展用户范围，拓展数据业务收入,实现数据资产变现,解决方案,案例证券信息交易所大数据交易平台,价值展示,数据流量统计,数据开放目录,数据预览,消费账单,创客数据管理平台,28,服务平台,数据商城,数据采集,数据应用发布,数据应用消费,行业云22个,50PB,1000+,创客,案例-某政府大数据创业孵化平台解决方案,数据生产,案例-某地产多业态数据资源共享平台解决方案,29,目标在全集团内建立标准的大数据流程和体系，建立客户统一视图，提供大数据平台和系统支持，并通过数据接口服务的方式对接各业态应用，以提升数据的整体运营能力以及各业态的经营销售效率。

解决方案搭建集团层面的多业态数据资源共享平台，统一接入并存储多方数据；构建基于集团的统一大数据体系标准；面向集团领导的领导驾驶舱展现；,通过数据接口服务的方式对接各业态的应用系统，为各业态的营销应用场景提供数据服务支撑；对内、对外的数据运营管理。

集团生态,谢谢！

30,