开源力量公开课第二十六期大数据的实时分析与应用案例分享图.docx-资源下载

开源力量公开课第二十六期大数据的实时分析与应用案例分享图.docx

1、开源力量公开课第二十六期大数据的实时分析与应用案例分享图开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课大数据的实时分析与应用案例分享YunTable大数据实时分析数据库介绍开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课来自麦肯锡的报告,未来的10年里,数据和内容将增长44倍,并且这些数据有无法估量的价值;出现很多以数据为资产的行业,数据本身和数据相关的分析能力决定了整个公司的核心竞争力。比如互联网广告,金融机构,大数据实时分析工具对他们而言,就等同于竞争武器,快或慢一秒钟,往往就意味着财富的得与失;

2、关于各种数据的创新想法层出不穷,Google,关联关系等;开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课More Findings(更多的发现,比如说,一家快消公司现在不仅可以获得具体销售数据来判断产品的走势,而且可以抓取网页来进行舆情方面的分析,来帮助他们进行决策,比如,一个男性护肤品公司在通过分析网页,从而产生的舆情信息来判断在亚洲杯投广告比在世界杯投广告更合适。Deep Insights(更深入的挖掘,比如说,另一家快消公司,现在不仅能获知那些人是他们的顾客,而且能获取更多关于这些顾客的信息,比如,年龄,性别,工资和所在地等,从而能对客户进

3、行画像,从而能发展更多同类型的客户或者其他相关类似的客户;Priceless Results(无价的结果,我们有一个客户,他们是做车联网,他们有几十万台终端,这些终端每隔一段时间会发具体位置的消息给后端的数据集群,之后这些集群会分析一下这些海量的位置信息,最终分析出那些路段在什么时候比较堵,之后将这些非常有价值信息推送给客户,帮助用户减少在路上的受消耗的时间,假如北京所有司机都能使用这种服务,我觉得天下第一堵将不再是帝都的专利;开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课大数据需求新兴行业业务传统新兴传统快例如电信账单分拣:从两周到一天大例如智

4、能电网:一个业务系统每天20亿条记录快阿里巴巴:从商品销售到保险信贷转型大快社交网络电商实时数据挖掘,广告跟踪部署简单服务质量提升终端数量激增竞争格局改变数据分析决定竞争力开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课第一个阶段:自身业务需求产生大量数据,利用这些数据,通过深入证析,优化相关业务;第二个阶段:搜集与目标业务直接或间接关联的大量异质数据,建立复杂的分析和预测模型,产生针对目标业务的输出;第三个阶段:随着整体数据相关的法律不断补充,以及技术不断成熟,形成一个完善的数据生态,包括数据市场,数据运营商和数据商店等。开源力量 | 让我们一起

5、向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课第一个阶段:先将大量数据先存下来,并做初步和简单的处理和分析;第二个阶段:对大数据,实时处理和分析的趋势非常明显,用户越快越好,越实时越好;第三个阶段:用户会有更多全面数据分析需求,包括SQL、挖掘算法,以及以Deep Learning为代表机器学习技术。开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课什么是大数据实时分析?就是在几秒或者一秒内完成对亿万级数据的处理和分析; 快:10秒以内,100毫秒为佳;大:数据应该是10亿/TB以上级别;分析操作多样:可以是简单的查询,也可以

7、开课大数据实时分析所需的技术支撑大数据秒级,甚至毫秒级的处理;上千人的并发访问;支持SQL标准,特别是OLAP相关的语句;数据的安全和集群的稳定型;开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课大数据实时分析的技术选型Hadoop系列:Hive,Impala;NoSQL类别:MongoDB,HBase;传统关系型数据库:Oracle,DB2,MySQL;传统列式数据库:Infobright,Sybase IQ;新一代基于内存计算的数据库?开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课技术选型的对比图

8、秒级处理并发SQL支持安全和稳定Hadoop No Depends Depends Yes NoSQL Yes Yes Depends DependsDepends Yes Yes Yes传统关系型数据库传统列式数据库Yes Depends Yes Depends?基于内存技术的新一代数据库开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课YunTableYunTable是在从分布式MPP数据库的基础上发展而来,同时加入一些NoSQL的基因的新一代用于大数据实时分析的分布式数据库,并且支持内存计算,比较接近SAP HANA,也可以认为是新一代的数据仓

10、开课并行处理:数据复制分布存储在不同的节点上并行处理内存本地化:把大数据量和计算量分散到不同处理器高可用性:任何节点宕机将不影响数据完整和业务连续性核心技术(一:并行处理数据源C1C2C3C4C1压缩C2压缩C3压缩C4压缩C1复制C2复制C3复制C4复制节点1节点2节点3开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课行分区保留数据关联列式数据组织高效的数据压缩快速的数据聚合独特的索引结构赵25男钱25男孙24男李30男周31女赵钱孙李周2525243031男男男男女内存地址行式的数据组织列式的数据组织赵25男钱25男孙24男李30男周31女数据

11、源原始结构映射到内存核心技术(二:行列混合存储开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课核心技术(三:高效压缩多种无损压缩算法;加上前面的列式数据组织,整体压缩率高达720倍以上开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课核心技术(四:内存计算硬件性能的提升64 位地址空间单台服务器内存容量可达 2 TB 100 GB / 秒数据吞吐量价格迅速下降,性能迅速提升多核架构(每块CPU 8CoreX86服务器成本较低可采用多服务器或多刀片大规模并行扩展行列混合存储极高的压缩效率YunTable

12、的软件技术创新数据分片高效索引增量插入硬件性能提升结合YunTable 软件技术创新,使原来通过大量磁盘读写处理的海量数据,可以在服务器的主内存中实时处理,提供实时统计分析结果!开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课出色的性能因为经过强大的数据压缩,使的数据规模小很多,大都会在内存中。开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课场景一:互联网主要业务应用:电商交易分析,社交网络,位置信息服务,广告交易、跟踪分析等典型用户:互联网广告投放效果实时监测场景:广告投放效果实时分析数据规模:

14、G 内存 Dell 服务器数据场景:2.3 亿条互联网用户访问记录数据开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课场景二:物联网与智能电网主要业务应用:海量数据终端信息采集与用户行为分析典型应用场景:智能电网用电信息采集(子系统Internet Internet 数据采集服务器集群传感网络YunTable实时分析数据库实时数据RTDBETL工具SQL (ODBC/JDBCSG168ERP 计费系统采集业务无线采集器数据集中器开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课商业试验的案例-国家电网20

16、vel2实时行情源Level2实时行情源量化交易执行系统CEP 引擎( Apama,Sybase Aleri行情计算服务日内K 线计算分钟RSI 计算计算平台计算接口量化交易策略行情数据中心分析数据历史行情数据YunTable数据接收接口数据转换工具策略执行结果评估回测仿真快速交易系统成交回报推送系统模拟盘实盘交易所历史高频行情数据回放高频实时数据开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课证券POC具体性能表现(十亿条查询时间单日业务数据统计0.36秒单周业务数据统计0.58秒单月业务数据统计 1.25秒单日股票代码汇总分析 2.27秒单日多

17、列汇总分析 2.71秒单日账户汇总分析 4.43秒单月股票代码汇总分析 3.86秒单月多列汇总分析 5.09秒单月账户汇总分析8.12秒开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课场景四:电信运营商主要业务应用:BOSS/NGBOSS系统及各子系统典型应用场景:NGBOSS业务运营支撑系统及各子系统交换中心CSC业务管理YunTable运营数据存储与提供商业智能运营管理订单枢纽帐务枢纽客服枢纽鉴权枢纽决策支持YunTable分析数据服务、数据集市、数据仓库管理分析运营支持经营分析运营监控管理YunTable运营管理数据存储与服务收入保障人员管理

18、知识管理纵向管理流程调度业务流程调度管理统一产品目录管理统一业务资源管理全网结算数据集成支撑网网管交换节点PSN订单枢纽帐务枢纽客服枢纽鉴权枢纽网管数据枢纽中心数据信令传输网管业务枢纽网管枢纽节点数据NGBOSS统一接入门户开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课一、效率提升类应用应用场景举例:快速批价,快速出账,报表加速。EzTable能力展现度 : 用户效益评价 YunTable批价预处理/分拣/排重原始记录明细账单合帐高额控制高额报告数据分发要素统计报表开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上

19、线下同时开课二、大数据应用平台目前集团公司在广东、四川、重庆、安徽四省市开展试点。应用场景:配合Hadoop平台使用,用YunTable进行在线和实时分析,用Hadoop进行历史数据批量分析,提供从统计分析、数据挖掘与BI、数据可视化、业务应用开发等一系列PaaS服务。EzTable能力展现度 : 用户效益实时数据YunTableHadoop分析引擎,模型和算法统计报表历史数据SQL 、 APIAPI 在线实时分析离线批量分析开源力量 | 让我们一起向最牛的IT技术专家们学习!开源力量公开课 | 每周二线上线下同时开课电信应用举例(三三、用户行为分析及DPI应用应用场景举例:他网手机用户精准

邮箱/手机：
温馨提示：	快捷下载时，用户名和密码都是您填写的邮箱或者手机号，方便查询和重复下载（系统自动生成）。如填写123，账号就是123，密码也是123。
特别说明：	请自助下载，系统不会自动发送文件的哦；如果您已付费，想二次下载，请登录后访问：我的下载记录
支付方式：
验证码：	换一换

账号：
密码：
验证码：	换一换
当日自动登录忘记密码？