大数据智能分析解决方案介绍IBM优质PPT.pptx

1、但是许多经理却不能理解这些数据的意义.”,“越来越多的企业使用大众媒体去分析公众对产品的反馈，例如Facebook或Twitter,也有使用网站资源试着“了解客户，是什么让他们选择他们想要的东西”负责IBM预测分析项目的迪阿德瓦说。,“大数据已抵达Seton医疗保健家庭,幸运的是,通过使用这个分析工具,每年超过200万复杂病例的患者得到了帮助”,“数据是新型石油”未开采的石油，没有什么价值。加工及提炼后，将助力世界。,“现在，沃森 正投入到工作中，消化了数百万页的研究,结合最佳的临床实践和监测结果，以协助医生治疗癌症患者.”,奥斯卡情感测量 一种工具，是由洛杉矶时报、IBM和南加州大学安创新实

2、验室共同开发的 分析意见,“主要针对Twitter上共享的百万条奥斯卡奖项比赛的公共信息做出的分析意见.”,“数据是新型石油.”Clive Humby,大数据来自哪里？,每天有超过3亿活跃用户,每天有超过25 TB 日志数据,每天有 超过1亿 条消息,大数据的特点,综合分析覆盖面越来越宽的种类,应对日益增长的速度,有效地处理日益增长的数量,建立大数据来源的真实性,三分之一商界领袖感到无法信任那些帮助他们做决策的信息,50 x,35 ZB,2020,2010,300亿RFID传感器和计数器,世界上80%的数据是非结构化的,大数据会影响到您业务的方方面面,了解关于您客户的一切从渠道交互到社交媒体，

3、通过分析所有数据来源帮助您了解您的每位客户零延迟操作分析所有可用的操作数据并且实时做出反应，从而优化流程。通过成本效益技术降低IT成本。在速度和规模上实现新产品创新捕获所有来源的反馈，分析庞大的市场环境，研究大量的数据，从而推动创新。即时的欺诈和风险意识通过分析所有可用数据来打造更好的欺诈/风险模型，用流数据交易分析来实时监测欺诈利用仪表化资产监控资产通过实时数据反馈来预测和预防维修问题，并且开发新产品和新服务。,大数据主要与大型数据集相关 在大数据的新世界中，我们必须更换所有陈旧系统大数据就是 Hadoop较为陈旧的事务数据已经不再重要数据仓库已是昨日黄花大数据适合熟知互联网的企业。传统业务

4、与大数据毫无关系我们不具备相应的需求、预算或者技能，因此我们不必为此担心,人们对于大数据的观点是怎样的,研究显示了实施大数据的4个阶段,大数据采用,当基于当前的大数据活动级别而划分为 4 个小组时，受调查者在组织行为上表现出显著的一致性,受调查者总数 n=1061由于舍入原因，各个比例总和不等于 100%,6%,部署两个或更多大数据计划，继续应用高级分析,占总受调查者的百分比,执行,22%,试点大数据计划，以验证价值和需求,占总受调查者的百分比,试点,47%,基于业务需求和挑战开发战略和路线图,占总受调查者的百分比,探索,24%,专注于知识收集和市场观察,占总受调查者的百分比,学习,智慧分析,

5、大数据平台,加速器,信息整合与治理,内容管理,数据仓库,流计算,Hadoop 系统,信息整合与治理,大数据平台,系统、存储和云,业务分析,内容分析,决策管理,风险分析,绩效管理,商业智能与预测分析,IBM提供了全面的、整合化的大数据和分析方法,Hadoop 系统管理多样化海量数据企业级应用增强了开源Hadoop能力流计算用于分析流动的数据能够处理分析多种数据 通过高级分析运算符来支持结构化，非结构化，视频，音频等数据仓库工作负载均衡的MPP架构，支持高性能的OLAP及混合型的操作和分析负载数据可视化企业级搜索引擎图形展现海量分析结果,IBM大数据平台,BAO方案整体技术架构,从哪里来？,是谁？

6、,到哪里去？,大数据解决方案出现之前传统的计算模式,电商、微博、社交网站、平安城市等产生大量社交数据、日志、图片、视音频数据.,海量数据汇总、统计耗时太长，满足不了业务部门的时效性需求；,传统计算模式遇到的困难,某些业务部门需要实时数据分析，数据一边产生，一边进行分析，以应对市场压力,数据产生速度快，数据量巨大，种类繁多，非结构化数据占了80%以上,Hadoop 并行计算模式,HDFSHadoop Distributed File System。HDFS为了做到可靠性（reliability）创建了多份数据块（data blocks）的复制（replicas），并将它们放置在服务器群的计算节点

7、中（compute nodes），MapReduce就可以在它们所在的节点上处理这些数据了。,MapReduce,大数据技术与传统数据处理技术的关系,超越和补充传统数据处理技术,实时数据处理,Internet级别海量数据存储与分析,传统数据仓库,In-Motion Analytics,Data Analytics,Data Operations&Model Building,Results,Internet Scale,Database&Warehouse,At-Rest Data Analytics,Results,Ultra Low Latency Results,InfoSphere B

8、ig Insights,传统/关系型 数据源,传统/非关系型数据源,传统/关系型 数据源,传统/非关系型数据源,高性能运算Symphony解决方案,大数据常见应用场景举例,影像管理（各类单据的扫描件、地图影像），非结构化/半结构化数据存储和分析（XML文件、文本日志文件）典型应用：测绘行业系统、地图服务提供商产品、公安部、银行/税务票据管理、电信详单日志分析、各类终端采集数据分析常见痛点：存储成本/性能，关系型数据库性能/功能问题。业务/产品/服务创新典型应用：CDR分析，舆情分析，LBS，广告精准投放，移动终端服务/智慧XX（电表数据分析、HIS，电子支付），精益生产、反洗钱常见痛点：实时性

9、、数据来源多样、数据量大计算密集型应用高性能计算技术非常适用典型应用：保险精算、银行风险分析、信用卡欺诈分析常见痛点：实时性、多种数据源要形成统一视图,IBM大数据平台优势1-高性能,国内运营商进行的基于Hbase的数据查询测试，取得315倍的性能优势国内运营商进行的基于Hive的数据分析测试，取得911倍的性能优势,数据加载场景每核加载速度为x86核的11.18倍,数据分析场景每核分析速度为x86核的9.63倍,为什么Symphony更快？,Job Tracker/Task Tracker 用C+/C编写资源管理和任务管理解耦.支持300 并发job trackers;1000 并发 job

10、s/job trackerSOA架构，共享服务（reuse JVM across many tasks）使用TCP原语和二进制编码，取代 http and text/XMLPush protocol avoids task tracker pulling tasks and the delay caused by pulling interval专利的 asynchronous persistency protocol 以保证可靠性和性能,Note:Hadoop Results were published byCloudera at Hadoop World event Dec,2011.H

11、adoop jar example.jar sleep mt 1 rt 1 m5000 r 1Tested on 10 hosts,21,IBM大数据平台优势2-高可靠,从硬件、文件系统和分布式计算框架所有层面采用高可靠设计架构，杜绝基于开源产品的不可靠问题Symphony计算框架：经过接近20年全球成功企业应用考验的高可靠性框架，不仅本身可靠性高，不存在单点故障，而且通过对下层硬件资源的先进管理功能，实现物理资源与逻辑资源的解耦，实现资源的动态加减和黑名单等机制，彻底解决硬件故障的透明failover问题GPFS-FPO文件系统：经过20多年全球无数应用验证的分布式文件系统，成熟、可靠，GP

12、FS-FPO采用去中心化设计（元数据分散存储），天生不存在NameNode的单点故障和可靠性瓶颈问题PowerLinux在RAS特性方面全面领先X86平台,IBM大数据平台优势3-好维护,IBM大数据平台优势4-高度兼容性,Symphony和GPFS具有最广泛的兼容性，只要是基于Hadoop架构标准接口开发的软件都可以100%兼容，如Hadoop Hbase,Pig,Hive,Java MR,Oozie等各种知名的Hadoop开源方案不仅兼容开源方案，还支持各种商业分析软件，如SAS、SPSS、Murex,Algorithmics,Sugard,Calypso,TillingHast 等 兼容

13、各种Java、R、C/C+等各种开发语言，兼容各种文件系统及数据库，如HDFS,GPFS-FPO,RDMBS,MPP等，兼容Linux、Windows、AIX等各种OS平台，兼容X86、Power等各种硬件平台，支持虚拟机和物理机混合组网使用,IBM大数据平台优势5-技术支持,核心产品由IBM自主开发，拥有完全的技术研发与支持力量全球26个研发和销售机构，300+的研发团队分布在北京和西安两地强大的QA和服务支持团队，强大的本地售后支持力量专业的定制化开发团队业界公认的大型网格/工作负载管理的领导者,全方位的技术支持服务,评估,规划与咨询服务,建设,设计与实施服务,管理,管理与维护支持服务,I

14、BM大数据平台优势6-高效可靠文件系统,GPFS-FPO替换HDFS，更可靠、更高效,对于需要随机I/O的 SQL查询,JAQL查询等对于需要线性排序的sort操作来说BigInsights 提供2至3倍与开源Hadoop技术的性能文件索引等查找效率17倍于开源Hadoop技术,得益于Client Cache能力,HadoopIndexing（HDFS）,DatabaseUpload（ext3）,Web ServiceLayer,Copy,Fetch,HDFS:Extra copy overhead and network fetch,separate clusters for analyti

15、cs and database,Hadoop Indexing+Database Upload（GPFS）,Web ServiceLayer,Cache,GPFS:Single cluster for analytics and database,no copying required,caching for web layer,Workload Isolation,Proven data integrityReplicated metadata servicesYahoo keeps 3 copies of 3 versions of HDFS because of unknown data

16、 integrity 1Quantcast deletes files once HDFS is 50%full 2,1 Care and Feeding of Hadoop Clusters,Marc Nicosia,Usenix 20092 The Komos Distributed File System,Sriram Rao,Quantcast Inc.,GPFS-FPO Key technology Locality awareness Write Affinity Metablocks Pipelined replication Distributed recovery,超过20年