数据库经营分析报告..pptx
《数据库经营分析报告..pptx》由会员分享,可在线阅读,更多相关《数据库经营分析报告..pptx(36页珍藏版)》请在冰豆网上搜索。
![数据库经营分析报告..pptx](https://file1.bdocx.com/fileroot1/2023-9/4/f9975f5d-abd1-41ec-a9a7-8720b2c8be12/f9975f5d-abd1-41ec-a9a7-8720b2c8be121.gif)
0年数据库分析报告,1.2.2数据库发展特点:
顺应市场需求,行X,业持续进化,顺应市场需求变化,数据库行业正持续进化:
随着大数据时代的到来,数据规模和逻辑关系复杂度进一步提升,其中非结构化数据的激增使得非关系型数据库迅速发展;随着5G下的云计算、物联网等快速发展,对于数据分析的需求、响应速度、存储容量扩展、算力提升等均提出更高的要求,使得分布式数据库得到快速发展;信息化水平快速提升下,企业业务规模快速扩张,数据库的运维和管理成为新的难题,数据库云部署模式与借助AI自治成为重要发展方向。
数据库发展里程碑事件梳理,时间19641968197019741974,1979,1996,治理模式,标志事件技术演变路径事件数据模型技术架构部署方式世界上第一个数据库系统IDS(IntegratedDataStorage,集成数据存储)诞生网状世界上第一个层次数据库系统IMS(InformationManagementSystem)诞生于IBM网状&层次IBM的研究员EdgarF.Codd提出关系数据模型,IBM推出关系模型的原型系统SystemR,集中式,IBM的RayBoyce和DonChamberlin提出了SQL,关系型,第一个商业数据库版本OracleRelease1诞生,提供商用SQL,MySQL发布,开源数据库开始发展,本地部署,人工治理,非关系型数据库NoSQL开始盛行,主要包括4种类型:
文档数据库、列簇式数据库、键值数据库,2000s,非关系型,2018,2019,2019,分布式,关系&非关系并行,Oracle发布自治数据库,云端部署逐步兴起,AI原生、自治成为新方向,谷歌联合麻省理工、布朗大学的研究人员共同推出了新型数据库系统SageDB,华为公司发布了全球首款AI原生(AI-Native)数据库GaussDB,-,1.3.2技术架构分类演化:
AI技术赋能分布式架构,无共享架构凭借实现高可用、带宽要求低、易横向扩展和远程部署四大优势,逐步成为分布式主流架构。
分布式架构由共享磁盘、共享内存架构,逐步向纯无共享架构发展,在无共享架构中,每个处理器私有内存和磁盘空间,利用网络通信,“ScaleOut”式横向增加处理器和相应的内存、磁盘,从而避免事务对内存访问和网络带宽的竞争,提高处理性能。
国产方面,无共享分布式架构已经趋于成熟,如PingCAP的TiDB、华为的GaussDB、蚂蚁的Oceanbase、达梦的达梦+、阿里云的PolarDB、腾讯云TDSQL、南大通用的GBase、人大金仓的KingBase、中兴通讯的GoldenDB等分布式数据库均为MPP无共享架构。
架构详细优势劣势典型代表,无共享可以保证数据库的稳定增长,当事务数量继续增加时,添加额外的CPU和主内存可以确保每个事务的处理时间保持不变;且由于各自独立,性能不受硬件上限与网络带宽影响,每个CPU都有一个专用存储区和专用磁盘空间,两个CPU无法访问相同的磁盘空间,并且CPU之间的通信通过网络连接,DB2DPFHadoop,无共享架构,架构设计较为复杂,多个CPU共享同一块内存,并且这些CPU通过内部通信机制(内部互连网络)进行通信,共享内存和共享磁盘的基本问题是干扰,当添加更多CPU时,由于内存访问和网络带宽的竞争加剧,系统速度变慢,且存在性能瓶颈,共享内存架构,共享磁盘架构,PostgreSQL,OracleRAC,通过增加节点可以提高并行处理能力,扩展更便捷,每个CPU使用其自己的专用存储区,并通过内部通信机制直接访问所有磁盘系统,无共享架构在可用性、拓展性等方面具有明显优势高可用带宽要横向扩远程部并行控灾备恢设计易负载均无共享架构共享内存架构,共享磁盘架构,拥有独立CPU、内存、磁盘,每个节点各自独立,系统中没有竞争点,多个CPU共享一块内存,通过内对磁盘进行分区并通过内部网络连部网络相连,当CPU过多,内存接,CPU拥有独立存储,但磁盘性能性能与带宽存在瓶颈与网络带宽存在瓶颈,AI有望解决分布式架构划区难、运维难等痛点,成为新的发展方向:
分布式数据库最核心的任务是根据合理的维度划分数据,然而面对分布键不明显,难以sharding的政企类数据,如何找到完美的划分维度、避免跨节点事务成为最大的难题。
随着AI技术的发展,通过算法自学习数据模型以智能推荐分布键的技术成为新的研发方向。
同时,分布式架构将模型复杂化,运维难度的大幅提升也迫切需要智能诊断、智能调优、智能运维等技术的发展。
华为的GaussDB是业界首个将人工智能技术融入分布式数据库全生命周期,实现自运维、自管理、自调优、故障自诊断和自愈的数据库,目前已部署在金融、消费、游戏等行业,发展前景广阔。
-11-,3.2达梦:
融合新兴技术,独占鳌头十余年,科技创新,夯实信息化安全基石,蝉联国产数据库市占率冠军十余年。
武汉达梦数据库股份有限公司(以下简称达梦)成立于2000年,是中国电子信息产业集团(CEC)旗下基础软件企业,由中国软件与技术服务股份有限公司控股25%。
达梦致力于数据库管理系统的研发、销售和服务,为国内外数十万用户提供全栈数据产品和解决方案,为打破欧美等国的技术封锁,达梦全自研底层逻辑代码,立足国内客户,深挖用户需求,先后完成了近60项国家及省市级的科研开发项目,取得了近400项研究成果,获得国家、省部级奖励超过30项。
据赛迪顾问统计:
2000年以来,达梦在数据库市场的市占率已经蝉联冠军十余年。
达梦自研高性能数据库管理系统DM,不断融合分布式、云计算等新兴概念升级系统架构。
DM系列自上世纪80年代开始研发实验室原型,2000年初商业化,已经更新迭代8个版本,对灵活性、易用性、可靠性、高安全性等方面进行了大规模改进:
分布式架构实现动态分配计算资源、精细化资源利用;行列融合,支持超大规模并发HTAP;技术生态升级,支持多云环境部署。
研发大规模数据处理集群DMMPP,支持TB到PB级别的数据存储与分析。
基于完全对等无共享架构,最多可将1024个DM8节点组织为一个并行计算网络,支持HASH、范围、随机多种数据分布和水平、垂直、多级混合分区,提供高可用性和动态扩展能力。
DM7-DM8(2011-)1.多维融合,满足多样性:
读写分离架构、基于行列融合2.0的混合事务分析处理技术;2.分布式架构,提升用户体验:
融合分布式、弹性计算与云计算的优势,对灵活性、易用性、可靠性、高安全性进行了大规模改进;3.技术生态升级:
支持更广泛的技术选型,支持多种云计算基础设施环境、软硬件平台;4.升级运维管理工具,增强系统安全性。
DM1-DM3(1984-2003).实验室原型;.技术积累阶段;.制定并实现各类标准;.1988年开发出我国第一个自主版权数据库CRDS;,DM4-DM6(2004-2007).国家863数据库重大专项;.支持定制化开发;.支持大规模数据存储管理;.引入物理操作符、虚拟机;.实现企业级高级特性;.新增数据复制与外部连接;,产品化、企业级、兼容其他数据库,HTAP融合、分布式、云部署,代表客户&项目,深圳证券交易所OA系统;武汉公积金核心业务系统,联合中国航信打造民航客票,国家电网一体化调度;南方电网信息化建设,全国检察机关统一业务系统;海南社保、医保一体化,中铁建财务共享服务平台,金融,能源,航空,交通,政务,3.3南大通用:
扩大生态领域,全面开花,南大通用入选专精特新“小巨人”企业。
天津南大通用数据技术股份有限公司(以下简称南大通用)成立于2004年,注册资金1.4亿元,近7年连续被赛迪顾问评为国产数据库龙头企业,并在2021年成功入选首批国家级重点专精特新“小巨人”企业。
GBase系列基于Informix不断创新发展,从OLAP到OLTP,关系型-NoSQL-NewSQL,逐渐扩大生态,提高市占率。
南大通用深耕金融行业,自主研发国内首个基于列存的新型分析型数据库GBase8a;2014年与IBM签署战略合作,获得Informix的源代,码和技术授权,站在巨人的肩膀上研发复杂事务处理数据库产品GBASE8s,而后又融合分布式架构研发8c,提高系统可用性。
GBase系列产品演化历程(OLAP-OLTP、关系型-NoSQL-NewSQL),OLTPGBase8a,OLAPGBase8s,HTAPGBase8c,市场覆盖,OLAP-OLTP,支持国密算法,产品安全达到国际B2;支持分布式、集中式部署;支持两地三中心高可用部署,列存储,数据压缩比例高达1:
30;多核CPU,支持并行计算;自动粗粒度智能索引,“sharednothing”架构,高性能、高可用、高安全、弹性收缩;支持虚拟机、容器、公有云、私有云部署,内存数据库GBaseXDM,目录服务系统GBase8d,统一数据平台GBaseUP,存储介质,优化,运维管理,简化,海量数据支持,标准化接口;全图形化管理界面和客户端,快速辅助管理员进行数据维护与操作,关系型-NewSQ,同时具备处理SQL和NoSQL的能力;同时支持结构化、非结构化数据存储和分析;,多因子认证;千亿级海量数据的超高吞吐能力;支持集群级横向扩展,代表客户&项目,中国移动总部集中经营分析系统;北京移动分析中心,海关总署金关工程;金税管理决策系统;海南社保云平台,中国银行总行大数据平台;中国农业银行数据仓库项目,国家海洋大数据中心;通信管理局大数据分析平台,重庆地铁AFC项目,金融,党政,电信,政企,交通,3.4人大金仓:
深耕关系型数据库领域,人大金仓产学研一体,快速发展,下沉市场,布局未来。
北京人大金仓信息技术股份有限公司(以下简称人大金仓),由中国人民大学的数据库专家于1999年发起创立,先后承担了国家“863”、“核高基”等重大专项,是中国电子科技集团有限公司(CETC)的成员企业,在党政军及各级企业级市场应用广泛,目前已覆盖全国近3000个县市,完成装机部署近100万套,入围工信部“2021年数字技术融合创新应用典型解决方案”。
集中关系型数据库领域发力,市占率持续领跑。
据IDC统计,2019年下半年国产数据库市场的市占率中,人大金仓仅次于阿里和南大通用,位列第三。
相比前两名开疆扩土式的全面发展,人大金仓聚焦关系型数据库领域深耕,分别针对OLTP、OLAP、HTAP场景研发KingbaseES(KES)、KingbaseAnalyticsDB(KADB)、KSone系列数据库。
结合信创改革浪潮,人大金仓积极适配国产上下游芯片、操作系统、中间件等,与生态伙伴完成近万个产品兼容互认证,力图为用户持续提供稳定服务。
完善的数据迁移工具平滑、高效地解决异构数据库数据迁移难题,助力数据库推广。
Kingbase系列产品:
分布式、新硬件、自治贯穿发展历程多模发展:
支持多种数据类型存储分析,KingbaseDVDB(DVDB)视频数据库,KingbaseDataPlatform大数据平台,多模发展,深耕关系型数据库领域:
分别针对OLTP、OLAP、HTAP不同场景需求定制研发,KingbaseES(KES)OLTP,KingbaseAnalyticsDB(KADB)OLAP,KSoneHTAP,功能需求,基础工具层:
平滑、高效处理JDBC、ODBC及I/O流数据源,图形化向导驱动用户窗口,轻松解决异构数据库间数据迁移问题,KingbaseFlySync(KFS)数据同步工具,KingbaseDC(KDC)数据对比工具,KingbaseDI(KDI)数据整合工具,KingbaseDMS(KDMS)数据迁移工具,数据迁移,代表客户&项目,北京政务云;上海市徐汇区电子政务综合应用平台,大数据管理与服务平台,光大银行对公负债系统数据库,审计署金审工程二期,国家电网智能电网;连云港电网调度生产辅助分析系统,政务,能源,国防,金融,审计,3.5巨杉:
无惧差异,融为一体,2017年巨杉数据库与阿里云成为首家入选Gartner报告的国产独立数据库厂商,连续三年入榜Gartner全球权威报告。
深圳巨杉数据库软件有限公司(以下简称巨杉)2011年成立,专注金融行业数据库产品研发,目前已在超过100家大型银行及金融机构的生产业务条线上线应用。
巨杉的核心团队成员主要来自于前IBMDB2北美研发团队和华为分布式储存团队,天生具备企业级基因,同时引入包括阿里在内的国内创新型企业人才,是业界最顶尖的企业级分布式数据库团队。
引擎级多模,丰富上下游生态。
巨杉数据库兼容多种SQL结构化数据、NoSQL半结构化数据和Object非结构化对象数据引擎,自研分布式数据库内核,研发四款核心产品:
数据融合平台SequoiaDB-DP、事务型数据库SequoiaDB-TP、内容管理数据库SequoiaDB-CM、文档型数据库SequoiaDB-DOC。
核心产品兼容ApacheSparkSQL引擎,助力实时数据分析,避免传统数据仓库打架破构数导据致湖的E与TL数延据迟仓及库数割据裂多的份体冗系余,。
打造湖仓一体化,构建全新的融合数据平台,轻松实现跨引擎数据中台。
主打产品SequoiaDB-DP在湖仓一体化的框架下,可以轻松打造跨引擎数据中台,实现一次写入、多引擎可读。
助力客户实现提升数据管理水平、降低成本、提升运营效率、提升用户体验等目标。
向上支持海量国内外分析工具,引擎级多模架构实现湖仓一体烟囱式建设-湖仓一体化代表客户&项目,广发银行;上海银行;中国人民银行,中国移动;中国电信,嘉实基金,基金,广发证券,证券,广州市人民政府;国家税务总局;国家外汇管理局,银行,政务,运营商,3.6华为GaussDB:
将AI能力植入数据库内核,华为GaussDB是一个企业级AI-Native分布式数据库,将AI能力植入到数据库内核的架构和算法中,智能诊断、索引推荐,为用户提供更高性能、更高可用、更多算力支持的分布式数据库。
GaussDB系列基于统一架构,底层选用分布式存储,中间层是每个DB特有的数据结构,上层是各个生态接口,支持关系型与非关系型数据库引擎,开启数据库极速与多模融合时代。
GaussDB全栈产品和解决方案,让客户选型安心、迁移放心、超高可用、自由扩展、开放生态、自主研发、安全可信。
选型安心:
自主生态+开源生态,SQL+NoSQL,分布式统一的架构,性能卓越,安全可靠;迁移放心:
从数据的在线迁移到应用的结构转换,迁移无忧;超高可用:
支持同城跨机房、异地、异地多活高可用,支持分布式强一致,数据0丢失;自由扩展:
GTM-Lite技术打破传统分布式性能瓶颈,计算与存储可自由水平扩展,支持1000+扩展能力;超高性能:
分布式优化器+Numa-Aware技术加持,支持PB级海量存储,在TPC-C、TPC-H等多种企业级负载下性能卓越;开放生态:
打造openGauss开放生态,基于openGauss生态的客户可以避免被闭源数据库锁定的风险,最大化保护客户资产;自主研发:
基于数据库领域10年+积累,核心代码100%知识产权,产品所有模块都具备代码级的问题修复及架构优化能力;安全可信:
透明加密,防篡改,WDR诊断报告;智能诊断、索引推荐,有效提升客户开发运维效率。
GaussDB全场景业务,全开放生态,安全可靠数据库结构+应用+数据一站式迁移关系型,GaussDB(foropenGauss),第三方数据库,非关系型,OLTP,OLAP,GaussDB(forMongo),GaussDB(forCassandra),GaussDB(forMySQL),流量回放通过业务方针提前感知业务稳定性和性能,GaussDB(DWS),GaussDB(forinflux),GaussDB(forRedis),代表客户&项目,招商银行云存储项目;国泰君安OceanStor分布式存储,华中科技大学协和医院双活数据中心;华大基因分布式存储,国家电网新一代电子商务平台,中国移动元数据管理及高速实时处理方案,金融,生物与医学,中科院上海天文台分布式Cache资源池;中科院航空对地观测数据系统航天与能源,运营商,公共部门,3.8PingCAP:
向云而生,拥抱开源,PingCAP成立6年内已完成D轮融资,投后规模超过30亿美元,发展迅速。
平凯星辰(北京)科技有限公司(以下简称PingCAP)成立于2015年,是一家企业级开源分布式数据库厂商,致力于为全球用户提供稳定高效、安全可靠、开放兼容的新型数据服务平台、解决方案与咨询、技术支持与培训认证服务,解放企业生产力,加速企业数字化转型升级。
PingCAP在帮助企业释放增长空间的同时,也提供了一份具有高度可参考性的开源建设实践样本。
整合K8S,转向云原生,降低用户成本。
PingCAP在2020年发布TiDBCloud产品,提供开箱即用的云托管服务;同时其分布式架构天然支持云原生,无缝衔接K8S,可以轻松部署在任何公有云、私有云和混合云之上,计算和存储分离,按需使用、规模化扩展,降低用户成本,提升资源利用率。
为提升系统安全程度,PingCAP通过专用的云主机、云上网络企业级加密。
独行快,众行远,贯彻执行开源,兼容MySQL协议和生态。
PingCAP自2015年于GitHub上创建,开放全部源代码、开发体系和运营体系,目前标星人数已经超过4万人,坚持走开源路线使其收获了美团、小米等众多实力雄厚的生态伙伴,提高海外知名度和接受度;高度兼容MySQL的设计也使得数据迁移更加简单。
针对社区反馈,PingCAP在6年间连续升级5个版本,满足用户多样,化需求。
初开创期源:
社T区iD同B1时.0也(2是01公5-司20最17好)的面试官,发为展企期:
业T甄iD别B2了.0优-4秀.0的(员20工18候-2选02人0)。
1.2015年在GitHub上创建,2017年发布GA版本,源代码全部开源;基于Google的spanner模型研发,分布式强一致性事务、在线弹性水平扩展、故障自恢复的高可用、跨数据中心多活;兼容MySQL,支持N0_SQL_CHANCE语法,控制存储引擎对缓存的使用;,一键安装部署,方便操作;支持日志搜索和性能分析;增加TiFlash节点,基于ClickHouse实现高效的列式计算,支持OLAP场景应用;4.云原生,支持容器化部署;,成熟期:
TiDB5.0(2021-)在TiFlash节点引入了MPP架构,支持实时HTAP;引入聚簇索引功能,提升数据库的性能;开启异步提交事务功能,降低写入延迟;通过提升优化器的稳定性及限制系统任务对I/O、网络、CPU、内存等资源的占用,降低系统的抖动。
结合新硬件、整合K8S、云原生,MPP架构、聚簇索引、高可用、安全性,代表客户&项目,中国银行新一代运维监控平台;光大银行;微众银行,中通快递、快成物流,美团、58集团、汽车之家、易车,小红书、多点、小米,爱奇艺、虎牙直播、BIGOLIVE,金融,物流,生活,零售,视频,