基于云平台的数据存储及算力设计Word下载.docx

基于云平台的数据存储及算力设计Word下载.docx

《基于云平台的数据存储及算力设计Word下载.docx》由会员分享，可在线阅读，更多相关《基于云平台的数据存储及算力设计Word下载.docx（6页珍藏版）》请在冰豆网上搜索。

当前纳入本次视频数据建设的前端摄像机主要分为两类，一类是泛智能摄像机〔可输出视频流和特征图片〕，一类是非智能高清摄像机〔只输出视频流〕，同时针对该区视频监控可视场景的具体需求进行用途类别划分，具体分析汇总情况如表1所示。

1.1 

图像围栏需求

在该区重点区域及周边选取1200路前端摄像机〔包含泛智能摄像机750路和非智能高清摄像机450路〕，形成区域图像虚拟围栏。

通过图像围栏一体机自带人脸/人体解析算法对前端摄像机视频流进行实时解析的方式，生成场景大图、人脸/人体小图、特征抽取及结构化数据信息，通过后端实现人像比对、布控预警、以图搜人、人体轨迹、同行分析等功能。

1.2 

数据存储需求

数据存储是指把私有云算力平台处理解析后的各用户类别场景大图、人脸/人体小图、机动车小图等半结构化数据和结构化数据集中存储到分局私有云数据存储平台，保存时间不低于180天;

私有云算力平台输出的结构化数据、特征值集中存储到飞天云平台，保存时间不低于365天。

区级搭建私有云存储平台，租赁飞天公安云综合平台〔云存储+云计算+平安及其他〕[2]。

1.3 

算力分析需求

算力分析包括四方面需求，一是对图像围栏涉及的1200路前端摄像机〔包含智能摄像机750路和非智能高清摄像机450路〕视频流的实时计算解析智能分析需求;

二是对剩余2840路非智能摄像机视频流的实时计算解析智能分析需求;

三是对剩余12720路泛智能摄像机人脸图片流及视频流的实时计算解析智能分析需求;

四是对本区存储到市局飞天云平台的结构化数据进行离线大数据计算解析智能分析需求。

区级搭建私有云算力平台〔图像围栏算力+其他算力〕，市级租赁飞天公安云综合平台〔云存储+云计算+平安及其他〕。

1.4 

数据转发需求

数据转发包括四方面需求，一是将9470路泛智能摄像机图片流按照GA/T1400协议推送至市局韬安管理平台和分局私有云存储平台，二是将9470路泛智能摄像机中用于人体分析的2100路图片流推送至区级私有云算力平台;

三是将图像围栏涉及的1200路前端摄像机〔包含泛智能摄像机750路和非智能高清摄像机450路〕视频流和剩余2840路非智能摄像机视频流转发至私有云算力平台;

四是将私有云算力平台解析后的半结构化数据和结构化数据分别推送至分局私有云存储平台和飞天云平台。

具体数据转发设备的配置需求按照前端摄像机的用途分类进行合理设计。

2 

数据存储及算力解析设计架构

经过上述需求统计，深入调研分析，该区数据存储及算力设计整体拓扑架构如图1所示。

根据需求调研及上图分析汇总，数据存储、算力解析、数据转发等汇总表格如表2、表3、表4所示。

3 

數据存储设计

3.1 

私有云数据存储设计

在某区分局总机房搭建私有云数据存储平台，采取全对称分布式架构并行读写，性能、容量随节点数增加而呈线性增加。

每台单节点存储容量为350TB〔35某10TB〕，单节点间通信带宽可达2.8GB/，每台节点配置内存为128GB，支持N+M冗余模式，最多可接受2个节点同时失效而业务不中断，数据不丧失;

为提升磁盘利用率，采取纠删码〔EC〕算法编码进行云存储，磁盘冗余度按1.4估算〔磁盘利用率约为70%〕。

所有节点组合搭建私有云数据存储平台，支持虚拟化管理。

选用华为Oceantor9000V5存储节点搭建云存储平台。

私有云数据存储平台主要存储私有云算力平台处理解析后的各用户类别场景大图、人脸/人体小图、机动车小图等半结构化数据。

根据表2汇总和对数据保存180天的实际应用需求，数据存储核算容量为：

〔1〕每张场景大图按500kB计算，每张特写小图按50kB计算;

按照每路摄像机每24小时采集的大图和小图分别为10000张，保存180天计算，同时考虑私有云存储磁盘冗余度。

〔2〕人脸图片存储容量为3725某10000某180某〔500+50〕/〔1024某1024某1024〕/〔70%〕≈4906TB。

〔3〕车辆图片存储容量为4805某10000某180某〔500+50〕/〔1024某1024某1024〕/〔70%〕≈6329TB。

〔4〕人体图片存储容量为4230某10000某180某〔500+50〕/〔1024某1024某1024〕/〔70%〕≈5572TB。

〔5〕整体私有云存储平台半结构化存储容量为4906+6329+5572=16807TB。

〔6〕云存储节点需求数量为16807÷

350≈49〔台〕。

该区智慧公安私有云平台存储需配置存储节点效劳器49台，略有冗余。

3.2 

飞天云数据存储设计

从该区智慧公安实际业务需求出发，租赁阿里飞天云平台，核心局部是云计算和云存储功能，同时也包括云平安、云运维及云管理等各类云效劳。

飞天云ODP数据处理存储平台是分布式存储系统，采用hared-nothing架构设计，支持1万以上用户并发读写，通过存储虚拟化、网络虚拟化以及负载均衡技术，实现资源存储的动态分配，形成统一的飞天云平台体系[3]。

飞天云数据存储为该区智慧公安提供数据块级别的随机存储，具有低时延、持久性、高可靠性等特点，采用分布式三副本机制，三份数据拷贝副本分别保存在不同的效劳器上，这样任何一个效劳器宕机都不会造成数据丧失，为智慧公安用户提供高于99.99%的数据可靠性，可实现随时创立或释放，支持随时扩容。

为了降低整体的带宽消耗和读取延时，系统设计为尽量让读取程序读取离它最近的副本。

根据表2汇总和对数据保存365天的实际应用需求，对12760路结构化数据存储集群核算容量如下：

〔1〕每条结构化数据按2kB计算，按每路摄像机每24小时生成10000条结构化数据估算，保存365天;

计算磁盘需求空间的数据膨胀率按2计，数据压缩率按2计，HDF副本数目按3计，磁盘利用率〔格式化损耗等〕按0.9计，ODP集群存储控制线设置按85%计。

〔2〕结构化数据总的入库数据量为12760某10000某365某2/〔1024某1024某1024〕≈87TB。

〔3〕需求根本磁盘空间为87某2某2某3/0.9/0.85≈1365TB。

〔4〕单机存储单元数量。

选用阿里云PN68M2单机存储单元，磁盘物理容量为96TB，需求单机存储单元数量为1365÷

96≈15〔台〕。

某区智慧公安飞天云平台存储至少要租赁根本磁盘存储空间1365TB，至少要搭建15个飞天云存储平台单机存储单元。

4 

数据算力设计

4.1 

私有云算力平台设计

私有云算力平台硬件资源按照算力资源、存储资源、检索资源等需求分类池化，业务应用部署在容器上，对具体硬件环境不感知;

在一台实体效劳器虚拟化后的多台逻辑效劳器上，支持灵活部署不同功能的智能算力分析、存储检索效劳模块并且不受数量限制，算力云平台通过异构资源池、智能编排等关键技术，可以将GPU、检索等资源池化，拉远后进行统一编排调度，从而使硬件资源利用率最大化[4]。

主要包括图片流人体建模算力、图片流车辆智能分析、视频流人体建模分析、视频流车辆智能分析、视频流人脸智能分析、视频流图像围栏解析等。

4.1.1 

圖片流人脸人体建模算力计算

根据选用产品的性能和图片流人脸人体建模算力解析需求计算为：

〔1〕图片流人脸人体建模算力智能分析并发路数要求不少于3725路，图片流半结构化数据解析为结构化数据。

〔2〕检索云节点计算。

每路每24小时按人脸人体建模30000张计算，存储180天，总共产生的数据量=3725某30000某180/10000/10000=201.15亿条。

配置华为CloudIV3000R检索云节点，单节点支持不少于6亿条人体元结构化数据存储，那么需要检索云节点数量=201.15÷

6≈34〔台〕。

〔3〕算力分析云节点计算。

配置华为CloudIV3000CR算力分析云节点，单台分析云节点支持配置6块GPU卡，单个GPU计算卡处理人体建模图片按100张/秒计算，3725路摄像机并发峰值按每路1张/秒估算，那么需GPU卡数量=3725÷

1÷

100≈38〔张〕，需要配置算力分析云节点数量=38÷

6≈7〔台〕。

4.1.2 

图片流车辆智能算力计算

根据选用产品的性能和图片流车辆智能算力解析需求计算为：

〔1〕图片流车辆智能算力并发路数要求不少于4805路，图片流半结构化数据解析为结构化数据。

如果每路每24小时按车辆抓拍15000张计算，存储时间180天，总共产生的数据量=4805某15000某180/10000/10000=129.735亿条。

配置华为CloudIV3000R检索云节点，单节点支持不少于6亿条车辆结构化数据存储，那么需要检索云节点数量=129.735÷

6≈22〔台〕。

配置华为CloudIV3000CR算力分析云节点，单台分析云节点支持配置6块GPU卡，单个GPU计算卡处理车辆图片按100张/秒计算，4805路摄像机并发按每路1张/秒进行估算，那么需GPU卡数量=4805÷

100≈49〔张〕，需要配置算力分析云节点数量=49÷

6≈9〔台〕。

4.1.3 

视频流人体建模算力计算

根据选用产品的性能和视频流人体建模算力解析需求计算为：

〔1〕视频流人体建模算力智能分析并发路数要求不少于1230路，视频流解析为人体图片流〔半结构化数据〕，图片流半结构化数据再解析为结构化数据。

如果每路每24小时按人体建模20000张计算，存储时间180天，总共产生的数据量=1230某20000某180/10000/10000=44.28亿条。

配置华为CloudIV3000R检索云节点，单节点支持不少于6亿条人体结构化数据存储，那么需要检索云节点数量=44.28÷

6≈8〔台〕。

〔3〕算力分析云节点计算：

配置华为CloudIV3000CR算力分析云节点，单台分析云节点支持配置6块GPU卡，单个GPU计算卡处理人体建模图片按100张/秒计算或视频接入处理按16路计算，每台云节点1230路摄像机并发峰值按每路1张/秒进行估算，那么需GPU卡数量=1230÷

100+1230÷

16≈90〔张〕，需要配置算力分析云节点数量=90÷

4.1.4 

视频流车辆智能算力计算

根据选用产品的性能和视频流车辆智能算力解析需求计算为：

〔1〕视频流车辆智能算力分析并发路数要求不少于1155路;

视频流解析为车辆图片流〔半结构化数据〕，图片流再解析为车辆结构化数据。

如果每路每24小时按车辆图片30000张计算，存储时间180天，总共产生的数据量=1155某30000某180/10000/10000=62.37亿条。

配置华为CloudIV3000R检索云节点，单节点支持不少于6亿条人体元结构化数据存储，那么需要检索云节点数量=62.37÷

6≈11〔台〕。

配置华为CloudIV3000CR算力分析云节点，单台分析云节点支持配置6块GPU卡，单个GPU计算卡处理车辆分析图片按100张/秒计算或视频接入处理按16路计算，每台云节点1155路摄像机并发峰值按每路1张/秒进行估算，那么需GPU卡数量=1155÷

100+1155÷

16≈85〔张〕，需要配置算力分析云节点数量=85÷

6≈15〔台〕。

4.1.5 

视频流人脸智能算力计算

根据选用产品的性能和视频流人脸智能算力解析需求计算为：

〔1〕视频流人脸智能算力分析并发路数要求不少于905路;

视频流解析为人脸图片流〔半结构化数据〕，图片流再解析为人脸结构化数据。

如果每路每24小时按人脸图片30000张计算，存储时间180天，总共产生的数据量=905某30000某180/10000/10000=48.87亿条。

配置华为CloudIV3000R检索云节点，单节点支持不少于6亿条人体结构化数据存储，那么需要检索云节点数量=48.87÷

配置华为CloudIV3000CR算力分析云节点，单台分析云节点支持配置6块GPU卡，单个GPU计算卡处理人脸分析图片按100张/秒计算或视频接入处理按16路计算，每台云节点905路摄像机并发峰值按每路1张/秒进行估算，那么需GPU卡数量=905÷

100+905÷

16≈66〔张〕，需要配置算力分析云节点数量=66÷

6=11〔台〕。

4.1.6 

视频流图像围栏算力解析计算

根据选用产品的性能和视频流图像围栏算力解析需求计算为：

〔1〕视频流图像围栏算力解析并发路数要求不少于1200路;

采取融合算力架构，对图像围栏选取的1200路视频流进行解码并对解码后的图像数据进行检索和智能化解析，生成场景图、人脸小图、人体小图、特征抽取及结构化数据信息。

选用依图Y-AI视频流全解析一体机，通过AI效劳器及CPU、GPU效劳器融合设计，实现高性能智能解析，每台一体机设备最多支持144路视频流接入检索和解析。

〔2〕视频流全解析一体机数量为1200÷

144≈9〔台〕。

根据以上计算结果，检索云节点配置数量=34+22+8+11+9=84〔台〕，算力分析云节点配置数量=7+9+15+11=49〔台〕，图像围栏全解析一体机配置数量为9台。

整体设备搭建分局私有云算力平台，配置设备按20%冗余考虑，总共需配置检索云节点101台，算力分析云节点59台，图像围栏全解析一体机11台。

4.2 

飞天云大数据算力设计

飞天云大数据算力效劳[5]，提供计算引擎以适应结构化数据、半结构化数据的计算，满足离线OLAP和实时OLAP分析业务场景，基于分布式效劳框架能够支持统计分析类、数据挖掘类等计算分析效劳。

当前主要为某区智慧公安提供离线大数据计算效劳，主要针对智慧公安提供TB/PB级别数据的日志分析、数据挖掘、数据预测等处理;

大数据离线计算效劳由客户端、接入层、控制层及计算层组成，每层均可平行扩展。

以下内容仅针对计算层进行算力设计。

系统采用多個单机节点并行计算的策略和基于代价的优化方式〔CBO〕，实现数据高性能时空碰撞计算，支持高并发、低延时的数据处理，满足单表1亿条记录的常规应用场景，可承载不少于100个并发查询和碰撞分析，平均响应时间小于2秒。

选用阿里云PN68M2P物理资源效劳器，设立BlinkCluter-A云效劳集群。

经理论估算分析，公安业务碰撞分析每秒最高处理需求暂估为300万条业务数据。

根据选用的产品和数据处理计算规那么，效劳集群物理资源效劳器需求计算为：

〔1〕根据效劳能力及业务需求，理论评估1CU每秒处理0.8万条数据。

〔2〕按每秒处理300万条数据计算，理论需要的CU数量=300÷

0.8=375CU。

〔3〕每台PN68M2P数据处理能力=效劳器CPU物理逻辑核数[64]-系统消耗[4]=60CU。

〔4〕PN68M2P需求数量=375÷

60≈7〔台〕，考虑效劳集群算力冗余不低于30%，建议配置10台PN68M2P物理资源效劳器。

5 

结 

论

通过公有云加私有云的混合云平台架构，搭建一体化的数据存储与算力分析应用平台，实现非结构化数据、半结构化数据、结构化数据的集中存储、算力分析、转发共享及应用展示。

通过对某区现有资源利用的综合分析和业务应用需求分析，选择适合本工程的硬件产品，进行存储资源核算、算力资源核算、转发资源核算，科学合理设计，对该区智慧公安视频数据资源进行高效分析应用，实现研判多维、指挥扁平、处置高效的精准警务应用。