1、大华监控云存储部署方案V:1.0管理制度精选整理 大华监控云存储部署方案2020-4-11 云存储1.1 产品形态一套完整云存储系统包括元数据服务器,云存储数据存储节点 元数据服务器: DH-CSS9064X(最常见) 云存储数据节点:最常见的型号为DH-CSS7024S-ERD,长的和EVS、NVR差不多,其它还有36盘位、48盘位 DH-CSS7024S-ERD(最常见)1.2 云存储组网1.2.1 确认数据节点型号通过标签或者网口数量判断是否为直存设备: 通过存储节点标签标注的信息判断:其中直存型号包括:DH-CSS7124S-ERD,DH-CSS7124S-10GERD,DH-CSS7
2、124S-ESD即最后一位是“D”结尾的设备支持直存 通过存储节点的网卡数量判断:直存设备一般有9个网口(其中一个是web口),带万兆光口的存储节点有7个网卡(其中一个是web口)只有5个网卡的设备一定是转存的设备1.2.2 组网说明a) 元数据服务器:最新的机器正常情况下3、4两个网口作为心跳口,两台元数据服务器之间用两根网线直连;1、2两个网口接到存储段交换机,交换机上对应端口需要做链路聚合。心跳网口网线直连注:如果是早期的元数据服务器,心跳口可能是1、2网口,请根据实际情况判断。b) 云转存节点:4个网口插满接到存储交换机,交换机上对应的4个端口做链路聚合;WEB口不插网线。c) 云直存
3、节点:Ex1、Ex2、Ex3、Ex4四个网口做成一组绑定,一般做存储网段,四个网口插满接到存储交换机,交换机上对应4个端口做链路聚合;1、2、3、4四个网口做成一组绑定,作为业务网段(与存储网段不在同一个子网),其中任意两个接到业务段交换机,交换机上对应2个端口做链路聚合;WEB口不插网线。直存节点组网连接图,存储端接满四根网线,业务端至少两根网线云存储搭配实战平台和公安平台使用时,为避免公安网应用等问题,可以采用同网段部署,不区分业务和存储网段(即存储和业务用同一个子网)(如下图)。PS:公安平台客户端云下载及实战客户端都需要访问sdk接口上传及下载,存储节点配置双网卡后默认网关是业务段的,
4、导致客户端无法访问存储段ip。云转存组网图(以双网段为例):云转存的常见组网方式(以标准部署双网段为例)如下图所示,流媒体服务器需配置两个网段,一个是业务网段和前端业务进行通信,另一个是存储网段,用于云存储内部通信使用。存储网段在vlan1,业务网段在vlan2,vlan间通过三层互相通信,流媒体服务器必须采用双网段,元数据服务器能够访问到平台存储交换机独立,采用双网段云直存组网图(以双网段为例):云直存的常见组网方式如下图所示,云存储节点上需要配置两个网段,一个是业务网段和前端业务进行通信,另一个是存储网段,用于云存储内部通信及数据交互使用。云直存转存混合部署组网(以双网段为例):1.2.3
5、 FAQQ:云存储为什么要采用双网段部署A:云存储数据恢复的速度达到TB/小时,所以采用存储网络和业务网络分开部署,避免存储数据节点之间大量数据交互影响正常业务功能使用。Q:云直存是什么,和EVS直存是一样的吗,转存和直存的区别是什么A:云直存和EVS直存完全不一样,EVS只是把录像本地,云直存把前端码流拉过后需要通过存储网络把数据切片分别存储到各个云存储数据节点。直存和转存区别在于直存节点在提供数据存储的功能外,集成了流媒体转发功能,即云直存=云转存+流媒体服务器参考下图:直存节点=转存节点+流媒体服务器因此,直存节点节省了流媒体服务器,同时,在保证转发性能的基础上,直存节点和转存节点可以混
6、合部署。Q:云直存的转发性能是否有折扣,现场的卡口是否可以挂在云直存上A:云直存硬件上做了提升,转发性能也能达到700Mb。云直存也支持图片转发,但是视频服务器和图片服务器只能开启一个。1.3 设备IP配置设备到位后,提前规划好ip(以直存为例),修改设备ip信息例如ip规划如下:设备信息存储网段业务网段元数据服务器1(CSS9064)元数据服务器2虚拟ip目录ip存储节点1(CSS7124S-ERD)存储节点2存储节点3存储节点4存储节点5存储节点6流媒体服务器1流媒体服务器2存储节点:(一)通过web界面修改2015年12月后生产的直存存储节点集成了dss模块,可以通过网线直连1号网口(注
7、意:不是ex1网口),在ie浏览器输入打开配置界面,修改绑定网卡1(业务段ip地址)和绑定网卡2(存储段ip地址)的ip(注意:保存时提示输入eht1的ip地址时,随意配置一个即可)绑定网卡1:输入对应业务ip地址绑定网卡2:数据对应存储ip地址eth1网卡随意配一个地址即可:(二)通过ipinstall工具修改使用方法:1、安装ipinstall2、笔记本直连元数据服务器第一个网口(无法搜索到设备则换一个网口)3、打开ipinstall,可以搜索到对应的设备4、双击需要修改ip的设备,填入对应的ip,子网掩码,网管,输入密码(12个8),点击修改即可(如果提示修改失败,请点击右上角刷新页面)
8、5、如果无法搜索到ip,则需要手动修改。 (三)手动修改ip方法一:1)首先通过串口登录(或者网线直连存储节点1号网口,默认),通过终端模拟软件(CRT或xshell)登陆,用户名admin 密码8888输入密码:弹出如下界面,选择Network Configuration选择yes输入对应ip信息:Ip address:ip地址Netmask:子网掩码Gatway:网关输入完毕后选择“OK”,按回车键报错配置信息(四)手动修改ip方法二:1)首先通过串口登录(或者网线直连存储节点1号网口,默认),通过终端模拟软件(CRT或xshell)登陆,用户名root 密码dahuacloud2)修改网
9、卡配置文件: vi /etc/network/interfaces3)按“i”进入编辑模式,修改bond0和bond1的ip,子网掩码,网关,bond0为业务ip,bond1为数据ip4)修改完毕后,按“esc”退出编辑模式,然后按“:”再输入”wq“保存退出5)输入:xconf -s /etc/network/interfaces 保存配置到dom盘6)重启网卡:/etc/networking restart7)输入:ifconfig 查看ip信息元数据服务器: 通过ipinstall修改ip 手动修改:1)通过网线直连1号网口(或者3号网口),默认,通过终端模拟软件(CRT或xshell)
10、登录,用户名root 密码dahuacloud2)修改网卡配置文件: vi /etc/sysconfig/network-scripts/ifcfg-bond03)按“i”进入编辑模式,修改bond0的ip,子网掩码,网关。4)修改完毕后,按“esc”退出编辑模式,然后按“:”再输入”wq“保存退出5)重启网卡:/etc/network restart6)输入:ifconfig 查看ip信息IP配置完毕后请按照云存储组网方式通过网线把设备和交换机互连。1.4 系统配置根据配置好的ip信息:设备信息存储网段业务网段元数据服务器1元数据服务器2虚拟ip虚拟ip 在chrome浏览器输入:本地IP
11、:元数据服务器1的实际ip 对端IP :元数据服务器2的实际ip MDS虚拟IP:已经规划好的MDS虚拟ip CS虚拟IP:已经规划好的CS虚拟ip输入对应的ip后点“确定”,配置需要一分钟,请耐心等待。配置完成后可以通过csip/EFS即 登录云存储运维界面第一次登陆运维因为没有添加存储节点,对外sdk端口显示关闭,所以打红叉是正常的。添加云存储数据节点的ip新增节点ip后点击“添加”即可,so easy!根本不需要建riad等其他操作,动态扩容也是添加ip就行!存储节点添加完毕后系统容量自动识别:存储用户容量分配:添加存储用户(类似于网盘):适用场景:一套云存储对接多个平台(如-C,-T,
12、实战平台),一个平台对应一个存储用户,就相当于我们每个人都有属于自己的个人网盘用户名:例如dss-c,默认存储用户root,不可删除。权限:私有-其他用户不可见;可读-其他存储用户可以搜索到本用户的bucket;可读写-其他用户可以把数据写到本用户密码:输入密码密码确认:确认密码昵称:例如公安平台Bucket数上限:配置1000000即可,不够再加容量上限:你就是管理员,根据数据量分配大小1.5 配额上限设置1、总容量(磁盘格式化后的可用容量)2、存储节点容量之和3、用户可配容量上限:容量3=容量1*1024(是系统利用率,是云存储需要预留10%容量作为系统恢复空间,1024是单位转化为G)1
13、.6 云直存分布式配置 浏览器打开分布式流媒体配置界面,例如:,用户名:admin 密码:123456 存储配置分页中,配置云存储目录服务器地址:cs虚拟ip端 口:默认38100用户名:root或者其他用户名密码:123456N+M模式:4+1 配置从模式:ip地址:填写本地业务段ip地址扩展地址:填写本地存储段ip地址填写完毕后点击“应用”,设备将会重启设置“从模式”后,可以在中心平台管理界面搜索到对应从服务器注意:视频服务器和图片服务器只能启用一个(只能用于转发视频或者转发图片)。点击“编辑”按钮,可以启用从服务器服务器类型:可选用归属服务器(默认)、备用服务器(冗余考虑)是否启动:是否
14、启用从服务器的视频/图片转发功能可选备用服务器:可以把设置为的备用服务器,44宕机后,45自动接管。1.7 平台对接云存储 登录-C管理端下载配置工具 登录DSS-系统配置工具,配置云存储云存储配置:IP地址:云存储CS虚拟ip端 口:38100用户名:存储用户密码:对应存储用户的密码数据冗余模式:4+1PTS配置项:基本配置同上添加虚拟盘符,相当于每个卡扣对应多个bucket,可以增加图片写入并发量,有利于提升性能。 配置录像计划、普通配额限制、配额限制开启录像计划设置普通配额在系统设置-参数配置注意:配置限制必须启用,否则无法录像至此,-C平台对接云存储已经完成,其他平台对接云存储操作方法
15、类似,换汤不换药1.8 云直存PTS配置卡口采用云存储模式,请参照下面的说明按照实际需要配置文件,之后重启服务。vi /opt/dss/PTS/1、云存储服务环境配置项 2、云存储Bucket名称配置项,可复用原来的存储路径配置,只是配置有格式限制 bucketName 其中TruePath必须有并且保持唯一,bucketName为用户手动输入Bucket名称,,只支持1-63字节,不能出现以下字符 :* | / rdrytftyfy该路径配置项至少配置一个,该路径的配置个数表示写云线程数,当数据量比较大时,请多配置几个,并且bucketName最好不要一样,以保证读写性能。 3、数据存储模式
16、配置:3 0:标准异步存储模式 2、CQFS存储模式 3、EFS云存储模式 4、 超时设置1000 写超时重试次数 2 每次写超时休眠时间以ms为单位 建议上限做限制最多不超过10ms 否则影响写性能 5、图片删除配置 5 默认为5 云存储删除 CQFS不用360 图片保留天数 以天为单位安装完毕后重启dss服务,/opt/1.9 云存储校时配置登录云存储运维界面,配置NTP IP为中心平台ip地址确认中心平台服务器已经开启ntp服务 使用xshell登录中心平台终端:rootdahuatech # /etc/ntpd statusntpd (pid 17339) is running. .示
17、例:假如ip信息如下:设备信息存储网段业务网段元数据服务器1(CSS9064)元数据服务器2虚拟ip目录ip存储节点1(CSS7124S-ERD)存储节点2存储节点3存储节点4存储节点5存储节点6根据ip信息编辑对应关系:配置网闸信息:登录大华云存储管理平台,点击网闸配置:第二步,重启CS服务,主备都需要操作rootlocalhostCatalogServer#/etc/csdriverrestart第三步,cloudview验证 IP: ip使用CS目录ip或者对应外网ipPort:使用映射后的对应端口(此处以38180为例)Usename:用户名Password:密码登录正常后验证上传及下
18、载功能2 云浓缩摘要2.1 产品形态云计算一体机: 型号:DH-CCS7100X-LA / DH-CCS7100X-MA / DH-CCS7100X-HA注:一体机由四个节点组成,每个节点左上角的网口是IPMA网口,可选配,方便管理。实际使用时把每个节点的第一个网口(NIC1)连接到交换机,需要四根网线。前面板:后面板:2.2 组网方式云计算一体机由四个刀片服务器组成,开机时请注意把所有的节点开机,开机后把各个节点的网口1(NIC1)接入到存储交换机(配存储段ip)。云浓缩和云存储在同一个存储网段配置前请提前准备好5个IP(四个为实IP,其中一个为虚拟IP)IP配置及修改 通过ipinstal
19、l修改ip 手动修改:1)通过网线直连1号网口(或者3号网口),默认,通过终端模拟软件(CRT或xshell)登录,用户名root 密码dahuacloud2)修改网卡配置文件: vi /etc/sysconfig/ network-scripts /ifcfg-eth03)按“i”进入编辑模式,修改bond0的ip,子网掩码,网关。4)修改完毕后,按“esc”退出编辑模式,然后按“:”再输入”wq“保存退出5)重启网卡:/etc/network restart6)输入:ifconfig 查看ip信息2.3 安装部署注:前三步可能需要研发支持1、 上传最新的浓缩摘要安装包至A节点,并解压2、
20、拷贝/home/hadoop/Installation/scripts/至/目录下,通过vi修改运维安装脚本中所有节点的ip cp /home/hadoop/Installation/scripts/ /vi /3、添加可执行权限,并执行脚本安装云计算运维系统chmod +x sh install 输入“yes”开始安装运维4、 打开chrome浏览器,输入A节点ip加8067端口登录运维界面(用户名和密码都是admin)填入相关配置信息:IP Address:各个节点的ip地址Virtual Address:云浓缩虚拟ip地址EFS Address:云存储(EFS)CS地址EFS Port:
21、云存储服务端口,默认38100EFS Username:云存储存储用户名称,默认rootEFS Password:云存储对应存储用户的密码,root用户的密码是123456EFS Bucket:云浓缩对应的Bucket,默认dsaEFS N+M Mode:根据节点数量选择对应的冗余模式,混合安装默认就两个存储节点,选择1+1即可。EFS Version:根据云存储版本选择对应的版本即可时间配置:手动配置系统时间System Channel WSDL:用于通道浓缩,修改对应的ip地址为-C平台的ip地址填写完毕后,点击“开始安装”,等待安装完毕2.4 对接实战平台云计算服务地址:,如果接口正常,会弹出“hello world”,也可以在运维中查看服务是否运行。)实战平台云存储配置项:
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1