招标项目需求及技术要求Word文档下载推荐.docx
《招标项目需求及技术要求Word文档下载推荐.docx》由会员分享,可在线阅读,更多相关《招标项目需求及技术要求Word文档下载推荐.docx(211页珍藏版)》请在冰豆网上搜索。
单台配置E5-2640V4CPU≥2颗、内存≥128GB、600GB10KSAS硬盘≥2块、1TB10KSAS硬盘≥4块;
12Gb2端口SASRAID卡≥1块(缓存≥1GB,SAS口≥8个),千兆以太网电接口≥4个、配置万兆光接口≥2个(含光模块);
单台配置冗余电源、冗余风扇、原厂机架导轨及安全面板。
为保证设备兼容性,同时方便后期运维管理,要求本次所投基础平台服务器、基础平台、ADE服务器、应用开发平台、应用展示服务器、数据集成引擎、学生能力模型及SSLVPN为统一品牌。
处理器
支持≥2颗IntelXeonE5-2600v4系列CPU,可支持≥145w处理器。
内存
最大可扩展≥24个内存插槽,支持最大内存容量≥1.5TB;
支持高级ECC、在线备用内存、内存镜像等功能。
存储
最大可扩展≥31个热插拔硬盘槽位,并要求支持独立Raid阵列卡,支持RAID0/1/10/5/6/50/60/1E,≥2GB缓存,支持缓存数据保护,且后备保护时间不受限制,提供官网链接截图证明且加盖设备厂商公章。
I/O
最大支持≥10个PCIE3.0插槽(≥6个全高),提供官网链接截图证明且加盖生产厂商公章。
网络
配置≥4个10/100/1000M-BaseT以太网接口,要求额外提供≥1个网卡专用插槽(不占用PCIE扩展槽),可选配千兆或万兆网卡。
GPU
最大可支持≥3个双宽GPU显卡,提供官网链接截图证明且加盖设备厂商公章。
可用性
配置≥2块热插拔冗余电源,冗余风扇模块。
可管理性
配置≥1Gb的远程管理控制端口,配置虚拟KVM功能,可实现与操作系统无关的远程对服务器的完全控制,包括远程的开机、关机、重启、更新Firmware、虚拟媒体等操作,提供服务器健康日记、故障现场还原,支持智能电源管理,支持服务器内部温度切面的3D显示,可支持动态功率封顶。
★审计
要求能够记录每个IP或用户上下线时间,包括用户IP,上线时间,最后活跃时间,提供界面截图并加盖生产厂商公章。
★分析
要求支持在一条HTTP访问记录里包含访问时间、源IP地址、源端口号、目的IP地址、目的端口号、访问URL、域名、网站名、类型、账号、请求类型、方向、访问终端操作系统、浏览器类型、引擎等;
并且支持基于以上各种条件的查询功能,提供产品界面截图,并加盖生产厂商公章;
要求支持在一条预览行为记录里包含发生时间、用户名、源IP地址、标题、归属库、归属网站、归属平台、网页大小、文献种类、学科种类、库的种类、学工号、部门名称、性别、人员类别、年级、专业名称、操作包含页面回溯、查看源文件、查看详情,提供产品界面截图,并加盖生产厂商公章。
工作温度
5-45℃,提供官网链接截图证明且加盖设备厂商公章。
操作系统支持
服务器支持主流操作系统,包含windowsserver/suselinux/redhat/vmware/centos/ubuntu等。
资质证明
投标产品须具备有害物质过程管理体系认证,以确保生产过程中对环境的低损耗,提供QC080000有害物质过程管理体系认证证书复印件;
投标产品厂商须具备ISO50001能源管理体系认证,以保证生产过程中管理及节能技术的应用,提供证书复印件;
以上证书须提供复印件并加盖设备厂商公章。
服务
提供生产厂商针对此项目的授权书、提供生产厂商3年售后服务承诺函,并要求所投产品生产厂商应具备良好的信用,在全国企业信用信息公示系统(网址
2
基础平台
★配置要求
要求配置Hadoop授权节点数≥3个,包含运维管理服务、系统基本组件服务、业务组件服务、流式计算服务及数据服务服务等。
为保证设备兼容性,同时方便后期运维管理,要求本次所投基础平台与基础平台服务器、ADE服务器、应用开发平台、应用展示服务器、数据集成引擎、学生能力模型及SSLVPN为统一品牌。
开放性要求
要求平台软件基于Apache开源社区,不使用私有架构和组件替代开源组件,并能够跟随社区发展进行版本升级。
可靠性
要求管理节点在内的组件节点及所有业务组件中心管理节点实现HA。
产品功能
要求除了cli外,集群管理软件可提供web图形化界面对集群服务器角色,配置和状态进行管理;
要求可以通过图形化管理界面支持集群服务器上分布式系统状态监控和服务器状态监控;
要求可通过图形化配置节点服务器对应机架,并进行监控展示。
出现硬件故障,可快速定位服务器的机架位置。
要求图形化管理界面支持同时管理多个Hadoop/HBase集群,适应用户创建研发、测试、生产等多个集群并统一管理。
要求支持图形化地展示主机在机架上的物理位置,并对主机和服务进行可视化的监控,方便大型集群的管理,提供产品功能界面截图,并加盖生产厂商公章。
要求集群节点数量从支持1台到上千台,并支持在线横向扩展。
要求100%兼容SQL92标准。
支持存储过程等数据库对象;
支持完整的HiveQL;
支持完整的JDBC标准和ODBC标准,ODBC驱动至少兼容linux、windows(64位)。
要求提供分布式文件系统HDFS和HBase、HAWQ数据库,满足存储各种类型海量数据的能力,实现数据的多副本高可靠存储。
要求提供MapReduce、Spark、Storm、Tez等多种计算框架,离线计算、内存计算和流式计算并存,满足高吞吐、大数据量和低时延实时处理等多方面的数据计算要求。
要求支持异构数据库间的关联查询语句,支持HBase/Hive等Hadoop数据库和MPP/Oracle/SQLServer等关系型数据库之间统一SQL查询。
数据挖掘能力:
需提供机器学习算法库Mahout和SparkMLlib,包含聚类分析、分类算法、频度关联分析和推荐系统在内的常用机器学习算法。
要求支持通过web图形化ETL工具Kettle以及Sqoop工具将数据导入到Hadoop,并提供数据清洗转换功能。
要求提供Solr和ElasticSearch组件,且需满足检索响应快、实时高性能、海量存储等要求,提供产品功能界面截图,并加盖生产厂商公章。
多类型数据结构支持能力
要求支持结构化、半结构化、非结构化的数据结构;
要求支持非结构化大对象数据(图片、语音等)的高速存储技术以及高并发低延时的检索技术,避免海量的图片、语音等数据的存取影响分布式在线HBase数据库的性能;
要求支持半结构化(JSON/BSON形式存储)和非结构化数据的高效存取,其中半结构化数据支持字段内部建立索引。
提供全文索引功能,支撑内容管理,实现文本数据等非结构化数据的提取和处理。
多租户支持能力
要求可以根据不同的业务部门,以及各自部门的业务需求,向多个部门提供资源隔离的多租户服务;
租户可根据自身业务,使用划分好的大数据分析资源,无需指定具体物理机;
自动实现资源隔离防止争抢现象;
资源紧张或受限,可以动态调配的闲置资源;
★提供用户自服务门户,可监测租户自身的大数据分析业务;
提供产品截图,并加盖生产厂商公章。
安全性
要求支持对管理员的权限进行控制,采用最小授权原则对系统管理员、安全保密员、安全审计员进行系统权限的赋予。
要求支持分布式存储数据加密,支持主流AES128等算法,数据与密钥分离,并能支持用户自定义的加密算法。
要求支持用户权限认证,对存放在HDFS/HBase中的数据根据认证用户进行读/写访问控制;
并支持支持ACL和Policy方式授权机制。
统一日志
要求支持记录平台的操作记录,并提供检索功能。
支持管理组件、所有主机、所有服务(例如HDFS、Spark等)的日志、审计、告警信息,并可针对特定服务和操作提供监控仪表盘功能。
要求提供日志检索、全文搜索、统计功能。
二次开发
需提供大数据平台的开发指南文档和API接口文档,并提供示例代码。
投标产品生产厂商公司主体或国内分支机构(不含国外分支机构)须通过CMMI5级要求,提供证书复印件;
★投标产品须具备国家版权局认证的“大数据软件”相关著作权登记证书,提供证书复印件;
投标产品生产厂商须为全国信息技术标准化技术委员会大数据标准工作组全权成员单位,确保大数据产品开发符合国家标准,提供证书复印件;
以上证书须提供复印件,并加盖生产厂商公章。
提供生产厂商针对此项目的授权书、提供生产厂商3年售后服务承诺函,并要求所投产品生产厂商应具备良好的信用,在全国企业信用信息公示系统(网址
ADE服务器
单台配置E5-2640V4CPU≥2颗、内存≥256GB、600GB10KSAS硬盘≥2块、1TB10KSAS硬盘≥4块;
为保证设备兼容性,同时方便后期运维管理,要求本次所投ADE服务器与基础平台服务器、基础平台、应用开发平台、应用展示服务器、数据集成引擎、学生能力模型及SSLVPN为统一品牌。
投标产品厂商须具备科学、系统的知识产权管理体系,要求设备厂商提供知识产权管理体系认证复印件;
4
应用开发平台
★兼容性
大数据应用开发平台和大数据基础平台需统一品牌,能够基于大数据平台进行各类应用开发。
开发环境
支持标准SQL、MapReduce、Shell、Scala、Python编程。
提供Eclipse插件用于UDF(Userdefinedfunction)等编程,并且可从Web端下载,提供产品功能界面截图,并加盖生产厂商公章。
重要组件例如:
Hbase、Spark、Storm、Kafaka等需要提供示例程序代码和编程指导手册。
帮助开发者更快掌握组件开发应用技能。
需提供Python和R的在线编码和运行环境,教师和学生可直接进行交互式编程,边写边调试。
一次运行,多次阅读,保存运行结果。
集成常用Python库,学生可以直接web在线使用,提供产品功能界面截图,并加盖生产厂商公章。
支持发现数据类应用的构建,包括发现文件数据、网络数据、数据库数据等;
支持探索数据类应用的构建,包括回归分析、关联分析、社交网络、中文分词等常见的数据探索应用程序;
支持呈现数据类应用的构建,包括对大数据集群管理的监控应用,公共的Web应用功能(如用户管理、权限管理、日志管理等)。
★算法学习
提供基于Python实现的贝叶斯、决策树、支持向量机、K邻近值、决策树(ID3)、层次聚类、Kmeans、线性回归、逻辑回归、遗传算法等教学示例代码和数据集,可下载算法源码、操作手册,提供Pycharm进行运行和结果呈现,提供产品功能界面截图,并加盖生产厂商公章。
需提供至少1个综合型案例实例,从“数据集——数据处理(采集、存储、复杂数据建模)——结果分析展示(上层应用)”,每一个环节都是透明的(即可以给开发者下载每一个环节的源代码,并可修改练习),提供产品功能界面截图,并加盖生产厂商公章。
数据装载
支持文本文件、以及非结构化文件(例如XML文件)的文件抽取和加载;
支持全量和增量的源数据抽取方式;
支持离线数据的装载及实时数据的装载;
实时模式支持pub/sub(发布/订阅)模型;
支持网络爬取互联网数据,并提供清洗功能。
运维管控
可对大数据平台作业上传、启动以及完成时间等进行监控告警;
提供对外接口,可进行开发应用war包的上传、启动和监控。
开放性
提供一站式产品自助资料库,用户可自助获取平台的相关开发指导文档、调优手册、使用问题FAQ等;
提供多行业的开放数据集,用于进行机器学习等算法的训练。
需包括教育行业、社交行业、政府行业、金融交易类、XX百科的数据集;
提供单点登录、用户鉴权等兼容模块,可与第三方系统融合集成;
实现关联分析、分类分析、回归分析、聚类分析、统计汇总等数据分析处理功能,支持第三方BI工具的集成,实现数据的多维分析、数据钻取等深度分析挖掘能力。
其他要求
为保证设备兼容性,同时方便后期运维管理,要求本次所投应用开发平台与基础平台服务器、大数据基础平台、ADE服务器、应用展示服务器、数据集成引擎、学生能力模型及SSLVPN为统一品牌。
5
应用展示服务器
为保证设备兼容性,同时方便后期运维管理,要求本次所投应用展示服务器与基础平台服务器、基础平台、ADE服务器、应用开发平台、数据集成引擎、学生能力模型及SSLVPN为统一品牌。
6
数据基础引擎
数据ETL能力
要求采用B/S架构,提供友好的数据集成Web操作管理界面;
支持通过web图形化ETL工具将数据导入到HDFS、Hive、Hbase;
并提供数据清洗转换功能;
集成Sqoop、Flume等数据采集组件,并能实现Sopp和Flume等ETL任务的统一创建和管理;
提供产品功能界面截图,并加盖生产厂商公章。
支持将日志文件通过Flume等集成工具流式采集到HDFS中进行数据分析;
支持在hadoop与结构化数据库之间的数据导入导出;
支持读取、解析半结构化如Excel、csv、xml等文件并集成;
支持Kafka消息队列形式进行数据ETL抽取;
提供压缩文件采集组件,支持对压缩文件的采集,并实现压缩文件采集后自动解压;
支持ETL插件的横向扩展;
分布式执行ETL作业,充分利用服务器的资源,一个服务器可以安装多个ETL任务执行器,并可将任务分布到多个ETL任务执行器执行,提高ETL效率。
数据源适配
支持通用关系型数据库接口,如DB2、达梦、MySQL、Oracle、PostgreSQL、SQLServer等数据库等;
支持MPP数据库接口,如Teradata、Greenplum、DEMPP等;
支持Hadoop,满足HDFS、Hive、Hbase、Kafka、ElasticSearch等类型数据的适配;
支持FTP、SFTP文件数据的抽取。
数据存储
提供对ETL数据进行落地保存,支持数据库、压缩文件及Hadoop大数据平台等数据存储能力。
并且支持基于以上各种条件的查询功能,提供产品界面截图,并加盖生产厂商公章。
要求支持在一条预览行