1、3.3系统支持Linux操作系统和主流开发平台。3.4系统支持大量并发用户访问。3.5系统支持可视化的后台管理。3.6系统支持分布式检索和资源的自动配置、调度。3.7集群采用分布式架构,任意两台数据节点服务器的损坏不影响大数据系统的正常运行,所有数据在正极大数据系统内实现3重备份;控制节点通过软硬件协同提供热备;交换机通过硬件协同提供热备。系统架构可靠,扩展性好。3.8支持数据的加密与压缩传输。支持广域网的用户登录。3.9具备完善的用户管理,可以根据需要灵活配置。3.10 系统支持主流开发平台,可提供JAVA二次开发接口。二、大数据分析与挖掘系统正极大数据分析挖掘系统是一个可以进行机器学习,数
2、据挖掘,文本挖掘,预测性分析和商业分析的,具有拖拽功能的图形化工具。平台具有丰富数据挖掘分析和算法功能,常用于解决各种的商业关键问题,如营销响应率、客户细分、客户忠诚度及终身价值、资产维护、资源规划、预测性维修、质量管理、社交媒体监测和情感分析等典型商业案例。平台解决方案覆盖了各个领域,包括汽车、银行、保险、生命科学、制造业、石油和天然气、零售业及快消行业、通讯业、以及公用事业等各个行业。正极大数据分析挖掘系统支持服务器和普通PC安装,不限安装拷贝数量和使用用户数。正极大数据分析挖掘系统提供了完整的日志记录,包括了平台启动/关闭时间、用户操作日志、数据导入导出记录等可供后续运维审计的信息。正极
3、大数据分析挖掘系统有总共11大类总数超过125个功能节点用于数据分析,将部分功能相同节点集汇合后介绍如下:数据预处理节点集:支持行列过滤、合并、拓展、关联、替换、行列转换、计算、缺失值填充、标准化、编码、行列采样、切片、排序、聚合计算等,支持通过Python脚本,将部分上述数据预处理操作保存成标准的PMML格式。数据可视化节点集:支持箱线图、柱形图、热力图、地图、散点图、数据上色、散布矩阵图、线图、毕达哥拉斯树图、文氏图、筛图、决策树图、列线图、地图、提升图等多种数据可视化展现手段。数据挖掘节点集:支持模型加载和保存,优化算法支持随机梯度下降法、监督模型支持有:CN2规则、kNN、决策树、随机
4、森林、SVM、线性回归、逻辑回归、朴素贝叶斯、AdaBoost、神经网络等,无监督模型支持有:PCA、关联分析、k-Means、MDS、距离图、距离矩阵、层次聚类、流形学习、关联分析、频繁集挖掘等,支持模型评估指标:ROC曲线、混淆矩阵、标准曲线,可以通关Python脚本拓展模块实现更多的模型。文本分析节点集:文本接入支持NY Times、Twitter、Wikipedia,支持文本全集查看,支持次袋构建、主题模型、语义增强、词云、地图等功能。图网络节点:支持加载、浏览、生成、分析、聚类、计算等图模型操作。生物分析节点集:支持生物数据加载、分析、基因分析选取丰富、展示等功能。正极大数据分析挖掘
5、系统支持可视化操作,通过拖拉拽即可构建和连接数据加载、分析、挖掘、检验、可视化等节点搭建数据挖掘流程,节点有状态显示,支持启动和中断运行中的节点。正极大数据分析挖掘系统支持从文档(Excel、txt、CSV)、传统数据库(PostgreSQL和SQL Server)或网址(URL)导入数据,数据类型支持结构化数据和非结构化生物、文本等数据。正极大数据分析挖掘系统支持装有Python2.7/3.5及相关模块(NumPy, SciPy, Scikit Learn, PyQt等)的Linux/macOS/Windows平台。系统支持主流的数据库(如:Oracle、SQL Server、Mysql);
6、支持可视化分析及结果导出(多格式)。三、基于大数据系统的大数据应用案例正极通过在大数据行业多年的积累,成功案例涉及多个行业,包含电商,物流快递,医疗,金融风控及政务等领域。正极将积累的大数据技术整理为系统的教学课程,包含2门大数据教学课程,配套教材,授课讲义课件,以及上机实验和操作指导书等,包含大数据概论介绍、大数据行业应用介绍、分布式文件系统HDFS原理及基本操作使用、MapReduce编程实战、Yarn/Mesos简介及架构、NoSQL数据库介绍、Hase管理与使用、Hive数据处理与分析、Zookeeper概念及体系架构、Spark编程实战、RHadoop/SparkR的使用、Sqoop
7、基本操作、大数据挖掘分析模型原理及应用、数据可视化工具实践等门大数据课程与案例课程等,帮助学校快速建立学科,方便学生理解和学习大数据技术及大数据处理流程。四、系统其他功能支持1. 性能测试报告(正极大数据系统可以提供提供包含以下内容的性能测试报告,中标后合同签订前采购方可以对我公司的证测试报告的真实性进行验证)2. 正极大数据系统的健康大数据系统,多用户同时使用是经常发生的场景,可以保证多用户同时使用和保障每个用户具有一定的计算性能。对于性能,正极大数据系统的各个组件都达到日常使用需求的标准。3. 正极大数据系统可以提供4个数据节点的集群性能指标的详细测试报告:包括测试集群的硬件配置信息、服务
8、组件名称、测试工具和测试结果。每个服务组件可以运行下表推荐的测试并收集指标数据,并生成测试报告。4. 正极大数据系统对集群硬件配置的(对搭载的硬件标准如下)硬件类别具体如下:数据节点 CPU: 2颗 8 核 16 线程 CPU以上,内存128GB以上,硬盘8 块1T 7200RPM SATA数据盘以上网络设备标准: 四口千兆绑定或万兆交换网络。三、每种货物详细的供货清单表及备品备件清单表(货物名称、品牌、规格、型号、制造商名称、产地、数量)供货清单表序号品牌规格型号制造商名称产地数量1正极正极大数据系统 V1.0山东正极信息系统技术有限公司山东济南1套备注:纯软件项目,不涉及备品备件四、所报货
9、物的实验报告、鉴定报告、制造标准、彩页等详细资料。4-1大数据应用管理平台4-1-1平台简介正极大数据系统 V1.0作为海量数据存储系统,通过将关系型数据库和文件系统中的数据导入到大数据挖掘平台中,实现数据的导入、清洗、转化、分层的ETL流程后,集中存储海量非结构化数据和结构化数据;在存储数据的基础上,提供统一的能力开放接口、数据产品服务能力的封装、基础资源的管理,并提供定制化的算法开发、数据展示等服务。平台支持安装于不少于3个数据节点的大数据集群,且面向使用的用户无上限设置。系统组件架构图如下:4-1-2组件列表正极大数据系统平台基于hadoop平台,整合多个生态组件,包含内容如下:组件名版
10、本号简述HDFS2.7.1分布式文件系统YARNHadoop集群资源管理平台HBase1.1.2分布式非结构化数据库Hive1.2.1 基于Hadoop的数据仓库Spark1.6.0基于内存计算的分布式集群计算系统Sqoop1.4.6数据传输工具Storm1.0.5分布式实时计算系统Flume1.5.2分布式日志采集系统Zookeeper3.4.6分布式应用程序协调服务Kafka0.9.0分布式消息队列系统ElasticSearch2.4.5全文检索引擎Knox0.6.0Hadoop集群的安全网关4-1-3数据采集 Loader 实现正极大数据系统与关系型数据库、文件系统之间交换数据和文件的数
11、据加载工具,集成开源社区 Sqoop 功能,同时提供 REST API 接口,供第三方调度平台调用。 Flume 提供日志导入功能。平台架构图如下:4-1-4数据管理正极数据探索工具是一个能让用户与 Hadoop 集群交互的 Web 应用程序,允许用户浏览数据存储和工作,管理数据仓库元存储,运行数据仓库和脚本,浏览非关数据存储,提交 MapReduce 程序,以及利用工作流编辑器安排重复的工作流。平台界面如下:4-1-5数据安全正极安全管理工具是一个Hadoop集群权限框架,提供操作、监控、管理复杂的数据权限,它提供一个集中的管理机制,管理基于Yarn的Hadoop生态圈的所有数据权限。作用如
12、下:通过集中管理界面或使用 REST API 实现所有安全相关任务的集中管理严格对 Hadoop 组件/工具的操作认证,并通过一个集中的管理工具进行管理所有 Hadoop 组件认证方式标准化扩大对基于访问控制的角色、基于访问控制的属性等不同认证方式的支持于 Hadoop 所有组件中集中审计用户访问和安全相关的管理操作正极安全网关提供的是Hadoop集群与外界的唯一交互接口,也就是说所有与集群交互的REST API都通过安全网关处理,这样就给大数据系统提供了一个很好的基于边缘的安全(perimeter-based security)。4-1-6高可靠性/扩展性平台使用YARN对集群资源进行管理,
13、不同的用户可以多租户配置下进行资源隔离的操作,保证集群的高利用率,同时分布式的架构,保证了平台的高可靠性和高扩展性4-1-7SQL-on-Hadoop正极关系型 SQL 查询平台通过结合联机事务处理和Hadoop运行分析平台的完美结合来针对低延迟应用程序。支持标准SQL和有包含事务的原子性、隔离性、一致性、持久性的JDBC API的能力;后期绑定灵活,基于NoSQL世界的读时模式,以HBase作为后台存储。对同一张表的两列,分别建索引及不建索引,查询的结果如下:4-1-8领域定制开发平台正极DSL开发平台是一款基于分布式大数据系统( Hadoop、 Spark、以及 NoSQL 等)的领域特定
14、语言(DSL)开发应用软件。该平台能够定义和管理面向特定领域的 DSL 抽象数据模型,并通过类自然语言的 DSL 应用这些自定义的 DSL 数据模型,实现在业务空间较高抽象层的作业,同时实现了支持用户交互的数据可视化分析和展示。4-1-9统一用户管理正极统一平台旨在提供一个统一的服务入口。通过平台,用户可以快速跳转到各个服务页面进行使用和操作。4-2大数据分析挖掘系统 正极大数据分析挖掘系统(是一个可以进行机器学习,数据挖掘,文本挖掘,预测性分析和商业分析的,具有拖拽功能的图形化工具。五、供应商提供的供货时间和安装调试完成时间。供货组织方案实施阶段时间安排实施内容了解安装环境4天与学校指定技术
15、负责人一起现场考察软件安装环境,包括网络环境、服务器配置、实验室环境等与管理系统相关的软件准备情况。软件采购备货12天与厂家共同完成采购和备货工作。安装软件产品对应软件安装:包括对应软件系统安装系统运行调试3天系统试运行,调试正常。软件培训1、系统管理员服务器、常见问题培训;2、教师软件基本操作及常见问题培训。3、学校参加培训的系统管理员和专业老师掌握软件基本操作,并填写培训登记表。整体系统试运行收尾整体系统配套调试、运行、无故障交货时间:签订合同后30天内完成安装调试。交货地点:山东女子学院校内指定地点。六、售后服务6-1交货时提供齐全的资料(1)我公司提供成交货物齐全的资料:如下产品使用说
16、明书产品安装手册产品维修手册产品维护的专用工具相应的质检手续证明文件(2)我公司所提供的产品为非进口产品6-2货物集成、安装、调试及验收若本次项目我公司中标了,为了做好本次的项目,公司将优先全力安排好技术力量、采购经理、项目经理等,作为公司的重点项目来组织和实施。从技术产品提供等各环节把控好,按照约定的时间来交货并验收,给客户更好的服务。公司承诺中标后保证严格按照采购人的交货时间及产品质量要求及时供货,并送达到指定地点。 公司中标后,成立项目小组,保证按时、按质、按量完成任务。若不按时完成任务,愿承担由此给采购人造成的一切损失和费用。项目实施措施 本项目分三阶段进行:第一阶段:客户需求整理分析
17、评审阶段第二阶段:产品备货、项目安装、调试阶段第三阶段:项目验收,提交验收资料及报告公司对于此次的投标产品,除了在采购过程中对产品的质量进行控制外,还对货物的安装、调试、验收等事项采取良好措施,以保证用户及时、准确、安全的使用产品。货物的安装、调试、验收:(1)产品保证:公司保证所提供的产品均为全新软件设备,用户体验标准符合国家标准及国际行业相关标准,保证所有设备正品供货。(2)产品检验:所有设备、器材保证全新,配置相符,数量、质量及性能符合要求,公司会对提供的全部产品、证书、资料等进行登记,并与供货清单对比,如有出入应立即书面记录,由公司解决,如影响安装则按合同有关条款处理。(3)安装:按照
18、招标文件的要求及应标文件的承若,在规定的时间内公司将投标的设备、配套的操作说明指引及其他配套资料一并提供给采购人,由采购人确定并提供具体的安装位置、服务器,并由公司负责安排技术工程师进行产品安装部署。(4)调试:由公司负责安排技术工程师安装产品后,负责进行产品的调试,公司负责对产品的正常使用调试、产品的运行情况调试,保证产品能够达到最佳的使用状态。(5)验收:交货时,按照此次招标要求的技术规格、技术规范的要求,对货物的质量、规格、性能、数量等进行详细而全面的检验。货物检验完毕后,在买卖双方共同参加下进行货物的验收。验收按国家有关的规定、规范进行。在验收时对所交付的产品双方做详细的现场记录,并作
19、为补充、缺失、和更换的有效证据。6-3提供及时、迅速、优质的服务,迅速快捷地提供货物的备品备件,并保证采购人能够及时买到货物所需的备品备件和易损件(1)我公司保证提供及时、迅速、优质的服务(2)此项目为纯大数据软件项目,并不涉及货物的备品备件和易损件6-4货物出现故障后,响应及排除故障时间对于我公司所提供的设备发生故障后,使用方应立即通知我公司。售后故障响应:响应方式如电话,在线响应、远程响应等,免费质保期内,如有需要现场响应,我公司在接到招标人通知十二小时内到场保修,以排除故障,使设备或软件完全恢复正常使用。如遇短期不能解决的软件故障,我公司提供同等型号的备用系统,确保使用方教学、实验正常使
20、用。6-5详细培训计划:时间与地点、人数、费用、内容、次数1.培训目标:使采购方的技术人员了解设备的工作原理、组成及各部组件、测试的工作原理和使用方法,熟练掌握本项目系统的操作规程,并可以进行对设备的维护、设备的配置与教学等。2.时间与地点时间:每年定期一次;地点:与采购人(用户)协商。3.培训对象:采购人(培训人数按照用户需求而定)设备在安装调试完毕后,由现场的专业技术人员提供现场免费培训,产品免费使用期限内,每年提供一次免费的系统使用师生培训。4.培训内容:1)设备安装调试现场由具有相关认证资质证明的技术人员讲解设备的基本工作原理、组成及各部组件、控制系统的工作原理和使用方法,调试、保养方
21、法等。使用户了解设备的工作原理,对设备能够进行日常的维护和保养,并熟悉设备的使用。2)由技术人员带领教师熟练掌握整套系统的操作规程,并可根据老师的要求对每一个或某个实训项目进行实训。3)安排技术人员对每种设备的简单维护进行讲解,教会用户排解简单的软件方面的故障。4)提供其他的相关培训。针对每一个关键点,将该设备的性能及日常维护文件,交给需方具体人员。并确保需方人员能够明确有关的设施性能以及维护常识,能够进行正常的简单自检工作。5.培训方式:提供最新的文字、音像、电子培训资料。接受各培训基地的技术咨询,派人到现场作安装技术指导。提供用于培训的相关设备。6. 培训效果标准:培训合格的标准为被培训者
22、能依据操作的基本规则对设备进行正常工作使用条件和任务下的独立操作。对于有可能遇到的特殊工作使用条件和任务,我公司会将这部分内容进行说明。7.培训费用:质保期内免费。6-6供应商对提供的所有货物,明确质保期限。质保期内,除人为因素损坏外,全部免费维修6-6-1产品主要技术保证措施1、售后响应质保期限: 三年免费更新及技术维护服务。售后故障服务响应时间:我公司在接到用户故障反应及时响应答复。响应包括:质保期后:提供与质保期内一样的技术支持及维护服务,根据实际情况收取一定的成本费用。2、产品保修 公司对售出的产品,将详细记录名称、规格型号、出厂编号、售出日期及用户信息(用户/单位名称、联系人、地址、
23、邮编、电话、传真等),归档管理。质保期内维修期间,所有费用全免。设备均按投标承诺的保修期限保修,保修期过后,由用户选择一种服务方案,公司将提供优惠服务,以确保用户能够得到更好的服务,并保证将定期回访客户满意度。3、产品维护 对于某些特别技术问题或技术咨询需要立项并且重点开会讨论的,公司将通过技术人员研究开会进行沟通,尽快给用户答复。维护完成之后,公司将详细记录维护的内容,完成维护的时间,所维护的产品的名称、规格型号、出厂编号、售出日期,及用户信息(用户/单位名称、联系人、地址、邮编、电话、传真等),归档管理。为将来的再维护提供详细的资料。4、技术支持 公司将长期为用户提供免费的、详细的技术支持,为了方便用户的管理,我们将向用户提供整套设备管理方案,以确保用户及时获得所需的增值服务。派出人员是熟悉产品,技术全面、具有单独安装、使用、维修保养的技术人员,能彻底免除用户的后顾之
copyright@ 2008-2022 冰豆网网站版权所有
经营许可证编号:鄂ICP备2022015515号-1