大数据系统计算的概念全面解析.docx

大数据系统计算的概念全面解析.docx

《大数据系统计算的概念全面解析.docx》由会员分享，可在线阅读，更多相关《大数据系统计算的概念全面解析.docx（11页珍藏版）》请在冰豆网上搜索。

大数据系统计算的概念全面解析

大数据系统计算的概念全面解析

　1引言

　　大数据是新一代信息技术的核心方面和竞争前沿，也是制约大数据产业快速发展的关键瓶颈。

大数据技术创新能力已经成为后信息时代衡量国家竞争力的重要指标。

与传统信息产业的发展过程相似，大数据必将逐渐形成一个相对独立、体系完善的产业形态，完成传统信息产业的升级换代。

互联网和云计算的发展过程与趋势已经证明，大数据未来的产业形态将是以服务为核心的新型产业形态，大数据产业体系的各个环节将提供极为丰富的服务。

　　大数据是国家、社会和产业在后信息时代的战略性资源，以大数据为核心支撑的新一代信息技术与应用（如互联网+、物联网、智慧城市、智能制造等）利用大数据资源的手段和工具，为社会提供信息服务，其最终目的是利用大数据解决科学研究、社会管理、产业发展等一系列实际问题，从而在战略决策、运营管理、终端服务等不同层面和环节提升效能与效益，形成新的核心竞争力。

当前，全社会数据产生越来越快、积累越来越多，大数据资源越来越丰富，而现有的信息技术已经跟不上数据的发展，特别是对大数据的处理、分析与应用已经成为全球性问题，引起了各国政府和产业界的高度重视。

　　大规模且高复杂性的大数据，其处理时间、响应速度等都有明确且具体的要求，这对计算平台的架构、计算模型的框架、共性技术等提出了更高的要求。

传统的以计算速度为优先的设计理念已经不能满足当前大数据时代的处理需求，新计算平台的研发、框架设计和共性技术开发等需要兼顾效率与效能的双重标准，同时兼顾大数据类型多、变化快、价值稀疏的特性。

　　2大数据系统计算技术现状与问题

　　大数据计算平台是大数据的硬件与系统基础，对大数据的所有分析与处理都需要在高性能的计算平台上进行；共性技术是大数据分析与处理的知识与技术基础，所有的大数据系统都涉及数据采集、传输、存储、处理和分析过程中的多项共性的技术；典型的应用可以用来验证计算平台和共性技术的可行性与执行效率，并为相近应用的研发提供借鉴。

　　经过近几年的快速发展，大数据已经形成从数据采集、数据处理到数据分析的完整产业，为社会经济的发展提供有力的数据支持。

然而技术的发展赶不上数据数量和形式的变化速度，这需要大数据研发和从业人员不断努力来适应新情况。

下面从计算平台、共性技术和应用3个方面对大数据的技术现状及存在的问题进行阐述。

　　2.1大数据计算平台现状及存在的问题

　　大数据计算平台是大数据产品体系的核心龙头。

大数据计算平台以云计算为基础环境、以服务模式为总体架构，覆盖大数据应用全过程，支持多源异构海量数据的采集、存储、集成、处理、分析、可视化展现、交互式应用，涉及企业大数据产品体系的各个层面，为各层产品实现提供关键技术支撑。

　　当前，面向信息服务的大数据计算平台还远不成熟，平台优化和节能等关键技术有待突破，面临的问题主要包括以下几个方面。

　　●平台研发需要交叉学科知识。

由于大数据计算平台环境复杂，要提高大数据计算平台的处理能力、优化平台性能和降低能耗、提高平台的安全性和隐私保护，需要多学科、多种专业背景的科研人员协同创新、联合攻关，才能实现技术突破。

平台研发需要交叉学科知识。

　　●平台研发人才缺乏。

由于大数据应用在许多行业属于新生事物，虽然很多企业管理者认识到了大数据的潜在价值，但还处于观望状态，不愿冒风险做领先者；多数企业缺少大数据技术和应用人才，也缺少大数据应用的技术平台，无法开展实际应用项目；目前大数据技术还很不成熟，很多是开源软件，实施应用项目成本高、风险大。

企业、科研机构和大学协同创新是突破行业示范应用障碍的有效途径。

　　●平台框架需要突破。

大数据计算平台的处理和分析能力主要依赖分布式计算框架来完成。

分布式计算框架不仅要提供高效的计算模型、简单的编程接口，还要具备容错能力和高扩展性。

大数据计算平台的计算框架主要分为批处理和流处理两种。

批处理计算框架主要针对静态数据的离线计算，吞吐量好，但是不能保证实时性；流处理计算框架主要针对动态数据的在线实时计算，时效性好，但是难以获取数据全貌。

　　●技术环境不统一。

目前大数据最前沿的计算框架和衍生的生态圈都分布在以GitHub为主的开源社区内，形成了大数据基础架构和大数据分析处理技术群。

大数据的技术环境为用户提供了丰富的技术选择，但也给用户掌握和使用多样性的大数据技术造成障碍，且提高了应用成本。

　　2.2大数据共性技术现状及存在的问题

　　根据处理流程，大数据技术可以分为基础架构支持、数据采集、数据存储、数据计算以及展现与交互几类。

具体来说，基础架构涉及的技术包括云计算平台、云存储、虚拟化、网络以及资源监控等；数据采集涉及的技术包括数据总线、抽取—转换—加载（extract-transform-load，ETL）工具等；数据存储涉及的技术包括分布式文件系统、关系型数据库、NoSQL数据库、内存数据库等；数据计算涉及的技术包括数据查询、统计与分析、数据预测与挖掘、图谱挖掘、商业智能（businessintelligence，BI）等；展现与交互技术包括图形与报表、可视化工具、增强现实技术等。

此外，大数据技术还包括大数据的安全与隐私保护等相关技术。

　　当前，大数据的存储、处理、分析、展示等关键技术有待突破，大数据处理和分析能力、算法的数据处理能力远远达不到实际应用要求。

现有的信息技术不足以解决大数据的问题，面对丰富和复杂的大数据应用场景，需要多学科、多领域的交叉合作才能解决。

这给传统信息技术带来了挑战，主要表现在：

多源多模大数据的获取和融合；对数据质量和低质量数据的容忍；面向大数据算法及理论的进一步研究；对现有可扩展存储和处理的计算架构更新设计；对大数据并行处理及分析挖掘技术适应性设计等。

　　2.3大数据应用的现状及存在的问题

　　随着国家政策扶持力度的不断加大，产业资本的持续投入，国内外发展大数据的积极性都很高，行业应用得到快速推广。

当前，大数据的应用给企业不仅带来了技术和应用模式上的突破，还为商业模式的创新以及企业的转型发展带来了驱动力。

对公共服务机构来说，挖掘大数据的潜在价值对解决城市发展问题、完善社会机制、更好地服务于市民有着重大的意义。

　　虽然大数据应用逐步深入人们的生活，但限于目前大数据技术仍不成熟，因此与实际问题解决需求存在一定的差异，主要表现如下。

　　●时空大数据面临海量数据管理、时空数据融合、时空大数据理论框架和时空推理与数据挖掘的深度结合的挑战；针对时空大数据模式发现与价值提炼的问题，揭示大尺度事件的演化推理机理，突破大尺度安全时间的理解和局限的挑战。

　　●媒体大数据的包容量大、源头多且成分迥异的特性，给媒体大数据计算理论和关联算法的研究带来了巨大的挑战。

此外，目前无论是科学研究还是新技术开发，都没有解决计算机按内容自动搜索视频媒体的可行性方案。

　　●为了有效地利用物联网海量多样化的大数据，挖掘其价值，一方面需要对网络进行优化，使其具备未来物联网需具备的承载大数据的能力；另一方面，对用户的服务进行分析挖掘，充分实现物联网的潜在价值。

　　●物流大数据应用领域面临使用大数据技术推动电子商务与现代物流的协同发展问题，是物流大数据应用的一大挑战。

　　3大数据系统计算技术创新平台

　　在国际社会和我国政府将大数据上升为国家战略的背景下、在我国大数据计算平台和共性技术研究不充分的情况下，国家发展和改革委员会于2017年正式批复由深圳大学牵头建设大数据系统计算技术国家工程实验室（以下简称国家工程实验室）。

国家工程实验室面向国家实施大数据战略的需求，着重解决我国大数据计算平台安全可信性差、软件通用性低的突出问题；采用国产高性能处理器互联芯片和计算平台，实现大数据智能诊断和自动纠错等可靠性信息高速转发，提升大数据计算平台的安全控制能力，满足国家加密算法的要求；以研制自主可控、通用性强的大数据计算平台为核心目标，解决高性能大数据计算中的共性问题，并以此为基础，着力开展大数据示范性应用研发。

各技术方向的架构和关系如图1所示。

图1国家工程实验室研究方向

　　国家工程实验室计划突破的3个主要技术方向包括高性能高安全的大数据计算平台研发、高度通用的大数据计算共性关键技术研究、大数据示范性应用研发，有针对性地解决目前我国大数据计算平台面临的安全性差、通用性低等突出问题。

采用全国产化、面向特定工程领域的芯片及软件技术，实现完全自主可控的高性能大数据计算平台。

将在该自主可控的硬件计算平台上，研发可以适用于大数据计算共性关键技术的通用系统软件。

还将面向大数据计算中的示范性应用，开展应用软件技术的研发，实现“硬件—系统软件—应用软件”的完整的大数据计算生态环境。

（1）高性能高安全的大数据计算平台研发

　　随着国家、国防信息化建设的发展，构建自主可控的大数据计算平台是国家战略安全的至关重要的问题。

目前我国绝大多数的大数据计算平台都基于国外的软硬件系统。

大数据计算平台安全可信性差和软件通用性低等问题，成为大数据行业最为突出的核心问题。

采用国外的基础技术平台，不仅在核心技术上受制于人，而且对我国重要数据信息的安全构成了直接威胁。

国家工程实验室将从“硬件—系统软件—应用”3个层次，全面构建国产化高可靠性、高性能大数据平台。

该平台的建设以研制基于国产化处理器的大数据计算硬件系统为核心方向。

采用创新的RAS2.0（增强的可靠性（reliability）、可用性（availability）及可服务性（serviceability））和处理器互联技术，提供超越现有标准开放平台的单机可靠性和计算性能。

采用基于固件、不依赖操作系统（operatinsystem，OS）的故障响应和诊断机制，能够全面、自动收集故障信息并进行分析，实现主动预警、隔离、替换失效部件，并率先支持CPU、内存等核心部件的在线维护，面向计划内零停机维护设计，保障重要部门和企业的关键业务连续运行。

（2）高度通用的大数据计算共性关键技术研究

　　国家工程实验室将开展面向高度通用的大数据计算共性关键技术的研究。

大数据计算在数据量、数据类型方面与传统高性能计算有显着不同，对数据的实时响应、安全性等方面也有特殊的要求。

国家工程实验室拟在通用大数据并行计算框架、一体化平台集成、数据存储、资源调度、数据安全、一体化应用环境6个方面开展研究。

基于度量空间的大数据抽象框架，利用度量空间将大数据复杂繁多的数据类型和多样化的距离抽象为统一的数据类型和距离函数接口，并通过支撑点选取算法选取若干支撑点，以数据到支撑点的距离为坐标，从而将数据从无坐标的度量空间映射到有坐标的多维空间，使众多数学工具得以使用。

　　（3）大数据示范性应用研发

　　研发特定领域的大数据示范性应用及其共性技术是国家工程实验室建设的重要目标之一。

国家工程实验室建设期间将从“智慧城市”“智能制造”“智慧政府”及“智慧服务”等领域的关键应用技术出发，开展五大示范性应用及共性技术的开发，包括多维时空大数据分析在智慧城市中的示范应用、物流大数据示范应用、媒体大数据分析的示范应用、物联网大数据示范应用以及大数据可视化分析技术的示范应用。

通过示范应用的开发及共性技术的研究，建立大数据“产学研用”协同创新生态链，促进大众创业和万众创新。

　　4基于大数据系统计算技术平台打造大数据生态创新基地

　　国家工程实验室的总体功能定位概括为我国大数据领域领先的“4个基地”，分别介绍如下。

（1）大数据技术创新与计算平台基地国家工程实验室特别注重大数据计算共性关键技术的源头创新能力，大数据计算平台的基础支撑能力以及对前沿技术成果和重大项目方案的集成、测试、验证