基于NoSQL技术的PDM数据逻辑组织与查询1.docx

基于NoSQL技术的PDM数据逻辑组织与查询1.docx

《基于NoSQL技术的PDM数据逻辑组织与查询1.docx》由会员分享，可在线阅读，更多相关《基于NoSQL技术的PDM数据逻辑组织与查询1.docx（50页珍藏版）》请在冰豆网上搜索。

基于NoSQL技术的PDM数据逻辑组织与查询1

硕士学位论文

论文题目

基于NoSQL技术的PDM数据逻辑组织与查询

研究生

孔庆云

专业

计算机应用技术

研究方向

管理信息系统与数据库

指导教师

夏秀峰（教授）

二零一四年一月

基于NoSQL技术的PDM数据逻辑组织与查询沈阳航空航天大学

分类号密级（不能为空）

UDC

学位论文

题目：

基于NoSQL技术的PDM数据逻辑组织

与查询

研究生姓名

：

孔庆云

学科专业名称

：

计算机应用技术

研究方向

：

管理信息系统与数据库

论文类型

：

××××（必须查准）

申请学位

：

工学硕士

指导教师姓名

：

夏秀峰

指导教师职称

：

教授

指导教师单位

：

沈阳航空航天大学

论文提交日期

：

2013年12月02日

论文答辩日期

：

2014年01月06日

沈阳航空航天大学

2014年01月

SHENYANGAEROSPACEUNIVERSITY

THESISFORMASTER’SDEGREE

ThelogicalorganizationandqueryofPDMdatabasedonnosqltechnology

candidate：

QingyunKong

supervisor：

XiufengXia

Specialty:

ComputerApplicationTechnology

Date:

January2014

原创性声明

本人郑重声明：

所呈交的学位论文是本人在导师的指导下独立完成的。

除文中已经注明引用的内容外，本论文不包含其他个人或集体已经发表或撰写过的作品或成果，也不包含本人为获得其他学位而使用过的成果。

对本文研究做出重要贡献的个人或集体均已在论文中进行了说明并表示谢意。

本声明的法律后果由本人承担。

论文作者签名：

年月日

摘要

随着科研技术地飞速发展，在大型制造工业中的产品相关数据由于多年的积累、产品型号数量的不断增加、“构型”机制的逐步实施，使存储在PDM（ProductDataManagement，产品数据管理）中的数据越来越多，逐步呈现出“大数据”特征；又随着MBD/MBE（ModelBasedDefinition，基于模型的定义；ModelBasedEnterprise，基于模型的企业）技术其实施及全生命周期管理不仅使工程数据的结构特征越来越弱，而且使企业中的用户几乎“全员参与”。

以上特征使得基于关系型数据库RDB（RelationModelDataBase）的传统PDM系统在高并发读写、海量数据高效存储和访问、高可扩展性和高可用性等方面存在的问题日显突出——服务器和用户终端机越来越“高档”、存储设备数量和容量越来越大、用户访问速度越来越慢、数据备份时间越来越长。

因此对PDM中数据的新型存储组织结构及查询的研究具有重要的意义。

首先，本文详细介绍PDM系统及非关系型数据库NoSQL（NoSQL=NotOnlySQL，不仅仅是SQL）的国内外研究现状、优缺点以及相关概念与理论，分析PDM中产品结构与配置管理的核心内容—产品结构树的创建理念，结合产品结构树中的结构关系与NoSQL的特点，探讨PDM中的数据在NoSQL—MongoDB中数据存储结构，打破以往关系型数据库表结构的传统模式，建立一种基于NoSQL的PDM数据存储的新模式，便于捕捉产品结构树中的祖先－后代关系及产品结构树的维护。

其次，详细分析了于海量产品结构数据中提取单棵产品结构树耗时的缺点及MapReduce模型的优缺点，提出基于MapReduce并行分布式计算模型对海量产品数据查询其所包含产品结构树集的策略。

此策略就MapReduce模型处理数据集过程及基于NoSQL的PDM数据逻辑组织的特点，首先对海量产品结构数据进行预处理，再利用MapReduce模型对产品结构数据进行并行查询，最后得到产品结构树集。

最后，对本文提出的方法策略进行实验检验。

结果表明，基于NoSQL的PDM产品结构数据组织可以更加地清晰表现产品结构关系以及更加容易地维护产品结构树；基于MongoDB模型地查询海量产品数据中的所有产品结构树较传统方法效率更高，且有助于快速地查找某棵产品结构树。

关键词：

PDM；MBD/MBE；NoSQL；MongoDB；产品结构树；MapReduce模型

Abstract

Withtherapiddevelopmentofthescientificresearchandtechnology,theproductdatastoredinthePDM（ProductDataManagement）moreandmore,andshowsthecharacteristicsof“bigdata”,duetoitsmanyyearsaccumulation,therisingnumberProductmodel,andtheimplementationofthe“configuration”mechanisminthelargemanufacturingindustry.WiththeimplementationoftheMBD/MBE（ModelBasedDefinition,ModelBasedEnterprise）technologyandproductwholelifecyclemanagementnotonlymakestructurefeaturesoftheengineeringdatamoreandmoreweak,bustalsomaketheusersalmost“allstaffparticipation”intheEnterprise.Thecharacteristicsabovemaketheproblemsexistingintheaspectsofhighconcurrencyreadingandwriting,highefficientstorageandaccessinthehugeamountsofData,highacalabilityandhighavailabilityinthePDMsystembasedonRDB,suchastheserveranduserterminalaremoreandmorehigh-grade,thenumberandcapacityofthestorageequipmentaremoreandmorebig,thespeedofuseraccessismoreandmoreslow,andthedatabackuptimeislongerandlonger.SotheresearchofthenewtypestorageandqueryofdatainPDMhastheimportantimplications.

Firstly,thispaperdetailstheresearchstatusathomeandabroad,anditsadvantagesanddisadvantages,andtheconceptsandtheoriesrelated.ItanalysisthecorecontentoftheproductstructureandconfigurationmanagementinPDM—thecreationconceptoftheproductstructuretree,andcombinewithstructurerelationsinproductstructuretreeandthecharacteristicsoftheNoSQL.ItdiscussesthedatastoragestructureofPDMdatainNoSQL—MongoDB,whichbreaksthetraditionalmodeloftablestructureinrelationaldatabase.WeestablishthenewmodelofdatastorageinPDMbasedonNoSQL,thatcapturestheancestor-descendantrelationshipofProductStructureTreeandmaintainstheProductStructureTreemoreeasily.

Secondly,thispaperanalysisthetime-consumingdisadvantagesofextractingsingleproductstructuretreefrommassproductstructuredataandtheadvantagesanddisadvantagesoftheMapReducemodel.ItproposesthestrategyofqueryingallproductstructuretreefromthemassproductdatabasedontheMapReducemodelwhichisaparalleldistributedcomputingmodel.Thisstrategypreprocessesthemassproductstructuredatafirstly,thenquerytheproductstructuredatebasedontheMapReducemodel,finally,itgettheresultofproductstructuretreesets,duetothecharacteristicsoftheMapReducemodelandthelogicalorganization.

Finally,throughexperimentalverificationofstrategiesproposedinthispaper,andtheresultsshowthattheproductstructuredataorganizationofPDMbasedonNoSQLcanshowtheproductstructurerelationshipmoreclearlyandmaintaintheproductstructuretreemoreeasily,andthemethodqueryallproductstructuretreefrommassproductdatabasedonMapReducemodelismoreefficientthanthetraditionalmethodandconducivetosearchaproductstructuretreequickly.

Keywords:

PDM;MBD/MBE;NoSQL;MongoDB;ProductStructureTree;MapReducemodel

目录

SHENYANGAEROSPACEUNIVERSITY4

THESISFORMASTER’SDEGREE4

第1章绪论1

1.1研究背景、目的与意义1

1.1.1研究背景1

1.1.2研究目的与意义2

1.2国内外研究现状3

1.2.1PDM国内外研究现状3

1.2.2NoSQL国内外研究现状7

1.3论文的总体思路与主要内容9

1.3.1论文总体思路9

1.3.2论文的主要内容9

1.4论文的研究方法与创新10

第2章产品数据管理PDM与非关系型数据库NoSQL12

2.1PDM主要内容12

2.1.1PDM概念12

2.1.2PDM的发展阶段12

2.1.3PDM主要功能13

2.2NoSQL主要内容14

2.2.1NoSQL起源14

2.2.2NoSQL主要的特征15

2.2.2NoSQL物理存储结构与逻辑存储结构16

2.3本章小结18

第3章基于NoSQL的PDM产品结构数据组织20

3.1产品结构树生成过程及其特征20

3.1.1产品结构树的生成过程20

3.1.2产品结构树的特征21

3.1.3遍历产品结构树中多对多关系解决方案22

3.2基于NoSQL的PDM数据存储结构及产品结构树生成算法24

3.2.1基于NoSQL的PDM基本信息的数据存储结构24

3.2.2产品结构树生成算法27

3.3基于NoSQL的PDM系统产品结构树的维护27

3.3.1产品结构树的结构关系地整理27

3.3.2产品结构树的维护29

3.4本章小节32

第4章基于MapReduce模型的PDM产品结构数据的查询分析处理33

4.1MapReduce模型概述与Hadoop平台中MapReduce实现机制33

4.1.1MapReduce模型概述33

4.1.2Hadoop平台中MapReduce实现机制35

4.1.3MapReduce处理数据集的过程36

4.2基于MapReduce的产品结构数据查询分析处理37

4.2.1基于NoSQL的PDM产品结构数据的逻辑组织37

4.2.2基于MapReduce模型多叉树遍历的缺点及解决方案39

4.2.3捕获产品结构树中的祖先-后代关系的方法描述39

4.3基于MapReduce模型产品结构树集的实现算法42

4.4本章小节44

第五章实验与分析45

5.1实验准备45

5.1.1实验数据45

5.1.2实验环境46

5.2基于NoSQL的PDM产品数据中的产品结构树的页面生成48

5.3基于NoSQL的PDM数据查询效率的验证48

5.3.1基于小型Hadoop集群环境的查询海量PDM数据的验证48

5.3.2基于大型Hadoop集群环境的查询海量PDM数据的验证49

5.4本章小节49

结论51

参考文献53

致谢55

第1章绪论

1.1研究背景、目的与意义

1.1.1研究背景

随着工业化进程以及科学技术的飞速发展，制造型企业正面临着市场竞争的加剧、电子数据急剧膨胀、信息交互困难、产品过程难于控制等一系列问题带来的巨大压力。

采用计算机辅助技术和信息管理技术对企业进行改革和创新是制造业谋求生存和发展的必要手段。

PDM系统为大型制造业中实现信息化过程提供最优化管理方法，通过跟踪产品生命周期内所有产品相关数据来保证产品质量和控制产品过程，能够有效的帮助企业增强市场竞争力，降低生产成本，缩短产品面市时间，具有重要长久的研究与应用价值，是发展现代产业体系的热点与重要研究内容之一。

PDM从20世纪80年代初开始至今已经经历了三代，且每一代新产品的出现，较前一代相比都有了重大的改进和长足的进步。

现在PDM产品适应能力有了显著的提高；功能模块在用户多样化的需求下在日益完善并持续增加；体系结构随着计算机技术的发展在持续改良；软件运行平台也逐步在普及化以及廉价化；用户群体也在由机械、工业、电子、航空、航天等大型企业向中小型企业渗透[1]。

目前最具代表性的是Siemens公司的TeamCenter和PTC公司的Windchill，其核心功能主要集中在PLM（全生命周期管理）、CAx集成、协同设计等方面。

发展至今，PDM的底层数据架构皆借助于流行的RDB。

但近几年，各大型制造业单位随着MBD/MBE概念的提出和应用，加之经过多年的积累、研制型号的不断增加、“构型”机制的逐步实施和全生命周期管理的实现，使存储在PDM中的信息中数据的结构特征越来越弱，且已使其呈现大数据态，造成基于RDB的传统PDM系统的存储与处理成本不断增加、并发性和访问速度逐步下降、备份时间越来越长等问题。

近来，信息化管理人员已经对庞大且增速越来越快的数据量表示出了深深的担忧，并试图尝试着在理论和实践方面进行研究和试验。

如何解决制造型企业海量MBD数据的存储和共享问题，是企业由制造向智造转型的重要研究内容之一[2-4]。

在大数据时代中，NoSQL的迅速掘起成为必然趋势。

NoSQL摒弃传统关系型数据库的事务的四个基本要素ACID，主要以键值对（key/value）非结构化的松散存储结构方式来存储数据，具有高并发读写、高扩展性、灵活数据模型和高可用性等特性，较RDB于海量数据管理中具有更高效的性能。

综上所述，在制造业传统企业中，基于现有的PDM系统对海量数据处理中出现的问题，研究NoSQL的物理与逻辑组织以及PDM的产品数据管理机制，本文以NoSQL作为PDM的底层支撑环境，搭建“逻辑上集中、物理上分散”的分布式环境，从根本上解决大数据问题。

1.1.2研究目的与意义

以NoSQL作为PDM系统的底层支撑环境的研究目的主要有：

（1）从系统底层解决当前大数据所带来的困扰。

目前各个行业基本都面临着大数据所带来的高并发读写、海量数据高效存储和访问、备份时间越来越来长等挑战，而这是盛行的关系型数据库难以攻克的难题，固摒弃服务器越来越高端的解决方案，从根部来找解决方法是目前亟待解决的难题，而NoSQL的崛起弥补了关系型数据库的缺陷，以其独特的结构特点高效地处理大数据，本文研究NoSQL在传统制造业中的应用及其优势是时势的必经之路。

（2）完善PDM系统的分布式存储功能。

作为DBA，在尝试以NoSQL作为其底层支撑环境时，亦是研究PDM中产品相关数据以另一种组织结构存储，打破传统关系型数据库的关系模式，不再被传统表架构所控制，并能直接利用NoSQL高水平扩展性快速完成数据库的分片功能，为PDM系统建立分布式数据库操作环境，为PDM的海量产品相关数据的高效存储与访问、高并发性提供更完善的底层环境。

（3）实现传统制造业与科技多元化地结合。

作为企业管理者，其思想不能不被传统模式架空，敢于尝试新理论，敢于创新才是现代企业发展必经选择。

而作为PDM系统，其底层环境亦不能一成不变被关系型数据库绑架，在NoSQL于海量数据处理优势如此显著的当前，更应结合NoSQL作为其底层环境，以寻求更强大的“地基”从底层向上发展的方案来解决传统PDM系统当前的所面临的挑战。

本文研究的意义在于：

（1）为大型制造业于解决大数据问题中打下基础。

众所共知，NoSQL在大数据问题突出优势，其独特的存储机制使数据的存储更为方便、灵活，且其分片机制使得海量的分布式存储更为容易操作。

而制造业中的PDM数据之“大”，使其在各个功能模块中性能降低，影响生产效率。

故从根部研究制造业的新数据存储机制成为必然。

（2）探索未来MBE时代的PDM解决方案。

MBD技术的逐步应用，促进各个部门数据流通，提倡数据共享，以三维模型作为单一数据源，贯穿产品研发的各个环节，减少了数据类型转换，则产品的结构特征越来越弱，因而NoSQL的非结构化存储和模式自由等机制提供了更好的数据管理环境，便于管理MBD技术中产生的工程数据。

MBE是各个制造业基于MBD技术发展的未来之路，解决当前MBD中所带来的数据之“大”及格式等问题，促进协同设计工作，并提高设计质量和质量管理水平，为其MBE时代的发展打下坚实的基础。

1.2国内外研究现状

1.2.1PDM国内外研究现状

（1）PDM国外研究现状

2005年，文献[5]开发以Web为中心的PDM系统，由面向对象技术，相关的快速应用开发环境，复杂的工程工具集以通信技术等组成的复杂电子系统集成领域，此协作工程环境提高生产率，节约成本，减少周期时间，并支持产口品完整性。

R.Sudarsan等人提出基于NIST核心产品模型（NISTCoreProductModel，CPM）及其扩展、开放的组装模型（OpenAssemblyModel，OAM）,设计分析一体化模型（Design-AnalysisIntegrationmodel，DAIM）和产品族进化模型（ProductFamilyEvolutionModel，PFEM）的一个信息框架，可以支持生命周期所有范围内的信息需求。

此框架与PLM的相关性是通过PLM系统接口可以直接访问此框架中的任何数据组件，并提供细粒度方式访问产品的描述与设计原理[6]。

2006年，SeokRyulKim和DanielWeissmann指出在制造业中，CAD与虚拟现实系统之间数据的交换被认为数字设计流程集成的一个关键要素，并提出MEMPHIS系统中一个关闭了CAD与虚拟现实系统之间数据处理过程手动差距的数据交换中间件。

设计一个基于国际标准通用接口的PDM，CAD和VR集成系统，可以在一个产品设计过程中允许VR具体修改的高效重用，最终减少重复时间[7]。

2007，C.S.Sung和SamJoonPark就当前传统PDM系统迁移为基于Web技术的系统中存在很多的不足的技术限制，例如：

可用性、安全、可靠和可伸缩的全球企业服务等，提出了一个基于组件的支持全球制造业的产品数据管理（CPDM）系统，此系统保证了CPDM灵活性、安全性、稳定性和可维护性[8]。

同年，JackyEstublier和GermanVega对PDM软件工程角度面临着既要体现其强大建模功能潜力，同时又要维护好并发工程支持的挑战，提出需要要对概念演变、版本控制和建模的反思的解决方案，开发出了一个CADSE（ComputerAidedDomainSpecificEnvironment），一个产品（软件、物理或两者）建模方式相似的PDM和并行工程和演化以SCM方式实现。

此系统以模型驱动；单独定义不同的演化模型[9]。

2008年，AliA.Yassine等人就产品开发过程中，对设计完成的产品信息是否立即使用问题，就产品模型于不同情况下（如静止、动态信息等）对此其进行详细分析。

其开一个动态规划模型（dynamicprogramming，DP）的产品开发过程，概念化产品开发过程为一个决策序列决定信息是否即成可用或等待更长的时间[10]。

S.G.Leea等人主要就CAD、CAM、CAE工具通过产品数据管理系统进化到今天的产品生命周期管理（PLM）以及PLM的特点和好处进行分析，并通过案例研究PLM在航空维修、维修和大修（repairandoverhaul，MRO）的实践和应用潜力[11]。

2009年，ZeeshanAhmed利用一个智能的面向语义的方法和基于知道的方法支持基于Web技术网络平台的独立的智能PDM应用程序的实施，以实现智能用户的动态请求处理、信息处理和建