基于NoSQL技术的PDM数据逻辑组织与查询1.docx

1、基于NoSQL技术的PDM数据逻辑组织与查询1硕 士 学 位 论 文论文题目基于NoSQL技术的PDM数据逻辑组织与查询研究生孔庆云专业计算机应用技术研究方向管理信息系统与数据库指导教师夏 秀 峰（教授）二零一四年一月 基于NoSQL技术的PDM数据逻辑组织与查询 沈阳航空航天大学分类号 密级 （不能为空） U D C 学 位 论 文题目：基于NoSQL技术的PDM数据逻辑组织 与查询研究生姓名：孔庆云学科专业名称：计算机应用技术研究方向：管理信息系统与数据库论文类型：（必须查准）申请学位：工学硕士指导教师姓名：夏秀峰指导教师职称：教授指导教师单位：沈阳航空航天大学论文提交日期：2013年12

2、月02日论文答辩日期：2014年01月06日沈 阳 航 空 航 天 大 学2014年01月SHENYANG AEROSPACE UNIVERSITYTHESIS FOR MASTERS DEGREEThe logical organization and query of PDM data based on nosql technology candidate： Qingyun Kongsupervisor：Xiufeng XiaSpecialty: Computer Application TechnologyDate: January 2014原 创 性 声 明本人郑重声明：所呈交的学位论

3、文是本人在导师的指导下独立完成的。除文中已经注明引用的内容外，本论文不包含其他个人或集体已经发表或撰写过的作品或成果，也不包含本人为获得其他学位而使用过的成果。对本文研究做出重要贡献的个人或集体均已在论文中进行了说明并表示谢意。本声明的法律后果由本人承担。论文作者签名： 年 月 日摘 要随着科研技术地飞速发展，在大型制造工业中的产品相关数据由于多年的积累、产品型号数量的不断增加、“构型”机制的逐步实施，使存储在PDM(Product Data Management，产品数据管理)中的数据越来越多，逐步呈现出“大数据”特征；又随着MBD/MBE(Model Based Definition，基于

4、模型的定义；Model Based Enterprise，基于模型的企业)技术其实施及全生命周期管理不仅使工程数据的结构特征越来越弱，而且使企业中的用户几乎“全员参与”。以上特征使得基于关系型数据库RDB(Relation Model Data Base)的传统PDM系统在高并发读写、海量数据高效存储和访问、高可扩展性和高可用性等方面存在的问题日显突出服务器和用户终端机越来越“高档”、存储设备数量和容量越来越大、用户访问速度越来越慢、数据备份时间越来越长。因此对PDM中数据的新型存储组织结构及查询的研究具有重要的意义。首先，本文详细介绍PDM系统及非关系型数据库NoSQL(NoSQL = No

5、t Only SQL，不仅仅是SQL)的国内外研究现状、优缺点以及相关概念与理论，分析PDM中产品结构与配置管理的核心内容产品结构树的创建理念，结合产品结构树中的结构关系与NoSQL的特点，探讨PDM中的数据在NoSQLMongoDB中数据存储结构，打破以往关系型数据库表结构的传统模式，建立一种基于NoSQL的PDM数据存储的新模式，便于捕捉产品结构树中的祖先后代关系及产品结构树的维护。其次，详细分析了于海量产品结构数据中提取单棵产品结构树耗时的缺点及MapReduce模型的优缺点，提出基于MapReduce并行分布式计算模型对海量产品数据查询其所包含产品结构树集的策略。此策略就MapRedu

6、ce模型处理数据集过程及基于NoSQL的PDM数据逻辑组织的特点，首先对海量产品结构数据进行预处理，再利用MapReduce模型对产品结构数据进行并行查询，最后得到产品结构树集。最后，对本文提出的方法策略进行实验检验。结果表明，基于NoSQL的PDM产品结构数据组织可以更加地清晰表现产品结构关系以及更加容易地维护产品结构树；基于MongoDB模型地查询海量产品数据中的所有产品结构树较传统方法效率更高，且有助于快速地查找某棵产品结构树。关键词：PDM；MBD/MBE；NoSQL；MongoDB；产品结构树；MapReduce 模型AbstractWith the rapid developmen

7、t of the scientific research and technology, the product data stored in the PDM (Product Data Management) more and more, and shows the characteristics of “big data”, due to its many years accumulation, the rising number Product model, and the implementation of the “configuration” mechanism in the la

8、rge manufacturing industry. With the implementation of the MBD/MBE (Model Based Definition, Model Based Enterprise) technology and product whole life cycle management not only make structure features of the engineering data more and more weak, bust also make the users almost “all staff participation

9、” in the Enterprise. The characteristics above make the problems existing in the aspects of high concurrency reading and writing, high efficient storage and access in the huge amounts of Data, high acalability and high availability in the PDM system based on RDB, such as the server and user terminal

10、 are more and more high-grade, the number and capacity of the storage equipment are more and more big, the speed of user access is more and more slow, and the data backup time is longer and longer. So the research of the new type storage and query of data in PDM has the important implications.Firstl

11、y, this paper details the research status at home and abroad, and its advantages and disadvantages, and the concepts and theories related. It analysis the core content of the product structure and configuration management in PDM the creation concept of the product structure tree, and combine with st

12、ructure relations in product structure tree and the characteristics of the NoSQL. It discusses the data storage structure of PDM data in NoSQLMongoDB, which breaks the traditional model of table structure in relational database. We establish the new model of data storage in PDM based on NoSQL, that

13、captures the ancestor-descendant relationship of Product Structure Tree and maintains the Product Structure Tree more easily.Secondly, this paper analysis the time-consuming disadvantages of extracting single product structure tree from mass product structure data and the advantages and disadvantage

14、s of the MapReduce model. It proposes the strategy of querying all product structure tree from the mass product data based on the MapReduce model which is a parallel distributed computing model. This strategy preprocesses the mass product structure data firstly, then query the product structure date

15、 based on the MapReduce model, finally, it get the result of product structure tree sets, due to the characteristics of the MapReduce model and the logical organization.Finally, through experimental verification of strategies proposed in this paper, and the results show that the product structure da

16、ta organization of PDM based on NoSQL can show the product structure relationship more clearly and maintain the product structure tree more easily, and the method query all product structure tree from mass product data based on MapReduce model is more efficient than the traditional method and conduc

17、ive to search a product structure tree quickly.Keywords: PDM; MBD/MBE; NoSQL; MongoDB; Product Structure Tree; MapReduce model目 录SHENYANG AEROSPACE UNIVERSITY 4THESIS FOR MASTERS DEGREE 4第1章 绪论 11.1 研究背景、目的与意义 11.1.1 研究背景 11.1.2 研究目的与意义 21.2 国内外研究现状 31.2.1 PDM国内外研究现状 31.2.2 NoSQL国内外研究现状 71.3 论文的总体思路

18、与主要内容 91.3.1 论文总体思路 91.3.2论文的主要内容 91.4 论文的研究方法与创新 10第2章 产品数据管理PDM与非关系型数据库NoSQL 122.1 PDM主要内容 122.1.1 PDM概念 122.1.2 PDM的发展阶段 122.1.3 PDM主要功能 132.2 NoSQL主要内容 142.2.1 NoSQL起源 142.2.2 NoSQL主要的特征 152.2.2 NoSQL物理存储结构与逻辑存储结构 162.3 本章小结 18第3章 基于NoSQL的PDM产品结构数据组织 203.1 产品结构树生成过程及其特征 203.1.1 产品结构树的生成过程 203.1.

19、2 产品结构树的特征 213.1.3 遍历产品结构树中多对多关系解决方案 223.2 基于NoSQL的PDM数据存储结构及产品结构树生成算法 243.2.1 基于NoSQL的PDM基本信息的数据存储结构 243.2.2 产品结构树生成算法 273.3 基于NoSQL的PDM系统产品结构树的维护 273.3.1 产品结构树的结构关系地整理 273.3.2 产品结构树的维护 293.4 本章小节 32第4章 基于MapReduce模型的PDM产品结构数据的查询分析处理 334.1 MapReduce模型概述与Hadoop平台中MapReduce实现机制 334.1.1 MapReduce模型概述

20、334.1.2 Hadoop平台中MapReduce实现机制 354.1.3 MapReduce处理数据集的过程 364.2 基于MapReduce的产品结构数据查询分析处理 374.2.1 基于NoSQL的PDM产品结构数据的逻辑组织 374.2.2 基于MapReduce模型多叉树遍历的缺点及解决方案 394.2.3 捕获产品结构树中的祖先-后代关系的方法描述 394.3 基于MapReduce模型产品结构树集的实现算法 424.4 本章小节 44第五章 实验与分析 455.1 实验准备 455.1.1 实验数据 455.1.2 实验环境 465.2 基于NoSQL的PDM产品数据中的产品

21、结构树的页面生成 485.3 基于NoSQL的PDM数据查询效率的验证 485.3.1 基于小型Hadoop集群环境的查询海量PDM数据的验证 485.3.2 基于大型Hadoop集群环境的查询海量PDM数据的验证 495.4 本章小节 49结 论 51参 考 文 献 53致 谢 55第1章 绪论1.1 研究背景、目的与意义1.1.1 研究背景随着工业化进程以及科学技术的飞速发展，制造型企业正面临着市场竞争的加剧、电子数据急剧膨胀、信息交互困难、产品过程难于控制等一系列问题带来的巨大压力。采用计算机辅助技术和信息管理技术对企业进行改革和创新是制造业谋求生存和发展的必要手段。PDM系统为大型制造

22、业中实现信息化过程提供最优化管理方法，通过跟踪产品生命周期内所有产品相关数据来保证产品质量和控制产品过程，能够有效的帮助企业增强市场竞争力，降低生产成本，缩短产品面市时间，具有重要长久的研究与应用价值，是发展现代产业体系的热点与重要研究内容之一。PDM从20世纪80年代初开始至今已经经历了三代，且每一代新产品的出现，较前一代相比都有了重大的改进和长足的进步。现在 PDM 产品适应能力有了显著的提高；功能模块在用户多样化的需求下在日益完善并持续增加；体系结构随着计算机技术的发展在持续改良；软件运行平台也逐步在普及化以及廉价化；用户群体也在由机械、工业、电子、航空、航天等大型企业向中小型企业渗透1

23、。目前最具代表性的是Siemens公司的TeamCenter 和PTC公司的Windchill，其核心功能主要集中在PLM(全生命周期管理)、CAx集成、协同设计等方面。发展至今，PDM的底层数据架构皆借助于流行的RDB。但近几年，各大型制造业单位随着MBD/MBE概念的提出和应用，加之经过多年的积累、研制型号的不断增加、“构型”机制的逐步实施和全生命周期管理的实现，使存储在PDM中的信息中数据的结构特征越来越弱，且已使其呈现大数据态，造成基于RDB的传统PDM系统的存储与处理成本不断增加、并发性和访问速度逐步下降、备份时间越来越长等问题。近来，信息化管理人员已经对庞大且增速越来越快的数据量表

24、示出了深深的担忧，并试图尝试着在理论和实践方面进行研究和试验。如何解决制造型企业海量MBD数据的存储和共享问题，是企业由制造向智造转型的重要研究内容之一2-4。在大数据时代中，NoSQL的迅速掘起成为必然趋势。NoSQL摒弃传统关系型数据库的事务的四个基本要素ACID，主要以键值对(key/value)非结构化的松散存储结构方式来存储数据，具有高并发读写、高扩展性、灵活数据模型和高可用性等特性，较RDB于海量数据管理中具有更高效的性能。综上所述，在制造业传统企业中，基于现有的PDM系统对海量数据处理中出现的问题，研究NoSQL的物理与逻辑组织以及PDM的产品数据管理机制，本文以NoSQL作为P

25、DM的底层支撑环境，搭建“逻辑上集中、物理上分散”的分布式环境，从根本上解决大数据问题。1.1.2 研究目的与意义以NoSQL作为PDM系统的底层支撑环境的研究目的主要有：(1) 从系统底层解决当前大数据所带来的困扰。目前各个行业基本都面临着大数据所带来的高并发读写、海量数据高效存储和访问、备份时间越来越来长等挑战，而这是盛行的关系型数据库难以攻克的难题，固摒弃服务器越来越高端的解决方案，从根部来找解决方法是目前亟待解决的难题，而NoSQL的崛起弥补了关系型数据库的缺陷，以其独特的结构特点高效地处理大数据，本文研究NoSQL在传统制造业中的应用及其优势是时势的必经之路。(2) 完善PDM系统的

26、分布式存储功能。作为DBA，在尝试以NoSQL作为其底层支撑环境时，亦是研究PDM中产品相关数据以另一种组织结构存储，打破传统关系型数据库的关系模式，不再被传统表架构所控制，并能直接利用NoSQL高水平扩展性快速完成数据库的分片功能，为PDM系统建立分布式数据库操作环境，为PDM的海量产品相关数据的高效存储与访问、高并发性提供更完善的底层环境。(3) 实现传统制造业与科技多元化地结合。作为企业管理者，其思想不能不被传统模式架空，敢于尝试新理论，敢于创新才是现代企业发展必经选择。而作为PDM系统，其底层环境亦不能一成不变被关系型数据库绑架，在NoSQL于海量数据处理优势如此显著的当前，更应结合N

27、oSQL作为其底层环境，以寻求更强大的“地基”从底层向上发展的方案来解决传统PDM系统当前的所面临的挑战。本文研究的意义在于：(1) 为大型制造业于解决大数据问题中打下基础。众所共知，NoSQL在大数据问题突出优势，其独特的存储机制使数据的存储更为方便、灵活，且其分片机制使得海量的分布式存储更为容易操作。而制造业中的PDM数据之“大”，使其在各个功能模块中性能降低，影响生产效率。故从根部研究制造业的新数据存储机制成为必然。(2) 探索未来MBE时代的PDM解决方案。MBD技术的逐步应用，促进各个部门数据流通，提倡数据共享，以三维模型作为单一数据源，贯穿产品研发的各个环节，减少了数据类型转换，则

28、产品的结构特征越来越弱，因而NoSQL的非结构化存储和模式自由等机制提供了更好的数据管理环境，便于管理MBD技术中产生的工程数据。MBE是各个制造业基于MBD技术发展的未来之路，解决当前MBD中所带来的数据之“大”及格式等问题，促进协同设计工作，并提高设计质量和质量管理水平，为其MBE时代的发展打下坚实的基础。1.2 国内外研究现状1.2.1 PDM国内外研究现状(1) PDM国外研究现状2005年，文献5开发以Web为中心的PDM系统，由面向对象技术，相关的快速应用开发环境，复杂的工程工具集以通信技术等组成的复杂电子系统集成领域，此协作工程环境提高生产率，节约成本，减少周期时间，并支持产口品

29、完整性。R. Sudarsan等人提出基于NIST核心产品模型(NIST Core Product Model，CPM)及其扩展、开放的组装模型( Open Assembly Model，OAM),设计分析一体化模型(Design-Analysis Integration model，DAIM)和产品族进化模型(Product Family Evolution Model，PFEM)的一个信息框架，可以支持生命周期所有范围内的信息需求。此框架与PLM的相关性是通过PLM系统接口可以直接访问此框架中的任何数据组件，并提供细粒度方式访问产品的描述与设计原理6。2006年，SeokRyul Kim

30、和 Daniel Weissmann指出在制造业中，CAD与虚拟现实系统之间数据的交换被认为数字设计流程集成的一个关键要素，并提出MEMPHIS 系统中一个关闭了CAD与虚拟现实系统之间数据处理过程手动差距的数据交换中间件。设计一个基于国际标准通用接口的PDM，CAD和VR集成系统，可以在一个产品设计过程中允许VR具体修改的高效重用，最终减少重复时间7。2007，C. S. Sung和Sam Joon Park就当前传统PDM系统迁移为基于Web技术的系统中存在很多的不足的技术限制，例如：可用性、安全、可靠和可伸缩的全球企业服务等，提出了一个基于组件的支持全球制造业的产品数据管理(CPDM)系

31、统，此系统保证了CPDM灵活性、安全性、稳定性和可维护性8。同年，Jacky Estublier和German Vega对PDM软件工程角度面临着既要体现其强大建模功能潜力，同时又要维护好并发工程支持的挑战，提出需要要对概念演变、版本控制和建模的反思的解决方案，开发出了一个CADSE(Computer Aided Domain Specific Environment)，一个产品(软件、物理或两者)建模方式相似的PDM和并行工程和演化以SCM方式实现。此系统以模型驱动；单独定义不同的演化模型9。2008年，Ali A. Yassine等人就产品开发过程中，对设计完成的产品信息是否立即使用问题，

32、就产品模型于不同情况下(如静止、动态信息等)对此其进行详细分析。其开一个动态规划模型(dynamic programming，DP)的产品开发过程，概念化产品开发过程为一个决策序列决定信息是否即成可用或等待更长的时间10。S.G. Leea等人主要就CAD、CAM、CAE工具通过产品数据管理系统进化到今天的产品生命周期管理(PLM)以及PLM的特点和好处进行分析，并通过案例研究PLM在航空维修、维修和大修(repair and overhaul，MRO)的实践和应用潜力11。2009年，Zeeshan Ahmed利用一个智能的面向语义的方法和基于知道的方法支持基于Web技术网络平台的独立的智能PDM应用程序的实施，以实现智能用户的动态请求处理、信息处理和建