企业中数据预处理算法及其应用研究概要.docx

1、企业中数据预处理算法及其应用研究概要第9卷第1期计算机集成制造系统CIMSVOI.9NO.12003年1月COmputer Integrated Manufacturing Systems J ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! an . 2003文章编号：1006-5911（2003）01-0037-05企业中数据预处理算法及其应用研究李仁旺1，祁国宁2收稿日期：2002-07-18；修订日期：2002-11-12。基金项目：国家自然科学基金资助

2、项目（50005009）。作者简介：李仁旺（1971-），男，湖南人，浙江工程学院机械与自动控制学院博士/博士后，主要从事CIMS 、MC 、PDPM 、DEM 、GT 等方面的研究。E-maiI ：rwIizist. edu. cn 。（1. 浙江工程学院机械与自动控制学院，浙江杭州310033；2. 浙江大学机械与能源学院，浙江杭州310027）摘要：介绍了当前商品化企业软件在进行企业中数据预处理方面的现状，提出了两种企业中数据预处理算法。以某汽轮机厂为工程背景，阐述了在应用这两种算法处理该厂近30年积累的数十兆原始数据时遇到的具体问题、困难和采取的措施，分析了这两种算法的优缺点，并对算法

3、相关系统的运行与应用作了简要说明。关键词：大批量定制；算法；数据预处理中图分类号：Th122文献标识码：A! 引言当前，随着全球化市场的逐步形成与深化，以及计算机技术在制造业中应用的普及，企业面对的是日益激烈的市场竞争挑战和客户越来越挑剔的需求考验。然而，由于企业中零部件尚未全面实现标准化和规范化，缺少可变型产品基型和有效的产品数据管理工具等，设计人员无法充分利用以前的设计结果，合同型生产企业的设计部门经常处于超负荷运转状态。为此，如何合理利用企业资源，成了当前多数企业迫切需要解决的问题。从检索ABI （American Business Index ）、EI（Engi-neering Ind

4、ex ）、EBSCO 公司全文数据库，以及登录世界著名ERP 、MRP ! 或PDM 企业的网站等方面来看，目前，国内外研究或大型软件在处理企业历史资源方面，主要工作表现在： 现有表格的计算机自动识别；#现有设计图纸的计算机自动识别与导入；$不同商品化软件系统之间的数据交换格式或接口等问题。迄今，尚未见有专门针对以上所论述的企业产品历史数据处理算法的报道。当前普遍存在的现象是：新零部件不断被设计出来，流入生产过程，造成零件和文档数量无限增长、制造过程忙乱、生产成本提高、交货周期延长等严重后果15。为此，本文以某汽轮机厂为工程背景，重点研究了如何处理企业所有产品历史数据的两种基本算法，以帮助设计

5、人员从一开始就能够对企业中已经生产的各种产品，曾使用过的零部件，以及这些零部件的具体使用情况（如数量、材料和曾经用在哪些产品上等），有一个大致的了解。 某汽轮机厂产品历史数据分析这里，结合某汽轮机厂关于三个系列工业汽轮机近三十年来的全部原始数据记录，其数据量很大，在转换成文本格式（ . txt ）后，ISAM1（结构数据）约22兆、ISAM2（基本数据）约18兆4。其中，ISAM1包含的主要信息有上物号、位号、下物号、数量、有无下属项（“1”表示有下属项；“0”表示无下属项）以及处置代码；ISAM2包含的主要信息有物号名称、下料尺寸、材料牌号、供应代码、处置代码、有无工艺（“ ”表示有工艺；“

6、0”表示无工艺）、制造周期、操作员代码等。在ISAM1中，下物号表示从属于与它在同一条记录里的上物号的下属项，上物号则表示一个部件或产品，而且它的第一位是“6”，则表示这是一个产品；第一位是“3”，则表示这是一个部件；第一位是“4”，则表示这是一个叶片，等等。显然，根据对ISAM1的分析，理论上处理数据有两种算法。（1）从产品到零件（或称沿着产品树从上往下）的算法“直溯式”算法这种算法初看起来比较简单，实现过程浅显易懂，而且在从产品找它的所有零部件过程中，不会出现“闭合回路”的情况，一次就可以将所有数据处理完。所以，这是一种简便的方法，即：! 数据量不是很大； 产品共有多少层“嵌套”比较清楚；

7、#产品“嵌套”的层数较少；$产品本身的零部件数比较少。但是，当产品的“嵌套”层数增加时，或者本身的零部件数增加时，这种算法的速度将成几何级数减慢，而在不知确切“嵌套”层数的情况下，给以一个很大的待定值，又会出现其他影响速度的情况。在刚开始时，我们也采用了这种算法，并根据一个假想的例子进行了调试，但在实际处理数据时，发现一个产品的处理时间非常长，于是又尝试了第二种算法。（2）从零件到产品（或称沿着产品树从下往上）的算法“溯源式”算法该算法具有不受产品“嵌套”层数的影响、可以指定一次统计的零部件个数等方面的优点。图1中包含了算法中涉及到的所有数据表格。下面，分别 就这两种算法进一步予以说明。! “

8、直溯式”算法该算法的主要步骤如下：（1）将所有的文本格式（! . tXt ）的数据文件导入系统，并将它们纳入一个统一的数据表（t-totai ）中。（2）通过判别表（t-totai ）中所有数据记录的第一位是否为“6”，找出所有的产品，并将它们“移到”一个单独的文件或数据表（t-product ）中。此处，“移到”表示已经将产品记录从t-totai 中删除，这样，可以减少每一次查找的次数，于是t-totai 就变成了只有零件和部件的总表（t-ibj ）。同时统计出产品的数目，设它等于! 。（3）设第一个循环（最外层循环）的循环次数记录变量为 ，显然，该循环的最大循环次数即为! 。由 =1，开始

9、第一轮循环。（4）寻找出第 个产品的所有下一层零部件，例如螺钉等，并将它们存入第一个临时动态数据表（t-temp-1）中。为了提高速度，同时将查找过的记录作一个标记，这样，下一次就可以不再查找它。（5）根据t-temp-1中每一条数据记录的S1BZ （有无下属项），判别该记录是否已经表示零件，如果是零件，将该记录“移到”临时结果表（t-temp-resuit ）中。如果t-temp-resuit 中没有该零件的记录，就直接将该条记录全部插入到t-temp-resuit 中；否则，将该条记录的零件数量，追加到表中该零件在该产品上所使用的数量中，完成一个小循环。（6）对于t-temp-1中依然是部

10、件的数据记录，可以此为条件，重新查询t-totai ，并将该产品中所有的再下一层的部件或零件放入第二个临时结果表（t-temp-2）中。此时数量之间用乘法。为了提高速度，将查找过的记录作一个标记，这样，下一次就可以不再查找它，完成一个小循环。（7）将t-temp-2中的数据记录全部“移到”t-temp-1中。（8）重复步骤（5），然后判别t-temp-1是否为空，若为空，则表示已经找到了该产品的最底一层，转到步骤（9）；否则，重复步骤（6）。（9）将t-temp-resuit 中的所有记录纳入一个统一结果表（t-resuit ）中，并将该产品的编码作为零部件的上物号一同存入统一结果表中。（10

11、）判别 是否大于! ，如果 ! ，则转到步骤（11）；否则，令 = +1，转到步骤（4）。（11）结束。计算机集成制造系统CIMS 第9卷该算法的流程图如图2所示。 ! 在每一个大循环中，必须对此次循环中检索过的零部件记录予以标记，如上面列出的部分参数：long pdbz ，ljzs ，ljs ；/判断标志、零件总数、正在处理的零件数。这样，就不用在每一次循环过程中都要对所有的零部件记录重新检索。! 用游标代替上述算法说明中的循环，来对表而不是对数据窗口进行操作。! 用drop 表与create 表来代替在两个临时动态数据表中进行的数据转移，即对于一个数据量很大的数据表，不用再一条条进行处理（

12、在应用select 与delete 函数操作数据窗口时，计算机是按每次处理大约100条数据记录的速度进行的），而是一下子就全部清除整个表，然后再接着创建一个。例如，在采用上述技巧之前，零部件编码为5756000100的“抽心铆钉5 10”统计了3个多小时也未得到结果；而在采取改进措施后，仅仅用了253秒钟就得知其总数量为159398，使用了该零件的产品数为273。该系统运行后，可以帮助设计人员方便地了解到下述一些情况：（1）企业内所有零部件的使用数量和使用在多少个不同产品上，以及该零部件的上一层部件（可以直到产品）或图形等。（2）各个零部件使用在哪些产品上，在各个产品上使用了多少。（3）各个产

13、品使用了哪些零部件，各个零部件的使用数量是多少。（4）各个零部件总的使用数量和进行的排序情况，以及零部件总数量位于某一个区间（或等于某个值）的情况等。（5）按零部件被用在多少个不同产品上进行排序的情况等。（6）可随时方便地查找零部件的详细信息、上一层或下一层的零部件，乃至相应产品的基本情况，以及其中各个环节的基本图形、详细信息等。（7）根据每一个评价指标的重要性给定的重要性系数，获得的各个零部件及所有产品的通用性评价指标值，等等。! 结束语人工智能技术的发展，给人们进行产品快速设计带来了全新的思路；现代信息理论的发展和因特网技术的推广应用，则直接导致了数据挖掘技术的产生，并为全球制造业带来了前

14、所未有的机遇和挑战。当前，为了迎接机遇和挑战，所有制造企业都应当尽力做好应用人工智能技术、现代信息理论、数据挖掘技术等的预处理工作。本文以此为背景，结合某汽轮机厂的具体情况，介绍了笔者在企业历史数据预处理方面的工作，开发了应用文中数据处理算法的相关系统，并在实际应用中，几乎考察了该汽轮机厂三个系列工业汽轮机中所有类型零部件频谱图、产品频谱图。实践表明，基于本文算法对企业产品历史数据的处理，可大大减轻设计人员的设计负担，提高设计的可靠性。参考文献：1OI Guoning ，GU Xinjian ，LI Renwang. Study on mass customizationand its mod

15、elsJ . Computer Integrated Manufacturing System CIMS ，2000，6（2）：41-45（in Chinese ）. 祁国宁，顾新建，李仁旺. 大批量定制及其模型的研究J . 计算机集成制造系统CIMS ，2000，6（2）：41-45. 2DAVID M ，ANDERSON P E. Implementing mass customization J .Agility &Global Competition ，1998，2（2）：36-49. 3MAFFIN D ，ALDERMAN N ，BRAIDEN P ，et al. Company c

16、lassifi-cation ：a new perspective on modeling the engineering design and prod-uct development process J . Journal of Engineering Design ，1995，6（4）：275-289.4LI Renwang. Study on manufacturing system information integrationR . Wuhan ：Postdoctoral Graduation Report ，Huazhong Univ. of Sci-ence and Techn

17、ology ，2001（in Chinese ）. 李仁旺. 制造系统信息集成研究R . 武汉：华中科技大学博士后出站报告，2001. 5LI Renwang ，OI Guoning ，ZHOU Ji. Study on collaborative productcommerce and its implementation strategy J . Computer Integrated Manufacturing System CIMS ，2001，7（6）：35-38（in Chinese ）. 李仁旺，祁国宁，周济. 协同产品商务及其实施策略研究J . 计算机集成制造系统CIMS ，2

18、001，7（6）：35-38. 6WEN Weimin ，LI Yong ，LIANG Chunmei ，et al. Application exam-ples of power builder 7. 0M . Beijing ：Mechanical Industry Press ，1999（in Chinese ）. 温为民，李勇，梁春梅，等. Power Builder7.0实例应用进阶M . 北京：机械工业出版社，1999. 计算机集成制造系统CIMS 第9卷Study on Data Preprocessing Arithmetic and Its Applications in E

19、nterpriseLI Ren -wang l ，OI Guo -ning 2（l. SchooI of Mechanics &Automatic ControI ，Zhejiang Institute of S&T，Hangzhou 3l0033，China ；2. SchooI of Mechanics &Energy ，Zhejiang Univ. ，Hangzhou 3l0027，China ）Received l8JuI. 2002；Revised l2Nov. 2002.Foundation item ：Project supported by the NationaI Natur

20、aI Science Foundation ，China （Grant No. 50005009）.Abstract ：The current status of commerciaI software ，which reaIizes data preprocessing in enterprise is presented first ，and two kinds of data preprocessing arithmetic ，are put forth. Faced with a steam turbine factory ，we expound the actuaI probIems

21、 ，difficuIties and adopted corresponding measures during handIing with miIIions of data accumuIated in the past 30years in this factory. At Iast ，the advantages and disadvantages of two kinds of arithmetic are anaIyzed ，whose running and appIication in the corresponding computer systems are iIIustra

22、ted. Key words ：mass customization ；arithmetic ；!data preprocessing2001年CIMS 期刊1012期入选Ei 论文及作者名单2001年第10期制造领域多智能体系统的技术研究王云莉，肖田元，段广洪，王先逵基于多智能体系统的网络计划与控制模型姜思杰，徐晓飞从过程序列、过程链到过程流祁国宁，Sch ! ttner J ，顾新建，祁连，韩永生产品需求获取及其结构化建模方法张和明，熊光楞面向对象技术的资源建模方法戴毅茹，严隽薇，张晓棠过程模型库管理系统的决策支持策略沈晖，李清，陈禹六，宁可基于链群的企业信息系统集成体系钱旭，柳莺，许世范

23、基于Pro /E 产品结构树的CAAPP高磊，王君英，王挺昊，王静蕾制造领域中反向工程曲面推理的神经网络法邢渊，王玉，李真支持并行工程的夹具TOP -DOWN 设计系统金天国，刘文剑2001年第11期供应链中车辆路径问题的研究进展及前景祝崇隽，刘民，吴澄基于ECA 规则和多代理的敏捷供应链管理汪良主，付谦，刘建勋，张申生敏捷制造单元动态重构算法的研究石柯，李培根，阳富民制造系统虚拟环境计算模型研究赵骥，肖田元，韩向利面向协商的项目进度粗规划苏志龙，毛宁，陈庆新，孙健概念设计自动化系统的演进过程建模赵刚，邓家禔并行设计及其支持环境黄利平，彭继忠，许隆文DFM 的关键技术与实现模式研究何煜琛，张和

24、明，刘成颖，苏海洋2001年第12期进化计算在生产线调度研究中的现状与展望尹文君，刘民，吴澄基于HopfieId 神经网络求解作业车间调度问题的新方法王万良，吴启迪面向个性化服务的虚拟设计系统韩伟力，陈刚，董金祥基于面向对象技术的网络计划系统李波，杨灿军，陈鹰，牛鸣岐多方案经营过程模型选择策略周永华，陈禹六，赵天奇基于IDEF3的过程建模方法及其支持工具牛东，宁可，李清，陈禹六面向装配工艺规划与评价的装配特征建模常向青，宁汝新STEP 模块化方法研究杨占勇，邓家禔企业信息集成系统中的过程管理耿建光，赵刚，章翔峰，邓家禔第l 期李仁旺等：企业中数据预处理算法及其应用研究企业中数据预处理算法及其应

25、用研究 作者： 作者单位： 刊名： 英文刊名： 年，卷(期： 被引用次数： 李仁旺， 祁国宁 李仁旺(浙江工程学院机械与自动控制学院,浙江,杭州,310033， 祁国宁(浙江大学机械与 能源学院,浙江,杭州,310027 计算机集成制造系统 COMPUTER INTEGRATED MANUFACTURING SYSTEMS 2003,9(1 1次 参考文献(6条 1.李仁旺 制造系统信息集成研究 2001 2.MAFFIN D;ALDERMAN N;BRAIDEN P Company classification:a new perspective on modeling the engine

26、ering design and product development process 1995(04 3.温为民;李勇;梁春梅 Power Builder 7 0实例应用进阶 1999 4.李仁旺;祁国宁;周济 协同产品商务及其实施策略研究期刊论文-计算机集成制造系统 2001(06 5.David M;ANDERSON P E Implementing mass customization 1998(02 6.祁国宁;顾新建;李仁旺 大批量定制及其模型的研究期刊论文-计算机集成制造系统 2000(02 引证文献(1条 1.万秀颖 面向大批量定制的设计技术体系研究学位论文硕士 2004 本文链接：