产品技术数据管理TDM及其关键技术.docx

产品技术数据管理TDM及其关键技术.docx

《产品技术数据管理TDM及其关键技术.docx》由会员分享，可在线阅读，更多相关《产品技术数据管理TDM及其关键技术.docx（8页珍藏版）》请在冰豆网上搜索。

产品技术数据管理TDM及其关键技术

1概述

本文所说的产品技术数据是相对于产品设计数据而言的，指的是产品生命周期中各种仿真实验、物理试验、或其它技术分析手段所产生的数据。

及产品设计数据的主要区别在于，产品技术数据通常是通过技术手段得到的，而不是由人设计出来的。

技术数据管理（TechnicalDataManagement，TDM）关注的是如何对这些技术数据进行有效的归档和使用。

技术分析活动（主要指仿真和试验）是贯穿产品全生命周期的重要活动，通过技术分析，可以全面了解产品的动、静态性能，将可能存在的缺陷尽早暴露出来并加以处理，从而达到降低风险，减少时间和经济成本，提高产品质量的目的。

在产品全生命周期中，需要进行多种技术分析活动，每种活动都会产生大量的数据。

作为产品数据的重要组成部分，技术数据及设计数据一样，是企业重要的信息资源，体现了企业的核心竞争力。

但另一方面，目前PLM相关的理论和产品都普遍侧重于产品设计数据，而忽视了对产品技术数据的管理。

企业中的技术数据基本上都以文件的形式分散管理，缺乏统一的维护机制，而且由于数据种类繁多，格式不统一，存储和使用都非常困难，数据的完整性、一致性、安全性和可用性也难以保障。

很明显，这种混乱的技术数据管理现状无法满足当前产品研发制造敏捷化和协同化的趋势，正在成为影响企业业务效率的新的瓶颈，严重阻碍了企业的信息化水平。

2TDM发展现状

目前，许多企业和软件厂商都已经意识到对产品技术数据进行信息化管理的重要性，并开始着手进行相关的研究工作。

目前TDM的研究和应用基本上是从仿真和试验两个领域分别展开的。

在仿真领域，较早就提出了仿真数据管理系统（缩写为SDM）的概念，也出现了一些软件产品和应用案例。

目前仿真数据管理系统主要可以分为两种类型，一种是企业或科研单位针对自身业务需求所开发的定制化系统，这种系统通常绑定在特定的仿真应用上，通用性还不是很好，难以在其他业务背景下使用；另一种是较大的仿真公司针对自己的仿真软件提供的配套工具，这种系统通常只能及特定的仿真软件配合工作，还未能成为独立的数据管理系统。

总的来说，目前仿真数据管理领域还没有出现具有较强通用性的软件系统，定制化或专用化的情况较为严重。

在试验领域，对应的是试验数据管理系统（缩写也是TDM）。

试验数据管理问题最近几年才为国内企业所注意，但发展和应用非常迅速，目前市场上已经出现了商品化的试验数据管理系统，典型的如NewteraTDM和AppTDM等。

由于试验数据的来源通常是试验设备，某种程度上属于黑箱系统，使得试验数据管理系统可以尽量避免同其他软件之间的紧密耦合，更有可能成为一个通用性的系统，而且由于试验数据同仿真数据之间具有很多相似性，一些企业选择用试验数据管理系统来管理仿真数据，也取得了很好的效果。

值得注意的是，目前人们对技术数据管理的复杂性和特殊性通常认识不够深刻。

普遍的观点是，技术数据管理就是在数据库之上开发一些及技术分析活动相关的应用模块。

但很快人们就发现，基于这种想法开发出来的TDM系统在软件成熟度、实用性、易用性、灵活性和扩展性等方面存在着诸多问题。

实际上，正如产品设计数据需要由成熟的PDM系统进行管理一样，产品技术数据管理也是一个复杂的系统性问题，是一个贯穿信息化理念和具体业务实现的复杂过程，而这个过程仅靠简单的数据库应用程序是难以胜任的，必须在成熟的TDM系统的支持下，其效果才能得到充分的展现。

3技术数据特点分析

3.1丰富的表现形式

技术数据（如仿真结果、试验结果等等）大多以物理文件的形式存在，从简单的文本文件到各种复杂的二进制文件，具有多种多样的表现形式，不同的项目、人员、仪器、软件所产生的技术数据都互不相同。

这种现状导致了技术数据彼此之间共享和重用非常困难。

虽然在理论上可以为每种数据形式提供相应的处理接口，但实际上这是行不通的：

首先，数据形式过多，开发工作量非常大；其次，数据形式缺乏标准化定义，一旦发生变化，相应的接口都要重新编写。

所以现实中，用户通常只对一些最常用的技术数据进行规范化处理，而其他大部分技术数据只能处于信息孤岛状态，难以为其他应用所共享。

3.2多变的信息结构

技术数据是技术分析活动的直接结果，而技术分析活动是随着企业业务的发展和技术的进步而不断变化的，这直接导致了相应的技术数据的信息结构也随之发生变化。

这个特点决定了技术数据不能简单的同静态的数据库模型相绑定，而要提供灵活的数据映射机制，以及强大的数据模型定义工具，可以帮助用户根据业务的进展动态调整数据模型。

这些软件特性是简单的基于数据库的应用系统难以满足的，需要通过更进一步的抽象信息层次来完成。

3.3海量的数据内容

大部分仿真或试验所产生的结果数据通常都比较大，例如，一个每10毫秒采样一次的采样系统，持续工作30分钟，所产生的记录就有180000条。

其他一些更加特殊的试验，如飞机试飞试验、舰艇噪声试验等等，每次产生的试验数据文件达到几百兆甚至几个G的容量。

而TDM系统所需要管理的又不仅仅是一次试验所产生的数据，还包括大量的历史数据，其数据容量是持续快速增加的。

因此，如何有效管理海量的数据，同时又保持良好的性能指标，是TDM系统必须要解决问题之一。

3.4较细的控制粒度

对产品设计数据的管理粒度通常停留在文件级，这是由于设计数据通常都是由计算机辅助工具所生成的二进制文件，文件的信息结构不公开，只能通过专用工具进行访问和修改，用户或其他系统无法直接触及文件内部的信息，所以其访问、修改、和权限控制等等都是针对整个文件的。

而产品技术数据的情况有所不同。

由于产品技术数据的生成者通常都不是数据的使用者，为了让其他系统能够访问和使用数据，技术数据的信息结构通常是公开的，这使得对数据进行细粒度的控制成为可能。

产品设计数据和产品技术数据的应用对比如图3.1所示。

图3.1产品设计数据和产品技术数据的应用对比

由于信息结构公开，对技术数据的访问、修改和权限控制可以深入到每条记录甚至每个字段。

例如，用户可能需要直接查看指定采样时刻的技术指标，或设定某些指标为秘密指标，XX的用户不得查看。

细粒度的控制提高了技术数据的应用灵活性，但同时也增加了TDM系统的开发技术难度。

3.5复杂的关联关系

技术数据之间通常并不是彼此独立的，而是相互关联、互为补充的。

例如，某次试验结果需要同相应的设备、产品、场地、工况、人员、以及其他信息关联起来，才能够构成一个完整的试验场景。

用户在浏览某个技术分析数据的时候，常常需要快速导航到其他关联数据。

因此，如何建立并维护试验数据之间复杂的关联关系也是TDM必须要考虑的内容之一。

3.6开放的应用模式

技术数据需要为多个不同的应用系统所使用，如各种统计分析软件、指标评估软件、场景回放软件等等。

这其中除了商用软件之外，还包括大量的自研算法和自研工具，而且这样的软件工具未来还可能越来越多。

这些应用系统是企业现有业务流程的重要组成部分，如果不能在新的系统中得到很好的集成，将会严重影响现有业务模式的顺利进行。

因此，TDM系统中对技术数据的管理和使用必须采用开放的模式，必须能够有效集成商用软件和自研工具，实现同用户现有业务模式之间的平滑过渡，使得技术数据可以真正在产品研发和制造过程中发挥重要作用。

4TDM关键技术分析

由于技术数据的诸多特点，决定了TDM系统的设计和开发是一个复杂的系统工程，需要解决很多关键技术，下面从宏观角度对这些关键技术进行分类阐述。

4.1结构化数据管理

结构化数据是技术数据的主要表现形式。

所谓结构化数据不是指已经保存到关系化数据库中的数据，实际上，这些数据的表现形式还是文件，只是这些文件的格式比较规范，可以很容易的转换为二元关系化数据。

常见的采样数据文件就是一个典型的例子：

每个文件由多行数据行组成，而每行数据又分为多个指标，从而形成一个二维矩阵的形式。

在实际应用中，数据可能并不是从文件的第一行开始，前面可能还有一些非结构化的信息，如试验时间、试验说明等等。

概括来说，对这些结构化数据的管理可以采用两种方式：

（1）保留数据的文件形式；

（2）将数据通过解析后保存到数据库系统中。

第一种方式在一些比较简单的信息化系统中或一些特殊的应用中（如数据量过大，用户希望按文件方式保存）可能会采用。

大部分情况下，TDM系统应该采用第二种方式来管理结构化数据。

这是因为相对数据库系统而言，文件系统缺乏高效的和细粒度的数据处理机制，也缺乏对并发控制、事务处理等高级特性的支持，对文件中的数据进行读取、查询、统计、修改、权限控制等等都将非常困难。

只有将技术数据以结构化记录的方式保存在数据库中，才能够有效利用数据库系统所提供的各种高效的数据处理功能，充分发挥出技术数据的价值。

然而，将各种类型的技术数据文件进行结构化是一个非常复杂的过程，软件设计上要考虑到很多因素，比如文件解析接口、数据有效性、数据兼容性、导入/导出过程控制等等。

在易用性上也有要周到的考虑，比如需要提供友好的可视化建模界面、可扩展的数据导入导出接口、自动化的数据转换操作等等，尽量降低对用户的要求，使得用户可以专注于数据本身而不是软件的使用。

概括来说，在TDM中，结构化技术数据管理所需要解决的主要问题如下：

（1）如何动态维护系统元数据结构

（2）如何实现异构数据文件的自动化导入

（3）如何在保证系统性能的前提下管理海量数据

（4）如何实现细粒度的权限控制

（5）如何快速查询和访问已经归档的技术数据

（6）如何使用已经归档的技术数据

（7）如何实现数据的客户化导出

4.2非结构化数据管理

除了结构化数据之外，非结构化数据也是技术数据的重要表现形式，如各种试验文档、音频数据、视频数据等等，很多试验仪器输出的原始数据也采用非结构化文件形式。

非结构化数据的重要特点是：

内部结构不公开或结构复杂，难以转换为二维关系化结构。

对于非结构化数据的管理通常采用文件加索引的方式，即仍然将非结构化数据以文件形式保存到文件系统中，但是将相关的路径和说明信息等保存在TDM数据库中，两者之间实现同步更新。

相对于结构化数据而言，非结构化数据虽然不需要进行复杂的解析和导入操作，但并不代表非结构化数据的管理比较简单。

实际上，对非结构化数据的管理也需要解决很多关键问题。

例如，如何从大量的非结构化试验文档中查询出用户所需要的文档，这要求TDM可以实现对非结构化数据的快速全文搜索，而且搜索结果必须符合相关的权限设置。

概括来说，在TDM中，非结构化技术数据管理所需要解决的主要问题如下：

（1）如何建立和维护非结构化数据的组织结构

（2）如何实现非结构化数据同结构化数据之间的关联

（3）如何实现非结构化数据的权限控制

（4）如何在权限控制机制下实现对非结构化数据的全文搜索

（5）如何使用已经归档的非结构化数据

（6）如何确保数据库记录同物理文件之间的同步

4.3业务管理

由于PDM、OA、ERP等系统等都提供较完备的业务管理功能，所以通用的业务管理并不是TDM的关注要点。

TDM系统中的业务管理主要是围绕具体的技术分析活动来展开的，并且可以根据用户的业务需求进行相应的删减。

概括来说，在TDM中，业务管理所需要解决的主要问题如下：

（1）如何有效建立和维护技术数据管理相关的团队

（2）如何规划和设计技术数据处理相关的项目

（3）如何运行和监控技术数据处理相关的流程

（4）如何管理技术分析活动相关的样品、资源等等。

4.4系统架构和可扩展性

随着Web技术的不断发展，B/S架构已经成为企业信息化系统的主要发展趋势。

相对于传统的C/S架构而言，B/S架构在易部署性、易维护性、易扩展性上都有着非常明显的优势。

由于TDM系统需要面向大量的网络用户，采用B/S模式是较好的选择。

此外，由于JAVA技术在跨平台上的优势和广泛的业界支持，基于JAVA平台开发的B/S模式的TDM系统将会成为市场的主流。

可扩展性是TDM系统必须考虑的另一个重要问题。

如果TDM系统只是根据特定的业务需求进行设计和开发的，未能充分考虑到未来的发展，系统刚性过强，那么当应用场景发生变化的时候，将会由于难以适应新的需求而被淘汰，甚至会导致很多珍贵的历史数据由于不能平滑迁移而被丢弃掉。

为了避免这种情况，TDM系统必须具有足够的可扩展性，能够根据业务需求的变化动态地调整数据结构和功能，实现及企业业务的同步发展，减少企业在信息化建设上的重复投资。

4.5辅助功能

为了便于用户使用，TDM系统除了提供基本的数据管理功能之外，还需要提供一些辅助性的功能，如即时通信、快捷方式、常用数据列表、历史数据浏览等等，这里着重讨论其中的一个重要的辅助功能：

报告自动生成。

很多情况下，技术分析活动的最终结果并不是大量的技术数据，而是标准化的技术报告（如试验报告）。

报告中可能包括格式化文本、图片、表格等多种复杂的页面元素，而且必须符合相应的标准化要求。

编写技术报告是一个非常费时费力的工作。

例如，一个飞机风洞试验报告中，可能包括上百张试验曲线图，其整理过程通常需要两周以上的时间。

而实际上，生成报告所需的数据都已经归档到TDM系统中，如果TDM系统能够提供一个标准化报告自动化生成工具，用户只需要预先定义好所需的文档模板，并填写一些必要的说明信息，主要的文档生成工作可以由TDM系统自动完成，不仅将报告生成时间从几周减少到几分钟，还可以确保报告格式的标准化和报告内容的正确性，极大地减轻了数据分析处理工作的强度。

5小结

TDM是PLM的重要环节，是对PDM重要补充。

通过对技术数据进行有效的管理和使用，企业可以更加完整准确地了解产品相关信息，为研发制造和相关业务决策提供可靠的数据支持。

另一方面，由于技术数据的复杂特点，决定了TDM也是一项复杂的系统工程，需要解决诸多关键技术，是简单的基于数据库的应用系统所无法胜任的，必须基于成熟的TDM软件来实现。