数据建库总结.docx
《数据建库总结.docx》由会员分享，可在线阅读，更多相关《数据建库总结.docx（12页珍藏版）》请在冰豆网上搜索。
数据建库总结
基础地形数据建ARCSDE库情况总结
2010-12-26
第1章.概述
1.1.背景
本篇总结是在XXX城区及各镇1:
500基础地形数据建库、XXXX城区1:
500基础地形数据建库以及对原XXX地形数据建库了解的基础上总结得出。
地形建库源数据分为MAPGIS（WT、WL、WP）和分幅DWG两种格式建库，并且建库前假设没有SDE库属性结构标准文档。
1.2.总结中涉及软件及数据资料
（1）涉及主要软件
CAD2007、MAP3D2007、ARCGIS系列软件、ORACLE10g、PLSQLDeveloper；MAPGIS67、MAP2SHP数据转换软件、数据标准转换器、FontCreator5.6；地形图检查软件、GBF。
（2）涉及和产生的主要资料
MAPGIS及分幅DWG格式地形图、GBT13923-2006《基础地理信息要素分类与代码》、《地形图建库详细设计（程序接口设计）》、《地形图建库CAD数据提交标准》、《Mapgis数据提交标准》
1.3.数据格式转换方式
对于两种源数据格式的地形图入库，目前采取的具体方式是：
（1）MAPGIS格式数据使用MAP2SHP软件将源数据转换为SHP格式数据后进行后续入库工作。
（2）DWG格式数据使用GBF软件将源数据转换为ARCGIS个人空间数据库（MDB）后进行后续入库工作。
（3）入库流程：
第2章.建库源数据分析整理
2.1.源数据分析
1.DWG格式数据分析
对拥有的分幅DWG格式地形图查看其标准程度，查看分幅地形图文件命名方式，查看地形图有哪些图层，图层上有哪些实体、什么颜色，查看各层实体的属性值是否完整，块实体的块名及旋转角度值是否完整，查看居民地层房屋实体闭合情况，从而决定GBF预入库时的图幅提取及文件配置方式。
分析结果常见问题：
（1）分幅地形图文件名格式不符合GBF预入库时图幅号提取规范，造成无法生成图幅的现象。
解决方法：
修改程序使GBF软件预入库时提取图幅号的方式符合原有文件命名方式，这样才能保证入库生成的图幅是正确的
（2）缺少实体THICKNESS属性值或THICKNESS属性值不规范，如有些有THICKNESS属性的实体属性值为空，有些实体THICKNESS值虽然不为空但值明显是错误的，如THICKNESS值为负数，THICKNESS值位数不够，THICKNESS值是小数；有些实体THICKNESS值是正确的但是会有放错层的情况（也可能是所在层正确THICKNESS赋值错误，这个不影响入库）
解决方法：
如果有大量错误数据建议对方单位更正后重新提供地形图；如果只是少量数据错误，查看属性值出现错误或者为空的实体是否是重复实体，如果是重复实体将其删除；其他情况如果对数据属性不做严格要求的情况下也可以忽略错误更正直接按照图层入库，如JMD层入SDE的JMD地面层、DLDW层的线实体入SDE的JMDL层、SXSS层入SDE的SXSS层、ZBTZ层入SDE的ZBTZ层等根据层名区分实体类别，也有根据颜色或线形区分实体类别的目前没有用过；其中DMTZ层会包含地貌和土质两种类别，如果数据不标准将无法区分开，只能先入到SDE的一种类别层中如先入到地貌层或先入到土质层类别层中。
（3）块参照名称不规范：
目前地形数据分类的依据是《基础地理信息要素分类与代码》，块符号名称也要和要素代码对应后才能区分其具体实体类别，在数据检查阶段或者数据入库后发现有些块名称明显是错误的，如A$C10405E2A类似这种名称、GCD注记类型是块参照、有些线类型是块参照、图框及图框注记的类型是块参照，这些情况导致这些实体没有对应的要素代码无法分类。
解决方法：
如果有大量错误数据建议对方单位更正后重新提供地形图；如果只是少量数据错误，查看出现错误的实体是否是重复实体，如果是重复实体将其删除；其他情况用地形图检查软件将不标准块打碎（建议用地形图检查软件将不标准块打碎、如果用单纯的CAD软件打碎不标准块的话将会把打碎后的实体打碎到0层）
（4）居民地层中的建筑物出现没有闭合的情况：
一种是和图框相交的房屋线被截断没有闭合；一种是图框内没有和图框线相交的房屋有些本身就没有闭合
解决方法：
如果对方单位要求房屋层必须如面的话，就必须用图形闭合工具将以上两种情况的实体闭合后再入库，如果对方单位不做要求可以将闭合的房屋入面层，其他入线层。
目前都是采取的后者处理方式。
（5）坐标转换：
地形数据涉及坐标转换如54到80的情况不多，如果要求，需要对方单位或者测绘单位配合转换。
2.MAPGIS格式数据分析
对MAPGIS格式数据分析目前使用MAPGIS67软件查看分析，主要注意以下几点：
投影参数设置；设置好投影参数后查看地形数据坐标是否有明显错误；查看图层中是否有数据飞点（某一个点或者注记脱离正常范围内）；各区（镇、街道）相同层文件的属性结构及属性类型是否相同；属性值是否完整；线形长度是否有负值；查看注记层是否存在非注记数据；查看各层属性值是否存在乱码；查看是否有重复数据。
分析结果常见问题：
（1）坐标不对：
一种情况是对方提供的WT,WL,WP文件通常是不带坐标的；另外由于对方以区（镇、街道）为单位提供的MAPGIS数据并不是如一个GCD.WT文件中包含了整个市域的高程点，所以可能出现在某一个区（镇、街道）是数据坐标是错误的如为负值或者明显不在整个市域范围内。
解决方法：
需要对方提供投影坐标参数为每个WT,WL,WP文件设置正确的投影坐标参数，或者要求对方提供带有正确投影坐标参数的数据；对于上面第二种情况需要对方单位更正后重新提供数据。
（2）某些数据飞点：
出现某一个点数据或者注记脱离了其本身所在区域，出现在一个很远的位置。
解决方法：
让对方单位更正后重新提供
（3）属性结构或属性类型不同：
一种情况是各区（镇、街道）间相同数据层的属性结构不同如A镇房屋层中有房屋名称属性，而提供的B镇房屋层中没有房屋名称这一属性；第二种情况是A镇和B镇的房屋层都有房屋名称这一属性但两者的属性数据类型不同或者数据类型大小不同。
解决方法：
统一标准让对方单位更正后重新提供数据
（4）属性值不完整或不规范：
地形数据如要素代码、符号名称、符号类型等关键属性没有赋值导致入SDE库无法进行数据分类（如XXX提供的MAPGIS数据一个单位范围内的所有点都在一个WT文件中，如没有要素代码属性值无法区分类别）；注记层存在非注记数据如管线符号存在注记层中，这种情况虽然也有办法能将该层所有数据入库，但是该层中的管线符号的属性结构和注记的属性结构是相同的，也无要素代码没有任何意义；属性值存在乱码。
解决方法：
让对方单位更正后重新提供
（5）有些线形长度为负值；数据重复。
解决方法：
对于线形长度为负值的错误数据不容易检查出来，只要用MAP2SHP软件转换为SHP格式后才能检查，如果有线形长度为负值的数据在转换后的SHP文件中会有一条或几条无限长的线，在用数据标准转换器入MDB前要把这种线删掉，或者联系对方单位解决；对于源数据中存在重复数据的情况，如XXX提供的一个区域内的线形数据分为线地形要素层和等高线层，但是在线地形要素层中已经包含了等高线层中的所有数据，如下图：
线地形要素层等高线层
这种情况由SHP入MDB时注意不用提取线地形要素层中的等高线，或者等高线从线地形要素层中提取不入等高线层的数据。
2.2.制定GIS库结构标准文档
如果已经有了图层分类与命名规则相关标准文档此步骤可以省略。
以上数据分析也是一个数据修正过程，通过上面的过程得出我们最终需要入库的数据是什么样子的，通过以往地形数据入库经验可以知道，源数据最终状态可能是比较标准的，也可能是不标准的。
源数据最终的标准程度决定具体入库方式。
2.2.1.制定GIS库图层分类与命名规则
假设对方单位没有提供相关标准文档就需要我们自己制定，即使对方单位提供了相关标准文档在建库过程中也不可能完全依照对方提供的文档上的图层分类标准执行，除非待入库的地形数据非常标准。
自己制定图层分类和命名标准可以借鉴《溧阳地形图建库数据库设计》，以下规则借鉴了《河北省城乡规划信息系统基础地形数据标准1:
500～1:
2000》。
1.基础地理数据的图层命名由三部分组成，如下图所示：
上图基础地理数据命名方式：
1—图层内容名称；2—基础地理数据大类；3—基础地理数据代码（用T表示）
2.基础地理数据的分类应符合表4.2.3的规定。
表1地形要素分类代码表
编码
代表含义
类型
备注
1
定位基础
字母
2
水系
字母
3
居民地与设施
字母
4
交通
字母
5
管线
字母
6
境界
字母
7
地貌
字母
8
植被与土质
字母
3.例如：
地位基础测量控制点图层的命名：
T_1_CONTROL_Pot
植被与土质植被线图层命名：
T_8_VEG_Lin
居民地与设施面图层命名：
T_3_BLD_Pol
4.每个图层的属性字段：
常用的属性项名称取英文单词名；相对生僻的属性项名称，可以取汉字拼音的第一个大写字母组成，如果有重复的采用拼音全拼
5.用GBF软件入库还必须建有子库元数据表（DXTK）、大类信息表（DATASET_图库标识符）、接边图层表（UNIONFEATURECLASS_图库标识符）、索引表（NETA_图库标识符），这些表不属于任何要素集，具体参照《溧阳地形图建库数据库设计》。
2.2.2制定图层属性结构标准
1.源数据为DWG格式的GIS图层属性结构的建设可以参照《河北省城乡规划信息系统基础地形数据标准1:
500～1:
2000》上的属性结构标准来建，根据不同单位的数据不同在后期工作中可能会遇到增加字段或者修改字段数据类型和修改数据类型长度的情况。
2.源数据为MAPGIS格式的GIS图层属性结构的建设可以依据源数据WT、WL、WP文件转换后的SHP文件中自带的属性结构建库。
第3章.GIS库结构建设及入库软件配置
3.1.GIS库结构建设
如果源数据格式是MAPGIS可以经过数据格式转换成SHP后再进行库结构建设；但是如果源数据格式是DWG，这里必须要建GIS库结构了。
在SDE中根据上面制定的GIS库结构标准文档建设GIS库结构
GIS库结构建设应注意的问题：
1.由于目前数据建库正式入库前都是先进行预入库，也就是先将数据入到MDB中，所以以往两次地形建库时是先在Catalog中建一个MDB作为入库模板，然后再将这个空的MDB模板拷贝到SDE库中导致有些数据类型精度变化的问题，遗憾的是至今没有找到规律，但是类似问题在MAPGIS格式数据建库时以及在从SHP到MDB过程中确实存在过，所以先在SDE中建好库结构后再拷贝出来或者用GBF生产一个MDB模板的方式应该能够做到数据结构统一。
2.坐标范围。
在SDE中根据标准文档建库结构时需要导入坐标系，之前最好先准备好一个包含需要入库数据最大坐标值范围的SHP文件做导入坐标的参考如市域范围文件，防止数据入库时发生数据超出空间引用范围的错误。
3.2.入库配置
DWG和MAPGIS这两种源数据格式的地形图根据目前的入库方法都要进行预入库的配置，只是DWG格式数据的预入库是用GBF实现的，而MAPGIS格式数据的预入库是用MAP2SHP将数据格式转换为SHP后再用数据标准转换器实现的，这两种途径都需要配置数据转换文件。
3.2.1.GBF配置文件
GBF配置文件包括实现预入库、已入库数据导出成DWG数据两种功能。
涉及到的配置文件包括：
分层提取（CADEntityStandard.xml）、属性提取（attr.xml）、和GIS库结构的影射（cad2gdb.xml）、导出DWG配置（ExportStandard.xml）、导出DWG模板文件（如XXX.dwg），这里对具体如何配置不做说明，请参照文档《地形图建库详细设计（程序接口设计）》。
配置注意问题：
1.对于DWG实体的要素代码值比较完整，入库分层要求比较严格的地形图入库可以分为两种配置方式预入库。
一种配置方式是将DWG文件中所有的块参照、线实体、面实体、注记统一都提取到一个点层、线层、面层、注记层中（注记层可以根据实际情况如把居民地注记层单独提出来），然后再用数据标准转换器将数据依据要素代码分开入到预入库的MDB模板中，这种配置的优点在于可以很细致的将数据分类，例如模板中的管线层分出了输电线层、通信管线层、油气水管线层、城市管线层等，用这种方法很容易将数据分类入库。
第二种配置方式如以前溧阳地形图入库配置方式，对GBF配置直接将数据提取到正式入库的MDB模板中，这种配置一般情况下只能以实体所在图层为依据区分数据类别，例如土质数据通常和地貌或植被数据在一个图层上，即使数据的要素代码值很标准也很难依据GBF的配置区分，这种配置使用于数据属性值不标准，入库质量要求不高的情况下，如溧阳地形图GIS库结构中就将土质和地貌入在了一个层中。
2.DWG文件中所有的块参照都以块名为标识没有要素代码属性值（THICKNESS值），所以数据入库后最终要给这些块实体（入库后为点）赋要素代码值，在对方提供了块名和要素代码对应关系文档或者我们制定了相关标准的情况下可以有两种方式实现赋值。
一种是在属性提取配置文件（attr.xml）中将块名影射到其对应的要素代码上，如：
DD:
CADATTR:
块名,（3.1.1=111000），这样直接会把块名对应的要素代码值入库；另一种方法比较麻烦，就是不在属性提取配置文件（attr.xml）中配置块名影射，直接把块名预入库，我们把块名和对应的要素代码等信息录入到预入库生成的MDB中作为一张数据字典表，每一个MDB在用GBF正式入库前都用SQL更新块名为其对应的要素代码，此方法每次执行比较麻烦，秦皇岛地形入库时用了这种方法。
3.建议最好将源数据的图层名称也入到库中，根据以往入库经验，在源数据检查分析阶段并不能将错误数据完全修正，或者并不能完全检查出所有的有错误的数据，这些不规范的数据在入库后才能逐渐被发现，将源数据图层名称入库在将来发现问题时可以有根可寻、便于全面直观的了解数据情况，也可以为解决数据入库质量问题拓宽思路。
4.导出DWG文件配置还存在一些无法解决的问题，在导出模板（XXX.DWG）中可以预设各种块参照、线形供导出DWG文件使用，但是对于GIS库中有自定义面填充的情况无法满足，目前GBF软件不支持自定义面填充。
通常情况下如果是DWG格式作为源数据入GIS库导出时不会涉及填充，如DWG文件中的植被面的填充是块参照来代替的，没有涉及填充，从GIS库导出来时也用块参照来对应，没有什么问题，但是MAPGIS格式的数据作为入库源数据的情况下就会出现这种问题，因为MAPGIS格式的数据中的面全部是自定义填充。
对于这导出问题目前已经在CADCLIENT中解决。
3.2.2.数据标准转换器配置
MAPGIS格式的数据作为入库的源数据在库结构建设时应该以转换后的SHP文件为依据，所以配置SHP文件数据入到待正式入库的MDB模板中的文件时相对容易，具体配置方法请参照数据标准转换器帮助说明。
需要注意的问题：
1.以XXXMAPGIS数据入库为例，对方提供的数据中将不同类的大部分线数据放在一个线地形要素文件中，点数据、面数据亦是如此，因此利用MAP2SHP将MAPGIS数据文件转换成SHP后，不同类别的点、线、面数据都会在一个点、线、面SHAPE文件中存放。
写配置文件时主要还是依据《基础地理信息要素分类与代码》将数据详细分类入MDB模板。
2.配置文件中是依据要素代码区分提取数据的，一定要注意不要重复提取。
第4章.数据入库
经过以上操作很充分的为数据入库做好了准备工作，下面分别列出两种源数据入库情况。
4.1.DWG格式数据入库
1.以3.2.1注意问题1中提到的第一种配置方式入库，首先用GBF软件将源数据入到一个临时的MDB中，这个临时的MDB中有存放所有线实体的图层（ALL_LINE）、有存放所有点实体的图层（ALL_POINT）、有存放所有面实体的图层（ALL_POL）,将所有数据都入到这些层中，根据实际数据情况通常也会独立出一些层，如高层点层（GCD）、测量控制点层（KZD）、房屋层（FW将闭合的房屋入到该层），然后用数据标准转换器依据要素代码将数据细分至待正式入库MDB模板中等待正式入库。
流程图如下：
2.以3.2.1注意问题1中提到的第二种配置方式入库，与上一种入库方式不同的是，这种方式在GBF第一次处理数据时就将数据入到待正式入库的MDB模板中，等待正式入库。
流程图如下：
需要注意的问题：
以标题1的方式用数据标准转换器依据要素代码将数据细分至待正式入库MDB模板中这一步，在其配置文件中千万不要忘记将临时MDB中的索引表（NETA_图库标识符）中的数据也入进来，以防数据重复入库及漏掉接边功能。
对于执行数据标准转换器最后提示的有未入库数据，原因通常是在写配置文件时没有考虑周全，要对未入库数据仔细检查分析后将在配置文件中遗漏的条件补完整。
4.2.MAPGIS数据入库
MAPGIS格式的数据作为入库的源数据通过MAP2SHP软件将数据转换为SHP格式数据，然后用数据标准转换器将数据入待正式入库的MDB模板中，等待正式入库。
流程图如下：
需要注意的问题：
1.根据以往入库经验可以知道，不管什么格式的地形数据，根本就不会有非常标准的数据，比较标准的也没有，即使让测绘单位重做多次也改变不了这问题。
如属性结构及类型不一致、空属性值、重复数据等等。
这一步操作中会出现的问题请参照2.1源数据分析中的MAPGIS格式数据分析及常见问题解决方法。
2.对于数据标准转换器最后提示的未入库数据，仔细查看源数据中是否有重复数据（如线地形要素中存有等高线数据），分析后可依据2.1源数据分析中的MAPGIS格式数据分析及常见问题解决方法来处理
4.3.GBF正式入库
数据建库到了用GBF将MDB模板正式入库这一步一般没有问题，都可以顺利的将数据入到SDE库。
需要注意的问题：
1.正式入库前需要设置GBF的接边图层，设置接边图层功能可以将在源数据分析中提到的居民地层被图框线打断的房屋接边成为一完整的面，前提是在预入库前已经用图形闭合工具将这种情况的实体闭合。
2.数据检查，会有很多不规范的数据在源数据分析中没有检测到，正式入库后一定要整体检测入库后的数据质量问题，其实由于项目时间关系这里也不能将问题完全检查出来，真正能够遇到数据问题的是在以下对数据符号化的时候，不过之前最好还是将问题逐渐减少。
第5章.已入库数据符号化
要查看浏览已入库的数据必须使库中的数据以源数据的样子显示出来，也就是将库中以点、线、面形态储存的数据对用户以原来的或者更美观合理的面貌展现出来，对数据做符号化，符号化的过程也是最无聊、最浪费时间、最能细致的对比源数据和已入库数据的过程。
目前所做的符号化分为两种：
一种是MXD文件的符号化也就是在ARCMAP中做符号化；另一种是CADCLIENT中的符号化。
这里只谈前者。
5.1.MXD文件符号化
点层数据的符号化，通常会以某个字段值为唯一标识进行符号化，例如管线点层数据依据要素代码符号化，每个要素代码代表的符号都不同并且相同的要素代码会用同一种点符号同一种颜色表示；多数线层、面层也是一样；也有不同例如有些道路层有道路级别属性，可以用道路级别作为符号化的依据，具体根据数据的所代表的情况而定。
也可能会有必须用组合属性作为符号化唯一标识的情况，目前还没有用到。
需要注意的问题：
1.符号化过程中每个符号化标识都要去源数据中找他的原貌，虽然我们通常会有一些相关的标准文档如CAD数据标准等等，但是在符号化过程中没有采用，没有直接去查看原图更直观，更准确，感觉更放心，符号化更接近原数据样子、颜色、大小，而且这个过程中相当于对入库数据做了一次全面检查，这在这一步会有惊喜等着你，会发现很多意想不到的错误，令人很无奈。
2.ARCGIS符号库中没有我们需要的符号，这需要我们自己做符号文件。
点、线、面文件都要自己做，点符号目前用FontCreator5.6软件做成truetype字体文件放在操作系统字体库文件夹中，在MXD文件中引用，缺点是操作系统字体文件夹中必须先安装做好的点符号文件，否则符号化好的MXD文件换一台子时点符号会显示乱码。
可以考虑将字体文件换成ArcGis的style文件，这样号化好的点、线、面都保存在MXD文件中了；线和面的符号化也需要我们自己制作线形和面填充，比较麻烦。
3.像地形图这样分层很多的MXD文件最好将每一层数据都设置显示比例，设置在多少比例范围内显示也是对调图速度的一种优化。
4.如果需要增加专题图图层显示，最好不要用SQL语句查询出来的数据建立显示图层，很影响速度，解决方法是在SDE库中新建相关的专题图图层、将需要的专题图数据提取出来放入相应的专题图层中查询，这样虽然能解决调图速度问题，但是会产生专题图数据不能自动更新的问题，该问题有待探讨。
5.目前对于不同比例尺的地形图是否需要不同比例尺的符号，制作点、线、面符号时需要依据什么规范等问题尚不清楚。
第6章.数据更新
数据更新可以有DWG和SHP两种数据更新。
6.1DWG格式数据更新
用测量修正的DWG格式的数据对现有地形图进行更新时可以依据本总结文档的DWG格式数据作为源数据入库的步骤来入库更新，GBF系统会自动将SDE库中更新范围内的原数据转入历史库或删除。
但是作为更新的DWG数据必须是分幅数据。
6.2SHP文件更新
地形图修测的结果必须以接幅表为单位；地形图修测结果必须包含修测数据所在的接幅表数据，放置在NETA层上。
6.2.1SHP命名规范
1.SHP文件根据修测数据所在的接幅表范围内的数据分层命名，命名和SDE库中图层命名规范保持一致，如：
修测的数据包括居民地面，SDE中的居民地面层的名称为：
T_3_BLD_Pol，该居民地面层SHP文件的命名必须为：
T_3_BLD_Pol，其他修测的数据层也必须依据此名规范。
2.将修测的SHP结果数据所在接幅表信息记录在接幅表文件（NETA_图库标识符）文件中，接幅表文件中FCODE字段记录图幅号（图幅号命名规则同2.1数据分析中所提到的要求保持一致），FNAME字段记录图幅名。
接幅表文件必须包括基本属性见下表：
字段名称
字段类型
字段长度
小数位数
备注
FNAME
字符串
32
图幅名
FCODE
字符串
16
图幅号
FDATE
字符串
16
成图日期
3.除接幅表文件外的其他SHP文件的属性值必须完整，不可缺少，否则将不与更新。
升级会员 