南大通用大数据新型列存储数据库GBase 8a gbload.docx

1、南大通用大数据新型列存储数据库GBase 8a gbload GBase 8a gbloader参考手册,南大通用数据技术有限公司GBase版权所有2004-2012,保留所有权利。版权声明本文档所涉及的软件著作权、版权和知识产权已依法进行了相关注册、登记,由南大通用数据技术有限公司合法拥有,受中华人民共和国著作权法、计算机软件保护条例、知识产权保护条例和相关国际版权条约、法律、法规以及其它知识产权法律和条约的保护。XX许可,不得非法使用。免责声明本文档包含的南大通用公司的版权信息由南大通用公司合法拥有,受法律的保护,南大通用公司对本文档可能涉及到的非南大通用公司的信息不承担任何责任。在法律允

2、许的范围内,您可以查阅,并仅能够在中华人民共和国著作权法规定的合法范围内复制和打印本文档。任何单位和个人未经南大通用公司书面授权许可,不得使用、修改、再发布本文档的任何部分和内容,否则将视为侵权,南大通用公司具有依法追究其责任的权利。本文档中包含的信息如有更新,恕不另行通知。您对本文档的任何问题,可直接向南大通用数据技术有限公司告知或查询。未经本公司明确授予的任何权利均予保留。通讯方式南大通用数据技术有限公司天津华苑产业区海泰发展六道6号海泰绿色产业基地J座(300384电话:400-817-9696 邮箱:info商标声明 标,注册商标专用权由南大通用公司合法拥有,受法律保护。未经南大通用公

3、司书面许可,任何单位及个人不得以任何方式或理由对该商标的任何部分进行使用、复制、修改、传播、抄录或与其它产品捆绑使用销售。凡侵犯南大通用公司商标权的,南大通用公司将依法追究其法律责任。GBase 8a gbloader 参考手册 南大通用数据技术有限公司 I 目 录联系我们 (1前言 (2相关手册 (2手册约定 (2正文约定 (2代码示例约定 (2操作系统约定 (31 概述 (41.1 简介 (41.2 安装 (41.3 基本操作 (41.4 拓扑图 (52 数据源及数据准备 (62.1 orato8a (62.1.1 参数说明 (82.1.1.1 batch (82.1.1.2 field

4、(82.1.1.3 file (82.1.1.4 format (92.1.1.5 log (92.1.1.6 query (92.1.1.7 shm_mode (102.1.1.8 user (102.1.2 应用实例 (112.1.2.1 导出文本格式数据 (112.1.2.2 导出二进制格式数据 (132.1.2.3 导出到共享内存 (142.2 gbunloader (152.2.1 参数说明 (152.2.1.1 batch (152.2.1.2 database (162.2.1.3 field (162.2.1.4 file (162.2.1.5 format (17GBase

5、8a gbloader 参考手册 II南大通用数据技术有限公司 2.2.1.6 host . 17 2.2.1.7 log . 17 2.2.1.8 password . 18 2.2.1.9 port . 18 2.2.1.10 query . 18 2.2.1.11 shm_mode . 19 2.2.1.12 socket . 19 2.2.1.13 user . 19 2.2.2 应用实例 . 20 3 gbloader 配置介绍 (213.1 gbloader 特性 (213.2 gbloader 参数说明 (213.2.1 必选配置 (213.2.2 可选配置 (223.2.3 c

6、harset (223.2.4 commit_lines (233.2.5 db_name (233.2.6 delimiter (233.2.7 error_data_file (243.2.8 escape_character (243.2.9 format (243.2.10 infile_mode (243.2.11 insert (253.2.12 load_data_infile (253.2.13 log (253.2.14 parallel (263.2.15 partition (263.2.16 password (263.2.17 port (273.2.18 scn_n

7、umber (273.2.19 socket (273.2.20 string_qualifier (273.2.21 table_fields (283.2.22 table_name (283.2.23 trim (283.2.24 user (283.3 用例: (29GBase 8a gbloader 参考手册 南大通用数据技术有限公司 III 3.3.1 一个简单的数据加载示例(文本 . 29 3.3.2 一个简单的数据加载示例(二进制 . 30 3.3.3 一个简单的数据加载示例(共享内存 . 31 3.3.4 如何导入多个数据文件 . 34 3.3.5 如何处理文本字段中含有分隔

8、符的数据加载 . 35 3.3.6 如何处理特殊字符 . 40 3.3.7 如何加载全部数据到一个分区中 . 44 3.3.8 如何加载全部数据到多个分区中 . 47 3.3.9 如果数据文件和表定义不一致怎么办 . 50 3.3.10 如何处理不同的字符集 . 55 3.3.11 如何利用多核特性加载数据 . 57 3.3.12 如何保留数据中尾部的空格 . 59 3.3.13 如何加载其它Linux 服务器上的数据 . 62 4异常处理 . 66 4.1 正常结束. 66 4.2 异常情况. 66 5附录 . 68 5.1 Oracle 中的创建表脚本 . 68 5.2 GBase 8a

9、中的创建表脚本 . 68 6索引 (70GBase 8a gbloader 参考手册 南大通用数据技术有限公司 - 1 -联系我们南大通用欢迎您对此手册提出自己的宝贵意见和建议,您的意见和建议将成为完善此手册的重要部分。您发现手册中的错误了吗? 您认为手册中的哪些部分描述的还不太清楚? 您认为手册中还需要在哪些方面提供更多的内容? 手册中的示例正确吗?您还是否需要更多的示例? 您喜欢手册中的哪些部分?如果您发现了手册中的错误,或者您有更好的意见和建议,请您标明需要改正或改进部分的页码、章节号、标题,及手册中的内容(如果可能。您可以通过下面的方式将您的意见和建议发送给我们。电子邮件:info电话

10、:400-817-9696传真:022-*通信地址:天津滨海高新区海泰绿色产业基地J 座如果您希望收到我们的回复,请您告诉我们您的姓名,电话,或者电子邮箱地址。如果您对我们的软件有任何问题,请您联系我们的技术支持人员。GBase 8a gbloader 参考手册 - 2 - 南大通用数据技术有限公司前言本手册将指导您如对GBase8a 数据库进行数据的导入/导出。相关手册GBase 8a 安装手册GBase 8a SQL 参考手册GBase 8a 管理员手册手册约定正文约定表 6-1 代码示例约定GBase 8a gbloader 参考手册 南大通用数据技术有限公司 - 3 -表 6-2操作系

11、统约定假定用户使用的操作系统为Red Hat Linux ,用户的Shell 为Bash Shell 。GBase 8a gbloader 参考手册 - 4 - 南大通用数据技术有限公司1 概述1.1 简介为了提高GBase 8a 的数据加载速度,GBase 8a 数据库提供了专用的数据加载工具- gbloader 。该工具是一个命令行工具,用于从满足一定格式的数据文件中快速加载数据到GBase 8a 数据库。gbloader 工具是一个线程并行的数据加载工具,可以充分利用多核CPU 的处理能力进行数据加载,因此数据加载效率很高。在运用PC Server 的硬件环境下,可以获得200GB/h

12、的加载性能。使用高端服务器和专用阵列设备可以大幅提高加载能力,在高端配置的条件下,多表并行数据加载速度最大可以达到500GB/h 。1.2 安装gbloader 随GBase 8a 一起安装,该文件被安装在$GBASE_HOME/bin 下。1.3 基本操作gbloader 的命令格式是:gbloader OPTIONS 其中,OPTIONS 包括以下选项:-user=user_name ,数据库用户名-password=password ,数据库用户的登录密码示例如下:gbloader -user=root -password=linna lineorder.ctl1.4拓扑图gbloade

13、r从控制文件中获得数据加载的必要信息和数据文件的相关信息,将数据加载到GBase 8a中。对于加载过程中加载失败的数据,记录在失败数据指定的文件中。对于加载过程中的相关显示信息,记录在日志文件中。 2数据源及数据准备gbloader支持多种数据源。gbloader的数据源可以是具体一定格式的文本文件,也可以是GBase公司专用的二进制数据文件,还可以是由GBase公司专用工具生成的共享内存文件。常用的为gbloader提供数据文件的工具有orato8a和gbunloader。orato8a为从Oracle数据库向GBase 8a数据库迁移数据的工具,gbunloader为从GBase 8a中导

14、出数据的工具。由gbunloader工具导出的数据可以方便的导入另外一个GBase 8a数据库。2.1o rato8aorato8a是一个可以快速、高效的从Oracle数据库中抽取数据的专用工具。orato8a通过Oracle的 OCI接口访问数据,运行orato8a的计算机需要安装Oracle数据库或客户端。orato8a随GBase 8a一起安装,该文件被安装在$GBASE_HOME/bin下。为了在非Oracle安装用户可以访问Oracle,通常只要将该用户加入到Oracle安装用户所在的组中,设置Oracle的安装目录允许同组的用户可以访问,并在该用户中正确设置ORACLE_BASE,

15、ORACLE_HOME,ORACLE_SID,及将$ORACLE_HOME/bin加入到PATH变量,将$ORACLE_HOME/lib加入LD_LIBRARY_PATH变量即可。如我们希望在linna用户下可以正常运行orato8a,则登录到root用户下:rootgbase555 # groups linnalinna : linnarootgbase555 # groups oracleoracle : oinstall dbarootgbase555 # usermod -G oinstall,dba linnarootgbase555 # groups linnalinna : li

16、nna oinstall dba在linna用户的根目录下的.bash_profile中加入下面的内容后,用source 命令执行.bash_profile中的内容。ORACLE_BASE=/home/oracle/oracleexport ORACLE_BASEORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1export ORACLE_HOMEORACLE_SID=mayaexport ORACLE_SIDPATH=$ORACLE_HOME/bin:$PATHexport PATHLD_LIBRARY_PATH=/usr/local/lib:$LD_L

17、IBRARY_PATHexport LD_LIBRARY_PATHlinnagbase555 $ source .bash_profile执行sqlplus命令,登录sqlplus。linnagbase555 $ sqlplus /nologSQL*Plus: Release 10.2.0.4.0 - Production on Thu Aug 4 18:38:41 2011 Copyright (c 1982, 2007, Oracle. All Rights Reserved.SQL出现提示符,成功登录Oracle的sqlplus。如果采用编辑/etc/group的方法添加用户的组,可以在

18、保存后,使用pwconv 将更改应用到shadow中,使修改即刻生效。2.1.1参数说明2.1.1.1batch语法batch=number_value功能该参数指明将多少条记录单独保存为一个单独的数据文件。该参数需要与file参数配合使用。当指定batch参数时,file参数指定的文件名中应包含%b。2.1.1.2field语法field=char_value功能当导出的数据为文本格式时,指定分隔各字段的分隔符。只能指定一个字符,或者为一个转义符后接一个字符。不能指定n和r。2.1.1.3file语法file=string_value功能该参数指定数据文件名。该参数可以为一个包含绝对路径的文

19、件名,也可以为一个包含相对路径的文件名。当该参数为一个不包含路径的文件名时,该文件被保存在当前路径中。当参数文件中指定batch参数时,file参数中应包含%b字符。%b为占位符,用于产生多个文件时,对产生的多个文件进行顺序编号。2.1.1.4format语法format=0|2功能控制导出数据的格式。当设置为0时,导出数据为文本格式;当设置为2时,导出数据为二进制格式。该参数的默认值为2。2.1.1.5log语法log=string_value功能记录抽取时的日志信息。2.1.1.6query语法query=string_value功能配置抽取数据所使用的SQL语句。由于查询语句常有空格,该

20、参数在指定时,需要用双引号限定。查询语句为一个合法的Oracle查询语句,且只返回一个结果集。2.1.1.7shm_mode语法shm_mode=0|1功能控制导出文件的方式。当参数设置为0时,导出方式为文件方式;当参数设置为1时,导出方式为共享内存方式。该参数的默认值为0。当采用共享内存方式时,orato8a可以和gbloader通过共享一个128M的内存来传输数据。gbloader在加载数据时,需要在控制文件中设置infile_mode 为1。使用该方式加载数据时, orato8a必须与 GBase 8a Server运行在同一台服务器上。先启动orato8a抽取工具,然后再启动gbloa

21、der导入工具,就可以实现gbloader共享内存方式的数据导入。2.1.1.8user语法user=string_value功能配置登录Oracle数据库的用户名、密码和数据库本地服务名,该参数的格式为用户名称/密码数据库本地服务名。2.1.2应用实例为了演示,在Oracle的ssbm用户中,创建表lineorder,结构如下:SQL desc lineorder;Name Null? Type- - - LO_ORDERKEY NUMBER(18LO_LINENUMBER NUMBER(18LO_CUSTKEY NUMBER(18LO_PARTKEY NUMBER(18LO_SUPPKEY

22、 NUMBER(18LO_ORDERDATE NUMBER(18LO_ORDERPRIORITY VARCHAR2(15LO_SHIPPRIORITY VARCHAR2(1LO_QUANTITY NUMBER(18LO_EXTENDEDPRICE NUMBER(18LO_ORDTOTALPRICE NUMBER(18LO_DISCOUNT NUMBER(18LO_REVENUE NUMBER(18LO_SUPPLYCOST NUMBER(18LO_TAX NUMBER(18LO_COMMITDATE NUMBER(18LO_SHIPMODE VARCHAR2(10 在这个表中,已经加载一个sc

23、ale的测试数据。 2.1.2.1导出文本格式数据执行orato8a,将format参数设置为0,即可将数据导出为文本格式。linnagbase555 $ orato8a -user=ssbm/ssbmmaya -query=select * from lineorder -file=/home/linna/lineorder.txt -field=;-format=0you machine is Little endian!- unload text file mode - field=; -LogonDB Sucess !Prepare OK : ALTER SESSION SET NLS

24、_DATE_FORMAT=YYYY-MM-DD HH24:MI:SS Prepare OK : ALTER SESSION SET NLS_TIMESTAMP_FORMAT=YYYY-MM-DDHH24:MI:SSXFFPrepare OK : ALTER SESSION SET NLS_TIMESTAMP_TZ_FORMAT=YYYY-MM-DD HH24:MI:SSXFF TZH:TZMPrepare OK : select * from lineorderPrepareSQL Sucess !executeStmt Sucess !0 rows exported at 2011-09-0

25、9 10:40:046001215 rows exported at 2011-09-09 10:41:13output file /home/linna/lineorder.txt closedexport: 6001215 rows.export: 17 columns.export time: 1 min 9.92 sec.在导出过程中,我们可以看到unload text file mode,说明导出为文本模式。导出成功后,我们用head命令查看导出的文件。 我们可以看到,导出的文件为文本格式,各个字段之间用分号进行分隔。2.1.2.2导出二进制格式数据执行orato8a,将format

26、参数设置为2,即可将数据导出为二进制格式。linnagbase555 $ orato8a -user=ssbm/ssbmmaya -query=select * from lineorder -file=/home/linna/lineorder.bin -format=2you machine is Little endian!- unload binary file mode -LogonDB Sucess !Prepare OK : ALTER SESSION SET NLS_DATE_FORMAT=YYYY-MM-DD HH24:MI:SS Prepare OK : ALTER SES

27、SION SET NLS_TIMESTAMP_FORMAT=YYYY-MM-DDHH24:MI:SSXFFPrepare OK : ALTER SESSION SET NLS_TIMESTAMP_TZ_FORMAT=YYYY-MM-DD HH24:MI:SSXFF TZH:TZMPrepare OK : select * from lineorderPrepareSQL Sucess !executeStmt Sucess !0 rows exported at 2011-09-09 10:46:496001215 rows exported at 2011-09-09 10:48:00output file /home/linna/lineorder.bin closedexport: 6001215 rows.export: 17 columns.export time: 1 min 11.16 sec.在导出过程中,我们可以看到unload binary file mode,说明导出为二进制模式。导出成功后,我们用head命令查看 注意这里,我们在用head查看时,没有使用-n参数,而是使用-c参数。如