南大通用大数据新型列存储数据库GBase 8a gbload.docx
《南大通用大数据新型列存储数据库GBase 8a gbload.docx》由会员分享，可在线阅读，更多相关《南大通用大数据新型列存储数据库GBase 8a gbload.docx（41页珍藏版）》请在冰豆网上搜索。
南大通用大数据新型列存储数据库GBase8agbload
GBase8agbloader参考手册,南大通用数据技术有限公司
GBase版权所有©2004-2012,保留所有权利。
版权声明
本文档所涉及的软件著作权、版权和知识产权已依法进行了相关注册、登记,由南大通用数据技术有限公司合法拥有,受《中华人民共和国著作权法》、《计算机软件保护条例》、《知识产权保护条例》和相关国际版权条约、法律、法规以及其它知识产权法律和条约的保护。
XX许可,不得非法使用。
免责声明
本文档包含的南大通用公司的版权信息由南大通用公司合法拥有,受法律的保护,南大通用公司对本文档可能涉及到的非南大通用公司的信息不承担任何责任。
在法律允许的范围内,您可以查阅,并仅能够在《中华人民共和国著作权法》规定的合法范围内复制和打印本文档。
任何单位和个人未经南大通用公司书面授权许可,不得使用、修改、再发布本文档的任何部分和内容,否则将视为侵权,南大通用公司具有依法追究其责任的权利。
本文档中包含的信息如有更新,恕不另行通知。
您对本文档的任何问题,可直接向南大通用数据技术有限公司告知或查询。
未经本公司明确授予的任何权利均予保留。
通讯方式
南大通用数据技术有限公司
天津华苑产业区海泰发展六道6号海泰绿色产业基地J座（300384
电话:
400-817-9696邮箱:
info@
商标声明
标,注册商标专用权由南大通用公司合法拥有,受法律保护。
未经南大通用公司书面许可,任何单位及个人不得以任何方式或理由对该商标的任何部分进行使用、复制、修改、传播、抄录或与其它产品捆绑使用销售。
凡侵犯南大通用公司商标权的,南大通用公司将依法追究其法律责任。
GBase8agbloader参考手册
南大通用数据技术有限公司I目录
联系我们（1
前言（2
相关手册（2
手册约定（2
正文约定（2
代码示例约定（2
操作系统约定（3
1概述（4
1.1简介（4
1.2安装（4
1.3基本操作（4
1.4拓扑图（5
2数据源及数据准备（6
2.1orato8a（6
2.1.1参数说明（8
2.1.1.1batch（8
2.1.1.2field（8
2.1.1.3file（8
2.1.1.4format（9
2.1.1.5log（9
2.1.1.6query（9
2.1.1.7shm_mode（10
2.1.1.8user（10
2.1.2应用实例（11
2.1.2.1导出文本格式数据（11
2.1.2.2导出二进制格式数据（13
2.1.2.3导出到共享内存（14
2.2gbunloader（15
2.2.1参数说明（15
2.2.1.1batch（15
2.2.1.2database（16
2.2.1.3field（16
2.2.1.4file（16
2.2.1.5format（17
GBase8agbloader参考手册
II
南大通用数据技术有限公司2.2.1.6host........................................172.2.1.7log.........................................172.2.1.8password....................................182.2.1.9port........................................182.2.1.10query......................................182.2.1.11shm_mode...................................192.2.1.12socket.....................................192.2.1.13user.......................................192.2.2应用实例.........................................203gbloader配置介绍（21
3.1gbloader特性（21
3.2gbloader参数说明（21
3.2.1必选配置（21
3.2.2可选配置（22
3.2.3charset（22
3.2.4commit_lines（23
3.2.5db_name（23
3.2.6delimiter（23
3.2.7error_data_file（24
3.2.8escape_character（24
3.2.9format（24
3.2.10infile_mode（24
3.2.11insert（25
3.2.12load_data_infile（25
3.2.13log（25
3.2.14parallel（26
3.2.15partition（26
3.2.16password（26
3.2.17port（27
3.2.18scn_number（27
3.2.19socket（27
3.2.20string_qualifier（27
3.2.21table_fields（28
3.2.22table_name（28
3.2.23trim（28
3.2.24user（28
3.3用例:
（29
GBase8agbloader参考手册
南大通用数据技术有限公司III3.3.1一个简单的数据加载示例（文本....................293.3.2一个简单的数据加载示例（二进制..................303.3.3一个简单的数据加载示例（共享内存................313.3.4如何导入多个数据文件..............................343.3.5如何处理文本字段中含有分隔符的数据加载............353.3.6如何处理特殊字符..................................403.3.7如何加载全部数据到一个分区中......................443.3.8如何加载全部数据到多个分区中......................473.3.9如果数据文件和表定义不一致怎么办..................503.3.10如何处理不同的字符集.............................553.3.11如何利用多核特性加载数据.........................573.3.12如何保留数据中尾部的空格.........................593.3.13如何加载其它Linux服务器上的数据.................624
异常处理.....................................................664.1正常结束..............................................664.2异常情况..............................................665
附录.........................................................685.1Oracle中的创建表脚本.................................685.2GBase8a中的创建表脚本...............................686
索引（70
GBase8agbloader参考手册
南大通用数据技术有限公司-1-
联系我们
南大通用欢迎您对此手册提出自己的宝贵意见和建议,您的意见和建议将成为完善此手册的重要部分。
●
您发现手册中的错误了吗?
●
您认为手册中的哪些部分描述的还不太清楚?
●
您认为手册中还需要在哪些方面提供更多的内容?
●
手册中的示例正确吗?
您还是否需要更多的示例?
●您喜欢手册中的哪些部分?
如果您发现了手册中的错误,或者您有更好的意见和建议,请您标明需要改正或改进部分的页码、章节号、标题,及手册中的内容（如果可能。
您可以通过下面的方式将您的意见和建议发送给我们。
电子邮件:
info@
电话:
400-817-9696
传真:
022-********
通信地址:
天津滨海高新区海泰绿色产业基地J座
如果您希望收到我们的回复,请您告诉我们您的姓名,电话,或者电子邮箱地址。
如果您对我们的软件有任何问题,请您联系我们的技术支持人员。
GBase8agbloader参考手册
-2-南大通用数据技术有限公司
前言
本手册将指导您如对GBase8a数据库进行数据的导入/导出。
相关手册
《GBase8a安装手册》
《GBase8aSQL参考手册》
《GBase8a管理员手册》
手册约定
正文约定
表6-1代码示例约定
GBase8agbloader参考手册
南大通用数据技术有限公司-3-
表6-2
操作系统约定
假定用户使用的操作系统为RedHatLinux,用户的Shell为BashShell。
GBase8agbloader参考手册
-4-南大通用数据技术有限公司
1概述
1.1简介
为了提高GBase8a的数据加载速度,GBase8a数据库提供了专用的数据加载工具--gbloader。
该工具是一个命令行工具,用于从满足一定格式的数据文件中快速加载数据到GBase8a数据库。
gbloader工具是一个线程并行的数据加载工具,可以充分利用多核CPU的处理能力进行数据加载,因此数据加载效率很高。
在运用PCServer的硬件环境下,可以获得200GB/h的加载性能。
使用高端服务器和专用阵列设备可以大幅提高加载能力,在高端配置的条件下,多表并行数据加载速度最大可以达到500GB/h。
1.2安装
gbloader随GBase8a一起安装,该文件被安装在$GBASE_HOME/bin下。
1.3基本操作
gbloader的命令格式是:
gbloader[OPTIONS]<控制文件>
其中,OPTIONS包括以下选项:
--user=user_name,数据库用户名
--password=password,数据库用户的登录密码
示例如下:
gbloader--user=root--password=linnalineorder.ctl
1.4拓扑图
gbloader从控制文件中获得数据加载的必要信息和数据文件的相关信息,将数据加载到GBase8a中。
对于加载过程中加载失败的数据,记录在失败数据指定的文件中。
对于加载过程中的相关显示信息,记录在日志文件中。
2数据源及数据准备
gbloader支持多种数据源。
gbloader的数据源可以是具体一定格式的文本文件,也可以是GBase公司专用的二进制数据文件,还可以是由GBase公司专用工具生成的共享内存文件。
常用的为gbloader提供数据文件的工具有orato8a和gbunloader。
orato8a为从Oracle数据库向GBase8a数据库迁移数据的工具,gbunloader为从GBase8a中导出数据的工具。
由gbunloader工具导出的数据可以方便的导入另外一个GBase8a数据库。
2.1orato8a
orato8a是一个可以快速、高效的从Oracle数据库中抽取数据的专用工具。
orato8a通过Oracle的OCI接口访问数据,运行orato8a的计算机需要安装Oracle数据库或客户端。
orato8a随GBase8a一起安装,该文件被安装在$GBASE_HOME/bin下。
为了在非Oracle安装用户可以访问Oracle,通常只要将该用户加入到Oracle安装用户所在的组中,设置Oracle的安装目录允许同组的用户可以访问,并在该用户中正确设置ORACLE_BASE,ORACLE_HOME,ORACLE_SID,及将$ORACLE_HOME/bin加入到PATH变量,将$ORACLE_HOME/lib加入LD_LIBRARY_PATH变量即可。
如我们希望在linna用户下可以正常运行orato8a,则登录到root用户下:
[root@gbase555~]#groupslinna
linna:
linna
[root@gbase555~]#groupsoracle
oracle:
oinstalldba
[root@gbase555~]#usermod-Goinstall,dbalinna
[root@gbase555~]#groupslinna
linna:
linnaoinstalldba
在linna用户的根目录下的.bash_profile中加入下面的内容后,用source命令执行.bash_profile中的内容。
ORACLE_BASE=/home/oracle/oracle
exportORACLE_BASE
ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1
exportORACLE_HOME
ORACLE_SID=maya
exportORACLE_SID
PATH=$ORACLE_HOME/bin:
$PATH
exportPATH
LD_LIBRARY_PATH=/usr/local/lib:
$LD_LIBRARY_PATH
exportLD_LIBRARY_PATH
[linna@gbase555~]$source.bash_profile
执行sqlplus命令,登录sqlplus。
[linna@gbase555~]$sqlplus/nolog
SQL*Plus:
Release10.2.0.4.0-ProductiononThuAug418:
38:
412011Copyright（c1982,2007,Oracle.AllRightsReserved.
SQL>
出现提示符,成功登录Oracle的sqlplus。
如果采用编辑/etc/group的方法添加用户的组,可以在保存后,使用pwconv将更改应用到shadow中,使修改即刻生效。
2.1.1参数说明
2.1.1.1batch
语法
batch=number_value
功能
该参数指明将多少条记录单独保存为一个单独的数据文件。
该参数需要与file参数配合使用。
当指定batch参数时,file参数指定的文件名中应包含%b。
2.1.1.2field
语法
field=char_value
功能
当导出的数据为文本格式时,指定分隔各字段的分隔符。
只能指定一个字符,或者为一个转义符后接一个字符。
不能指定\n和\r。
2.1.1.3file
语法
file=string_value
功能
该参数指定数据文件名。
该参数可以为一个包含绝对路径的文件名,也可以为一个包含相对路径的文件名。
当该参数为一个不包含路径的文件名时,该文件被保存在当前路径中。
当参数文件中指定batch参数时,file参数中应包含%b字符。
%b为占位符,用于产生多个文件时,对产生的多个文件进行顺序编号。
2.1.1.4format
语法
format=[0|2]
功能
控制导出数据的格式。
当设置为0时,导出数据为文本格式;当设置为2时,导出数据为二进制格式。
该参数的默认值为2。
2.1.1.5log
语法
log=string_value
功能
记录抽取时的日志信息。
2.1.1.6query
语法
query=string_value
功能
配置抽取数据所使用的SQL语句。
由于查询语句常有空格,该参数在指定时,需要用双引号限定。
查询语句为一个合法的Oracle查询语句,且只返回一个结果集。
2.1.1.7shm_mode
语法
shm_mode=[0|1]
功能
控制导出文件的方式。
当参数设置为0时,导出方式为文件方式;当参数设置为1时,导出方式为共享内存方式。
该参数的默认值为0。
当采用共享内存方式时,orato8a可以和gbloader通过共享一个128M的内存来传输数据。
gbloader在加载数据时,需要在控制文件中设置infile_mode为1。
使用该方式加载数据时,orato8a必须与GBase8aServer运行在同一台服务器上。
先启动orato8a抽取工具,然后再启动gbloader导入工具,就可以实现gbloader共享内存方式的数据导入。
2.1.1.8user
语法
user=string_value
功能
配置登录Oracle数据库的用户名、密码和数据库本地服务名,该参数的格式为用户名称/密码@数据库本地服务名。
2.1.2应用实例
为了演示,在Oracle的ssbm用户中,创建表lineorder,结构如下:
SQL>desclineorder;
NameNull?
Type
------------------------------------------------------------------LO_ORDERKEYNUMBER（18
LO_LINENUMBERNUMBER（18
LO_CUSTKEYNUMBER（18
LO_PARTKEYNUMBER（18
LO_SUPPKEYNUMBER（18
LO_ORDERDATENUMBER（18
LO_ORDERPRIORITYVARCHAR2（15
LO_SHIPPRIORITYVARCHAR2（1
LO_QUANTITYNUMBER（18
LO_EXTENDEDPRICENUMBER（18
LO_ORDTOTALPRICENUMBER（18
LO_DISCOUNTNUMBER（18
LO_REVENUENUMBER（18
LO_SUPPLYCOSTNUMBER（18
LO_TAXNUMBER（18
LO_COMMITDATENUMBER（18
LO_SHIPMODEVARCHAR2（10在这个表中,已经加载一个scale的测试数据。
2.1.2.1导出文本格式数据
执行orato8a,将format参数设置为0,即可将数据导出为文本格式。
[linna@gbase555~]$orato8a--user=ssbm/ssbm@maya--query="select*fromlineorder"--file=/home/linna/lineorder.txt--field=";"
--format=0
youmachineisLittleendian!
---unload[textfile]mode---
---field=";"---
LogonDBSucess!
PrepareOK:
ALTERSESSIONSETNLS_DATE_FORMAT='YYYY-MM-DDHH24:
MI:
SS'PrepareOK:
ALTERSESSIONSETNLS_TIMESTAMP_FORMAT='YYYY-MM-DD
HH24:
MI:
SSXFF'
PrepareOK:
ALTERSESSIONSETNLS_TIMESTAMP_TZ_FORMAT='YYYY-MM-DDHH24:
MI:
SSXFFTZH:
TZM'
PrepareOK:
select*fromlineorder
PrepareSQLSucess!
executeStmtSucess!
0rowsexportedat2011-09-0910:
40:
04
6001215rowsexportedat2011-09-0910:
41:
13
outputfile/home/linna/lineorder.txtclosed
export:
6001215rows.
export:
17columns.
exporttime:
1min9.92sec.
在导出过程中,我们可以看到unload[textfile]mode,说明导出为文本模式。
导出成功后,我们用head命令查看导出的文件。
我们可以看到,导出的文件为文本格式,各个字段之间用分号进行分隔。
2.1.2.2导出二进制格式数据
执行orato8a,将format参数设置为2,即可将数据导出为二进制格式。
[linna@gbase555~]$orato8a--user=ssbm/ssbm@maya--query="select*fromlineorder"--file=/home/linna/lineorder.bin--format=2
youmachineisLittleendian!
---unload[binaryfile]mode---
LogonDBSucess!
PrepareOK:
ALTERSESSIONSETNLS_DATE_FORMAT='YYYY-MM-DDHH24:
MI:
SS'PrepareOK:
ALTERSESSIONSETNLS_TIMESTAMP_FORMAT='YYYY-MM-DD
HH24:
MI:
SSXFF'
PrepareOK:
ALTERSESSIONSETNLS_TIMESTAMP_TZ_FORMAT='YYYY-MM-DDHH24:
MI:
SSXFFTZH:
TZM'
PrepareOK:
select*fromlineorder
PrepareSQLSucess!
executeStmtSucess!
0rowsexportedat2011-09-0910:
46:
49
6001215rowsexportedat2011-09-0910:
48:
00
outputfile/home/linna/lineorder.binclosed
export:
6001215rows.
export:
17columns.
exporttime:
1min11.16sec.
在导出过程中,我们可以看到unload[binaryfile]mode,说明导出为二进制模式。
导出成功后,我们用head命令查看
注意这里,我们在用head查看时,没有使用-n参数,而是使用-c参数。
如
升级会员 