Oracle数据库字符集问题总结.docx
《Oracle数据库字符集问题总结.docx》由会员分享，可在线阅读，更多相关《Oracle数据库字符集问题总结.docx（16页珍藏版）》请在冰豆网上搜索。
Oracle数据库字符集问题总结
Oracle数据库字符集问题总结
在不同数据库做数据迁移、同其它系统交换数据等，常常因为字符集不同而导致迁移失败或数据库内数据变成乱码。
现在我将oracle字符集相关的一些知识做个简单总结
一、什么是oracle字符集
Oracle字符集是一个字节数据的解释的符号集合,有大小之分,有相互的包容关系。
ORACLE支持国家语言的体系结构允许你使用本地化语言来存储，处理，检索数据。
它使数据库工具，错误消息，排序次序，日期，时间，货币，数字，和日历自动适应本地化语言和平台。
影响oracle数据库字符集最重要的参数是NLS_LANG参数。
它的格式如下:
NLS_LANG=language_territory.charset
它有三个组成部分（语言、地域和字符集），每个成分控制了NLS子集的特性。
其中:
Language指定服务器消息的语言，territory指定服务器的日期和数字格式，charset指定字符集。
如:
AMERICAN_AMERICA.ZHS16GBK
从NLS_LANG的组成我们可以看出，真正影响数据库字符集的其实是第三部分。
所以两个数据库之间的字符集只要第三部分一样就可以相互导入导出数据，前面影响的只是提示信息是中文还是英文。
二、如何查询Oracle的字符集
很多人都碰到过因为字符集不同而使数据导入失败的情况。
这涉及三方面的字符集，一是oracelserver端的字符集，二是oracleclient端的字符集;三是dmp文件的字符集。
在做数据导入的时候，需要这三个字符集都一致才能正确导入。
1、查询oracleserver端的字符集
有很多种方法可以查出oracleserver端的字符集，比较直观的查询方法是以下这种:
SQL>selectuserenv（‘language’）fromdual;
结果类似如下:
AMERICAN_AMERICA.ZHS16GBK
2、如何查询dmp文件的字符集
用oracle的exp工具导出的dmp文件也包含了字符集信息，dmp文件的第2和第3个字节记录了dmp文件的字符集。
如果dmp文件不大，比如只有几M或几十M，可以用UltraEdit打开（16进制方式），看第2第3个字节的内容，如0354，然后用以下SQL查出它对应的字符集:
SQL>selectnls_charset_name（to_number（'0354','xxxx'））fromdual;
ZHS16GBK
如果dmp文件很大，比如有2G以上（这也是最常见的情况），用文本编辑器打开很慢或者完全打不开，可以用以下命令（在unix主机上）:
catexp.dmp|od-x|head-1|awk'{print$2$3}'|cut-c3-6
然后用上述SQL也可以得到它对应的字符集。
3、查询oracleclient端的字符集
这个比较简单。
在windows平台下，就是注册表里面相应OracleHome的NLS_LANG。
还可以在dos窗口里面自己设置，比如:
setnls_lang=AMERICAN_AMERICA.ZHS16GBK
这样就只影响这个窗口里面的环境变量。
在unix平台下，就是环境变量NLS_LANG。
$echo$NLS_LANG
AMERICAN_AMERICA.ZHS16GBK
如果检查的结果发现server端与client端字符集不一致，请统一修改为同server端相同的字符集。
三、修改oracle的字符集
上文说过，oracle的字符集有互相的包容关系。
如us7ascii就是zhs16gbk的子集,从us7ascii到zhs16gbk不会有数据解释上的问题,不会有数据丢失。
在所有的字符集中utf8应该是最大,因为它基于unicode,双字节保存字符（也因此在存储空间上占用更多）。
一旦数据库创建后，数据库的字符集理论上讲是不能改变的。
因此，在设计和安装之初考虑使用哪一种字符集十分重要。
根据Oracle的官方说明，字符集的转换是从子集到超集受支持,反之不行。
如果两种字符集之间根本没有子集和超集的关系，那么字符集的转换是不受oracle支持的。
对数据库server而言，错误的修改字符集将会导致很多不可测的后果，可能会严重影响数据库的正常运行，所以在修改之前一定要确认两种字符集是否存在子集和超集的关系。
一般来说，除非万不得已，我们不建议修改oracle数据库server端的字符集。
特别说明，我们最常用的两种字符集ZHS16GBK和ZHS16CGB231280之间不存在子集和超集关系，因此理论上讲这两种字符集之间的相互转换不受支持。
1、修改server端字符集（不建议使用）
在oracle8之前，可以用直接修改数据字典表props$来改变数据库的字符集。
但oracle8之后，至少有三张系统表记录了数据库字符集的信息，只改props$表并不完全，可能引起严重的后果。
正确的修改方法如下:
$sqlplus/nolog
SQL>conn/assysdba;
若此时数据库服务器已启动，则先执行SHUTDOWNIMMEDIATE命令关闭数据库服务器，然后执行以下命令:
SQL>STARTUPMOUNT;
SQL>ALTERSYSTEMENABLERESTRICTEDSESSION;
SQL>ALTERSYSTEMSETJOB_QUEUE_PROCESSES=0;
SQL>ALTERSYSTEMSETAQ_TM_PROCESSES=0;
SQL>ALTERDATABASEOPEN;
SQL>ALTERDATABASECHARACTERSETZHS16GBK;
SQL>ALTERDATABASEnationalCHARACTERSETZHS16GBK;
SQL>SHUTDOWNIMMEDIATE;
SQL>STARTUP
2、修改dmp文件字符集
上文说过，dmp文件的第2第3字节记录了字符集信息，因此直接修改dmp文件的第2第3字节的内容就可以‘骗’过oracle的检查。
这样做理论上也仅是从子集到超集可以修改，但很多情况下在没有子集和超集关系的情况下也可以修改，我们常用的一些字符集，如US7ASCII，WE8ISO8859P1，ZHS16CGB231280，ZHS16GBK基本都可以改。
因为改的只是dmp文件，所以影响不大。
具体的修改方法比较多，最简单的就是直接用UltraEdit修改dmp文件的第2和第3个字节。
比如想将dmp文件的字符集改为ZHS16GBK，可以用以下SQL查出该种字符集对应的16进制代码:
SQL>selectto_char（nls_charset_id（'ZHS16GBK'）,'xxxx'）fromdual;
0354
然后将dmp文件的2、3字节修改为0354即可。
如果dmp文件很大，用ue无法打开，就需要用程序的方法了。
网上有人用java存储过程写了转换的程序（用java存储过程的好处是通用性教好，缺点是比较麻烦）。
我在windows下测试通过。
但要求oracle数据库一定要安装JVM选项。
有兴趣的朋友可以研究一下程序代码.
（t114）
全面认识oracle字符集
什么是Oracle字符集
Oracle字符集是一个字节数据解释的符号集合，有大小之分，有相互的包容关系。
Oracle支持国家语言的体系结构允许你使用本地化语言来存储，处理，检索数据。
它使数据库工具，错误消息，排序次序，日期，时间，货币，数字和日历自动适应本地化语言和平台。
影响oracle数据库字符集最重要的参数是NLS_LANG参数。
它的格式如下：
NLS_LANG=language_territory.charset
它有三个组成部分（语言、地域和字符集），每个成分控制了NLS子集的特性。
其中：
Language指定服务器消息的语言，territory指定服务器的日期和数字格式，charset指定字符集。
如：
AMERICAN_AMERICA.ZHS16GBK。
从NLS_LANG的组成我们可以看出，真正影响数据库字符集的其实是第三部分。
所以两个数据库之间的字符集只要第三部分一样就可以相互导入导出数据，前面影响的只是提示信息是中文还是英文。
如何查询Oracle的字符集
很多人都碰到过因为字符集不同而使数据导入失败的情况。
这涉及三方面的字符集，一是Oracelserver端的字符集，二是oracleclient端的字符集；三是dmp文件的字符集。
在做数据导入的时候，需要这三个字符集都一致才能正确导入。
1、查询OracleServer端的字符集
有很多种方法可以查出oracleserver端的字符集，比较直观的查询方法是以下这种：
SQL>selectuserenv（‘language’）fromdual;
结果类似如下：
AMERICAN_AMERICA.ZHS16GBK.
2、如何查询dmp文件的字符集
用Oracle的exp工具导出的dmp文件也包含了字符集信息，dmp文件的第2和第3个字节记录了dmp文件的字符集。
如果dmp文件不大，比如只有几M或几十M，可以用UltraEdit打开（16进制方式），看第2第3个字节的内容，如0354，然后用以下SQL查出它对应的字符集：
SQL>selectnls_charset_name（to_number（'0354','xxxx'））fromdual;
ZHS16GBK
如果dmp文件很大，比如有2G以上（这也是最常见的情况），用文本编辑器打开很慢或者完全打不开，可以用以下命令（在unix主机上）：
catexp.dmp|od-x|head-1|awk'{print$2$3}'|cut-c3-6
然后用上述SQL也可以得到它对应的字符集。
3、查询Oracleclient端的字符集
这个比较简单。
在Windows平台下，就是注册表里面相应OracleHome的NLS_LANG.还可以在Dos窗口里面自己设置，比如：
setnls_lang=AMERICAN_AMERICA.ZHS16GBK
这样就只影响这个窗口里面的环境变量。
在Unix平台下，就是环境变量NLS_LANG.
$echo$NLS_LANG
AMERICAN_AMERICA.ZHS16GBK
如果检查的结果发现Server端与Client端字符集不一致，请统一修改为同Server端相同的字符集。
修改Oracle的字符集
上文说过，oracle的字符集有互相的包容关系。
如us7ascii就是zhs16gbk的子集，从us7ascii到zhs16gbk不会有数据解释上的问题，不会有数据丢失。
在所有的字符集中utf8应该是最大，因为它基于unicode，双字节保存字符（也因此在存储空间上占用更多）。
一旦数据库创建后，数据库的字符集理论上讲是不能改变的。
因此，在设计和安装之初考虑使用哪一种字符集十分重要。
根据Oracle的官方说明，字符集的转换是从子集到超集受支持，反之不行。
如果两种字符集之间根本没有子集和超集的关系，那么字符集的转换是不受oracle支持的。
对数据库server而言，错误的修改字符集将会导致很多不可测的后果，可能会严重影响数据库的正常运行，所以在修改之前一定要确认两种字符集是否存在子集和超集的关系。
一般来说，除非万不得已，我们不建议修改oracle数据库server端的字符集。
特别说明，我们最常用的两种字符集ZHS16GBK和ZHS16CGB231280之间不存在子集和超集关系，因此理论上讲这两种字符集之间的相互转换不受支持。
修改Server端字符集（不建议使用）：
在Oracle8之前，可以用直接修改数据字典表props$来改变数据库的字符集。
但Oracle8之后，至少有三张系统表记录了数据库字符集的信息，只改props$表并不完全，可能引起严重的后果。
正确的修改方法如下：
$sqlplus/nolog
SQL>conn/assysdba;
若此时数据库服务器已启动，则先执行SHUTDOWNIMMEDIATE命令关闭数据库服务器，然后执行以下命令：
SQL>STARTUPMOUNT;
SQL>ALTERSYSTEMENABLERESTRICTEDSESSION;
SQL>ALTERSYSTEMSETJOB_QUEUE_PROCESSES=0;
SQL>ALTERSYSTEMSETAQ_TM_PROCESSES=0;
SQL>ALTERDATABASEOPEN;
SQL>ALTERDATABASECHARACTERSETZHS16GBK;
SQL>ALTERDATABASEnationalCHARACTERSETZHS16GBK;
SQL>SHUTDOWNIMMEDIATE;
SQL>STARTUP
修改dmp文件字符集：
上文说过，dmp文件的第2第3字节记录了字符集信息，因此直接修改dmp文件的第2第3字节的内容就可以‘骗’过oracle的检查。
这样做理论上也仅是从子集到超集可以修改，但很多情况下在没有子集和超集关系的情况下也可以修改，我们常用的一些字符集，如US7ASCII，WE8ISO8859P1，ZHS16CGB231280，ZHS16GBK基本都可以改。
因为改的只是dmp文件，所以影响不大。
具体的修改方法比较多，最简单的就是直接用UltraEdit修改dmp文件的第2和第3个字节。
比如想将dmp文件的字符集改为ZHS16GBK，可以用以下SQL查出该种字符集对应的16进制代码：
SQL>selectto_char（nls_charset_id（'ZHS16GBK'）,
'xxxx'）fromdual;
0354
然后将dmp文件的2、3字节修改为0354即可。
如果dmp文件很大，用ue无法打开，就需要用程序的方法了。
网上有人用java存储过程写了转换的程序（用java存储过程的好处是通用性教好，缺点是比较麻烦）。
我在Windows下测试通过。
但要求Oracle数据库一定要安装JVM选项。
一．引言
ORACLE数据库字符集，即Oracle全球化支持（GlobalizationSupport），或即国家语言支持（NLS）其作用是用本国语言和格式来存储、处理和检索数据。
利用全球化支持，ORACLE为用户提供自己熟悉的数据库母语环境，诸如日期格式、数字格式和存储序列等。
Oracle可以支持多种语言及字符集，其中oracle8i支持48种语言、76个国家地域、229种字符集，而oracle9i则支持57种语言、88个国家地域、235种字符集。
由于oracle字符集种类多，且在存储、检索、迁移oracle数据时多个环节与字符集的设置密切相关，因此在实际的应用中，数据库开发和管理人员经常会遇到有关oracle字符集方面的问题。
本文通过以下几个方面阐述，对oracle字符集做简要分析
二．字符集基本知识
2.1字符集
实质就是按照一定的字符编码方案，对一组特定的符号，分别赋予不同数值编码的集合。
Oracle数据库最早支持的编码方案是US7ASCII。
Oracle的字符集命名遵循以下命名规则:
即:
<语言><比特位数><编码>
比如:
ZHS16GBK表示采用GBK编码格式、16位（两个字节）简体中文字符集
2.2字符编码方案
2.2.1单字节编码
（1）单字节7位字符集，可以定义128个字符，最常用的字符集为US7ASCII
（2）单字节8位字符集，可以定义256个字符，适合于欧洲大部分国家
例如：
WE8ISO8859P1（西欧、8位、ISO标准8859P1编码）
2.2.2多字节编码
（1）变长多字节编码
某些字符用一个字节表示，其它字符用两个或多个字符表示，变长多字节编码常用于对亚洲语言的支持，例如日语、汉语、印地语等
例如：
AL32UTF8（其中AL代表ALL,指适用于所有语言）、zhs16cgb231280
（2）定长多字节编码
每一个字符都使用固定长度字节的编码方案，目前oracle唯一支持的定长多字节编码是AF16UTF16，也是仅用于国家字符集
2.2.3unicode编码
Unicode是一个涵盖了目前全世界使用的所有已知字符的单一编码方案，也就是说Unicode为每一个字符提供唯一的编码。
UTF-16是unicode的16位编码方式，是一种定长多字节编码，用2个字节表示一个unicode字符，AF16UTF16是UTF-16编码字符集。
UTF-8是unicode的8位编码方式，是一种变长多字节编码，这种编码可以用1、2、3个字节表示一个unicode字符，AL32UTF8，UTF8、UTFE是UTF-8编码字符集
2.3字符集超级
当一种字符集（字符集A）的编码数值包含所有另一种字符集（字符集B）的编码数值，并且两种字符集相同编码数值代表相同的字符时，则字符集A是字符集B的超级，或称字符集B是字符集A的子集。
Oracle8i和oracle9i官方文档资料中备有子集-超级对照表（subset-supersetpairs），例如：
WE8ISO8859P1是WE8MSWIN1252的子集。
由于US7ASCII是最早的Oracle数据库编码格式，因此有许多字符集是US7ASCII的超集，例如WE8ISO8859P1、ZHS16CGB231280、ZHS16GBK都是US7ASCII的超集。
2.4数据库字符集（oracle服务器端字符集）
数据库字符集在创建数据库时指定，在创建后通常不能更改。
在创建数据库时，可以指定字符集（CHARACTERSET）和国家字符集（NATIONALCHARACTERSET）。
2.4.1字符集
（1）用来存储CHAR,VARCHAR2,CLOB,LONG等类型数据
（2）用来标示诸如表名、列名以及PL/SQL变量等
（3）用来存储SQL和PL/SQL程序单元等
2.4.2国家字符集：
（1）用以存储NCHAR,NVARCHAR2,NCLOB等类型数据
（2）国家字符集实质上是为oracle选择的附加字符集，主要作用是为了增强oracle的字符处理能力，因为NCHAR数据类型可以提供对亚洲使用定长多字节编码的支持，而数据库字符集则不能。
国家字符集在oracle9i中进行了重新定义，只能在unicode编码中的AF16UTF16和UTF8中选择，默认值是AF16UTF16
2.4.3查询字符集参数
可以查询以下数据字典或视图查看字符集设置情况
nls_database_parameters、props$、v$nls_parameters
查询结果中NLS_CHARACTERSET表示字符集，NLS_NCHAR_CHARACTERSET表示国家字符集
2.4.4修改数据库字符集
按照上文所说，数据库字符集在创建后原则上不能更改。
如果需要修改字符集，通常需要导出数据库数据，重建数据库，再导入数据库数据的方式来转换，或通过ALTERDATABASECHARACTERSET语句修改字符集，但创建数据库后修改字符集是有限制的，只有新的字符集是当前字符集的超集时才能修改数据库字符集，例如UTF8是US7ASCII的超集，修改数据库字符集可使用ALTERDATABASECHARACTERSETUTF8。
2.5客户端字符集（NLS_LANG参数）
2.5.1客户端字符集含义
客户端字符集定义了客户端字符数据的编码方式，任何发自或发往客户端的字符数据均使用客户端定义的字符集编码,客户端可以看作是能与数据库直接连接的各种应用，例如sqlplus,exp/imp等。
客户端字符集是通过设置NLS_LANG参数来设定的。
2.5.2NLS_LANG参数格式
NLS_LANG=_.
Language:
显示oracle消息,校验，日期命名
Territory：
指定默认日期、数字、货币等格式
Clientcharacterset：
指定客户端将使用的字符集
例如：
NLS_LANG=AMERICAN_AMERICA.US7ASCII
AMERICAN是语言，AMERICA是地区，US7ASCII是客户端字符集
2.5.3客户端字符集设置方法
1）UNIX环境
$NLS_LANG=“simplifiedchinese”_china.zhs16gbk
$exportNLS_LANG
编辑oracle用户的profile文件
2）Windows环境
编辑注册表
Regedit.exe---HKEY_LOCAL_MACHINE---SOFTWARE---ORACLE—HOME0
2.5.4NLS参数查询
Oracle提供若干NLS参数定制数据库和用户机以适应本地格式，例如有NLS_LANGUAGE,NLS_DATE_FORMAT,NLS_CALENDER等，可以通过查询以下数据字典或v$视图查看。
NLS_DATABASE_PARAMETERS--显示数据库当前NLS参数取值，包括数据库字符集取值
NLS_SESSION_PARAMETERS--显示由NLS_LANG设置的参数，或经过altersession改变后的参数值（不包括由NLS_LANG设置的客户端字符集）
NLS_INSTANCE_PARAMETE--显示由参数文件init.ora定义的参数V$NLS_PARAMETERS--显示数据库当前NLS参数取值
2.5.5修改NLS参数
使用下列方法可以修改NLS参数
（1）修改实例启动时使用的初始化参数文件
（2）修改环境变量NLS_LANG
（3）使用ALTERSESSION语句，在oracle会话中修改
（4）使用某些SQL函数
NLS作用优先级别：
Sqlfunction>altersession>环境变量或注册表>参数文件>数据库默认参数
三．导入/导出与字符集转换
3.1EXP/IMP
Export和Import是一对读写Oracle数据的工具。
Export将Oracle数据库中的数据输出到操作系统文件中,Import把这些文件中的数据读到Oracle数据库中，由于使用exp/imp进行数据迁移时，数据从源数据库到目标数据库的过程中有四个环节涉及到字符集，如果这四个环节的字符集不一致，将会发生字符集转换。
EXP
__________________________________________
|imp导入文件|<-|环境变量NLS_LANG|<-|数据库字符集|
------------------------------------------
IMP
__________________________________________
|imp导入文件|->|环境变量NLS_LANG|->|数据库字符集|
------------------------------------------
四个字符集是
（1）源数据库字符集
（2）Export过程中用户会话字符集（通过NLS_LANG设定）
（3）Imp
升级会员 