尚学堂张志宇乱码分析01基础.docx
《尚学堂张志宇乱码分析01基础.docx》由会员分享，可在线阅读，更多相关《尚学堂张志宇乱码分析01基础.docx（25页珍藏版）》请在冰豆网上搜索。
尚学堂张志宇乱码分析01基础
1.什么是ASCII码
ASCII（AmericanStandardCodeforInformationInterchange，美国信息互换标准代码）
ASCII码一共规定了128个字符的编码
ASCII表上的数字0–31分配给了控制字符，用于控制像打印机等一些外围设备。
它已被国际标准化组织（ISO）定为国际标准，称为ISO646标准。
参考：
从这里看ASCII的内容
或者看这张图来了解ASCII的内容
控制字符都什么含义，可以从这个网址了解
http:
//zh.wikipedia.org/w/index.php?
title=ASCII&variant=zh-cn
2.什么是ISO/IECiso8859
ISO8859，全称ISO/IEC8859，是国际标准化组织（ISO）及国际电工委员会（IEC）联合制定的一系列8位字符集的标准，现时定义了15个字符集。
●ISO/IEC8859-1（Latin-1）-西欧语言
●ISO/IEC8859-2（Latin-2）-中欧语言
●ISO/IEC8859-3（Latin-3）-南欧语言。
世界语也可用此字符集显示。
●ISO/IEC8859-4（Latin-4）-北欧语言
●ISO/IEC8859-5（Cyrillic）-斯拉夫语言
●ISO/IEC8859-6（Arabic）-阿拉伯语
●ISO/IEC8859-7（Greek）-希腊语
●ISO/IEC8859-8（Hebrew）-希伯来语（视觉顺序）
●ISO8859-8-I-希伯来语（逻辑顺序）
●ISO/IEC8859-9（Latin-5或Turkish）-它把Latin-1的冰岛语字母换走，加入土耳其语字母。
●ISO/IEC8859-10（Latin-6或Nordic）-北日耳曼语支，用来代替Latin-4。
●ISO/IEC8859-11（Thai）-泰语，从泰国的TIS620标准字集演化而来。
●ISO/IEC8859-13（Latin-7或BalticRim）-波罗的语族
●ISO/IEC8859-14（Latin-8或Celtic）-凯尔特语族
●ISO/IEC8859-15（Latin-9）-西欧语言，加入Latin-1欠缺的芬兰语字母和大写法语重音字母，以及欧元（€）符号。
●ISO/IEC8859-16（Latin-10）-东南欧语言。
主要供罗马尼亚语使用，并加入欧元符号。
参考：
这里有比较详细的说明
http:
//zh.wikipedia.org/w/index.php?
title=ISO/IEC_8859&variant=zh-cn
3.ISO/IEC8859十五个字符集的比较
参考
http:
//zh.wikipedia.org/w/index.php?
title=ISO/IEC_8859&variant=zh-cn
或者看这个也行
http:
//www.terena.org/activities/multiling/ml-docs/iso-8859.html
4.什么是iso-8859-1
在ISO/IEC8859-n之中，国际标准化组织只替每个字符集定义了最多96个字符（0xA0-0xFF）。
ISO-8859-n（在ISO与8859之间加上一连字号）则是由IANA根据ISO/IEC8859-n所定义的编码表。
它除了ISO/IEC8859-n的字符外，还包括ASCII（0x20-0x7E）字符及65个控制字符（0x00-0x1F及0x7E-0x9F）。
参考：
http:
//zh.wikipedia.org/wiki/ISO/IEC_8859-1
5.什么是unicode
Unicode的编码方式与ISO10646的通用字符集（UniversalCharacterSet，UCS）概念相对应，目前实际应用的Unicode版本对应于UCS-2，使用16位的编码空间。
也就是每个字符占用2个字节。
参考：
中文的说明
http:
//zh.wikipedia.org/w/index.php?
title=Unicode&variant=zh-cn
官方网址
http:
//www.unicode.org/
如果想下载编码具体内容
http:
//www.unicode.org/charts/
查看各种字符集的对应关系
http:
//www.unicode.org/Public/MAPPINGS/
完整Unicode编码表
http:
//zh.wikibooks.org/wiki/Unicode
6.增补字符
增补字符是Unicode标准中代码点超出U+FFFF的字符
增补字符是代码点在U+10000至U+10FFFF范围之间的字符，也就是那些使用原始的Unicode的16位设计无法表示的字符
在UTF-16编码中，增补字符表示成两个字节。
第一个字节属于高代理范围（\uD800-\uDBFF）,第二个字节属于低代理范围（\uDC00-\uDFFF）.
packageencodetest;
publicclassTestChar{
publicstaticvoidmain（String[]args）{
System.out.println（Character.charCount（0x10000））;
System.out.println（Character.isHighSurrogate（（char）0xd87e））;
System.out.println（Character.isLowSurrogate（（char）0xdc1a））;
Strings=String.valueOf（Character.toChars（0x2F81A））;
char[]chars=s.toCharArray（）;
for（charc:
chars）{
System.out.format（"%x",（short）c）;
}
//d87edc1a
//这个字符变成了两个char型变量，其中0xd87e就是高代理部分的值，0xdc1a就是低代理的值。
}
}
参考
Java平台中的增补字符
7.BigEndian和LittleEndian
一个字符可能占用多个字节，那么这多个字节在计算机中如何存储呢？
比如字符0xabcd，它的存储格式到底是ABCD，还是CDAB呢？
实际上两者都有可能，并分别有不同的名字。
如果存储为ABCD，则称为BigEndian；如果存储为CDAB，则称为LittleEndian。
8.ISO/IEC8859-1:
1998与Unicode的关系
http:
//www.unicode.org/Public/MAPPINGS/ISO8859/8859-1.TXT
9.ASCII与Unicode的关系
http:
//www.unicode.org/Public/MAPPINGS/VENDORS/MISC/US-ASCII-QUOTES.TXT
10.UCS-2和UCS-4
●Unicode是为整合全世界的所有语言文字而诞生的。
任何文字在Unicode中都对应一个值，这个值称为代码点（codepoint）。
代码点的值通常写成U+ABCD的格式。
而文字和代码点之间的对应关系就是UCS-2（UniversalCharacterSetcodedin2octets）。
顾名思义，UCS-2是用两个字节来表示代码点，其取值范围为U+0000～U+FFFF。
●为了能表示更多的文字，人们又提出了UCS-4，即用四个字节表示代码点。
它的范围为U+00000000～U+7FFFFFFF，其中U+00000000～U+0000FFFF和UCS-2是一样的。
●要注意，UCS-2和UCS-4只规定了代码点和文字之间的对应关系，并没有规定代码点在计算机中如何存储。
规定存储方式的称为UTF（UnicodeTransformationFormat），其中应用较多的就是UTF-16和UTF-8了。
11.UTF-16
●UTF-16由RFC2781规定，它使用两个字节来表示一个代码点。
●不难猜到，UTF-16是完全对应于UCS-2的，即把UCS-2规定的代码点通过BigEndian或LittleEndian方式直接保存下来。
UTF-16包括三种：
UTF-16，UTF-16BE（BigEndian），UTF-16LE（LittleEndian）。
●UTF-16BE和UTF-16LE不难理解，而UTF-16就需要通过在文件开头以名为BOM（ByteOrderMark）的字符来表明文件是BigEndian还是LittleEndian。
BOM为U+FEFF这个字符。
●其实BOM是个小聪明的想法。
由于UCS-2没有定义U+FFFE，因此只要出现FFFE或者FEFF这样的字节序列，就可以认为它是U+FEFF，并且可以判断出是BigEndian还是LittleEndian。
●举个例子。
“ABC”这三个字符用各种方式编码后的结果如下：
UTF-16BE
004100420043
UTF-16LE
410042004300
UTF-16（BigEndian）
FEFF004100420043
UTF-16（LittleEndian）
FFFE410042004300
UTF-16（不带BOM）
004100420043
●Windows平台下默认的Unicode编码为LittleEndian的UTF-16（即上述的FFFE410042004300）。
你可以打开记事本，写上ABC，然后保存，再用二进制编辑器看看它的编码结果。
●另外，UTF-16还能表示一部分的UCS-4代码点——U+10000～U+10FFFF。
表示算法比较复杂，简单说明如下：
●从代码点U中减去0x10000，得到U'。
这样U+10000～U+10FFFF就变成了0x00000～0xFFFFF。
●用20位二进制数表示U'。
U'=yyyyyyyyyyxxxxxxxxxx
●将前10位和后10位用W1和W2表示，W1=110110yyyyyyyyyy，W2=110111xxxxxxxxxx，则W1=D800～DBFF，W2=DC00～DFFF。
●例如，U+12345表示为D808DF45（UTF-16BE），或者08D845DF（UTF-16LE）。
●但是由于这种算法的存在，造成UCS-2中的U+D800～U+DFFF变成了无定义的字符。
参考：
http:
//www.ietf.org/rfc/rfc2781.txt
12.UTF-32
UTF-32用四个字节表示代码点，这样就可以完全表示UCS-4的所有代码点，而无需像UTF-16那样使用复杂的算法。
与UTF-16类似，UTF-32也包括UTF-32、UTF-32BE、UTF-32LE三种编码，UTF-32也同样需要BOM字符。
仅用'ABC'举例：
UTF-32BE
000000410000004200000043
UTF-32LE
410000004200000043000000
UTF-32（BigEndian）
0000FEFF000000410000004200000043
UTF-32（LittleEndian）
FFFE0000410000004200000043000000
UTF-32（不带BOM）
000000410000004200000043
13.UTF-8
UTF-16和UTF-32的一个缺点就是它们固定使用两个或四个字节，这样在表示纯ASCII文件时会有很多00字节，造成浪费。
而RFC3629定义的UTF-8则解决了这个问题。
UTF-8用1～4个字节来表示代码点。
表示方式如下：
UCS-2（UCS-4）
位序列
第一字节
第二字节
第三字节
第四字节
U+0000..U+007F
00000000-0xxxxxxx
0xxxxxxx
U+0080..U+07FF
00000xxx-xxyyyyyy
110xxxxx
10yyyyyy
U+0800..U+FFFF
xxxxyyyy-yyzzzzzz
1110xxxx
10yyyyyy
10zzzzzz
U+10000..U+1FFFFF
00000000-000wwwxx-
xxxxyyyy-yyzzzzzzz
11110www
10xxxxxx
10yyyyyy
10zzzzzz
可见，ASCII字符（U+0000～U+007F）部分完全使用一个字节，避免了存储空间的浪费。
而且UTF-8不再需要BOM字节。
另外，从上表中可以看出，单字节编码的第一字节为[00-7F]，双字节编码的第一字节为[C2-DF]，三字节编码的第一字节为[E0-EF]。
这样只要看到第一个字节的范围就可以知道编码的字节数。
这样也可以大大简化算法。
14.java和Unicode的关系
下面这段话来自JDK文档关于Unicode的说明。
ProgramsarewrittenusingtheUnicodecharacterset.Informationaboutthischaractersetanditsassociatedcharacterencodingsmaybefoundat:
http:
//www.unicode.org
java程序是基于Unicode字符集来编写的。
关于这个字符集以及它的相关的编码可以在这个网站找到：
http:
//www.unicode.org
TheJavaplatformtrackstheUnicodespecificationasitevolves.ThepreciseversionofUnicodeusedbyagivenreleaseisspecifiedinthedocumentationoftheclassCharacter.
Java平台跟着Unicode的规范而变化。
Java的每一个版本用到的准确的Unicode的版本号，定义在Character类的文档中。
VersionsoftheJavaprogramminglanguagepriorto1.1usedUnicodeversion1.1.5.UpgradestonewerversionsoftheUnicodeStandardoccurredinJDK1.1（toUnicode2.0）,JDK1.1.7（toUnicode2.1）,J2SE1.4（toUnicode3.0）,andJ2SE5.0（toUnicode4.0）.
Java1.1用的是Unicode1.1.5。
JDK1.1用的是Unicode2.0，JDK1.1.7用的是Unicode2.1，J2SE1.4用的是Unicode3.0,andJ2SE5.0用的是Unicode4.0。
（J2SE6.0用的也是Unicode4.0）
TheUnicodestandardwasoriginallydesignedasafixed-width16-bitcharacterencoding.Ithassincebeenchangedtoallowforcharacterswhoserepresentationrequiresmorethan16bits.TherangeoflegalcodepointsisnowU+0000toU+10FFFF,usingthehexadecimalU+nnotation.CharacterswhosecodepointsaregreaterthanU+FFFFarecalledsupplementarycharacters.Torepresentthecompleterangeofcharactersusingonly16-bitunits,theUnicodestandarddefinesanencodingcalledUTF-16.Inthisencoding,supplementarycharactersarerepresentedaspairsof16-bitcodeunits,thefirstfromthehigh-surrogatesrange,（U+D800toU+DBFF）,thesecondfromthelow-surrogatesrange（U+DC00toU+DFFF）.ForcharactersintherangeU+0000toU+FFFF,thevaluesofcodepointsandUTF-16codeunitsarethesame.
Unicode标准最初的设计是16位固定宽度的字符编码.后来变为允许用多于16位来表示字符。
现在的合法的代码点从U+0000toU+10FFFF,16进制的表示方式。
代码点大于U+FFFF的字符叫做补充字符.为了只用16位来表示全部范围的字符，Unicode标准定义了一套编码，叫做UTF-16.在这个编码中，补充字符被表示为2个16-bit编码,第一部分编码的范围是（U+D800toU+DBFF）,第二部分编码的范围是（U+DC00toU+DFFF）.对于在U+0000toU+FFFF范围的字符来说,代码点的值和UTF-16编码是一致的。
Java编程语言用16位的编码代表文本。
使用UTF-16编码.少数的APIs,主要在Character类中，用32-bit的整数来代表代码点的单个实例。
Java平台提供方法在两种表示方法之间进行转换。
ThisbookusesthetermscodepointandUTF-16codeunitwheretherepresentationisrelevant,andthegenerictermcharacterwheretherepresentationisirrelevanttothediscussion.
J2SE技术规范现在使用术语代码点和UTF-16代码单元（表示法是相关的）以及通用术语字符（表示法与该讨论没有关系）。
（API通常使用名称codePoint描述表示代码点的类型int的变量，而UTF-16代码单元的类型当然为char。
）
Exceptforcomments（§3.7）,identifiers,andthecontentsofcharacterandstringliterals（§3.10.4,§3.10.5）,allinputelements（§3.5）inaprogramareformedonlyfromASCIIcharacters（orUnicodeescapes（§3.3）whichresultinASCIIcharacters）.ASCII（ANSIX3.4）istheAmericanStandardCodeforInformationInterchange.Thefirst128charactersoftheUnicodecharacterencodingaretheASCIIcharacters.
除了注释，标识符，字符常量，字符串常量，程序里其他的所有的输入元素只能是ASCII字符（或者通过转义得到的ASCII字符）。
ASCII（ANSIX3.4）是美国信息互换标准代码.Unicode字符编码中的前128个字符就是ASCII字符。
下面这段话来自API的关于java.lang.Character类的描述。
ThesetofcharactersfromU+0000toU+FFFFissometimesreferredtoastheBasicMultilingualPlane（BMP）.CharacterswhosecodepointsaregreaterthanU+FFFFarecalledsupplementarycharacters.TheJava2platformusestheUTF-16representationinchararraysandintheStringandStringBufferclasses.Inthisrepresentation,supplementarycharactersarerepresentedasapairofcharvalues,thefirstfromthehigh-surrogatesrange,（\uD800-\uDBFF）,thesecondfromthelow-surrogatesrange（\uDC00-\uDFFF）.
范围是U+0000到U+FFFF的字符，指的是BasicMultilingualPlane（BMP）.
代码点比U+FFFF还大的字符叫增补字符.Java2平台在chararrays和String和StringBuffer类中使用UTF-16编码。
在这种编码中，增补字符表示成两个char的值。
第一个char的属于高代理范围（\uD800-\uDBFF）,第二个char属于低代理范围（\uDC00-\uDFFF）.
参考：
JDK文档关于Unicode的说明：
15.char的含义
升级会员 