关于JAVA字符编码:Unicode,ISO-8859-1,GBK,UTF-8编码及
相互转换
因为url传送默认编码是容器的编码,tomcat默认是iso-8859-1.所以,Parameter()获得的值必须转码,除⾮设置tocmat的默认url编码。
这个是涉及到字符编码的问题 ⼀个字符在⽹页间传递要经过编/解码的问题
我来具体解释⼀下这个语句username=new Bytes("ISO8859_1"),"GBK");
⽹页本⾝是gb2312(也就是gbk)对数据进⾏解码的,那么你要将这个数据转换成ISO8859_1解码
的数据,⼀定要先将这个数据编码成gbk,然后通过getBytes()⽅法将其解码成ISO8859_1编码⽅式,那么最后得到的数据才是以ISO8859_1进⾏编码的数据
1、函数介绍
在Java中,字符串⽤统⼀的Unicode编码,每个字符占⽤两个字节,与编码有关的两个主要函数为:
1)将字符串⽤指定的编码集合解析成字节数组,完成Unicode-〉charsetName转换
public byte[] getBytes(String charsetName) throws UnsupportedEncodingException
2)将字节数组以指定的编码集合构造成字符串,完成charsetName-〉Unicode转换
public String(byte[] bytes, String charsetName) throws UnsupportedEncodingException
2、Unicode与各编码之间的直接转换
下⾯以对中⽂字符串"a中⽂"的编码转换为例,来了解各种编码之间的转换
1)Unicode和GBK
测试结果如下,每个汉字转换为两个字节,且是可逆的,即通过字节可以转换回字符串
String -GBK〉ByteArray:/u0061/u4E2D/u6587(a中⽂)-〉0x61 0xD6 0xD0 0xCE 0xC4
ByteArray -GBK〉String:0x61 0xD6 0xD0 0xCE 0xC4-〉/u0061/u4E2D/u6587(a中⽂)url编码和utf8区别
2)Unicode和UTF-8
测试结果如下,每个汉字转换为三个字节,且是可逆的,即通过字节可以转换回字符串
String -UTF-8〉ByteArray:/u0061/u4E2D/u6587(a中⽂)-〉0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87
ByteArray -UTF-8〉String:0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87-〉/u0061/u4E2D/u6587(a中⽂)
3)Unicode和ISO-8859-1
测试结果如下,当存在汉字时转换失败,⾮可逆,即通过字节不能再转换回字符串
String -ISO-8859-1〉ByteArray:/u0061/u4E2D/u6587(a中⽂)-〉0x61 0x3F 0x3F
ByteArray -ISO-8859-1〉String:0x61 0x3F 0x3F-〉/u0061/u003F/u003F(a??)
3、Unicode与各编码之间的交叉转换
在上⾯直接转换中,由字符串(Unicode)⽣成的字节数组,在构造回字符串时,使⽤的是正确的编码集合,如果使⽤的不是正确的编码集合会怎样呢?会正确构造吗?如果不能正确构造能有办法恢复吗?会信息丢失吗?
下⾯我们就来看看这种情况,这部分可以说明在某些情况下虽然我们最终正确显⽰了结果,但其间仍然进⾏了不正确的转换。
1)能够正确显⽰的中间不正确转换
我们知道String -GBK〉ByteArray -GBK〉String是正确的,但如果我们采⽤String -GBK〉ByteArray -ISO-8859-1
〉String呢?通过测试结果如下:
String -GBK〉ByteArray -ISO-8859-1〉String:/u0061/u4E2D/u6587(a中⽂)-〉0x61 0xD6 0xD0 0xCE 0xC4
-〉/u0061/u00D6/u00D0/u00CE/u00C4(a)
这时我们得到的字符串为?乱码“a”,但是通过继续转换我们仍然可以复原回正确的字符串“a中⽂”,过程如下:
String -GBK〉ByteArray -ISO-8859-1〉String -ISO-8859-1〉ByteArray -GBK〉String
对应:/u0061/u4E2D/u6587(a中⽂)-〉0x61 0xD6 0xD0 0xCE 0xC4
-〉/u0061/u00D6/u00D0/u00CE/u00C4(a)-〉0x61 0xD6 0xD0 0xCE 0xC4-〉/u0061/u4E2D/u6587(a中⽂)也就是我们在⾸次构造字符串时,我们⽤了错误的编码集合得到了错误的乱码,但是我们 通过错上加错,再⽤错误的编码集合获取字节数组,然后再⽤正确的编码集合构造,就⼜恢复了正确的字符串。这时就属于是“能够正确显⽰的中间不正确转换”。在Jsp页⾯提交数据处理时常常发⽣这种情况。
此外能够正确显⽰的中间不正确转换还有:
String -UTF-8〉ByteArray -ISO-8859-1〉String -ISO-8859-1〉ByteArray -UTF-8〉String
和
String -UTF-8〉ByteArray -GBK〉String -GBK〉ByteArray -UTF-8〉String
对应:/u0061/u4E2D/u6587(a中⽂)-〉0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87-〉/u0061/u6D93/uE15F/u6783(a 涓枃)-〉0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87-〉/u0061/u4E2D/u6587(a中⽂)
4、编码过程中错误诊断参考
1)⼀个汉字对应⼀个问号
在通过ISO-8859-1从字符串获取字节数组时,由于⼀个Unicode转换成⼀个byte,当遇到不认识的Unicode时,转换为0x3F,这样⽆论⽤哪种编码构造时都会产⽣⼀个?乱码。
2)⼀个汉字对应两个问号
在通过GBK从字符串获取字节数组时,由于⼀个Unicode转换成两个byte,如果此时⽤ISO-8859-1或⽤UTF-8构造字符串就会出现两个问号。
若是通过ISO-8859-1构造可以再通过上⾯所说的错上加错恢复(即再通过从ISO-8859-1解析,⽤GBK构造);
若是通过UTF-8构造则会产⽣Unicode字符"/uFFFD",不能恢复,若再通过String-UTF-8〉ByteArray-GBK〉String,则会出现杂码,如a锟⽄拷锟⽄拷
3)⼀个汉字对应三个问号
在通过UTF-8从字符串获取字节数组时,由于⼀个
这是java字符串处理的⼀个标准函数,其作⽤是将字符串所表⽰的字符按照charset编码,并以字节⽅式表⽰。注意字符串在java内存中总是按unicode编码存储的。⽐如"中⽂",正常情况下(即没有错误的时候)存储为"4e2d 6587",如果charset为"gbk",则被编码
为"d6d0 cec4",然后返回字节"d6 d0 ce c4".如果charset为"utf8"则最后是"e4 b8 ad e6 96 87".如果是"iso8859-1",则由于⽆法编码,最后返回 "3f 3f"(两个问号)。
java .class类的编码为:unicode;
windows 默认的编码为:中⽂:gb2312; 英⽂:iso8859;
String str = "张三" ;
byte[] jiema= Bytes("gb2312") ; //解码
String bianma = new String(jiema,"UTF-8");//编码 如果上⾯的解码不对 可能出现问题
2. new String(charset)
这是java字符串处理的另⼀个标准函数,和上⼀个函数的作⽤相反,将字节数组按照charset编码进⾏组合识别,最后转换为unicode存储。参考上述getBytes的例⼦,"gbk" 和"utf8"都可以得出正确的结果"4e2d 6587",但iso8859-1最后变成了"003f 003f"(两个问号)。
因为utf8可以⽤来表⽰/编码所有字符,所以new String( Bytes( "utf8" ), "utf8" ) === str,即完全可逆。
3. setCharacterEncoding()
该函数⽤来设置http请求或者相应的编码。
对于request,是指提交内容的编码,指定后可以通过getParameter()则直接获得正确的字符串,如果不指定,则默认使⽤iso8859-1编码,需要进⼀步处理。参见下述"表单输⼊".值得注意的是在执⾏setCharacterEncoding()之前,不能执⾏任何
getParameter()。java doc上说明:This method must be called prior to reading request parameters or reading input using getReader()。⽽且,该指定只对POST⽅法有效,对GET⽅法⽆效。分析原因,应该是在执⾏第⼀个getParameter()的时候,java 将会按照编码分析所有的提交内容,⽽后续的getParameter()不再进⾏分析,所以setCharacterEncoding()⽆效。⽽对于GET⽅法提交表单是,提交的内容在URL中,⼀开始就已经按照编码分析所有的提交内容,setCharacterEncoding()⾃然就⽆效。
对于response,则是指定输出内容的编码,同时,该设置会传递给浏览器,告诉浏览器输出内容所采⽤的编码。
4. 处理过程
下⾯分析两个有代表性的例⼦,说明java对编码有关问题的处理⽅法。
4.1. 表单输⼊
User input *(gbk:d6d0 cec4) browser *(gbk:d6d0 cec4) web server iso8859-1(00d6 00d 000ce 00c4) class,需要在class中进⾏处理:getbytes("iso8859-1")为d6 d0 ce c4,new String("gbk")为d6d0 cec4,内存中以unicode编码则为4e2d 6587.
l ⽤户输⼊的编码⽅式和页⾯指定的编码有关,也和⽤户的操作系统有关,所以是不确定的,上例以gbk为例。
l 从browser到web server,可以在表单中指定提交内容时使⽤的字符集,否则会使⽤页⾯指定的编码。⽽如果在url中直接⽤?的⽅式输⼊参数,则其编码往往是操作系统本⾝的编码,因为这时和页⾯⽆关。上述仍旧以gbk编码为例。
l Web server接收到的是字节流,默认时(getParameter)会以iso8859-1编码处理之,结果是不正确的,所以需要进⾏处理。但如果预先设置了编码(通过request. setCharacterEncoding ()),则能够直接获取到正确的结果。
l 在页⾯中指定编码是个好习惯,否则可能失去控制,⽆法指定正确的编码。
4.2. ⽂件编译
假设⽂件是gbk编码保存的,⽽编译有两种编码选择:gbk或者iso8859-1,前者是中⽂windows的默认编码,后者是linux的默认编码,当然也可以在编译时指定编码。
Jsp *(gbk:d6d0 cec4) java file *(gbk:d6d0 cec4) compiler read uincode(gbk: 4e2d 6587; iso8859-1: 00d6 00d 000ce 00c4) compiler write utf(gbk: e4b8ad e69687; iso8859-1: *) compiled file unicode(gbk: 4e2d
6587; iso8859-1: 00d6 00d 000ce 00c4) class.所以⽤gbk编码保存,⽽⽤iso8859-1编译的结果是不正确的。
class unicode(4e2d 6587) system.out / jsp.out gbk(d6d0 cec4) os console / browser.
l ⽂件可以以多种编码⽅式保存,中⽂windows下,默认为ansi/gbk.
l 编译器读取⽂件时,需要得到⽂件的编码,如果未指定,则使⽤系统默认编码。⼀般class⽂件,是以系统默认编码保存的,所以编译不会出问题,但对于jsp⽂件,如果在中⽂windows下编辑保存,⽽部署在英⽂linux下运⾏/编译,则会出现问题。所以需要在jsp⽂件中⽤pageEncoding指定编码。
l Java编译的时候会转换成统⼀的unicode编码处理,最后保存的时候再转换为utf编码。
l 当系统输出字符的时候,会按指定编码输出,对于中⽂windows下,System.out将使⽤gbk编码,⽽对于response(浏览器),则使⽤jsp⽂件头指定的contentType,或者可以直接为response指定编码。同时,会告诉browser⽹页的编码。如果未指定,则会使⽤
iso8859-1编码。对于中⽂,应该为browser指定输出字符串的编码。
l browser显⽰⽹页的时候,⾸先使⽤response中指定的编码(jsp⽂件头指定的contentType最终也反映在response上),如果未指定,则会使⽤⽹页中meta项指定中的contentType.
5. ⼏处设置
对于web应⽤程序,和编码有关的设置或者函数如下。
5.1. jsp编译
指定⽂件的存储编码,很明显,该设置应该置于⽂件的开头。例如:。另外,对于⼀般class⽂件,可以在编译的时候指定编码。
5.2. jsp输出
指定⽂件输出到browser是使⽤的编码,该设置也应该置于⽂件的开头。例如:。该设置和
response.setCharacterEncoding("GBK")等效。
5.3. meta设置
指定⽹页使⽤的编码,该设置对静态⽹页尤其有作⽤。因为静态⽹页⽆法采⽤jsp的设置,⽽且也⽆法执⾏
response.setCharacterEncoding()。例如:
如果同时采⽤了jsp输出和meta设置两种编码指定⽅式,则jsp指定的优先。因为jsp指定的直接体现在response中。
需要注意的是,有⼀个设置可以给⽆编码指定的⽹页指定编码,该指定等同于jsp的编码指定⽅式,所以会覆盖静态⽹页中的meta指定。所以有⼈建议关闭该设置。
5.4. form设置
当浏览器提交表单的时候,可以指定相应的编码。例如:。⼀般不必不使⽤该设置,浏览器会直接使⽤⽹页的编码。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论