Python中⽂编码问题(字符串前⾯加u)
中⽂编码问题是⽤中⽂的程序员经常头⼤的问题,在python下也是如此,那么应该怎么理解和解决python的编码问题呢?
我们要知道python内部使⽤的是unicode编码,⽽外部却要⾯对千奇百怪的各种编码,⽐如作为中国程序经常要⾯对的gbk,gb2312,utf8等,那这些编码是怎么转换成内部的unicode呢?
⾸先我们先看⼀下源代码⽂件中使⽤字符串的情况。源代码⽂件作为⽂本⽂件就必然是以某种编码形式存储代码的,python默认会认为源代码⽂件是asci编码,⽐如说代码中有⼀个变量赋值:
s1=’a’
print s1
python认为这个’a'就是⼀个asci编码的字符。在仅仅使⽤英⽂字符的情况下⼀切正常,但是如果⽤了中⽂,⽐如:
s1=’哈’
print s1
这个代码⽂件被执⾏时就会出错,就是编码出了问题。python默认将代码⽂件内容当作asci编码处理,但asci编码中不存在中⽂,因此抛出异常。
解决问题之道就是要让python知道⽂件中使⽤的是什么编码形式,对于中⽂,可以⽤的常见编码有utf-8,gbk和gb2312等。只需在代码⽂件的最前端添加如下:
# -*- coding: utf-8 -*-
python中的字符串是什么这就是告知python我这个⽂件⾥的⽂本是⽤utf-8编码的,这样,python就会依照utf-8的编码形式解读其中的字符,然后转换成unicode编码内部处理使⽤。
不过,如果你在Windows控制台下运⾏此代码的话,虽然程序是执⾏了,但屏幕上打印出的却不是哈字。这是由于python编码与控制台编码的不⼀致造成的。Windows下控制台中的编码使⽤的
是gbk,⽽在代码中使⽤的utf-8,python按照utf-8编码打印到gbk编码的控制台下⾃然就会不⼀致⽽不能打印出正确的汉字。
解决办法⼀个是将源代码的编码也改成gbk,也就是代码第⼀⾏改成:
# -*- coding: gbk -*-
另⼀种⽅法是保持源码⽂件的utf-8不变,⽽是在’哈’前⾯加个u字,也就是:
s1=u’哈’
print s1
这样就可以正确打印出’哈’字了。
这⾥的这个u表⽰将后⾯跟的字符串以unicode格式存储。python会根据代码第⼀⾏标称的utf-8编码识别代码中的汉字’哈’,然后转换成unicode对象。如果我们⽤type查看⼀下’哈’的数据类
型type(‘哈’),会得到<type ‘str’>,⽽type(u’哈’),则会得到<type ‘unicode’>,也就是在字符前⾯加u就表明这是⼀个unicode对象,这个字会以unicode格式存在于内存中,⽽如果不加u
,表明这仅仅是⼀个使⽤某种编码的字符串,编码格式取决于python对源码⽂件编码的识别,这⾥就是utf-8。
Python在向控制台输出unicode对象的时候会⾃动根据输出环境的编码进⾏转换,但如果输出的不是unicode对象⽽是普通字符串,则会直接按照字符串的编码输出字符串,从⽽出现上⾯的现
象。
使⽤unicode对象的话,除了这样使⽤u标记,还可以使⽤unicode类以及字符串的encode和decode⽅法。
unicode类的构造函数接受⼀个字符串参数和⼀个编码参数,将字符串封装为⼀个unicode,⽐如在这⾥,由于我们⽤的是utf-8编码,所以unicode中的编码参数使⽤’utf-8′将字符封装为
unicode对象,然后正确输出到控制台:
s1=unicode(‘哈’, ‘utf-8′)
print s1
另外,⽤decode函数也可以将⼀个普通字符串转换为unicode对象。很多⼈都搞不明⽩python字符串的decode和encode函数都是什么意思。这⾥简要说明⼀下。
decode是将普通字符串按照参数中的编码格式进⾏解析,然后⽣成对应的unicode对象,⽐如在这⾥我们代码⽤的是utf-8,那么把⼀个字符串转换为unicode就是如下形式:
s2=’哈’.decode(‘utf-8′)
这时,s2就是⼀个存储了’哈’字的unicode对象,其实就和unicode(‘哈’, ‘utf-8′)以及u’哈’是相同的。
那么encode正好就是相反的功能,是将⼀个unicode对象转换为参数中编码格式的普通字符,⽐如下⾯代码:
s3=unicode(‘哈’, ‘utf-8′).encode(‘utf-8′)
s3现在⼜变回了utf-8的’哈’。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论