pythoncodec读写_python读取⽂件解决‘utf8’codeccan’tdec。
。。
⼀般这种⽂件存在类似字符:
乱码⽂件
如果UTF-8搞不定,可以采取ISO-8859-1编码⽅式解决:
with open(file, 'r', encoding='utf-8') as f:
python怎么读的try:
text = f.read()
except:
with open(file, 'r', encoding='ISO-8859-1') as f:
text = f.read()
编码知识:
编码基本知识
最早的编码是iso8859-1,和ascii编码相似。但为了⽅便表⽰各种各样的语⾔,逐渐出现了很多标准编码,重要的有如下⼏个。
iso8859-1
属于单字节编码,最多能表⽰的字符范围是0-255,应⽤于英⽂系列。⽐如,字母a的编码为0x61=97。
很明显,iso8859-1编码表⽰的字符范围很窄,⽆法表⽰中⽂字符。但是,由于是单字节编码,和计算机最基础的表⽰单位⼀致,所以很多时候,仍旧使⽤iso8859-1编码来表⽰。⽽且在很多协议上,默认使⽤该编码。⽐如,虽然"中⽂"两个字不存在iso8859-1编码,以
gb2312编码为例,应该是"d6d0 cec4"两个字符,使⽤iso8859-1编码的时候则将它拆开为4个字节来表⽰:"d6 d0 ce c4"(事实上,在进⾏存储的时候,也是以字节为单位处理的)。⽽如果是UTF编码,则是6个字节"e4 b8 ad e6 96 87"。很明显,这种表⽰⽅法还需要以另⼀种编码为基础。
GB2312/GBK
这就是汉⼦的国标码,专门⽤来表⽰汉字,是双字节编码,⽽英⽂字母和iso8859-1⼀致(兼容iso8859-1编码)。其中gbk编码能够⽤来同时表⽰繁体字和简体字,⽽gb2312只能表⽰简体字,gbk是兼容gb2312编码的。
unicode
这是最统⼀的编码,可以⽤来表⽰所有语⾔的字符,⽽且是定长双字节(也有四字节的)编码,包括英⽂字母在内。所以可以说它是不兼容iso8859-1编码的,也不兼容任何编码。不过,相对于iso8859-1编码来说,uniocode编码只是在前⾯增加了⼀个0字节,⽐如字母a 为"00 61"。
需要说明的是,定长编码便于计算机处理(注意GB2312/GBK不是定长编码),⽽unicode⼜可以⽤来表⽰所有字符,所以在很多软件内部是使⽤unicode编码来处理的,⽐如java。
UTF
考虑到unicode编码不兼容iso8859-1编码,⽽且容易占⽤更多的空间:因为对于英⽂字母,unicode也需要两个字节来表⽰。所以unicode不便于传输和存储。因此⽽产⽣了utf编码,utf编码兼容iso8859-1编码,同时也可以⽤来表⽰所有语⾔的字符,不过,utf编码是不定长编码,每⼀个字符的长度从1-6个字节不等。另外,utf编码⾃带简单的校验功能。⼀般来讲,英⽂字母都是⽤⼀个字节表⽰,⽽汉字使⽤三个字节。
注意,虽然说utf是为了使⽤更少的空间⽽使⽤的,但那只是相对于unicode编码来说,如果已经知道是汉字,则使⽤GB2312/GBK⽆疑是最节省的。不过另⼀⽅⾯,值得说明的是,虽然utf编码对汉字使⽤3个字节,但即使对于汉字⽹页,utf编码也会⽐unicode编码节省,因为⽹页中包含了很多的英⽂字符。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论