python把字符串中的中⽂去除_处理python字符串中的中⽂字
符
# -*- coding:utf-8 -*-
import sys,os
txta = open('a.txt','r')
str = ''
for line in txta:
中文字符unicode查询
str += line.strip().decode('utf-8')
txta.close()
for word in str:
de('utf-8')
直接输出，是会乱码的，得先解码，再编码。
⾸先要明⽩的是，python⾥⾯默认的字符串都是ASCII编码，是string类型，ASCII编码处理中⽂字符是会出问题的。python的内部编码格式是unicode，在字符串前加‘u’前缀也可直接声明unicode字符串，如 u'hello'就是unicode类型。
如果处理的字符串中出现⾮ascii码表⽰的字符，要想不出错，就得转成unicode编码了。具体的⽅法有：
decode()，将其他边编码的字符串转换成unicode编码，如str1.decode('gb2312')，表⽰将gb2312编码的字符串str1转换成unicode编码；
encode()，将unicode编码转换成其他编码的字符串，如de('gb2312')，表⽰将unicode编码的字符串str2转换成gb2312编码；
unicode()，同decode()，将其他编码的字符串转换成unicode编码，如unicode(str3, 'gb2312')，表⽰将gb2312编码的字符串str3转换成unicode编码。
转码的时候⼀定要先搞明⽩字符串str是什么编码，然后decode成unicode，最后再encode成其他编码。
另外，对⼀个unicode编码的字符串在进⾏解码会出错，所以在编码未知的情况下要先判断其编码⽅式是否为unicode，可以⽤
isinstance(str, unicode)。
不仅是中⽂，以后处理含⾮ascii编码的字符串时，都可以遵循以下步骤：
1、确定源字符的编码格式，假设是utf8；
2、使⽤unicode()或decode()转换成unicode编码，如str1.decode('utf8')，或者unicode(str1, 'utf8');
3、把处理后字符串⽤encode()编码成指定格式。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。