C#基础知识：字符编码、编码转换
⼀、 ASCII码
我们知道，在计算机内部，所有的信息最终都表⽰为⼀个⼆进制的字符串。每⼀个⼆进制位（bit）有0和1两种状态，因此⼋个⼆进制位就可以组合出256种状态，这被称为⼀个字节（byte）。也就是说，⼀个字节⼀共可以⽤来表⽰256种不同的状态，每⼀个状态对应⼀个符号，就是256个符号，从00000000到11111111。
上个世纪60年代，美国制定了⼀套字符编码，对英语字符与⼆进制位之间的关系，做了统⼀规定。这被称为ASCII码，⼀直沿⽤⾄今。ASCII码⼀共规定了128个字符的编码，⽐如空格“SPACE”是32（⼆进制00100000），⼤写的字母A是65（⼆进制01000001）。这128个符号（包括32个不能打印出来的控制符号），只占⽤了⼀个字节的后⾯7位，最前⾯的1位统⼀规定为0。
在C#中如果你想看看某个字母的ASCII码是多少，可以使⽤表⽰字符编码的类Encoding ，代码如下：
string s = "a";
byte[] ascii = Encoding.ASCII.GetBytes(s);
我们通过调试器可以看到ascii中为97，也就是说a的ASCII码为97（1100001）
⼆、⾮ASCII编码
英语⽤128个符号编码就够了，但是⽤来表⽰其他语⾔，128个符号是不够的。⽐如，在法语中，字母上⽅有注⾳符号，它就⽆法⽤ASCII码表⽰。于是，⼀些欧洲国家就决定，利⽤字节中闲置的最⾼位编⼊新的符号。⽐如，法语中的é的编码为130（⼆进制10000010）。这样⼀来，这些欧洲国家使⽤的编码体系，可以表⽰最多256个符号。
但是，这⾥⼜出现了新的问题。不同的国家有不同的字母，因此，哪怕它们都使⽤256个符号的编码⽅式，代表的字母却不⼀样。⽐
如，130在法语编码中代表了é，在希伯来语编码中却代表了字母Gimel ，在俄语编码中⼜会代表另⼀个符号。但是不管怎样，所有这些编码⽅式中，0—127表⽰的符号是⼀样的，不⼀样的只是128—255的这⼀段。
⾄于亚洲国家的⽂字，使⽤的符号就更多了，汉字就多达10万左右。⼀个字节只能表⽰256种符号，肯定是不够的，就必须使⽤多个字节表达⼀个符号。⽐如，简体中⽂常见的编码⽅式是GB2312，使⽤两个字节表⽰⼀个汉字，所以理论上最多可以表⽰256x256=65536个符号。在C#中如果你想看看某个汉字的GB2312编码可以使⽤如下代码：
string s = "梁";
System.Text.Encoding GB2312 = System.Text.Encoding.GetEncoding("GB2312");
byte[] gb = GB2312.GetBytes(s);
这时gb中有两个数字193（11000001），186（10111010）
三、Unicode
正如上边所说，世界上存在着多种编码⽅式，同⼀个⼆进制数字可以被解释成不同的符号。因此，要想打开⼀个⽂本⽂件，就必须知道它的编码⽅式，否则⽤错误的编码⽅式解读，就会出现乱码。为什么电⼦邮件常常出现乱码？就是因为发信⼈和收信⼈使⽤的编码⽅式不⼀样。可以想象，如果有⼀种编码，将世界上所有的符号都纳⼊其中。每⼀个符号都给予⼀个独⼀⽆⼆的编码，那么乱码问题就会消失。这就是Unicode，就像它的名字都表⽰的，这是⼀种所有符号的编码。
Unicode当然是⼀个很⼤的集合，现在的规模可以容纳100多万个符号。每个符号的编码都不⼀样。C#中如果你想看看某个汉字的Unicode 编码可以使⽤如下代码：
string s = "梁";
byte[] unicode = Encoding.Unicode.GetBytes(s);
这时unicode中有两个数字129（10000001），104（1101000）
四、Unicode的问题
需要注意的是，Unicode只是⼀个符号集，它只规定了符号的⼆进制代码，却没有规定这个⼆进制代码应该如何存储。
⽐如，汉字“梁”的unicode是（110100010000001），也就是说这个符号的表⽰⾄少需要2个字节。表⽰其他更⼤的符号，可能需要3个字节或者4个字节，甚⾄更多。
这⾥就有两个严重的问题，第⼀个问题是，如何才能区别unicode和ascii？计算机怎么知道三个字节表⽰⼀个符号，⽽不是分别表⽰三个符号呢？第⼆个问题是，我们已经知道，英⽂字母只⽤⼀个字节表⽰就够了，如果unicode统⼀规定，每个符号⽤三个或四个字节表⽰，那么每个英⽂字母前都必然有⼆到三个字节是0，这对于存储来说是极⼤的浪费，⽂本⽂件的⼤⼩会因此⼤出⼆三倍，这是⽆法接受的。
它们造成的结果是：1）出现了unicode的多种存储⽅式，也就是说有许多种不同的⼆进制格式，可以⽤来表⽰unicode。2）unicode在很长⼀段时间内⽆法推⼴，直到互联⽹的出现。
五、UTF-8
互联⽹的普及，强烈要求出现⼀种统⼀的编码⽅式。UTF-8就是在互联⽹上使⽤最⼴的⼀种的实现⽅式。其他实现⽅式还包括UTF-16和UTF-32，不过在互联⽹上基本不⽤。重复⼀遍，这⾥的关系是，UTF-8是Unicode的实现⽅式之⼀。
UTF-8最⼤的⼀个特点，就是它是⼀种变长的编码⽅式。它可以使⽤1~4个字节表⽰⼀个符号，根据不同的符号⽽变化字节长度。
UTF-8的编码规则很简单，只有⼆条：
1）对于单字节的符号，字节的第⼀位设为0，后⾯7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。
2）对于n字节的符号（n>1），第⼀个字节的前n位都设为1，第n+1位设为0，后⾯字节的前两位⼀律设为10。剩下的没有提及的⼆进制位，全部为这个符号的unicode码。
UCS-2编码UTF-8字节流
U-00000000 – U-0000007F:0xxxxxxx
U-00000080 – U-000007FF:110xxxxx 10xxxxxx
U-00000800 – U-0000FFFF:1110xxxx 10xxxxxx 10xxxxxx二进制编码转换
U-00010000 – U-001FFFFF:11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
U-00200000 – U-03FFFFFF:111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
U-04000000 – U-7FFFFFFF:1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
举⼀个例⼦
我们使⽤代码
string s = "梁";
byte[] unicode = Encoding.Unicode.GetBytes(s);
byte[] utf8 =Encoding.UTF8.GetBytes(s);
⽤调试器可以看到
这⾥在内存中的数据是由⾼到低排列的，104⼗六进制为68，129⼗六进制为81，也就是说"梁"的unicode是⼗六进制为6881，⼆进制为110100010000001，我们从上边的表中可以查到，6881应该属于地三⾏（800-FFFF），因此"梁"的UTF-8编码需要三个字节即格式
是“1110xxxx 10xxxxxx 10xxxxxx”。然后，从“梁”的最后⼀个⼆进制位开始，依次从后向前填⼊格式中的x，多出的位补0。这样就得到
了，“梁”的UTF-8编码是“111001101010001010000001”，按没8位转换成⼗进制就是230，162，129。正好和上图中utf8中的值⼀样。
六、C# UTF-8 转 GB2312
NET中内存中的字符串都是Unicode，所以测试程序在控制台应⽤程序下不好写，请⼤家根据如下代码
⾃⼰来写吧：
public string UTF8ToGB2312(string str)
{
try
{
Encoding utf8 = Encoding.GetEncoding(65001);
Encoding gb2312 = Encoding.GetEncoding("gb2312");//Encoding.Default ,936
byte[] temp = utf8.GetBytes(str);
byte[] temp1 = Encoding.Convert(utf8, gb2312, temp);
string result = gb2312.GetString(temp1);
return result;
}
catch (Exception ex)//(UnsupportedEncodingException ex)
{
Response.Write(ex.ToString());
return null;
}
}
七、UTF8优点
UTF-8是世界通⽤的语⾔编码，如果在其他语⾔的操作系统下访问gb2312编码的⽹站，需要下载语⾔包，所以为了⽹站的通⽤性起见，⽤UTF8编码是更好的选择，但是相⽐较⽽⾔gb2312要⽐UTF-8得到的数据量少⼀些。
⼋、乱码问题：
如果在内存、⽂件或电⼦邮件中有⼀个字符串，那么应该知道它是使⽤什么编码⽅案，否则就不能将它正确的解释或显⽰给⽤户。如果在试图使⽤的编码⽅案中没有相应的编码值得等价内容，那么通常会显⽰⼀个⼩问号“？”，或者显⽰⼀个⽅框。NET中内存中的字符串都是Unicode，⽽asp程序默认是UTF-8编码，我们在使⽤某些字符串时出现了乱码，我们⾸先要判断是不是我们解释⽤的编码⽅式出错了。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。