位(bit)、字节(byte)、字符、编码
⼀、位/⽐特位
位/⽐特位,数据存储的最⼩单位。每个⼆进制数字0或者1就是1个位。
⼆、字节(Byte)
字节(Byte)是⼀种计量单位,表⽰数据量多少,它是计算机信息技术⽤于计量存储容量的⼀种计量单位。
8个位构成⼀个字节。即:1 byte (字节)= 8 bit (位);
1 B = 1 byte(字节);
1 KB = 1024 B(字节);
1 MB = 1024 KB;(2^10 B)
1 GB = 1024 MB;(2^20 B)
1 TB = 1024 GB;(2^30 B)
三、字符
字符是指计算机中使⽤的⽂字和符号,⽐如1、2、3、A、B、C、~!·#¥%……—* () ——+、等等。
a、A、中、+、*、の......均表⽰⼀个字符;
⼀般 utf-8 编码下,⼀个汉字字符占⽤ 3 个 字节;
⼀般 gbk 编码下,⼀个汉字字符占⽤ 2 个 字节;
四、“字节”与“字符”
它们完全不是⼀个维度的概念,所以两者之间没有“区别”这个说法。不同编码⾥,字符和字节的对应关系不同:
①ASCII码中,⼀个英⽂字母(不分⼤⼩写)占⼀个字节的空间,⼀个中⽂汉字占两个字节的空间。⼀个⼆进制数字序列,在计算机中作为⼀个数字单元,⼀般为8位⼆进制数,换算为⼗进制。最⼩值0,最⼤值255。
②UTF-8编码中,⼀个英⽂字符等于⼀个字节,⼀个中⽂(含繁体)等于三个字节。
③Unicode编码中,⼀个英⽂等于两个字节,⼀个中⽂(含繁体)等于两个字节。
符号:英⽂标点占⼀个字节,中⽂标点占两个字节。举例:英⽂句号“.”占1个字节的⼤⼩,中⽂句号“。”占2个字节的⼤⼩。
④UTF-16编码中,⼀个英⽂字母字符或⼀个汉字字符存储都需要2个字节(Unicode扩展区的⼀些汉字存储需要4个字节)。
⑤UTF-32编码中,世界上任何字符的存储都需要4个字节。
五、字符集
即各种各个字符的集合。也就是说汉字,字母(A、b、c)和符号(空格、引号..)会被收⼊标准中。
六、编码
utf-8和Unicode实际上并不是同⼀个层次的概念。
规定每个“字符”分别⽤⼀个字节还是多个字节存储,⽤哪些字节来存储,这个规定就叫做“编码”。(其实际是对字符集中进⾏编码,即:每个字符⽤⼆进制在计算中表⽰存储);
通俗的说:编码就是按照规则将字符翻译成对应的⼆进制数,在计算器中运⾏存储,⽤户看的时候(⽐如浏览器),再⽤对应的编码解析成⽤户可看懂的。
unicode汉字1 美国ASCII码
在计算机发明的时候,由于计算机只能表⽰⼆进制的数据,美国为了交流通信⽅便,约定了⼀个编码系统,就是ASCII码,把
【标准ASCII字符集】
有96个打印字符,和32个控制字符组成。⼀共96+32=128个;
⽤7位⼆进制数来对每1个字符进⾏编码;⽽由于7位还还不够1个字节,⽽电脑的内部常⽤字节来⽤处理,每个字节中多出来的最⾼位⽤0替代;
0 000 0000 0
0 127;
从0----127,来表⽰128个ACSii编码;
⽐如:
字符 'A'----------在计算器内部⽤0100 0001 (65)来表⽰;
字符'a'-----------在计算器内部⽤0 110 0001 (97)来表⽰;
注意:'10'在计算器内部是没有编码的,因为它是字符串,⽽不是单个字符。可以分别对1,0字符编码存储;
【扩展ASCii字符集】将标准的ASCii最⾼位1,得到⼗进制代码128---255(1 000 0000----1 111 1111);所以字符集⼀共有0---255, 256个字符;
【gb2312字符集】所有汉字字符在计算机内部采⽤2个字节来表⽰,每个字节的最⾼位规定为1【正好与标准ASCii字符(最⾼位是0)不重叠,并兼容】,不⽀持繁体字。所以,gb2312表⽰汉字的编码为:129--255 (两个字节,每个字节最⾼位是1);⼩于127的字符,与ASCii编码相同。
2 欧洲ISO
后来欧洲⼈发现很多符号(法语,德语),ASCII没办法表⽰,于是他们约定了⼀套编码,⼀个字节的长度,把最⾼位也⽤掉了。这套编码叫ISO。和ASCII表类似,计算机也是每次只读⼀个字节,然后按照ISO表,解码出字符。
3 中国GBK
中国汉字有⼏万个,常⽤的有⼏千个,没有两个字节⽆法表⽰。于是⽤了两个字节来表⽰中⽂,整出⼀套GBK。同时兼容了ASCII编码。gbk编码
规定,计算机不能在每次都只读⼀个字节那么死板了,要先看看第⼀位是不是为0,要是为0的话,就当作ASCII码来读⼊⼀个字节,不然的话就读⼊两个字节。
【gbk字符集】gb2312的扩充,兼容gb2312,除了收录gb2312所有的字符外,还收录了其他不常见的汉字、繁体字等。gbk中字符是⼀个或两个字节,单字节字符00--7F(0---127)这个区间和ASCII是⼀样的;双字节字符的第⼀个字节是在81--FE(129--254)之间。通过这个可以判断是单字节还是双字节,即:在gbk字符编码,如果第⼀个字节是>128的,则再往后⼀个字节,组成汉字;如果第⼀个字节<128,则表⽰的是⼀个单字节(此时和ASCII是⼀样的);
4 unicode
如此,各⽅交流很不⽅便。这个时候,unicode编码就出现了。这套编码表的编号从0⼀直算到了100多万(三个字节)。每⼀个区间都对应着⼀种语⾔的编码。⽬前⼏乎收纳了全世界⼤部分的字符。所有的字符都有唯⼀的编号,这就解决了解码的冲突。但是,unicode没有为编码的⼆进制传输和⼆进制解码做出规定。
计算机每次读取三个字节,参照Unicode表解码不⾏吗?想法是好的,但是如果类似1号编码这样的⼩数据编号也要三个字节的话,即
0x000001,这样很浪费。于是,就出现了uft-8,utf-16,utf-32这些编码⽅案。utf-16是⽤两个字节来编码所有的字符,utf-32则选择⽤4个字节来编码。下⾯只讲⼀下utf-8这种解决⽅案,因为它⽤的最多,⽤得最多是因为在当时它的⽅案最好,最节省资源。
【Unicode字符集】容纳世界上所有语⾔字符和符号的集合(以及对应的⼆进制数字)
Unicode只是⼀个编码规范,⽬前实际实现的unicode编码只有三种:UTF-8,UCS-2和UTF-16,三种unicode字符集之间可以按照规范进⾏转换。
utf-8编码:UTF-8(8-bit Unicode Transformation Format)是⼀种针对Unicode的可变长度字符编码,也是⼀种前缀码。它可以⽤来表⽰Unicode标准中的任何字符,且其编码中的第⼀个字节仍与ASCII兼容,这使得原来处理ASCII字符的软件⽆须或只须做少部分修改,即可继续使⽤。因此,它逐渐成为电⼦邮件、⽹页及其他存储或发送⽂字的应⽤中,优先采⽤的编码。
utf-8为了节省资源,采⽤变长编码,编码长度从1个字节到6个字节不等。
看起来,utf-16更加节省资源,节省空间。但实际上,当时互联⽹上绝⼤部分存在的资源都是英⽂的,英⽂在utf-16中也是2个字节,⽽在utf-8中则是1个字节。在当时,显然是utf-8更加节省资源。现在在中⽂世界⾥来⽐较,则是utf-16更加节省资源。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论