Thrift序列化与反序列化 Thrift提供了可扩展序列化机制, 不但兼容性好⽽且压缩率⾼。
我们来⽐较下常见的数据传输格式
数据传
输格式
类型优点缺点
Xml⽂本1、良好的可读性
2、序列化的数据包含完整的结构
3、调整不同属性的顺序对序列化/
反序列化不影响
1、数据传输量⼤
2、不⽀持⼆进制数据类型
Json⽂本1、良好的可读性
2、调整不同属性的顺序对序列化/
反序列化不影响
1、丢弃了类型信息, ⽐
如"price":100, 对price类型是
int/double解析有⼆义性
2、不⽀持⼆进制数据类型
Thrift⼆进制⾼效1、不宜读
2、向后兼容有⼀定的约定限制,采⽤id递增的⽅式标识并以optional修饰来添加
Google
Protobu f ⼆进制⾼效
1、不宜读
2、向后兼容有⼀定的约定限制
Thrift ⽀持的数据类型
1、基本类型
bool: 布尔值
byte: 8位有符号整数
i16: 16位有符号整数
i32: 32位有符号整数
i64: 64位有符号整数
double: 64位浮点数
string: UTF-8编码的字符串
binary: ⼆进制串
2、结构体类型
struct: 定义了⼀个很普通的OOP对象,但是没有继承特性,⽤法如下:struct User {
1: i32 uid,
2: string name
}
如果变量有默认值,可以直接写在定义⽂件⾥:
struct User {
1: i32 uid = 1,
2: string name = "User1"
}
说明:
a. 每个域有⼀个唯⼀的,正整数标识符
b. 每个域可以标识为required或者optional(也可以不注明)
c. 结构体可以包含其他结构体
d. 域可以有缺省值
e. ⼀个thrift中可定义多个结构体,并存在引⽤关系
规范的struct定义中的每个域均会使⽤required或者optional关键字进⾏标识。如果required标识的域没有赋值,thrift将给予提⽰。如果optional标识的域没有赋值,该域将不会被序列化传输。如果某个optional标识域有缺省值⽽⽤户没有重新赋值,则该域的值⼀直为缺省值。
与service不同,结构体不⽀持继承,即⼀个结构体不能继承另⼀个结构体。
3、容器类型
Thrift容器与类型密切相关,它与当前流⾏编程语⾔提供的容器类型相对应,采⽤java泛型风格表⽰。
Thrift提供了3种容器类型:
list<t1>: ⼀系列t1类型的元素组成的有序表,元素可以重复
set: <t1>:⼀系列t1类型的元素组成的⽆序表,元素唯⼀
map<t1,t2>:key/value对(key的类型是t1且唯⼀,value类型是t2)
容器中的元素类型可以是除了service意外的任何合法thrift类型(包括结构体和异常)
⽤法如下:
struct Node {
1: i32 id,
2: string name,
3: list<i32> subNodeList,
4: map<i32,string> subNodeMap,
5: set<i32> subNodeSet
}
包含定义的其他Object:
struct SubNode {
1: i32 uid,
2: string name,
3: i32 pid
}
struct Node {
1: i32 uid,
2: string name,
3: list<SubNode> subNodes
}
4、异常类型:
exception: 异常类型,⽤法如下:
exception InvalidOperation {
1: i32 whatOp,
2: string why
}
5、服务类型:
service: 具体对应服务的类,也就是对外展现的接⼝。⽤法如下:
service UserStorage {
void store(1: User user),
User retrieve(1: i32 uid)
}
说明:
a. 函数定义可以使⽤逗号或者分号标识结束
b. 参数可以是基本类型或者结构体,参数是只读的(const),不可以作为返回值
c. 返回值可以是基本类型或者结构体
thriftd. 返回值可以是void
注意,函数中参数列表的定义⽅式与struct完全⼀样
Service⽀持继承,⼀个service可使⽤extends关键字继承另⼀个service
6、Thrift⽀持C/C++风格的typedef,⽤法如下:
typedef i32 myInteger
typedef myStruct MyStruct
说明:
a. 末尾没有逗号
b. struct可以使⽤typedef
7、枚举类型
可以像C/C++那样定义枚举类型,⽤法如下:
enum Operation {
ADD = 1,
SUBTRACT = 2,
MULTIPLY = 3,
DIVIDE = 4
}
说明:
a. 编译器默认从0开始赋值
b. 可以赋予某个常量某个整数
c. 允许常量是⼗六进制整数
d. 末尾没有逗号
e. 给常量赋缺省值时,使⽤常量的全称
注意,不同于protocol buffer,thrift不⽀持枚举类嵌套,枚举常量必须是32位的正整数
thrift的架构如下图所⽰。两个矩形是创建server和client的stack。最上⾯的是IDL,然后⽣成Client和Processor。红⾊的是发送的数据。protocol和transport 是Thrift运⾏库的⼀部分。通过Thrift 你只需要关⼼服务的定义,⽽不需要关⼼protocol和transport。
协议
Thrift可以让你选择客户端与服务端之间传输通信协议的类别,在传输协议上总体上划分为⽂本(text)和⼆进制(binary)传输协议, 为节约带宽,提供传输效率,⼀般情况下使⽤⼆进制类型的传输协议为多数,但有时会还是会使⽤基于⽂本类型的协议,这需要根据项⽬/产品中的实际需求(例如:调试的时候):
1、TBinaryProtocol – ⼆进制编码格式进⾏数据传输。
2、TCompactProtocol – 这种协议⾮常有效,使⽤Variable-Length Quantity (VLQ) 编码对数据进⾏压缩。
3、TJSONProtocol – 使⽤JSON的数据编码协议进⾏数据传输。
4、TSimpleJSONProtocol – 这种节约只提供JSON只写的协议,适⽤于通过脚本语⾔解析
5、TDebugProtocol – 在开发的过程中帮助开发⼈员调试⽤的,以⽂本的形式展现⽅便阅读。
传输层
⼀个server只允许定义⼀个接⼝服务。这样的话多个接⼝需要多个server。这样会带来资源的浪费。通常可以通过定义⼀个组合服务来解决。
1、TSocket- 使⽤堵塞式I/O进⾏传输,也是最常见的模式。
2、TFramedTransport- 使⽤⾮阻塞⽅式,按块的⼤⼩,进⾏传输,类似于Java中的NIO。
3、TFileTransport- 顾名思义按照⽂件的⽅式进程传输,虽然这种⽅式不提供Java的实现,但是实现起来⾮常简单。
4、TMemoryTransport- 使⽤内存I/O,就好⽐Java中的ByteArrayOutputStream实现。
5、TZlibTransport- 使⽤执⾏zlib压缩,不提供Java的实现。
thrift的序列化和反序列化⽅式
步骤:
1. 创建thrift接⼝定义⽂件;
2. 将thrift的定义⽂件转换为对应语⾔的源代码;
3. 选择相应的protocol,进⾏序列化和反序列化
写⼀个简单的thrift⽂件
namespace java tutorial
struct User{
1: i32 id= 0,
2: required string name,
}
⽣成User类,然后写⼀个测试⽅法
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论