常⽤的外部排序⽅法
定义问题
外部排序指的是⼤⽂件的排序，即待排序的记录存储在外存储器上，待排序的⽂件⽆法⼀次装⼊内存，需要在内存和外部存储器之间进⾏多次数据交换，以达到排序整个⽂件的⽬的。外部排序最常⽤的算法是多路归并排序，即将原⽂件分解成多个能够⼀次性装⼊内存的部分，分别把每⼀部分调⼊内存完成排序。然后，对已经排序的⼦⽂件进⾏多路归并排序。
处理过程
（1）按可⽤内存的⼤⼩，把外存上含有n个记录的⽂件分成若⼲个长度为L的⼦⽂件，把这些⼦⽂件依次读⼊内存，并利⽤有效的内部排序⽅法对它们进⾏排序，再将排序后得到的有序⼦⽂件重新写⼊外存；
（2）对这些有序⼦⽂件逐趟归并，使其逐渐由⼩到⼤，直⾄得到整个有序⽂件为⽌。
先从⼀个例⼦来看外排序中的归并是如何进⾏的？
假设有⼀个含10000 个记录的⽂件，⾸先通过10 次内部排序得到10 个初始归并段R1～R10 ，其中每⼀段都含1000 个记录。然后对它们作如图10.11 所⽰的两两归并，直⾄得到⼀个有序⽂件为⽌如下图
多路归并排序算法以及败者树
多路归并排序算法在常见数据结构书中都有涉及。从2路到多路（k路），增⼤k可以减少外存信息读写时间，但k个归并段中选取最⼩的记录需要⽐较k-1次，为得到u个记录的⼀个有序段共需要(u-1)(k-1)次，若归并趟数为s次，那么对n个记录的⽂件进⾏外排时，内部归并过程中进⾏的总的⽐较次数为s(n-1)(k-1)，也即(向上取整)(logkm)(k-1)(n-1)=(向上取整)(log2m/log2k)(k-1)(n-1)，⽽(k-1)/log2k随k增⽽增因此内部归并时间随k增长⽽增长了，抵消了外存读写减少的时间，这样做不⾏，由此引出了“败者树”tree of loser的使⽤。在内部归并过程中利⽤败者树将k个归并段中选取最⼩记录⽐较的次数降为(向上取整)(log2k)次使总⽐较次数为(向上取整)(log2m)(n-1)，与k⽆关。
败者树是完全⼆叉树，因此数据结构可以采⽤⼀维数组。其元素个数为k个叶⼦结点、k-1个⽐较结点、1个冠军结点共2k个。ls[0]为冠军结点，ls[1]--ls[k-1]为⽐较结点，ls[k]--ls[2k-1]为叶⼦结点（同时
⽤另外⼀个指针索引b[0]--b[k-1]指向）。另外bk为⼀个附加的辅助空间，不属于败者树，初始化时存着MINKEY的值。
多路归并排序算法的过程⼤致为：
1）：⾸先将k个归并段中的⾸元素关键字依次存⼊b[0]--b[k-1]的叶⼦结点空间⾥，然后调⽤CreateLoserTree创建败者树，创建完毕之后最⼩的关键字下标（即所在归并段的序号）便被存⼊ls[0]中。然后不断循环：
2）把ls[0]所存最⼩关键字来⾃于哪个归并段的序号得到为q，将该归并段的⾸元素输出到有序归并段⾥，然后把下⼀个元素关键字放⼊上⼀个元素本来所在的叶⼦结点b[q]中，调⽤Adjust顺着b[q]这个叶⼦结点往上调整败者树直到新的最⼩的关键字被选出来，其下标同样存在
ls[0]中。循环这个操作过程直⾄所有元素被写到有序归并段⾥。
四、伪代码：
void Adjust(LoserTree &ls, int s)
/*从叶⼦结点b[s]到根结点的⽗结点ls[0]调整败者树*/
{  int t, temp;
t=(s+K)/2;          /*t为b[s]的⽗结点在败者树中的下标，K是归并段的个数*/
while(t>0)                        /*若没有到达树根，则继续*/
{    if(b[s]>b[ls[t]])        /*与⽗结点指⽰的数据进⾏⽐较*/
{  /*ls[t]记录败者所在的段号，s指⽰新的胜者，胜者将去参加更上⼀层的⽐较*/
temp=s;
s=ls[t];
ls[t]=temp;
}
t=t/2;                    /*向树根退⼀层，到⽗结点*/
}
ls[0]=s;                          /*ls[0]记录本趟最⼩关键字所在的段号*/
}
void K_merge( int ls[K])
/*ls[0]~ls[k-1]是败者树的内部⽐较结点。b[0]~b[k-1]分别存储k个初始归并段的当前记录*/
/*函数Get_next(i)⽤于从第i个归并段读取并返回当前记录*/
{  int b[K+1),i,q;
for(i=0; i<K;i++)
{  b[i]=Get_next(i);          /*分别读取K个归并段的第⼀个关键字*/  }
b[K]=MINKEY;                        /*创建败者树*/
for(i=0; i<K ; i++)                    /*设置ls中的败者初值*/
ls[i]=K;
for(i=K-1 ; i>=0 ; i--)                /*依次从b[K-1]……b[0]出发调整败者*/
Adjust(ls , i);            /*败者树创建完毕，最⼩关键字序号存⼊ls[0]
while(b[ls[0]] !=MAXKEY )
{  q=ls[0];                        /*q为当前最⼩关键字所在的归并段*/
prinftf("%d",b[q]);
b[q]=Get_next(q);
Adjust(ls,q);                /*q为调整败者树后，选择新的最⼩关键字*/
}
}
如下图，⼀个详细的过程。2个⼦结点⽐较后的败者放⼊它们的⽗结点，⽽胜者送到它们⽗结点的⽗节点去再作⽐较，这才是败者树。b[0]放的是最终的胜者。
胜者树与败者树
胜者树和败者树都是完全⼆叉树，是树形选择排序的⼀种变型。每个叶⼦结点相当于⼀个选⼿，每个中间结点相当于⼀场⽐赛，每⼀层相当于⼀轮⽐赛。
不同的是，胜者树的中间结点记录的是胜者的标号；⽽败者树的中间结点记录的败者的标号。
胜者树与败者树可以在log(n)的时间内到最值。任何⼀个叶⼦结点的值改变后，利⽤中间结点的信息，还是能够快速地到最值。在k 路归并排序中经常⽤到。
胜者树
胜者树的⼀个优点是，如果⼀个选⼿的值改变了，可以很容易地修改这棵胜者树。只需要沿着从该结点到根结点的路径修改这棵⼆叉树，⽽不必改变其他⽐赛的结果。
Fig. 1
Fig.1是⼀个胜者树的⽰例。规定数值⼩者胜。
1.        b3 PK b4，b3胜b4负，内部结点ls[4]的值为3；
2.        b3 PK b0，b3胜b0负，内部结点ls[2]的值为3；
3.        b1 PK b2，b1胜b2负，内部结点ls[3]的值为1；
4.        b3 PK b1，b3胜b1负，内部结点ls[1]的值为3。.
当Fig. 1中叶⼦结点b3的值变为11时，重构的胜者树如Fig. 2所⽰。
sort命令排序
1.        b3 PK b4，b3胜b4负，内部结点ls[4]的值为3；
2.        b3 PK b0，b0胜b3负，内部结点ls[2]的值为0；
3.        b1 PK b2，b1胜b2负，内部结点ls[3]的值为1；
4.        b0 PK b1，b1胜b0负，内部结点ls[1]的值为1。.
Fig. 2
败者树
败者树是胜者树的⼀种变体。在败者树中，⽤⽗结点记录其左右⼦结点进⾏⽐赛的败者，⽽让胜者参加下⼀轮的⽐赛。败者树的根结点记录的是败者，需要加⼀个结点来记录整个⽐赛的胜利者。采⽤败者树可以简化重构的过程。
Fig. 3
Fig. 3是⼀棵败者树。规定数⼤者败。
1.        b3 PK b4，b3胜b4负，内部结点ls[4]的值为4；
2.        b3 PK b0，b3胜b0负，内部结点ls[2]的值为0；
3.        b1 PK b2，b1胜b2负，内部结点ls[3]的值为2；
4.        b3 PK b1，b3胜b1负，内部结点ls[1]的值为1；
5.        在根结点ls[1]上⼜加了⼀个结点ls[0]=3，记录的最后的胜者。
败者树重构过程如下：
·            将新进⼊选择树的结点与其⽗结点进⾏⽐赛：将败者存放在⽗结点中；⽽胜者再与上⼀级的⽗结点⽐较。
·            ⽐赛沿着到根结点的路径不断进⾏，直到ls[1]处。把败者存放在结点ls[1]中，胜者存放在ls[0]中。
Fig. 4
Fig. 4是当b3变为13时，败者树的重构图。
注意，败者树的重构跟胜者树是不⼀样的，败者树的重构只需要与其⽗结点⽐较。对照Fig. 3来看，b3
与结点ls[4]的原值⽐较，ls[4]中存放的原值是结点4，即b3与b4⽐较，b3负b4胜，则修改ls[4]的值为结点3。同理，以此类推，沿着根结点不断⽐赛，直⾄结束。
由上可知，败者树简化了重构。败者树的重构只是与该结点的⽗结点的记录有关，⽽胜者树的重构还与该结点的兄弟结点有关。
外部排序的基本思路
假设有⼀个72KB的⽂件，其中存储了18K个整数，磁盘中物理块的⼤⼩为4KB，将⽂件分成18组，每组刚好4KB。⾸先通过18次内部排序，把18组数据排好序，得到初始的18个归并段R1~R18，每个归并段有1024个整数。
然后对这18个归并段使⽤4路平衡归并排序：
第1次归并：产⽣5个归并段
R11  R12    R13    R14    R15
其中
R11是由{R1,R2,R3,R4}中的数据合并⽽来
R12是由{R5,R6,R7,R8}中的数据合并⽽来
R13是由{R9,R10,R11,R12}中的数据合并⽽来
R14是由{R13,R14,R15,R16}中的数据合并⽽来
R15是由{R17,R18}中的数据合并⽽来
把这5个归并段的数据写⼊5个⽂件：
foo_1.dat    foo_2.dat    foo_3.dat    foo_4.dat    foo_5.dat
第2次归并：从第1次归并产⽣的5个⽂件中读取数据，合并，产⽣2个归并段
R21  R22
其中R21是由{R11,R12,R13,R14}中的数据合并⽽来
其中R22是由{R15}中的数据合并⽽来
把这2个归并段写⼊2个⽂件
bar_1.dat  bar_2.dat
第3次归并：从第2次归并产⽣的2个⽂件中读取数据，合并，产⽣1个归并段
R31
R31是由{R21,R22}中的数据合并⽽来
把这个⽂件写⼊1个⽂件
foo_1.dat
此即为最终排序好的⽂件。
使⽤败者树加快合并排序
外部排序最耗时间的操作时磁盘读写，对于有m个初始归并段，k路平衡的归并排序，磁盘读写次数为
|logkm|，可见增⼤k的值可以减少磁盘读写的次数，但增⼤k的值也会带来负⾯效应，即进⾏k路合并
的时候会增加算法复杂度，来看⼀个例⼦。
把n个整数分成k组，每组整数都已排序好，现在要把k组数据合并成1组排好序的整数，求算法复杂度
u1: xxxxxxxx
u2: xxxxxxxx
u3: xxxxxxxx
.......
uk: xxxxxxxx
算法的步骤是：每次从k个组中的⾸元素中选⼀个最⼩的数，加⼊到新组，这样每次都要⽐较k-1次，故
算法复杂度为O((n-1)*(k-1))，⽽如果使⽤败者树，可以在O(logk)的复杂度下得到最⼩的数，算法复杂
度将为O((n-1)*logk)，对于外部排序这种数据量超⼤的排序来说，这是⼀个不⼩的提⾼。
关于败者树的创建和调整，可以参考清华⼤学《数据结构-C语⾔版》
产⽣⼆进制测试数据
打开Linux终端，输⼊命令
dd if=/dev/urandom of=random.dat bs=1M count=512
这样在当前⽬录下产⽣⼀个512M⼤的⼆进制⽂件，⽂件内的数据是随机的，读取⽂件，每4个字节
看成1个整数，相当于得到128M个随机整数。
程序实现
[cpp]
01. #include <assert.h>
02. #include <fcntl.h>
03. #include <stdio.h>
03. #include <stdio.h>
04. #include <stdlib.h>
05. #include <string.h>
06. #include <unistd.h>
07.
08. #include <sys/time.h>
09. #include <sys/types.h>
10. #include <sys/stat.h>
11.
12. #define MAX_INT ~(1<<31)
13. #define MIN_INT 1<<31
14.
15. //#define DEBUG
16.
17. #ifdef DEBUG
18. #define debug(...) debug( __VA_ARGS__)
19. #else
20. #define debug(...)
21. #endif
22.
23. #define MAX_WAYS 100
24.
25. typedef struct run_t {
26. int *buf;      /* 输⼊缓冲区 */
27. int length;    /* 缓冲区当前有多少个数 */
28. int offset;    /* 缓冲区读到了⽂件的哪个位置 */
29. int idx;        /* 缓冲区的指针 */
30. } run_t;
31.
32. static unsigned int K;              /* K路合并 */
33. static unsigned int BUF_PAGES;      /* 缓冲区有多少个page */
34. static unsigned int PAGE_SIZE;      /* page的⼤⼩ */
35. static unsigned int BUF_SIZE;      /* 缓冲区的⼤⼩, BUF_SIZE = BUF_PAGES*PAGE_SIZE */
36.
37. static int *buffer;                /* 输出缓冲区 */
38.
39. static char input_prefix[] = "foo_";
40. static char output_prefix[] = "bar_";
41.
42. static int ls[MAX_WAYS];            /* loser tree */
43.
44. void swap(int *p, int *q);
45. int partition(int *a, int s, int t);
46. void quick_sort(int *a, int s, int t);
47. void adjust(run_t ** runs, int n, int s);
48. void create_loser_tree(run_t **runs, int n);
49. long get_time_usecs();
50. void k_merge(run_t** runs, char* input_prefix, int num_runs, int base, int n_merge);
51. void usage();
52.
53.
54. int main(int argc, char **argv)
55. {
56. char                filename[100];
57.    unsigned int    data_size;
58.    unsigned int    num_runs;              /* 这轮迭代时有多少个归并段 */
59.    unsigned int    num_merges;            /* 这轮迭代后产⽣多少个归并段 num_merges = num_runs/K */
60.    unsigned int    run_length;            /* 归并段的长度，指数级增长 */
61.    unsigned int    num_runs_in_merge;      /* ⼀般每个merge由K个runs合并⽽来，但最后⼀个merge可能少于K个runs */
62. int                fd, rv, i, j, bytes;
63. struct stat        sbuf;
64.
65. if (argc != 3) {
66.        usage();
67. return 0;
68.    }
69. long start_usecs = get_time_usecs();
70.
71.    strcpy(filename, argv[1]);
72.    fd = open(filename, O_RDONLY);
73. if (fd < 0) {
74.        printf("can't open file %s\n", filename);
75.        exit(0);
76.    }
77.    rv = fstat(fd, &sbuf);
78.    data_size = sbuf.st_size;
79.
80.    K = atoi(argv[2]);
81.    PAGE_SIZE = 4096;                          /* page = 4KB */
82.    BUF_PAGES = 32;

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。