深⼊了解Windows句柄到底是什么(句柄是逻辑指针,或者是指向结构体的指针,图⽂并茂,⾮。。。
总是有新⼊门的Windows程序员问我Windows的句柄到底是什么,我说你把它看做⼀种类似指针的标识就⾏了,但是显然这⼀答案不能让他们满意,然后我说去问问度娘吧,他们说不⾏⽹上的说法太多还难以理解。今天⽐较闲,我上⽹查了查,光是百度百科词条“句柄”中就有好⼏种说法,很多叙述还是错误的,天知道这些误⼈⼦弟的⼈是想⼲什么。
这⾥我列举词条中的关于句柄的叙述不当之处,⾄于如何不当先不管,继续往下看就会明⽩:
1.windows 之所以要设⽴句柄,根本上源于管理机制的问题—,简⽽⾔之数据的地址需要变动,变动以后就需要有⼈来记录管理变动,(就好像户籍管理⼀样),因此系统⽤句柄来记载数据地址的变更。
2.如果想更透彻⼀点地认识句柄,我可以告诉⼤家,句柄是⼀种指向的。
通常我们说句柄是WINDOWS⽤来标识被应⽤程序所建⽴或使⽤的对象的唯⼀整数。这句话是没有问题的,但是想把这句话对应到具体的内存结构上就做不到了。下⾯我们来详细探讨⼀下Windows中的句柄到底是什么。
1.虚拟内存结构
sizeof结构体大小要理解这个问题,⾸先不能避开Windows的虚拟内存结构。对于这个问题已有前⼈写了⽐较好的解释,这⾥我为了保证博客连贯性,直接贴上需要的部分(原⽂是讲解JVM虚拟机的性能提升的⽂章,在其中涉及到了虚拟内存的内容,解释的⾮常好,这⾥我截取这部分略加修改,这⾥是)
我们知道,CPU是通过寻址来访问内存的。32位CPU的寻址宽度是 0~0xFFFFFFFF ,计算后得到的⼤⼩是4G,也就是说可⽀持的物理内存最⼤是4G。但在实践过程中,碰到了这样的问题,程序需要使⽤4G内存,⽽可⽤物理内存⼩于4G,导致程序不得不降低内存占⽤。
为了解决此类问题,现代CPU引⼊了(Memory Management Unit 内存管理单元)。
MMU 的核⼼思想是利⽤虚拟地址替代物理地址,即CPU寻址时使⽤虚址,由 MMU 负责将虚址映射为物理地址。MMU的引⼊,解决了对物理内存的限制,对程序来说,就像⾃⼰在使⽤4G内存⼀样。
内存分页(Paging)是在使⽤MMU的基础上,提出的⼀种内存管理机制。它将虚拟地址和物理地址按固定⼤⼩(4K)分割成页(page)和页帧(page frame),并保证页与页帧的⼤⼩相同。这种机制,从上,保证了访问内存的⾼效,并使OS能⽀持⾮连续性的内存分配。在程序内存不够⽤时,还可以将不常⽤的物理内存页转移到其他存储设备上,⽐如磁盘,这就是⼤家⽿熟能详的虚拟内存。
在上⽂中提到,虚拟地址与物理地址需要通过映射,才能使CPU正常⼯作。
⽽映射就需要存储映射表。在现代CPU中,映射关系通常被存储在物理内存上⼀个被称之为页表(page table)的地⽅。
如下图:
从这张图中,可以清晰地看到CPU与页表,物理内存之间的交互关系。
进⼀步优化,引⼊TLB(Translation lookaside buffer,页表寄存器缓冲)
由上⼀节可知,页表是被存储在内存中的。我们知道CPU通过总线访问内存,肯定慢于直接访问寄存器的。
为了进⼀步优化性能,现代CPU架构引⼊了,⽤来缓存⼀部分经常访问的页表内容。
如下图:
对⽐ 9.6 那张图,在中间加⼊了TLB。
为什么要⽀持⼤内存分页?
TLB是有限的,这点毫⽆疑问。当超出TLB的存储极限时,就会发⽣ TLB miss,之后,OS就会命令CP
U去访问内存上的页表。如果频繁的出现TLB miss,程序的性能会下降地很快。
为了让TLB可以存储更多的页地址映射关系,我们的做法是调⼤内存分页⼤⼩。
如果⼀个页4M,对⽐⼀个页4K,前者可以让TLB多存储1000个页地址映射关系,性能的提升是⽐较可观的。
简⽽⾔之,虚拟内存将内存逻辑地址和物理地址之间建⽴了⼀个对应表,要读写逻辑地址对应的物理内存内容,必须查询相关页表(当然现在有还有段式、段页式内存对应⽅式,但是从原理上来说都是⼀样的)到逻辑地址对应的物理地址做相关操作。我们常见的对程序员开放的内存分配接⼝如malloc等分配的得到的都是逻辑地址,C指针指向的也是逻辑地址。
这种虚拟内存的好处是很多的,这⾥以连续内存分配和可移动内存为例来讲⼀讲。
⾸先说⼀说连续内存分配,我们在程序中经常需要分配⼀块连续的内存结构,如数组,他们可以使⽤指针循环读取,但是物理内存多次分配
释放后实际上是破碎的,如下图
图中⽩⾊为可⽤物理内存,⿊⾊为被其他程序占有的内存,现在要分配⼀个12⼤⼩的连续内存,那么显
然物理内存中是没有这么⼤的连续内存的,这时候通过页表对应的⽅式可以看到我们很容易得到逻辑地址上连续的12⼤⼩的内存。
再说⼀说可移动内存,我们使⽤GlobalAlloc等函数时,经常会指定GMEM_MOVABLE和GMEM_FIXED参数,很对⼈对这两个参数很头疼,搞不明⽩什么意思。
实际上这⾥的MOVABLE和FIXED都是针对的逻辑地址来说的。GMEM_MOVABLE是说允许(或者应⽤程序)实施对内存堆(逻辑地址)的管理,在必要时,操作系统可以移动内存块获取更⼤的块,或者合并⼀些空闲的内存块,也称“垃圾回收”,它可以提⾼内存的利⽤率,这⾥的地址都是指逻辑地址。同样以分配12⼤⼩连续的内存,在某种状态时,内存结构如下
显然这时候是⽆法分配12连续⼤⼩的内存,但是如果这⾥的逻辑地址都指明为GMEM_MOVABLE的话,操作系统这时候会对逻辑地址做管理,得到如下结果
这时候就实现了逻辑地址的MOVE,相对⽐实现物理内存的移动,这样的代价当然要⼩得多撒,但是聪明的⼩伙伴们是不是要问,这样在逻辑地址中移动了内存,那么实际访问数据不都乱套了吗,还能到⾃⼰分配的实际物理内存数据吗,等等,不要⼼急,这就是等下要讲的句柄做的事情了。
GMEM_FIXED是说允许在物理内存中移动内存块,但是必须保证逻辑地址是不变的,在早期16位Wind
ows操作系统不⽀持在物理内存中移动内存,所以禁⽌使⽤GMEM_FIXED,现在的你估计体会不到了。
事实上⽤GlobalAlloc分配内存时指定GMEM_FIXED参数返回的句柄就是指向内存分配的内存块的指针,不理解接着看下⾯的句柄结构,你就明⽩了。
2.句柄结构
在上⾯讲解虚拟内存结构的过程中,我们就引出了⼏个问题:MOVABLE的内存访问为什么不会乱,FIXED的内存为什么说就是指向分配内存块的指针。
事实上我们尽管Windows没有给出源码,但是从⼀些头⽂件、MSDN和Windows早期内存分配函数中我们还是可以⼀窥端倪。
在Winnt.h头⽂件中做了通⽤句柄的定义
[cpp]
1. #ifdef STRICT
2. typedef void *HANDLE;
3. #define DECLARE_HANDLE(name) struct name##__ { int unused; }; typedef struct name##__ *name
4. #else
5. typedef PVOID HANDLE;
6. #define DECLARE_HANDLE(name) typedef HANDLE name
7. #endif
8. typedef HANDLE *PHANDLE;
在Windef.h做了特殊句柄的定义
[cpp]
1. #if !defined(_MAC) || !defined(GDI_INTERNAL)
2. DECLARE_HANDLE(HFONT);
3. #endif
4. DECLARE_HANDLE(HICON);
5. #if !defined(_MAC) || !defined(WIN_INTERNAL)
6. DECLARE_HANDLE(HMENU);
7. #endif
8. DECLARE_HANDLE(HMETAFILE);
9. DECLARE_HANDLE(HINSTANCE);
10. typedef HINSTANCE HMODULE;      /* HMODULEs can be used in place of HINSTANCEs */
11. #if !defined(_MAC) || !defined(GDI_INTERNAL)
12. DECLARE_HANDLE(HPALETTE);
13. DECLARE_HANDLE(HPEN);
14. #endif
15. DECLARE_HANDLE(HRGN);
16. DECLARE_HANDLE(HRSRC);
17. DECLARE_HANDLE(HSTR);
18. DECLARE_HANDLE(HTASK);
19. DECLARE_HANDLE(HWINSTA);
20. DECLARE_HANDLE(HKL);
这⾥微软把通⽤句柄HANDLE定义为void指针,显然啦,他是不想让⼈知道句柄的真实类型,但是和他以往的做法⼀样,微软空有⼀个好的想法结果没有实现。马上,如果定义了强制类型检查STRICT,他⼜定义了特殊类型句柄宏DECLARE_HANDLE,这⾥⽤到了##,这是⽐较偏僻的⽤法,翻译过来,对于诸如DECLARE_HANDLE(HMENU)定义其实就是
[cpp]
1. typedef struct HMENU__
2. {
3.    int unused;
4. } *HMENU;
到这⾥,你是不是觉得有⼀点眉⽬了呢,对,句柄是⼀种指向结构体的指针,结合这⾥的int unused定义很容易猜到结构体的第⼀个字段就是我们的逻辑地址(指针) 。那么,是不是仅仅如此呢,当然不是由于指向结构体指针可以强制截断只获取第⼀个字段,这⾥的struct结构体绝对不⽌⼀个字段,在Windows中的编程经验,对于线程HANDLE有计数那么必须有计数段,对于事件HEVENT等内核对象会要求指定属性那么必须有属性段,对于内存分配HANDLE有可移动和不可移动之说那么必须有内存可移动属性段,等等。基于此我们可以⼤胆猜测Windows的句柄指向的结构类似如下
[cpp]
1. struct
2. {
3.    int pointer;        //指针段
4.    int count;          //内核计数段
5.    int attribute;      //⽂件属性段:SHARED等等
6.    int memAttribute;  //内存属性段:MOVABLE和FIXED等等
7.    ...
8. };
事实上,Windows内存管理器管理的其实都是句柄,通过句柄来管理指针,Windows的系统整理内存时检测内存属性段,如果是可以移动的就能够移动逻辑地址,移动完后将更新到对应句柄的指针段中,当要使⽤MOVABLE地址时的时候必须Lock住,这时候计数加1,内存管理器检测到计数>0便不会移动逻辑地址,这时候才能获得固定的逻辑地址来操作物理内存,使⽤完后Unlock内存管理器⼜可以移动逻辑地址了,到此MOVABLE的内存访问为什么不会乱这个问题就解决了。
下⾯再说⼀说,FIXED的内存为什么说就是指向分配内存块的指针。我们看上⾯的通⽤句柄定义,可以发现HANDLE的句柄定义⼀直是void 指针,其他的特殊句柄在严格类型检查的时候定义为结构体指针,为什么不把⼆者定义为⼀样的呢。查看MSDN关于GlobalAlloc的叙述对于GMEM_FIXED类型"Allocates fixed memory. The return value is a pointer.",这⾥返回的是⼀个指针,为了验证这个说法,我写了⼀
⼩段程序
[cpp]
1. //GMEM_FIXED
2. hGlobal = GlobalAlloc(GMEM_FIXED, (lstrlen(szBuffer)+1) * sizeof(TCHAR));
3. pGlobal = GlobalLock(hGlobal);
4. lstrcpy(pGlobal, szBuffer);
5. _tprintf(TEXT("pGlobal和hGlobal%s\n"), pGlobal==hGlobal ? TEXT("相等") : TEXT("不相等"));
6. GlobalUnlock(hGlobal);
7.
8. _tprintf(TEXT("使⽤句柄当做指针访问的数据为:%s\n"), hGlobal);
9.
10. GlobalFree(hGlobal);
运⾏结果为
[plain]
1. pGlobal和hGlobal相等
2. 使⽤句柄当做指针访问的数据为:Test text
对⽐使⽤GMEM_MOVABLE程序为
[cpp]
1. //GMEM_MOVABLE
2. hGlobal = GlobalAlloc(GMEM_MOVEABLE, (lstrlen(szBuffer)+1) * sizeof(TCHAR));
3. pGlobal = GlobalLock(hGlobal);
4. lstrcpy(pGlobal, szBuffer);
5. _tprintf(TEXT("pGlobal和hGlobal%s\n"), pGlobal==hGlobal ? TEXT("相等") : TEXT("不相等"));
6. _tprintf(TEXT("使⽤句柄当做指针访问的数据为:%s\n"), hGlobal);
7. GlobalUnlock(hGlobal);
8.
9. GlobalFree(hGlobal);
运⾏结果为
[cpp]
1. pGlobal和hGlobal不相等
2. 使⽤句柄当做指针访问的数据为:?
显然,使⽤GMEM_FIXED和使⽤GMEM_MOVABLE得到的数据类型不是⼀样的,我们有理由相信Windows在调⽤GlobalAlloc使⽤
GEM_FIXED的时候返回的就是数据指针,使⽤Windows在调⽤GMEM_MOVABLE的时候返回的是指向结构体的句柄,这样操作的原因相信是为了使⽤更加⽅便。那么这⾥我们就要修正⼀下前⾯的说法了:通⽤句柄HANDLE有时候是逻辑指针,⼤多数时候是结构体指针,特殊句柄如HMENU等是结构体指针。这样第⼆个问题也解决了。
那么总结来说,就是下⾯⼀幅图了
下⾯,我们再回头看⼀看博⽂开头说的叙述不当之处,说他们不当是因为不是完全错误:第⼀点,确实句柄有管理内存地址变动之⽤,但是并不只是这个作⽤,内核对象访问级别、⽂件是否打开都是和他相关的;第⼆点,指向指针的指针,看得出来作者也是认真思考了的,但是他忽略了句柄包含的其他功能和管理内存地址的作⽤。
那么到这⾥对于句柄你应该⾮常理解了,在此基础我们在Windows编程上是不是可以有⼀些启发:
1.通⽤句柄HANDLE和特殊句柄⼀般情况下是可以相互转换的,但是有时候会出错
2.如果不考虑跨平台移植的话,应该多采⽤Windows SDK提供的内存管理函数,这样可以获得更好的内存管理
3.C语⾔的内存分配函数的实现都是依靠使⽤GMEM_FIXED调⽤Windows SDK的内存分配函数的
完整测试源代码
注意可能在新的VS2005等系列编译器中看不到本⽂说的⼀些内容,因为在VC6时候有些代码还不是那么完善,所以给了我们机会去挖掘潜在的内容。⾄于微软苦⼼积虑不让我们看到句柄的真实定义那是必然的,试想⼀下主要的内存对象结构都被摸清楚了,那么⿊客们还不反了天了。
原创,转载请注明来⾃

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。