百万用户在线网络游戏服务器架构实现
一、 前言
事实上100万游戏服务器，在面对大量用户访问、高并发请求方面，基本的解决方案集中在这样几个环节：使用高性能的服务器、高效率的编程语言、高性能的数据库、还有高性能的架构模型。但是除了这几个方面，还没法根本解决面临的高负载和高并发问题。
当然用户不断地追求更高的机器性能，而升级单一的服务器系统，往往造成过高的投入和维护成本，性价比大大低于预期。同时全天候的可用性的要求也不能满足要求，如果服务器出现故障则该项服务肯定会终止。所以单独追求高性能的服务器不能满足要求，目前基本的解决方案是使用集技术做负载均衡，可以把整体性能不高的服务器做成高可扩展性 ，高可用性，高性能的，满足目前的要求。
目前解决客户端和服务器进行底层通讯的交互的双向I/O模型的服务器的成熟方案。
1.windows下，比较成熟的技术是采用IOCP,完成端口的服务器模型。
2.Linux下，比较成熟的技术是采用Epoll服务器模型, Linux 2.6内核中提供的System Epoll为我们提供了一套完美的解决方案。
目前如上服务器模型是完全可以达到5K到20K的同时在线量的。但5K这样的数值离百万这样的数值实在相差太大了，所以，百万人的同时在线是单台服务器肯定无法实现的。
而且目前几个比较成熟的开发框架，比如ICE,ACE等。这样，当采用一种新的通信技术来实现通信底层时，框架本身就不用做任何修改了（或修改很少）,而功能很容易实现， 性能达到最优。目前采用的ace框架个不错的选择方案,可以不受操作系统的影响，移植比较方便。
对于数据库选择可有许多成熟的方案，目前大多数选择的mysql Master/slave模式，以及oracle  RAC方案。基本可以满足目前的要求，但具体的瓶颈不是在数据库本身，应该还是硬件磁盘I/O的影响更大些。建议使用盘阵。这有其他成熟的方案，比如采用NAS解决分布数据存储。
其实最为关键的是服务器的架构和实现，数据流量的负载均衡，体系的安全性，关键影响度，共享数据的处理等等多个方面对100万用户的数据处理有影响，所以都要全面的考虑。
二、 高性能的服务器
1. 网络环境
目前采用Client/Server架构来开发网络游戏，客户端和服务器一般通过TCP/UDP协议进行通信,关键瓶颈很明确--游戏服务器与客户机之间的链路。目前单机环境比较好些的是，2块1000M网卡，20K客户端，并发提供每个客户端的带宽是2000/20K=100KB/s，这是理论值，勉强可行。如果这样实现目前肯定有成本和性能问题。特别是用户响应时间已经超过他们的忍受范围。为了避免瓶颈许多游戏厂家一组限制用户上限为100M/5k~10k。即用户100KB/s。
而客户的网络情况也要考虑。这就也提出尽可能减少传输数据。
这需要测试评估网络吞吐量和延迟需求，以便对服务器的用户数和带宽做评估。
网络部署中还要考虑网络拓扑情况。内网和外网要分不同的交换机，避免出现网络瓶颈。
还要考虑网络图朴情况的优化。比如每组几台使用一个交换机做流量分配。
2. CPU和内存的参考
目前要求高处理能力，高带宽，低存储容量。主要考虑的瓶颈问题应该是I/O问题，一般情况时采用双路CPU或多路，而且服务器专用内存已经很好的解决了I/O瓶颈。实际测试如果几千人同时在线的话，CPU和内存需求都很低，目前一般服务器都可以满足要求。
3. 负载均衡
所以必须要采用多台服务器的架构方式，但出现了均衡负载和分布架构的问题，可以通过下面几种方式解决。
A. 硬件负载均衡设备
常用的F5等负载均衡器，很好的解决了负载均衡的问题。一般这种设备投资比较高，但部署容易，而且支持分布式架构。
B. 集系统
集系统增长了系统可用性(availability)和冗余(redundancy)，也提供了容错(fault toleranc
e)。使用集,可以分布请求以便多个服务器可以共享负载，一些服务器也可能提供确定哪台服务器利用的不充分以便均衡负载的复杂处理。
Linux平台上很多免费开源的集软件，如LVS（Linux Virtual Server）是Linux平台下的一个集软件工具。通过LVS，你可以快捷方便的组建一个带有第四层负载均衡功能的集系统。并且，借助第三方的工具包，还可以实现对LVS集进行可用性支持的功能扩展。他提供了基于心跳线heartbeat的实时灾难应对解决方案，提高系统的鲁棒性，同时可供了灵活的虚拟VIP配置和管理功能，可以同时满足多种应用需求，这对于分布式的系统来说必不可少。而且还有如下几点特点：
∙ 解决网络拥塞问题，服务就近提供，实现地理位置无关性。
∙ 为用户提供更好的访问质量 。
∙ 提高服务器响应速度 。
∙ 提高服务器及其他资源的利用效率。
∙ 避免了网络关键部位出现单点失效。
缺点：
∙ 配置比较复杂，而且需要修改内核来支持这种结构，提高了实施的和运维的工作量。
∙ 一般需要增加两台服务器做主，备也增加了成本。
C. 软件自身实现逻辑负载均衡
根据应用服务器的许多需求，负载均衡也有一些不能满足我们的自身的需求的东西，比如均衡的条件，一般集是按照ip分配，处理包的速度，支持的连接数等。而应用服务器可以根据自己的需求定制自己的负载规则。比如许多游戏服务器采用根据区域做用户限制，这样管理起来比较方便灵活，而且效率高。
4. 操作系统的优化
    建议使用linux 2.6.x内核 64位系统。而且要对部分参数的修改。
A. 文件系统
在fstab里加入noatime，如
#cat /etc/fstab
/dev/sda1          /home                  ext3    noatime,defaults        1 2
reboot或者重新mount生效
B. Tcp优化
在/f里加入
net.ipv4filter.ip_conntrack_tcp_timeout_syn_recv = 3
#启用syncookies
p_syncookies = 1
#定义backlog队列容纳的最大半连接数
p_max_syn_backlog = 8192
p_fin_timeout = 30
p_keepalive_time = 1800
p_window_scaling = 0
p_sack = 0
p_timestamps = 0
这些需要内核支持。如果不支持不用修改。
C. 虚拟内存优化
/f
      vm.lower_zone_protection = 100
D. linux在线编程I/O调度器
在f的相应启动选项里加入elevator=deadline，如：
kernel /vmlinuz-2.6.6 ro root=/dev/sda6 elevator=deadline
这里用了Deadline的I/O调度器,它比系统默认的AnticipatoryI/O调度器更为小巧,在数据吞吐量非常大的数据库系统中表现得更有优势。
E. 网络协议方面优化
Ip route cache 需要修改，否则容易丢包。
echo 1 > /proc/sys/net/ipv4/route/gc_interval
echo 150 >/proc/sys/net/ipv4/route/gc_timeout
echo 2 >/proc/sys/net/ipv4/route/gc_elasticity
使用 hugeTLB
echo xxx >/proc/sys/vm/nr_hugepages
Tune tcp :
echo "4096 49152 131072" >/proc/sys/net/ipv4/tcp_wmem
echo xxxx >/proc/sys/net/ipv4/tcp_max_syn_backlog
echo xxxx >/proc/sys/net/core/somaxconn
echo 1200000 > /proc/sys/net/ipv4/tcp_max_tw_buckets
echo 7 >/proc/sys/net/ipv4/tcp_retries2
echo "600000 650000 700000" >/proc/sys/net/ipv4/tcp_mem
echo 0 >/proc/sys/net/ipv4/tcp_timestamps
echo 0 >/proc/sys/net/ipv4/tcp_window_scaling
echo 0 >/proc/sys/net/ipv4/tcp_sack
echo 330000 >/proc/sys/net/ipv4/tcp_max_orphans
echo "10000 62000" >/proc/sys/net/ipv4/ip_local_port_range
epoll模型需要修改的参数:
echo 1300000 >/proc/sys/fs/file-max
F. 内核源代码参数修改
可以根据部署应用服务器的要求，或者需要部署集的要求需要对内核作部分修改。具体参考文档，下面只是简单的例子。
修改/usr/src/linux/include/linux/posix_types.h
#define __FD_SETSIZE 1024  为65536 
设置fd_set支持的最大数量
修改/usr/src/linux/include/linux/fs.h
#define INR_OPEN 1024为65536
#define NR_FILE 8192为65536
#define NR_RESERVED_FILES 10为128
设置最大打开文件数量（TCP连接数量）
修改/usr/src/linux/include/net/tcp.h

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。