1.安装准备
/////////////////////////////////////////////////////////////////////////////////////////
----------------------------------------------------------------
节点名称 | ip地址 | 服务 | 备注 |
----------------------------------------------------------------
node1 bond0 192.168.1.21 iscsi target server
bond0:0 192.168.0.1 fence ip
memcached
node2 bond0 192.168.1.22 lvs主 mysql主备
bond0:0 192.168.0.2 fence ip
node3 eth0 192.168.1.23 lvs备 mysql主备
bond0:0 192.168.0.3 fence ip
浮动ip192.168.1.20
node4 bond0 192.168.1.24 http服务
bond0:0 192.168.0.4 fence ip
node5 bond0 192.168.1.25 http服务
bond0:0 192.168.0.5 fence ip
node6 bond0 192.168.1.26 http服务
bond0:0 192.168.0.6 fence ip
node7 bond0 192.168.1.27 http服务
bond0:0 192.168.0.7 fence ip
node8 bond0 192.168.1.28 http服务
bond0:0 192.168.0.8 fence ip
安装前需要了解的知识：
服务器多链路冗余与聚合
分布式文件系统
RHCS服务器集软件
mysql主从复制和多主复制技术
lvs负载均衡调度技术
服务器硬件及存储技术
三层交换机安装与设置命令
nginx服务器基本知识
///////////////////////////////////////////////////////////////////////////////////////////
2.文件系统服务器安装
///////////////////////////////////////////////////////////////////////////////////////////
硬件配置：曙光830R CPU:AMD2CORE x 2 RAM:8GB HDD:SAS 146GB x 4 RAID1+0(sas ime)
系统版本：centos5.3 x86_64 linux2.6.18 SMP
系统安装：
选择系统语言--简体中文
选择键盘布局--美国英语式
选择安装方式--全新安装
选择分区方式--建立自定义的分区结构
系统分区方案：
/boot 200M
/
www 193784M
/usr 20000M
/var 20000M
/tmp 20000M
/SWAP 16386M
/ 15000M
确认格式化硬盘--格式化
选择引导方式--GRUB
--使用引导装载程序密码（用户防止有人利用单用户模式恶意登陆修改root密码）
配置网卡--激活eth0 eth1
eht0:enable ipv4 support
eht1:enable ipv4 support
server name node1
选择时区--亚洲/上海
--系统时钟使用UTC
设置系统ROOT密码
选择软件包--现在定制
桌面环境--无选择
应用程序--无选择
开发--x软件开发--libpng-devel freeype-devel gd-devel libjpeg-devel libmng-devel libtiff-devel
--开发工具--默认选择
--开发库--默认选择
-
-老的软件开发--默认选择
服务器--无选择
基本系统--基本--默认选择
--系统工具 ntp
--老的软件支持--默认选择
集存储--无选择
集--无选择
语言支持--中文 英语
开始自动安装，安装完成后重新启动系统
启动后自动运行了配置程序
配置防火墙：firewall configure
开启所需的端口http https ssh smtp 添加其他端口3306
配置服务：services configure
autofs
crond
gpm
haldaemon
iptables
irqbalance
kudzu
messagebus
network
readahead_early
sendmail
sshd
smartd
syslog
配置网卡ip地址：
////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
在高可靠性环境中，为了保障服务的可用性往往使用一些冗余设备进行适当的配置，以避免整个系统出现单点故障，在服务器上采用双网卡并进行适当的配置可以避免网卡造成的单点故障以保持网络的可用性，本段落主要介绍如何在linux操作系统下来配置双网卡使其具备冗余功能。
////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
关闭防火墙
#service iptables stop
确认内核版本
# uname -a
Linux vip.91vmall 2.6.18-128.el5PAE #1 SMP Wed Dec 17 12:02:33 EST 2008 i686 athlon i386 GNU/Linux
该功能需要内核不低于2.4.12 ，否则需要安装补丁程序，从上面可以看到我们的内核版本为2.6.9-11 ，满足该条件.
加载模块
# lsmod|grep bonding
bonding 60329 0
如果出现以上情况表明已经加载了这里需要的模块bonding 否则需要加载模块
# modprobe bonding miimon=100 mode=0
# lsmod|grep bonding
bonding 60329 0
表示已经成功加载模块bonding 其中 miimon=100代表如果在100毫秒内没有检测到网卡活动状态将认为网卡失效并启用备用网卡 。 mode=1表示冗余模式为主备切换，0代表负载平衡模式（需要3层交换机支持）。除此之外还有2,3,4,5,6等模式可以选择，具体可以参考linux的手册。
配置ip地址dns和网关
# ifconfig bond0 192.168.1.21
# ifenslave bond0 eth0 eth1
# route add 0.0.0.0 gw 192.168.1.115 dev bond0
这里我们设置ip地址为 192.168.1.10，使用两块网卡eth0 和eth1 , 使用默认网关地址192.168.1.250
vi /etc/sysconfig/networking/profiles/f
加入如下内容：
nameserver 202.106.196.115
nameserver 202.106.0.20
编辑配置文件使该配置在机器重启时可以继续使用
具体编辑的文件和内容参考如下：
# cd /etc/sysconfig/network-scripts
# vi ifcfg-bond0
DEVICE=bond0
BROADCAST=192.168.1.255
IPADDR=192.168.1.21
NETMASK=255.255.255.0
NETWORK=192.168.1.0
GATEWAY=192.168.1.1
ONBOOT=yes
BOOTPROTO=none
USERCTL=no
# vi ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=none
USERCTL=no
MASTER=bond0
SLAVE=yes
# vi ifcfg-eth1
DEVICE=eth1
ONBOOT=yes
BOOTPROTO=none
USERCTL=no
MASTER=bond0
免费永久的linux服务器SLAVE=yes
添加以下行到/f文件
#vi /
f
alias bond0 bonding
options bond0 miimon=100 mode=1
添加以下行到/etc/rc.local 文件
#vi /etc/rc.local
ifenslave bond0 eth0 eth1
相关状态查看
#cd /proc/net/bonding
#more bond0
Ethernet Channel Bonding Driver: v3.2.4 (January 28, 2008)
Bonding Mode: fault-tolerance (active-backup)
Primary Slave: None
Currently Active Slave: eth0
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
Slave Interface: eth0
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:30:48:d0:18:a2
Slave Interface: eth1
MII Status: up
Link Failure Count: 0
Permanent HW addr: 00:30:48:d0:18:a3
[root@vip /]# ifconfig -a
bond0 Link encap:Ethernet HWaddr 00:30:48:D0:18:A2
inet addr:192.168.1.21 Bcast:192.168.1.255 Mask:255.255.255.0
inet6 addr: fe80::230:48ff:fed0:18a2/64 Scope:Link
UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1
RX packets:3541 errors:0 dropped:0 overruns:0 frame:0
TX packets:662 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:321951 (314.4 KiB) TX bytes:77401 (75.5 KiB)
eth0 Link encap:Ethernet HWaddr 00:30:48:D0:18:A2
UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1
RX packets:2203 errors:0 dropped:0 overruns:0 frame:0
TX packets:671 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:199247 (194.5 KiB) TX bytes:78803 (76.9 KiB)
Base address:0xec00 Memory:cffe0000-d0000000
eth1 Link encap:Ethernet HWaddr 00:30:48:D0:18:A2
UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1
RX packets:1341 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:122884 (120.0 KiB) TX bytes:0 (0.0 b)
Base address:0xe880 Memory:cffa0000-cffc0000
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 b) TX bytes:0 (0.0 b)
sit0 Link encap:IPv6-in-IPv4
NOARP MTU:1480 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 b) TX bytes:0 (0.0 b)
[root@linux220 ~]# netstat -rn
Kernel IP routing table
Destination Gateway Genmask Flags MSS Window irtt Iface
192.168.1.0 0.0.0.0 255.255.255.0 U 0 0 0 bond0
169.254.0.0 0.0.0.0 255.255.0.0 U 0
0 0 bond0
0.0.0.0 192.168.1.1 0.0.0.0 UG 0 0 0 bond0
通过以上命令我们可以查看两个网卡的各自目前的状态以及其配置和流量统计和系统网络的路由表。
交换机支持：
双网卡主备切换模式一般情况下不需要交换机作过多配置即可使用，但在实际情况中如果所使用的交换机支持并启用了生成树协议，则要改变接linux主机的交换机端口的生成树模式为portfast。如果两块网卡分别连接不同的交换机，则要设置交换机的生成树模式为uplinkfast.，否则网卡之间切换的实际时间将适当延长（增加交换机生成树的收敛时间，默认为90秒）。
双网卡负载平衡模式需要设置交换机的端口为etherchanel(cisco交换机的叫法)或trunk(3com交换机的叫法)，其他交换机请参照其手册设置将两个（或多个）以太网端口绑定为一个逻辑端口使用。
其他模式下的交换机配置请参照bonding的手册文档。
测试一个网卡或线路失效后的连接状况
#ping www.sina
然后拔掉其中一个网卡的网线看是否照常能够乒通
建立软件存放目录
#cd /home
#mkdir soft
下载iscsi target
#wget jaist.dl.sourceforge/sourceforge/iscsitarget/iscsitarget-0.4.
安装iscsi target
#tar xvfz iscsitarget-0.4.
#cd iscsitarget-0.4.17
#make && make install
加入到系统服务，设置开机预设启动 iscsi-target
#chkconfig --add iscsi-target
#chkconfig iscsi-target on
#service iscsi-target start
iSCSI Target主机预设使用tcp的3260 端口来服务，所以防火墙要打开此端口
#vi /etc/sysconfig/iptables
加入下面这行
#iptables -A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 3260 -j ACCEPT
查看服务是否启动，返回此服务的pid号
#ps -C ietd
PID TTY TIME CMD
2691 ? 00:00:00 ietd
iSCSI服务端设定
#vi /f
注释掉配置文件中原有的Target配置行，加入下面这几行（注意，这行Target的第一字母必须大写，否则不识别）
Target iqn.2009-06.91vmall:storage.vmall
Lun 0 Path=/dev/sda8,Type=fileio
Alias Test
Target iqn.de2:storage.vmall
Lun 0 Path=/dev/sda8,Type=fileio
Alias Test
上面这一行中的“Target iqn.2009-06.st”这是Target名称，称作“iSCSI Qualified Name”（简称：iqn），这个命名的格式在 iSCSI 规格书中有详细的说明
<-mm.<reversed domain name>[:identifier]
yyyy-mm 年份-月份 2001-04
reversed domain name 倒过来的网域名称 com.91vmall
identifier识别代号 iscsi:test
LUN逻辑单元号（Logical Unit Number），“Lun 0 Path=/dev/sda8,Type=fileio”这一行中， Path是服务提供的硬盘名称，此例为“Path=/dev/sda8”。
/dev/sda8就是我们提供共享的一个硬盘或者硬盘分区的物理路径，通过df命令可以列出此
服务器中的所有硬盘分区，从中很容易到我们要提供的分区的物理路径
我们可以使用区块装置（Block devices，例 /dev/sdc）、一般档案（regular files）、LVM 逻辑卷轴（Logical Volume）与磁碟阵列（RAID）提供给 Initiators 主机当做‘区块装置’（硬盘）
重新启动服务
#service iscsi-target restart
检查配置情况是否正常
#cat /proc/net/iet/volume
tid:1 name:iqn.2009-06.91vmall:storage.vmall
lun:0 state:0 iotype:fileio iomode:wt path:/dev/sda8
在web应用服务器上安装iscsi Initiator(跳到realserver安装章节完成基本系统安装后再进行)
#yum -y install iscsi-initiator-utils
启动客户端
#service iscsi start
查服务器
iscsiadm -m discovery -t sendtargets -p 192.168.0.1
登陆服务器
iscsiadm -m node -T iqn.2009-06.91vmall:storage.vmall -p 192.168.0.1 -l
iscsiadm -m node -o delete -T iqn.2009-06.91vmall:storage.vmall -p 192.168.0.1
查看新挂载的设备
#fdisk -l
Disk /dev/sda: 145.9 GB, 145999527936 bytes
255 heads, 63 sectors/track, 17750 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/sda1 * 1 25 200781 83 Linux
/dev/sda2 26 3849 30716280 83 Linux
/dev/sda3 3850 7673 30716280 83 Linux
/dev/sda4 7674 17750 80943502+ 5 Extended
/
dev/sda5 7674 10223 20482843+ 83 Linux
/dev/sda6 10224 12773 20482843+ 83 Linux
/dev/sda7 12774 14862 16779861 82 Linux swap / Solaris
/dev/sda8 14863 15117 2048256 83 Linux
/dev/sda9 15118 17750 21149541 83 Linux
Disk /dev/sdb: 203.1 GB, 203197284864 bytes
255 heads, 63 sectors/track, 24703 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk /dev/sdb doesn't contain a valid partition table //这就是新挂载的设备
次开机自动启动 iSCSI Initiator Daemon，就可以自动取得 iSCSI Target设备’
#chkconfig --add iscsi
#chkconfig iscsi on
在web应用服务器上安装gfs及集套件
#yum install -y cman gfs-utils kmod-gfs kmod-dlm modcluster ricci cluster-snmp iscsi-initiator-utils lvm2-cluster openais oddjob rgmanager
修改iscsitarget服务器和各web服务器的hosts文件
#vi /etc/hosts
192.168.0.8 node8
192.168.0.7 node7
192.168.0.6 node6
192.168.0.5 node5
192.168.0.4 node4
192.168.0.1 node1
在每个节点上执行下面的命令（不包括iscsi target）
ccs_tool create linux
ccs_tool addfence -C node8_ipmi fence_ipmilan ipaddr=192.168.0.67 login=root passwd=123456
ccs_tool addfence -C node7_ipmi fence_ipmilan ipaddr=192.168.0.66 login=root passwd=123456
ccs_tool addfence -C node6_ipmi fence_ipmilan ipaddr=192.168.0.65 login=root passwd=123456
ccs_tool addfence -C node5_ipmi fence_ipmilan ipaddr=19
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论