是 Redundant Array of Independent Disks的缩写,中文简称为独立冗余磁盘阵列
把多块独立的物理硬盘按不同的方式组合起来形成一个硬盘组(逻辑硬盘) ,从而提供比单个硬盘更高的存储性能和提供数据备份技术
组成磁盘阵列的不同方式称为RAID级别(RAID Levels)
常用的RAID级别 :
RAIDO, RAID1, RAID5, RAID6 , RAID1+0等
RAID 0 (条带化存储)
N块硬盘并行组合成一个新的逻辑盘
RAID 1 (镜像存储)
N(偶数) 块硬盘组合成一组镜像, N/2 容量
RAID 5
N (N>=3) 块盘组成阵列,一份数据产生N-1 个条带,同时还有1分校验数据,共N份数据在N块盘上循环存储
N块盘同时读写,读性能很高,但是由于有校验机制的问题,写性能相对不高
(N -1 )/ N 磁盘利用率
可靠性高,允许坏 1 块盘,不影响所有数据
N (N>=4) 块盘组成阵列,(N -2) /N 磁盘利用率
与RAID 5 相比 , RAID 6 增加了 第二块独立的奇偶校验信息块
两个独立的奇偶系统使用不同的算法,即使两块磁盘同时失效也不会影响数据的使用
相对于RAID 5 有更大的“写损失” ,因此写性能相对较差
RAID 1+0 (先做镜像,再做条带)
N(偶数,N>=4) 块盘两两镜像后,再组合成一个RAID 0
N/2 磁盘利用率
N/2 块盘同时写入,N块盘同时读取
性能高,可靠性高
小结:各级别raid 对比
RID 级别 | 硬盘数量 | 硬盘利用率 | 是否有校验 | 安全性 | 写性能 |
---|---|---|---|---|---|
RAID0 | N | N | 无 | 无 | 单个硬盘的N倍 |
RAID1 | N(偶数) | N/2 | 无 | 允许一个设备故障 | 需要写两对存储设备 |
RAID5 | N>=3 | (N-1)/N | 有 | 允许有一个设备故障 | 需要写计算校验数据 |
RAID6 | N>=4 | (N-2)/N | 有 | 允许有两个设备故障 | 需要写双重计算校验数据 |
RAID1+0 | N>=4 | N/2 | 无 | 允许两个基组中各坏一个 | N/2 块盘同时写入 |
阵列的写缓存是将数据写到Cache,当Cache 的数据积累到一定程度,阵列才把数据刷到磁盘,这样可以实现批量的写入,大幅提高写的速度。 Cache的大小对整个I/O性能的影响是非常大。但是, 一旦服务器断电,缓存数据就是丢失。因此,出现了一种可循环充电式电池被应用到阵列卡缓存单元上。平时使用主板供电,一旦服务器断电,自动使用电池供电。
2.1 下载mdadm 软件包
使用 rpm -qa | grep mdadm , 检查软甲包是否已经下载安装
如果没有下载,用 yum -y install mdadm 下载mdadm 软件包
2.2 分区并修改ID标记
使用fdisk工具将新磁盘设备/dev/sdb /dev/sdc /dev/sdd /dev/sde划分出主分区sdb1、 sdc1, sdd1、 sdel,并且把分区类型的ID标记号改为"fd"
[root@localhost ~]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 60G 0 disk ├─sda1 8:1 0 500M 0 part /boot ├─sda2 8:2 0 4G 0 part [SWAP] └─sda3 8:3 0 55.5G 0 part / sdb 8:16 0 20G 0 disk sdc 8:32 0 20G 0 disk sdd 8:48 0 20G 0 disk sde 8:64 0 20G 0 disk sr0 11:0 1 4.2G 0 rom [root@localhost ~]# echo 'n > p > > > > t > fd > w' | fdisk /dev/sdb #非交互式磁盘分区,并修改分区系统类型为raid ##磁盘/dev/sdbc /dev/sdd /dev/sde 同样操作 [root@localhost ~]# for i in {b,c,d,e}; do fdisk -l /dev/sd$i | grep /dev/sd$i ; done #查看分区结果 磁盘 /dev/sdb:21.5 GB, 21474836480 字节,41943040 个扇区 /dev/sdb1 2048 41943039 20970496 fd Linux raid autodetect 磁盘 /dev/sdc:21.5 GB, 21474836480 字节,41943040 个扇区 /dev/sdc1 2048 41943039 20970496 fd Linux raid autodetect 磁盘 /dev/sdd:21.5 GB, 21474836480 字节,41943040 个扇区 /dev/sdd1 2048 41943039 20970496 fd Linux raid autodetect 磁盘 /dev/sde:21.5 GB, 21474836480 字节,41943040 个扇区 /dev/sde1 2048 41943039 20970496 fd Linux raid autodetect
mdadm -C -v /dev/md0 [-a yes] -l5 -n3 /dev/sd[bcd]1 -x1 /dev/sde1 #创建磁盘阵列raid 5
###raid 10 则先做raid 1 ,在将raid 1 做成raid 0
-C :表示新建;
-v :显示创建过程中的详细信息。
/dev/md0 :创建RAID5的名称(名字一般以md 开头)
-a yes : --auto,表示如果有什么设备文件没有存在的话就自动创建,可省略。
-l :指定RAID的级别, l5表示创建RAID5。
-n :指定使用几块硬盘创建RAID, n3表示使用3块硬盘创建RAID.
/dev/sd[bcd]1 :指定使用这3块磁盘分区去创建RAID.
-x :指定使用几块硬盘做RAID的热备用盘, x1表示保留1块空闲的硬盘作备用
/dev/sdel :指定用作于备用的磁盘
查看磁盘阵列的创建过程及状态
watch -n 5 ‘cat /proc/mdstat’
或者:
mdadm -D /dev/md0
[root@localhost ~]# mdadm -C -v /dev/md0 -l5 -n3 /dev/sd[bcd]1 -x1 /dev/sde1 mdadm: layout defaults to left-symmetric mdadm: layout defaults to left-symmetric mdadm: chunk size defaults to 512K mdadm: size set to 20954112K mdadm: Defaulting to version 1.2 metadata mdadm: array /dev/md0 start [root@localhost ~]# cat /proc/mdstat #查看磁盘阵列的创建过程 Personalities : [raid6] [raid5] [raid4] md0 : active raid5 sdd1[4] sde1[3](S) sdc1[1] sdb1[0] #参与创建的磁盘 41908224 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [UU_] #uu表示 两块磁盘状态完好 _ 表示磁盘不在线 (当前只创建好两个) [==========>..........] recovery = 53.7% (11271168/20954112) finish=0.7min speed=206000K/sec #创建进度 unused devices: <none> [root@localhost ~]# mdadm -D /dev/md0 /dev/md0: Version : 1.2 Creation Time : Tue Jun 22 09:09:38 2021 Raid Level : raid5 #磁盘阵列是raid 5 Array Size : 41908224 (39.97 GiB 42.91 GB) #阵列容量大小 Used Dev Size : 20954112 (19.98 GiB 21.46 GB) Raid Devices : 3 Total Devices : 4 Persistence : Superblock is persistent Update Time : Tue Jun 22 09:11:23 2021 State : clean Active Devices : 3 #正活跃的磁盘 Working Devices : 4 #此阵列工作的磁盘数 Failed Devices : 0 Spare Devices : 1 Layout : left-symmetric Chunk Size : 512K Consistency Policy : resync Name : localhost.localdomain:0 (local to host localhost.localdomain) UUID : 71f5d2f1:6c7c50ac:785f4ba3:58b2aa00 Events : 18 Number Major Minor RaidDevice State 0 8 17 0 active sync /dev/sdb1 1 8 33 1 active sync /dev/sdc1 4 8 49 2 active sync /dev/sdd1 #正在使用的三块磁盘 3 8 65 - spare /dev/sde1 #热备份的磁盘
[root@localhost ~]# mkfs.xfs /dev/md0 #格式化为xfs 文件系统 meta-data=/dev/md0 isize=512 agcount=16, agsize=654720 blks = sectsz=512 attr=2, projid32bit=1 = crc=1 finobt=0, sparse=0 data = bsize=4096 blocks=10475520, imaxpct=25 = sunit=128 swidth=256 blks naming =version 2 bsize=4096 ascii-ci=0 ftype=1 log =internal log bsize=4096 blocks=5120, version=2 = sectsz=512 sunit=8 blks, lazy-count=1 realtime =none extsz=4096 blocks=0, rtextents=0 [root@localhost ~]# mkdir /data [root@localhost ~]# mount /dev/md0 /data #挂载使用 [root@localhost ~]# df -hT 文件系统 类型 容量 已用 可用 已用% 挂载点 /dev/sda3 xfs 56G 5.0G 51G 9% / devtmpfs devtmpfs 978M 0 978M 0% /dev tmpfs tmpfs 993M 0 993M 0% /dev/shm tmpfs tmpfs 993M 9.1M 984M 1% /run tmpfs tmpfs 993M 0 993M 0% /sys/fs/cgroup /dev/sda1 xfs 497M 151M 346M 31% /boot tmpfs tmpfs 199M 12K 199M 1% /run/user/42 tmpfs tmpfs 199M 0 199M 0% /run/user/0 /dev/md0 xfs 40G 33M 40G 1% /data
[root@localhost ~]# mdadm /dev/md0 -f /dev/sdb1 #将/dev/sdb1 磁盘 手动故障 mdadm: set /dev/sdb1 faulty in /dev/md0 [root@localhost ~]# cat /proc/mdstat #查看阵列创建 Personalities : [raid6] [raid5] [raid4] md0 : active raid5 sdd1[4] sde1[3] sdc1[1] sdb1[0](F) 41908224 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [_UU] [====>................] recovery = 20.1% (4212992/20954112) finish=1.3min speed=210649K/sec unused devices: <none> [root@localhost ~]# mdadm -D /dev/md0 /dev/md0: Version : 1.2 Creation Time : Tue Jun 22 09:09:38 2021 Raid Level : raid5 Array Size : 41908224 (39.97 GiB 42.91 GB) Used Dev Size : 20954112 (19.98 GiB 21.46 GB) Raid Devices : 3 Total Devices : 4 Persistence : Superblock is persistent Update Time : Tue Jun 22 09:38:56 2021 State : clean, degraded, recovering Active Devices : 2 #活跃的只剩下两块(因为一块正在创建中 Working Devices : 3 #一共只剩下三块盘 Failed Devices : 1 Spare Devices : 1 Layout : left-symmetric Chunk Size : 512K Consistency Policy : resync Rebuild Status : 44% complete Name : localhost.localdomain:0 (local to host localhost.localdomain) UUID : 71f5d2f1:6c7c50ac:785f4ba3:58b2aa00 Events : 27 Number Major Minor RaidDevice State 3 8 65 0 spare rebuilding /dev/sde1 1 8 33 1 active sync /dev/sdc1 4 8 49 2 active sync /dev/sdd1 0 8 17 - faulty /dev/sdb1 #磁盘失效
创建 /etc/mdadm.conf 配置文件,方便管理软RAID的配置,比如启动、停止
echo ‘DEVICE /dev/sdc1 /dev/sdb1 /dev/sdd1 /dev/sde1’ > /etc/mdadm.conf
mdadm --detail --scan >> /etc/mdadm. conf
[root@localhost ~]# echo 'DEVICE /dev/sdcl /dev/sdb1 /dev/sddl /dev/sdel' > /etc/mdadm.conf [root@localhost ~]# mdadm --detail --scan >> /etc/mdadm.conf [root@localhost ~]# cat /etc/mdadm.conf DEVICE /dev/sdcl /dev/sdb1 /dev/sddl /dev/sdel ARRAY /dev/md0 metadata=1.2 name=localhost.localdomain:0 UUID=71f5d2f1:6c7c50ac:785f4ba3:58b2aa00
-D :查看阵列信息
-E :检查磁盘是否已做raid
-f :故障设备
-r ∶ 移除设备
-a∶ 添加设备
-S∶ 停止RAID
-A∶ 启动RAID
-s : 查找/etc/mdadm.conf 的配置信息
eg:
mdadm -D /dev/md0 #查看阵列md0 的信息
mdadm -E /dev/sd[bcde] #查看磁盘/dev/sdd-sde 是否已做raid
mdadm /dev/md0 -f /sdb1 #可以手动下线设备,模拟故障
mdadm /dev/mdo -r /dev/sdb1 #移除设备
mdadm /dev/mdo -a /dev/sde1 #添加设备
mdadm -s /dev/md0 #扫描配置文件
mdadm -S /dev/md0 #停止RAID
mdadm -A /dev/md0 #启动RAID
dadm /dev/md0 -r /dev/sdb1 #将sdb1 从阵列 md0 中移除 mdadm: hot removed /dev/sdb1 from /dev/md0 [root@localhost ~]# mdadm -D /dev/md0 /dev/md0: Version : 1.2 Creation Time : Tue Jun 22 09:09:38 2021 Raid Level : raid5 Array Size : 41908224 (39.97 GiB 42.91 GB) Used Dev Size : 20954112 (19.98 GiB 21.46 GB) Raid Devices : 3 Total Devices : 3 Persistence : Superblock is persistent Update Time : Tue Jun 22 10:38:07 2021 State : clean Active Devices : 3 Working Devices : 3 Failed Devices : 0 Spare Devices : 0 Layout : left-symmetric Chunk Size : 512K Consistency Policy : resync Name : localhost.localdomain:0 (local to host localhost.localdomain) UUID : 71f5d2f1:6c7c50ac:785f4ba3:58b2aa00 Events : 41 Number Major Minor RaidDevice State 3 8 65 0 active sync /dev/sde1 1 8 33 1 active sync /dev/sdc1 4 8 49 2 active sync /dev/sdd1 [root@localhost ~]# mdadm /dev/md0 -a /dev/sdb1 #将sdb1 添加到 md0中 mdadm: added /dev/sdb1 [root@localhost ~]# mdadm -D /dev/md0 | grep sdb1 5 8 17 - spare /dev/sdb1 [root@localhost ~]# umount /dev/md0 #先卸载md0 [root@localhost ~]# mdadm -S /dev/md0 #停止阵列 md0 mdadm: stopped /dev/md0 [root@localhost ~]# mdadm -As /dev/md0 #启动md0 并扫描 配置文件 mdadm: /dev/md0 has been started with 3 drives and 1 spare. [root@localhost ~]# mdadm -D /dev/md0 /dev/md0: Version : 1.2 Creation Time : Tue Jun 22 09:09:38 2021 Raid Level : raid5 Array Size : 41908224 (39.97 GiB 42.91 GB) Used Dev Size : 20954112 (19.98 GiB 21.46 GB) Raid Devices : 3 Total Devices : 4 Persistence : Superblock is persistent Update Time : Tue Jun 22 10:51:34 2021 State : clean Active Devices : 3 Working Devices : 4 Failed Devices : 0 Spare Devices : 1 Layout : left-symmetric Chunk Size : 512K Consistency Policy : resync Name : localhost.localdomain:0 (local to host localhost.localdomain) UUID : 71f5d2f1:6c7c50ac:785f4ba3:58b2aa00 Events : 42 Number Major Minor RaidDevice State 3 8 65 0 active sync /dev/sde1 1 8 33 1 active sync /dev/sdc1 4 8 49 2 active sync /dev/sdd1 5 8 17 - spare /dev/sdb1