trešdiena, 2012. gada 22. augusts

Pilnīgā bremze ar LVM nospiedumiem

Nesekmīgi cīnos ar RAID1, LVM sējumiem un nospiedumiem.
Tātad ir sataisīti 4 gab. mdadm RAID1 sējumi (katrs no diviem 2TB diskiem pie SRC16HI kontroliera)  un uz tiem tiek taisīts LVM sējums ar 4 straipiem (opcija pie veidošanas " lvcreate ... -i 4 ... "). Ja šādam sējumam tiek izveidots  nospiedums, vai divi, tad disku ātrums būtiski krīt - taisot rsync esošiem datiem, average IO access time pat reizēm sasniedz 80 sek. un rsync nomirst ar hung task.
Tātad sējums BKPA:(
lvs -o +devices
  LV          VG   Attr     LSize   Pool Origin Data%  Move Log Copy%  Convert Devices                                                                                   
  bkpa        data owi-aos-   2,00t                                            /dev/md126(196608),/dev/md124(196608),/dev/md125(196608),/dev/md127(196608)

[root@bfsa clilin]# tiotest -f 2000 -t 4 -d /data2/ -k 1 -k 3
Tiotest results for 4 concurrent io threads:
,----------------------------------------------------------------------.
| Item                  | Time     | Rate         | Usr CPU  | Sys CPU |
+-----------------------+----------+--------------+----------+---------+
| Write        8000 MBs |   64.1 s | 124.868 MB/s |   4.8 %  | 159.7 % |
| Read         8000 MBs |   25.4 s | 314.513 MB/s |   7.1 %  | 125.1 % |
`----------------------------------------------------------------------'
Ja izveidojam nospiedumu:
lvcreate -s /dev/data/bkpa -n aa -L 100G -i 4
...
lvs -o +devices
  LV          VG   Attr     LSize   Pool Origin Data%  Move Log Copy%  Convert Devices                                                                    
  aa          data swi-a-s- 100,00g      bkpa     7,84                         /dev/md126(327680),/dev/md124(327680),/dev/md125(327680),/dev/md127(327680)
...
Tad tiotest ātrums ir sekojošs:
tiotest -f 2000 -t 4 -d /data2/ -k 1 -k 3
Tiotest results for 4 concurrent io threads:
,----------------------------------------------------------------------.
| Item                  | Time     | Rate         | Usr CPU  | Sys CPU |
+-----------------------+----------+--------------+----------+---------+
| Write        8000 MBs |  652.6 s |  12.259 MB/s |   0.3 %  |  54.0 % |
| Read         8000 MBs |   28.8 s | 278.213 MB/s |   7.1 %  | 336.3 % |
`----------------------------------------------------------------------'
Pievienojot vēl vienu nospiedumu, ātrums vēl vairāk nokrīt. Adaptera kontroliera parametu mainīšana (WT-WB, Direct-Cached, EnDskCache-DisDiskCache) neko neuzlaboja. Šie rezultāti ir pie sekojošiem rādītājiem:
CmdTool2 -ldinfo -lall -aall
...
Current Cache Policy: WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU
..
Disk Cache Policy   : Enabled
..

Darbojos uz Centos 6.3, jo Ubuntu 12.04 vispār pie slodzes kontrolierim diski aizgāja offlainā.