Iozone - Stende -> Server8 iscsi

Tests no STENDE uz BFSA - ar iscsi

 iozone -i0 -i1 -c -e -a -n 1g -g 16g -y 2048 -s 2048 -q 8192 


KB reclen write rewrite read reread
1048576 4096 27476 27449 91704 70380
2097152 4096 26775 26010 69460 68300
4194304 4096 26823 26338 60614 57342


Tests no Srv7 Ub810Jeos uz BFSA - ar iscsi

KB reclen write rewrite read reread
1048576 4096 26507 27016 68971 66816
2097152 4096 26448 27360 68377 67586
4194304 4096 26557 27959 60378 58767
8388608 4096 26098 26025 54164 54467
16777216 4096 26244 27713 54396 54254


ISCSI testi

initiator: Win2003 VMWare serveris (4GB RAM)
target: Ubuntu 8.04 ar HW RAID5
tīkls: HP 2824 Gigabit switch

iozone.exe -a -c -n 1g -g 8g -y 2048 -i0 -i1 -i2 -f h:\iotest
                                                   random  random
     KB  reclen   write rewrite    read    reread    read   write
8388608   16384    9385    9639    47135    48333   41887    8881

Intel SRCSASPH16I adapteris

Lai no nekonfigurētajiem diskiem izveidotu jaunus loģiskos diskus (politika - WriteThrough):

CmdTool2 -CfgEachDskRaid0 WT -aALL


Lai visiem diskiem iespējotu WriteBack un Write Cache OK if bad BBU

CmdTool2 -LDSetProp CachedBadBBU -LALL -aALL


Skripts failus sistēmas testēšanai

Skripts ģenerē direktoriju testfs ar apakšdirektorijām, katra apakšdirektorija ir ~1GB liela.

Pēc tam tiek uzņemts laiks un pētīts, cik ilgā laikā visi faili tiek:
* nolasīti
* kopēti
* izveidots tar fails (bez kompresijas)
* nolasīts tar fails
* dzēsts

Skriptu ir jāiekopē kādā direktorijā, kas atrodas uz testējamās failu sistēmas un startēt, piemēram, sekojoši (log fails tiks rakstīts mājas direktorijā):


while : ; do time bash ./skript.sh | tee -a ~/testfs.log ; done


#!/bin/bash

# uzstada lielumu gigabaitos - jābūt lielākam kā RAM
SIZE=8

if [ -d testfs ] 
then 
 rm -rf testfs
fi 

mkdir testfs

dd if=/dev/urandom bs=10240 count=1024 of=urandom 2>/dev/null

STARTIME=`date +%s`
for (( i=1 ; i<=$SIZE ; i++ ))
 do
 echo -n $i " "
 mkdir testfs/test$i
  for ((a=1;a<=1425;a++))
  do
   dd status=noxfer if=urandom bs=1024 count=$a >> testfs/test$i/data$a 2>/dev/null
  done
done
echo " " 
ENDTIME=`date +%s`

LAIKS=$(($ENDTIME-$STARTIME))
DATI=`du -hsm testfs | awk '{print $1}'`
echo -e DATI:\\t$DATI\\tMB
echo -e RAKST:\\t$(($DATI/$LAIKS))\\tMB/s

STARTIME=`date +%s`
for i in `find testfs -type f ` 
do 
 dd status=noxfer if=$i of=/dev/null 2>/dev/null
done
ENDTIME=`date +%s`
LAIKS=$(($ENDTIME-$STARTIME))
echo -e LASIS:\\t$(($DATI/$LAIKS))\\tMB/s

STARTIME=`date +%s`
cp -a testfs testfs-copy
ENDTIME=`date +%s`
LAIKS=$(($ENDTIME-$STARTIME))
echo -e KOPES:\\t$(($DATI/$LAIKS))\\tMB/s

STARTIME=`date +%s`
tar -cf  testfs.tar testfs
ENDTIME=`date +%s`
LAIKS=$(($ENDTIME-$STARTIME))
echo -e MKTAR:\\t$(($DATI/$LAIKS))\\tMB/s

STARTIME=`date +%s`
cat testfs.tar > /dev/null
ENDTIME=`date +%s`
LAIKS=$(($ENDTIME-$STARTIME))
echo -e LATAR:\\t$(($DATI/$LAIKS))\\tMB/s
rm  testfs.tar

STARTIME=`date +%s`
rm -r testfs-copy
ENDTIME=`date +%s`
LAIKS=$(($ENDTIME-$STARTIME))
echo -e DZESA:\\t$(($DATI/$LAIKS))\\tMB/s

Intel HW Raid testi

Serveris:
HW RAID kontrolieris:

• HW RAID5 sējums ar 4 diskiem: (4-1) x 500 GB
• HW RAID5 sējums ar 8 diskiem: (8-1) x 500 GB

Kontroliera uzstādījumi WRITE THROUGH

Cache Policy:WriteThrough, ReadAheadNone, Direct, No Write Cache if bad BBU

iozone 8 disku RAIDAM:

KB       reclen   write rewrite    read    reread   rread  rwrite
8388608    2048   47370   45865   201040   178148  103822  106027

iozone 4 disku RAIDAM:

KB       reclen   write rewrite    read    reread   rread  rwrite
6777216    2048   36553   36239   160195   162528

Kontroliera uzstādījumi WRITE BACK

Cache Policy:WriteBack, ReadAheadNone, Cached, Write Cache OK if bad BBU

iozone 8 disku RAIDAM:

KB        reclen   write rewrite    read    reread   rread  rwrite
33554432    2048  228497  177099   156933   156547   56818   92855
33554432    4096  224270  174636   153236   152991   79173  123178
33554432    8192  221834  175551   153467   153147  107403  139591
33554432   16384  223685  172882   152044   151842  130756  155928

iozone 4 disku RAIDAM:

KB        reclen   write rewrite    read    reread   rread  rwrite
33554432    2048   98454   84888   106007   106103   59516   56044
33554432    4096   99630   83457   104566   104922   74436   66626
33554432    8192   99731   83149   103485   104096   90022   74085
33554432   16384   99962   83023   103984   103552  101068   79891

Ubuntu spoguļa kopēšana ar rsync

no 4 disku sējuma uz 8 disku sējumu:
38673623.15 bytes/sec
( 38,7 MB/s )

no 8 disku sējuma uz 4 disku sējumu:
46673383.85 bytes/sec
( 46,7 MB/s )

iscsi veiktspējas testi

ISCSI veiktspēja

ISCSI target serveris:
Debian
RAM 1GB
Disku sējums ir uz RAID5

ISCSI iniciators serveris:
Debian
RAM 4GB

Tīkls:
Komutēts 1Gbps tīkls ar HP2824 tīkla slēdžiem.

 iozone -i0 -i1 -c -e -a -n 1g -g 16g -y 2048 -s 2048 -q 8192 -f /media/iscsi

              KB  reclen   write rewrite    read    reread
        16777216    2048   83972   71509    60931    60629
        16777216    4096   82253   68246    60910    60094
        16777216    8192   81875   67894    59995    55304

jeb rakstīšanas ātrums 70-80 MB/s, lasīšanas ~58MB/s

Lokālā veiktspēja uz target servera RAID5 sējumu

              KB  reclen   write rewrite    read    reread
        16777216    2048   96276   92868   159914   156191
        16777216    4096   96440   92326   159099   159674
        16777216    8192   96378   91768   158523   156454

jeb rakstīšanas ātrums ~95 MB/s, lasīšanas - 158 MB/s

Veiktspēja uz VMware serveriem

Šis rakstiņs piefiksēs dažādus rādītājus par procesoru veiktspēju, lai varētu salīdzināt dabīga un virtuāla servera darbu.

Testi tiek veikti uz dažādiem atšķirīgiem serveriem.
Vispirms tiek kompilēts Linux kodols ar noklusējuma uzstādījumiem uz dabīga servera, izmantojot dažādu procesu skaitu ("-j" atslēga), pēc tam to pašu kodolu kompilē uz šī servera uzstādītajiem VMware virtuālajiem serveriem, pie tam pēc iespējas mainot VMware virtuālo procesoru skaitu (1 vai 2 gab.).
VMWare'i tiek izmantota versija 1.04, tās darba diski ir vmdk faili, kas izvietoti uz software RAID sējumiem.
Veiktspēja tiek mērīta ar "time" komandu, jeb Linux avota direktorijā:
make distclean && make defconfig && time make -j X -s

Serveris 1.

RONIS
2 x Xeon 5355 (8 kodoli kopā), 16GB RAM
Debian etch amd64

Dabīga servera veikstpēja

time make -j 1
real    4m0.078s
user    3m35.649s
sys     0m31.570s

time make -j 2
real    2m3.208s
user    3m36.546s
sys     0m32.614s

time make -j 4
real    1m5.439s
user    3m39.446s
sys     0m31.754s

time make -j 8
real    0m44.018s
user    3m59.975s
sys     0m35.666s

Virtuālais serveris 1.1

GuestOS: Debian lenny amd64
Ar 2 virtuālajiem procesoriem (3,6 GB RAM)

time make -j 1
real    6m49.123s
user    5m0.223s
sys     2m26.881s

time make -j 2
real    3m53.364s
user    4m35.697s
sys     3m5.148s

time make -j 4
real    3m43.593s
user    4m44.926s
sys     2m42.890s

Virtuālais serveris 1.2

GuestOS: Debian lenny 386, RAM - 3,6GB
=================================
Ar 1 virtuālo procesoru

time make -j 1
real    5m18.276s
user    0m52.579s
sys     4m24.633s

time make -j 2
real    5m18.756s
user    0m51.075s
sys     4m27.485s

time make -j 4
real    5m19.280s
user    0m51.811s
sys     4m27.301s

Ar 2 virtuālajiem procesoriem

time make -j 1
real    5m22.453s
user    3m9.300s
sys     2m16.645s

time make -j 2
real    2m54.757s
user    3m2.715s
sys     2m27.409s

time make -j 4
real    2m49.717s
user    3m2.815s
sys     2m29.781s

Serveris 2

VARIS
2 x Intel Xeon 2.66GHz (kopā 4 kodoli)
8GB RAM

Dabīga servera veiktspēja

 
time make -j 1
real    9m15.932s
user    8m27.072s
sys     0m56.960s

time make -j 2
real    5m3.304s
user    9m3.990s
sys     1m2.548s

time make -j 4
real    4m19.108s
user    13m21.490s
sys     1m19.309s

time make -j 8
real    4m18.359s
user    13m45.624s
sys     1m21.045s

Virtuālais serveris 2.1

Debian lenny 32 bit

1 virtuālais procesors

time make -j 1 -s
real    12m20.615s
user    3m58.927s
sys     8m20.719s

time make -j 2 -s
real    12m3.694s
user    3m52.575s
sys     8m10.319s

time make -j 4 -s
real    12m7.610s
user    3m52.359s
sys     8m14.147s

time make -j 8 -s
real    12m6.597s
user    3m53.319s
sys     8m12.459s

2 virtuālie procesori

time make -j 1 -s
real    7m9.543s
user    8m4.462s
sys     5m56.302s

time make -j 2 -s
real    7m26.477s
user    8m26.320s
sys     6m8.151s

time make -j 4 -s
real    7m10.003s
user    8m8.607s
sys     5m55.838s

time make -j 8 -s
real    7m18.864s
user    8m14.511s
sys     6m3.263s

Serveris 3

VALIS
AMD Opteron 250 (2 kodoli)
RAM: 8GB
OS Ubuntu Dapper

Dabīga servera veiktspēja

 time make -j 1
real    5m49.447s
user    5m11.100s
sys     0m36.170s

time make -j 2
real    3m7.241s
user    5m19.340s
sys     0m35.190s

time make -j 4
real    3m6.140s
user    5m20.350s
sys     0m35.740s

time make -j 8
real    3m6.512s
user    5m19.380s
sys     0m36.820s

Virtuālais serveris 3.2

Debian lenny 32 bit

1 virtuālais procesors

time make -j 1 -s
real    6m52.827s
user    1m13.129s
sys     5m39.209s

time make -j 2 -s
real    6m46.348s
user    1m11.096s
sys     5m34.809s

time make -j 4 -s
real    6m52.193s
user    1m14.281s
sys     5m37.449s

time make -j 8 -s
real    6m55.618s
user    1m14.313s
sys     5m40.849s

2 virtuālie procesori

time make -j 1 -s
real    3m44.982s
user    5m3.771s
sys     1m58.831s

time make -j 2 -s
real    3m41.705s
user    5m0.631s
sys     1m54.459s

time make -j 4 -s
real    3m40.798s
user    5m0.679s
sys     1m53.619s

time make -j 8 -s
real    3m41.744s
user    5m1.487s
sys     1m56.115s

Serveris 4

VERSIS
2xXeon 2,8 +HT
AMD Opteron 250 (2 kodoli)
RAM: 4GB
OS Ubuntu x86-64

Dabīga servera veiktspēja

==== 1 ============
real    9m21.767s
user    8m23.039s
sys     1m10.612s

==== 2 ============
real    4m53.194s
user    8m35.172s
sys     1m10.976s

==== 4 ============
real    4m6.506s
user    13m53.492s
sys     1m33.378s

==== 8 ============
real    4m8.880s
user    14m3.289s
sys     1m35.010s