August 2nd, 2012

404

Чем дальше в лес, тем толще попугаи

test: (groupid=0, jobs=1): err= 0: pid=11297
  write: io=7511.5MB, bw=74663KB/s, iops=18665 , runt=103019msec
    slat (usec): min=2 , max=248 , avg=11.93, stdev= 6.27
    clat (usec): min=723 , max=25076 , avg=1700.35, stdev=505.65
     lat (usec): min=778 , max=25085 , avg=1712.56, stdev=505.41


И это на 2Тб файле.

Вот оно же на чтение:

test: (groupid=0, jobs=1): err= 0: pid=11306
  read : io=1374.1MB, bw=74102KB/s, iops=18525 , runt= 19000msec
    slat (usec): min=1 , max=398 , avg=10.02, stdev=11.79
    clat (usec): min=644 , max=47600 , avg=1714.02, stdev=1204.48
     lat (usec): min=878 , max=47602 , avg=1724.32, stdev=1204.50


Повторю, файл 2Тб, то есть никакого кеша. Судя по статистике, проблема в настройках сети. с wmem_max я уже разобрался (+3кIOPS), джумбо включены, на сетевухе весь offload включен, осталось только с настройками tcp поиграть...

На этот раз блоки как и положено 4к (в прошлом посте были 1к блоки, с 4к оно показывало 14к).