|
|
 | NFS dårlig performance
Fra : Steffan S. Fallesen |
Dato : 30-11-04 22:15 |
|
Hej Gruppe,
Jeg håber nogen kan hjælpe mig med et NFS problem jeg har. Vi har en NFS
server som ikke helt performer som jeg gerne vil have den til.
Setup:
Serveren bliver brugt som fil server for et load balanced web server
system for ca. 20 noder. Serveren er en Dual Xeon 2.8 med 2 GB ram på et
high-end Intel Server Board som er tilsluttet et ”Promise VTrak 15100”
storage raid via et SCSI kabel. På serveren er RedHat 8.0
(kernel-smp-2.4.20-28.8.i686) installeret.
Problem:
Jeg har bemærket at serveren ikke performer så godt som man kunne håbe
allerede når der overføres omkring 15-17 Mbit/sec når serveren ofte et
load på 3.00-4.00 hvilket er en del. Jeg har sat overførsels protokollen
til UDP og pakke størrelsen for NFS til 16 kb.
Er der nogen som har haft samme problemer eller gode hints til hvordan
jeg kan løse problemet da jeg gerne vil have lidt bedre performance.
Jeg ser frem til lidt input 
--
Steffan
| |
 Mogens Kjaer (01-12-2004)
| Kommentar
Fra : Mogens Kjaer |
Dato : 01-12-04 12:41 |
|
Steffan S. Fallesen wrote:
> Hej Gruppe,
>
> Jeg håber nogen kan hjælpe mig med et NFS problem jeg har. Vi har en NFS
> server som ikke helt performer som jeg gerne vil have den til.
>
> Setup:
> Serveren bliver brugt som fil server for et load balanced web server
> system for ca. 20 noder. Serveren er en Dual Xeon 2.8 med 2 GB ram på et
> high-end Intel Server Board som er tilsluttet et ”Promise VTrak 15100”
> storage raid via et SCSI kabel. På serveren er RedHat 8.0
> (kernel-smp-2.4.20-28.8.i686) installeret.
>
> Problem:
> Jeg har bemærket at serveren ikke performer så godt som man kunne håbe
> allerede når der overføres omkring 15-17 Mbit/sec når serveren ofte et
> load på 3.00-4.00 hvilket er en del. Jeg har sat overførsels protokollen
> til UDP og pakke størrelsen for NFS til 16 kb.
>
> Er der nogen som har haft samme problemer eller gode hints til hvordan
> jeg kan løse problemet da jeg gerne vil have lidt bedre performance.
Hvorfor en så gammel redhat?
load siger ikke noget. Hvad laver maskinen imens du
overfører data? "top" burde sige noget om hvad cpu'erne laver
(interrupts, etc.).
Hvad er overførselshastigheden ved ftp eller ttcp? Ved at teste
med ttcp kan du se, om det er netkort/netdriver/netværk, som er
flaskehalsen.
Mogens
--
Mogens Kjaer, Carlsberg A/S, Computer Department
Gamle Carlsberg Vej 10, DK-2500 Valby, Denmark
Phone: +45 33 27 53 25, Fax: +45 33 27 47 08
Email: mk@crc.dk Homepage: http://www.crc.dk
| |
Steffan S. Fallesen (01-12-2004)
| Kommentar
Fra : Steffan S. Fallesen |
Dato : 01-12-04 13:46 |
|
Mogens Kjaer wrote:
> Hvorfor en så gammel redhat?
Vi har valgt at køre den samme release på hele vores system. På den måde
letter vi vedligeholdelsen en smule.
> load siger ikke noget. Hvad laver maskinen imens du
> overfører data? "top" burde sige noget om hvad cpu'erne laver
> (interrupts, etc.).
Det er rigtigt. Jeg syntes dog ikke at top fortæller mig så meget,
kender du andre gode værktøjer? Her er outputtet fra top her kl. 13:44
ved ca. 17 Mbit/sec over NFS.
-------------------------CUT-----------------------------------------
12:45pm up 26 days, 15:54, 2 users, load average: 1.26, 1.75, 1.97
114 processes: 113 sleeping, 1 running, 0 zombie, 0 stopped
CPU0 states: 0.0% user, 7.1% system, 0.0% nice, 92.4% idle
CPU1 states: 0.0% user, 6.1% system, 0.0% nice, 93.4% idle
CPU2 states: 0.1% user, 6.4% system, 0.0% nice, 92.4% idle
CPU3 states: 0.0% user, 6.3% system, 0.0% nice, 93.1% idle
Mem: 2064632K av, 2046460K used, 18172K free, 0K shrd, 120888K buff
Swap: 2096376K av, 1216K used, 2095160K free 1758764K cached
PID USER PRI NI SIZE RSS SHARE STAT %CPU %MEM TIME COMMAND
28745 root 15 0 0 0 0 SW 3.9 0.0 11:43 nfsd
28717 root 15 0 0 0 0 SW 2.3 0.0 11:17 nfsd
28720 root 15 0 0 0 0 SW 2.1 0.0 11:07 nfsd
28738 root 15 0 0 0 0 SW 1.7 0.0 11:09 nfsd
28732 root 15 0 0 0 0 SW 1.5 0.0 11:05 nfsd
28726 root 15 0 0 0 0 SW 1.3 0.0 11:28 nfsd
28711 root 15 0 0 0 0 SW 1.1 0.0 11:48 nfsd
28749 root 15 0 0 0 0 SW 1.1 0.0 11:39 nfsd
28761 root 15 0 0 0 0 SW 1.1 0.0 11:35 nfsd
28731 root 15 0 0 0 0 SW 0.7 0.0 11:25 nfsd
28730 root 15 0 0 0 0 SW 0.5 0.0 11:23 nfsd
28734 root 15 0 0 0 0 SW 0.5 0.0 11:14 nfsd
666 root 15 0 904 752 720 S 0.1 0.0 0:02 sshd
1 root 15 0 460 424 412 S 0.0 0.0 0:23 init
-------------------------CUT-----------------------------------------
> Hvad er overførselshastigheden ved ftp eller ttcp? Ved at teste
> med ttcp kan du se, om det er netkort/netdriver/netværk, som er
> flaskehalsen.
Jeg har lige tested via FTP og får næsten 9 Megabyte/sek.
--
Steffan
| |
 Mogens Kjaer (01-12-2004)
| Kommentar
Fra : Mogens Kjaer |
Dato : 01-12-04 13:52 |
|
Steffan S. Fallesen wrote:
....
>
> Jeg har lige tested via FTP og får næsten 9 Megabyte/sek.
>
På 100Mbit full duplex? Tja, det er vel ok.
Har rh8 en /etc/sysconfig/nfs fil?
På en rh9 har jeg følgende linier i den fil:
RPCNFSDCOUNT=16
TUNE_QUEUE=yes
Prøv først en
fgrep TUNE_QUEUE /etc/init.d/nfs
fgrep RPCNFSDCOUNT /etc/init.d/nfs
hvis disse grep's ikke finder noget, du'er det ikke
på en rh8.
Mogens
--
Mogens Kjaer, Carlsberg A/S, Computer Department
Gamle Carlsberg Vej 10, DK-2500 Valby, Denmark
Phone: +45 33 27 53 25, Fax: +45 33 27 47 08
Email: mk@crc.dk Homepage: http://www.crc.dk
| |
Steffan S. Fallesen (01-12-2004)
| Kommentar
Fra : Steffan S. Fallesen |
Dato : 01-12-04 14:12 |
|
Mogens Kjaer wrote:
> Har rh8 en /etc/sysconfig/nfs fil?
Nej, man retter blot direkte i /etc/init.d/nfs filen.
> På en rh9 har jeg følgende linier i den fil:
>
> RPCNFSDCOUNT=16
> TUNE_QUEUE=yes
Jeg har RPCNFSDCOUNT=64, dog ikke TUNE_QUEUE. Jeg har indsat
TUNE_QUEUE=yes og restarted NFS det ændre dog desværre ikke det helt store.
Der må være et eller andet i vejen og jeg har kigget på problemet et par
gange i sidste uge dog uden held. Jeg kan simpelthen ikke gennemskue
problemet 
--
Steffan
Don’t miss out! Use this coupon code ‘USEN’ and save 40%
on our webhosting package – http://www.servage.net
| |
Jesper Louis Anderse~ (01-12-2004)
| Kommentar
Fra : Jesper Louis Anderse~ |
Dato : 01-12-04 15:12 |
|
Steffan S. Fallesen <ssf-remove.this.please@servage.com> wrote:
> Hej Gruppe,
>
> Jeg h?ber nogen kan hj?lpe mig med et NFS problem jeg har. Vi har en NFS
> server som ikke helt performer som jeg gerne vil have den til.
Fedt nok, men hvilket operativsystem er der tale om?
--
jlouis
| |
Mogens Kjaer (01-12-2004)
| Kommentar
Fra : Mogens Kjaer |
Dato : 01-12-04 15:36 |
|
Jesper Louis Andersen wrote:
> Fedt nok, men hvilket operativsystem er der tale om?
>
RedHat 8.0 skrev han; det er en Linux distribution.
Mogens
--
Mogens Kjaer, Carlsberg A/S, Computer Department
Gamle Carlsberg Vej 10, DK-2500 Valby, Denmark
Phone: +45 33 27 53 25, Fax: +45 33 27 47 08
Email: mk@crc.dk Homepage: http://www.crc.dk
| |
Lasse B. Jensen (02-12-2004)
| Kommentar
Fra : Lasse B. Jensen |
Dato : 02-12-04 23:42 |
|
Steffan S. Fallesen wrote:
> Hej Gruppe,
>
> Er der nogen som har haft samme problemer eller gode hints til hvordan
> jeg kan løse problemet da jeg gerne vil have lidt bedre performance.
>
> Jeg ser frem til lidt input
>
Hvilket FS kører du ?
Jeg har tidligere haft problemer med en ide-raid controller som åbenbart
ikke kunne lide at køre andet end ext2... hvilket ikke var ret fedt.
Der var ikke umiddelbart problemer hvis man kørte et andet fs. Eneste
udslag var meget høj cpu load og meget dårlig performance.
Ved ikke om det hjælper dig noget
--
Med venlig hilsen / Best regards
Lasse Birnbaum Jensen
Svar via email ryger i /dev/null
| |
Jesper Louis Anderse~ (03-12-2004)
| Kommentar
Fra : Jesper Louis Anderse~ |
Dato : 03-12-04 10:11 |
|
> Setup:
> Serveren bliver brugt som fil server for et load balanced web server
> system for ca. 20 noder. Serveren er en Dual Xeon 2.8 med 2 GB ram p? et
> high-end Intel Server Board som er tilsluttet et ?Promise VTrak 15100?
> storage raid via et SCSI kabel. P? serveren er RedHat 8.0
> (kernel-smp-2.4.20-28.8.i686) installeret.
Den burde kunne performe rimeligt. Det foerste du skal goere er at
finde ud af om det er din disk, der ikke kan foelge med. Den grimme,
men effektive, test for det er at skrive en fil ud over disken med
noget i retning af
dd if=/dev/zero of=foobar.tmp bs=1m count=1024
(Laver en 1Gb fil, husk at slette den igen).
Det siger noget om hvor stor write-performance du umiddelbart kan
forvente. Ved at sende filen til /dev/null kan man checke
read-performance af RAID'et. Hvis du tror det er her flaskehalsen
ligger, saa er et ordentligt system saasom bonnie at foretraekke for
at finde fejlen.
Det naeste du skal checke er nfsstat (hvis linux da har saadan noget),
saa du kan se om der er en nem loesning paa problemet. Den kan nogen
gange give et rigtigt godt hint.
Du kan ogsaa kigge paa pakkekollisioner paa Netkortet, men da du kunne
smide en fil over via ftp i fuld hastighed tror jeg ikke det er det.
Du boer nok saette overfoerselsprotokollen til TCP. Det burde give
noget mere at rykke med.
Kort og godt: Find ud af hvad det er, der performer daarligt.
--
jlouis
| |
|
|