|
| Software RAID og IDE diske Fra : Simon Lyngshede |
Dato : 08-12-04 14:42 |
|
Jeg ved godt det egentligt på mange måder høre hjemme i en hardware
gruppe, men det handler også lidt om Linux software RAID og mail systemer.
Jeg er på vej ud for at skifte en fejlet IDE disk i en mail server,
heldigvis er det RAID 1, så boksen kører stadig (rart når man er for
dum til at have en disk på lager). Det er andengang indenfor et par
måneder at en disk fejler, i begge tilfælle er diskene under et år
gamle. Alle emails ligger i Maildirs, hvilket naturligt nok resulterer i
en del aktivitet på diskene når folk checker deres mail igennem IMAP.
Er der andre der har erfaringer med at IDE diske simplethen er af så
dårlig kvalitet at de bryder sammen efter mindre end et år, selv på
simple mail systemer med?
Hvor meget skal man i øvrigt ligge i "Faulty Disk"? Kan man ligeså godt
søge om ophugningsstøtte med det samme, eller kan det betale sig at
forsøge at redde den? Ind til videre flår jeg konskvent faulty disks ud
af RAID arrayet og erstatter dem med ny, jeg har ikke ret meget lyst til
at gamble med en mail server en hel organisation er afhængig af.
Men hovedsagligt, er IDE virkelig så ringe som jeg efterhånden har fået
indtryk af?
--
Simon Lyngshede
simon@giraf.spiceweasel.dk
Remove long necked animal.
| |
Steen Suder, privat (08-12-2004)
| Kommentar Fra : Steen Suder, privat |
Dato : 08-12-04 14:55 |
|
Simon Lyngshede wrote:
> Jeg ved godt det egentligt på mange måder høre hjemme i en hardware
> gruppe, men det handler også lidt om Linux software RAID og mail systemer.
>
> Jeg er på vej ud for at skifte en fejlet IDE disk i en mail server,
> heldigvis er det RAID 1, så boksen kører stadig (rart når man er for
<KLIP>
> Men hovedsagligt, er IDE virkelig så ringe som jeg efterhånden har fået
> indtryk af?
Hvad er det for diske du bruger?
De relativt få gange jeg har oplevet en IDEdisk i SW-RAID stå af, har
jeg kun kunne finde "soft errors" på dem. De kasseres og drysses udover
familiens PCere
--
Steen Suder
Prøv at forestille dig, at du er en anden, og læs så din artikel igennem
inden du sender den. Alle har interesse i, at du staver og formulerer
dig, så godt du kan. På den måde forstås det lettere, hvad du skriver.
| |
Simon Lyngshede (08-12-2004)
| Kommentar Fra : Simon Lyngshede |
Dato : 08-12-04 15:15 |
|
On Wed, 08 Dec 2004 14:55:25 +0100, Steen Suder, privat wrote:
> Hvad er det for diske du bruger?
>
Det er Maxtor DiamondMax 9, 7200RPMS på 80GB. Det er jo egentligt nogle
ganske rare diske, jeg har bestemt ingen problemer med dem andre steder.
Det virker bare som om de er mindre glade i mail serveren. Jeg forestiller
mig at det er når folk åbner deres Inbox igennem IMAP, så skal hver
eneste lille fil i Maildir'en åbnes for at hente From:, Subject: osv.
Jeg kan bare ikke forestille mig det sker ofte nok til at belaste disken
nok til at den fejler.
> De relativt få gange jeg har oplevet en IDEdisk i SW-RAID stå af, har
> jeg kun kunne finde "soft errors" på dem. De kasseres og drysses udover
> familiens PCere
Hehe, ja, det er selvfølgelig en løsning. Jeg har i hvertfald ikke meget
lyst til at smide dem tilbage i en server. Men de kan jo selvfølgelig
gemmes til workstations.
Et eller andet sted leder jeg nok bare efter en lovlig undskyldning til at
bruge 10.000kr på SCSI diske.
--
Simon Lyngshede
simon@giraf.spiceweasel.dk
Remove long necked animal.
| |
Kasper Dupont (08-12-2004)
| Kommentar Fra : Kasper Dupont |
Dato : 08-12-04 16:28 |
|
Simon Lyngshede wrote:
>
> Er der andre der har erfaringer med at IDE diske simplethen er af så
> dårlig kvalitet at de bryder sammen efter mindre end et år, selv på
> simple mail systemer med?
Derhjemme har jeg et raid-5 system med tre diske på hver 160GB.
I løbet af ca. et halvt år har jeg haft fire diskfejl. Det har
været med Seagate og Mator harddiske. Jeg overvejer meget
alvorligt at gå over til raid-6.
>
> Hvor meget skal man i øvrigt ligge i "Faulty Disk"? Kan man ligeså godt
> søge om ophugningsstøtte med det samme, eller kan det betale sig at
> forsøge at redde den?
Jeg er ikke sikker. Dem der er blevet sparket ud af mit raid
har sikkert godt kunnet sættes ind i raidet igen. Det har jeg
dog kun gjort den første gang, hvor jeg ikke havde nogen ny
disk ved hånden. Spørgsmålet er, hvor stor en risiko man er
villig til at løbe. Med raid-6 turde jeg godt sætte en faulty
disk tilbage i raidet og se hvor længe den overlevede, før
den blev sparket ud igen. Jeg mener Linux SW raid er lidt for
hurtig til at markere en disk som faulty. En enkelt læsefejl
er vist nok til, at den giver helt op. Som minimum burde den
blive ved med at bruge disken indtil den er færdig med
rekonstruktionen.
> Ind til videre flår jeg konskvent faulty disks ud
> af RAID arrayet og erstatter dem med ny, jeg har ikke ret meget lyst til
> at gamble med en mail server en hel organisation er afhængig af.
Spørgsmålet er om man overhovedet tør stole på raid-5. Hvis
der opstår en dårlig sektor, som ikke bliver opdaget med det
samme, og der på et senere tidspunkt er en anden disk, som
står helt af, så har man et problem. En raid-6 løsning, som
samtidig kan finde ud af at læse de gode sektorer efter en
disk har fået de første dårlige sektorer ville nok være mere
pålidelig.
Hvis man vælger at køre raid-1 er spørgsmålet så, hvor mange
diske man vil spejle over. Ovenstående argumentation vil jeg
så bruge for, at vigtige data burde spejles over tre diske.
Man skal selvfølgelig huske på, at ingen raid løsning kan
gardere dig fuldstændigt mod hardware og software fejl. En
backup er stadig nødvendigt.
>
> Men hovedsagligt, er IDE virkelig så ringe som jeg efterhånden har fået
> indtryk af?
Jeg er så småt ved at få det samme indtryk.
--
Kasper Dupont
| |
Simon Lyngshede (08-12-2004)
| Kommentar Fra : Simon Lyngshede |
Dato : 08-12-04 16:45 |
|
Kasper Dupont wrote:
> Hvis man vælger at køre raid-1 er spørgsmålet så, hvor mange
> diske man vil spejle over. Ovenstående argumentation vil jeg
> så bruge for, at vigtige data burde spejles over tre diske.
>
Jeg burde have tre disk, men jeg har kun to.. Faktisk ville fire være
rart, mirror på 3, og en spare.
> Man skal selvfølgelig huske på, at ingen raid løsning kan
> gardere dig fuldstændigt mod hardware og software fejl. En
> backup er stadig nødvendigt.
>
Oh ja, hvor mange gang har jeg ikke måtte forklare folk at RAID ikke er
backup. Vores mail server laver backup via AFS til filserveren hver nat,
et par timer senere smider filserveren dem ned på et bånd.
--
Simon
| |
Michael Rasmussen (08-12-2004)
| Kommentar Fra : Michael Rasmussen |
Dato : 08-12-04 23:34 |
|
On Wed, 08 Dec 2004 16:27:45 +0100, Kasper Dupont wrote:
>
> Jeg er så småt ved at få det samme indtryk.
Mine erfaringer er, at som hjemmeserver er det ok med IDE, men diske brugt
i mere seriøse raid-opsætninger bør være SCSI. SCSI er stadigvæk
suverænt hurtigst til håndtere flere samtidige request. Message queueing
på IDE er efter min mening ikke meget bevendt.
--
Hilsen/Regards
Michael Rasmussen
http://keyserver.veridis.com:11371/pks/lookup?op=get&search=0xE3E80917
| |
Kasper Dupont (09-12-2004)
| Kommentar Fra : Kasper Dupont |
Dato : 09-12-04 13:30 |
|
Michael Rasmussen wrote:
>
> Message queueing
> på IDE er efter min mening ikke meget bevendt.
Så vidt jeg ved er Deskstar de eneste IDE diske, der
overhovedet understøtter det. Og som med alt andet på
en IDE bus, så virker det vist kun ordentligt, hvis
drevet sidder alene på IDE bussen.
Har du afprøvet det med Deskstar diske? Og hvilke
problemer gav det?
Så vidt jeg har forstået skulle SATA give nogle
væsentlige forbedringer på det punkt. Så kan det
overhovedet betale sig at bruge SCSI fremfor SATA?
Hvis vi nu forestiller os følgende to hyptetiske
konfigurationer:
SCSI:
2 Maxtor 73.4GB SCSI diske á 1750kr
raid 1
total pris 3500kr
logisk capacitet ca. 73GB.
SATA:
7 Maxtor 80GB SATA diske á 449kr.
raid 1+0 3 mirrors 1 hot spare
total pris 3143kr
logisk capacitet ca. 148GB
Hvem tør så byde på, hvilken, der giver den
bedste sikkerhed og performance?
--
Kasper Dupont
| |
Kasper Dupont (09-12-2004)
| Kommentar Fra : Kasper Dupont |
Dato : 09-12-04 13:44 |
|
Kasper Dupont wrote:
>
> Hvis vi nu forestiller os følgende to hyptetiske
> konfigurationer:
>
> SCSI:
> 2 Maxtor 73.4GB SCSI diske á 1750kr
> raid 1
> total pris 3500kr
> logisk capacitet ca. 73GB.
>
> SATA:
> 7 Maxtor 80GB SATA diske á 449kr.
> raid 1+0 3 mirrors 1 hot spare
> total pris 3143kr
> logisk capacitet ca. 148GB
>
> Hvem tør så byde på, hvilken, der giver den
> bedste sikkerhed og performance?
Det kan være jeg lige skal fortælle hvordan jeg kom
frem til de forslag. Jeg gik ind på edbpriser.dk og
fandt den SCSI disk hvor man fik mest kapacitet for
pengene, og antog to af dem sat i raid.
Dernæst overvejede jeg, hvordan jeg med SATA kunne
have en chance for at matche både pris, sikkerhed
og performance. Jeg beslutede mig for tre mirrors
og en hot spare for at forbedre sikkerhed. Desuden
en stripe over to diske for at forbedre performance.
Det giver syv diske i alt, så jeg kan højst bruge
500kr pr. SATA disk. Jeg undersøgte så hvilken SATA
disk i den prisklasse, der gav mest kapacitet for
pengene.
Jeg har ikke råd til at lave en benchmark af
ovenstående, men jeg vil formode, at SATA løsningen
vil give en blændende performance specielt ved
læsninger. Skidt med om SATA disken kan håndtere
tre samtidige læsninger, de kan bare sendes til
hver sin disk. Og hvis man har flere end det, så
er der stadig en god chance for, at de ikke alle
ryger til samme side i mit raid 0 og kan derfor
udnytte næsten alle seks diske samtidigt.
Jeg har i udregningerne ikke taget højde for
controller og kabler. Men jeg vil da umiddelbart
tro, at en SCSI controller koster mere end to gode
SATA controllere med fire kanaler hver.
--
Kasper Dupont
| |
Christian Iversen (09-12-2004)
| Kommentar Fra : Christian Iversen |
Dato : 09-12-04 15:43 |
|
Kasper Dupont wrote:
> Kasper Dupont wrote:
>>
>> Hvis vi nu forestiller os følgende to hyptetiske
>> konfigurationer:
>>
>> SCSI:
>> 2 Maxtor 73.4GB SCSI diske á 1750kr
>> raid 1
>> total pris 3500kr
>> logisk capacitet ca. 73GB.
>>
>> SATA:
>> 7 Maxtor 80GB SATA diske á 449kr.
>> raid 1+0 3 mirrors 1 hot spare
>> total pris 3143kr
>> logisk capacitet ca. 148GB
>>
>> Hvem tør så byde på, hvilken, der giver den
>> bedste sikkerhed og performance?
>
> [snip meget interessant post]
>
> Jeg har i udregningerne ikke taget højde for
> controller og kabler. Men jeg vil da umiddelbart
> tro, at en SCSI controller koster mere end to gode
> SATA controllere med fire kanaler hver.
Jeg har haft stor success med at købe brugte SCSI-controllere... men det
"gælder" selvfølgelig ikke :)
--
M.V.H
Christian Iversen
| |
Michael Rasmussen (09-12-2004)
| Kommentar Fra : Michael Rasmussen |
Dato : 09-12-04 17:19 |
|
On Thu, 09 Dec 2004 13:30:24 +0100, Kasper Dupont wrote:
>
> Hvem tør så byde på, hvilken, der giver den bedste sikkerhed og
> performance?
Har du nogen ide om levetid for SATA contra SCSI? Det skal vel også med i
beregningen?
Jeg har selv haft samme tanker som dig, men har dog ingen erfaringer med
SATA. Hvordan med message queuing i SATA, findes der
dokumentation/benchmarks for det?
--
Hilsen/Regards
Michael Rasmussen
http://keyserver.veridis.com:11371/pks/lookup?op=get&search=0xE3E80917
| |
Henrik Olesen (08-12-2004)
| Kommentar Fra : Henrik Olesen |
Dato : 08-12-04 17:03 |
|
"Simon Lyngshede" <simon@giraf.spiceweasel.dk> skrev i en meddelelse
news:pan.2004.12.08.13.42.11.741387@giraf.spiceweasel.dk...
> Men hovedsagligt, er IDE virkelig så ringe som jeg efterhånden har fået
> indtryk af?
Det er ikke sikkert at det er disken som er problemet. Jeg har været udsat
for at en defekt IDE controller resulterede i at den ene disk blev markeret
som fejlbehæftet hver anden uge. Hvis din mailserver begynder at markere
dine diske som befæktede med højere frekvens kan det være du skulle kigge på
controlleren. Men at en IDE disk kun holder under et år er ikke
overraskende. Vi har selv udskiftet en del Maxtor diske som var under et år.
--
Med venlig hilsen
Henrik Olesen
Blue Systems
| |
Lars P. Magnussen (08-12-2004)
| Kommentar Fra : Lars P. Magnussen |
Dato : 08-12-04 18:24 |
|
> Hvis din mailserver begynder at markere
> dine diske som befæktede med højere frekvens kan det være du skulle
kigge på
> controlleren. Men at en IDE disk kun holder under et år er ikke
> overraskende. Vi har selv udskiftet en del Maxtor diske som var under
et år.
>
Hvor varmt er der i den mailserver ?
Jeg tænker både på controllerkortet og harddiskene. Det er jo ikke altid
kabinettérne er lige smart designet.
Mvh
Lars P. Magnussen
---
Outgoing mail is certified Virus Free.
Checked by AVG anti-virus system ( http://www.grisoft.com).
Version: 6.0.807 / Virus Database: 549 - Release Date: 07-12-2004
| |
Simon Lyngshede (08-12-2004)
| Kommentar Fra : Simon Lyngshede |
Dato : 08-12-04 19:19 |
|
On Wed, 08 Dec 2004 18:23:57 +0100, Lars P. Magnussen wrote:
>>
> Hvor varmt er der i den mailserver ?
> Jeg tænker både på controllerkortet og harddiskene. Det er jo ikke altid
> kabinettérne er lige smart designet.
>
Og derfor er der monteret ekstra blæsere ved diskene.
Jeg giver dig helt ret, mange kabinetter er rigtigt dårligt designet, en
af de få fordele mærkevare servere har er netop kabinetter med et
gennemtænkt airflow.
--
Simon Lyngshede
simon@giraf.spiceweasel.dk
Remove long necked animal.
| |
Kasper Dupont (08-12-2004)
| Kommentar Fra : Kasper Dupont |
Dato : 08-12-04 23:36 |
|
Henrik Olesen wrote:
>
> "Simon Lyngshede" <simon@giraf.spiceweasel.dk> skrev i en meddelelse
> news:pan.2004.12.08.13.42.11.741387@giraf.spiceweasel.dk...
> > Men hovedsagligt, er IDE virkelig så ringe som jeg efterhånden har fået
> > indtryk af?
>
> Det er ikke sikkert at det er disken som er problemet. Jeg har været udsat
> for at en defekt IDE controller resulterede i at den ene disk blev markeret
> som fejlbehæftet hver anden uge.
Hvordan skelner du? Hvis en disk bliver ved med at
melde læsefejl på de samme sektorer kan det vel kun
være disken selv, der er fejl på.
På den anden side, hvis man totalt mister forbindelsen
til en disk og alt tilsyneladende fungerer fejlfrit
efter en genstart, så er det svært at gennemskue, om
fejlen har ligget i disken eller controleren. Det er
sket for mig to gange med to forskellige diske på to
forskellige controllere.
Den første gang var fænomenet ledsaget af mislyde fra
disken, hvorfor jeg mener det må have været en diskfejl.
--
Kasper Dupont
| |
Ukendt (09-12-2004)
| Kommentar Fra : Ukendt |
Dato : 09-12-04 00:05 |
|
"Simon Lyngshede" <simon@giraf.spiceweasel.dk> skrev i en meddelelse
news:pan.2004.12.08.13.42.11.741387@giraf.spiceweasel.dk...
> Jeg ved godt det egentligt på mange måder høre hjemme i en hardware
> gruppe, men det handler også lidt om Linux software RAID og mail systemer.
>
> Jeg er på vej ud for at skifte en fejlet IDE disk i en mail server,
> heldigvis er det RAID 1, så boksen kører stadig (rart når man er for
> dum til at have en disk på lager). Det er andengang indenfor et par
> måneder at en disk fejler, i begge tilfælle er diskene under et år
> gamle. Alle emails ligger i Maildirs, hvilket naturligt nok resulterer i
> en del aktivitet på diskene når folk checker deres mail igennem IMAP.
>
> Er der andre der har erfaringer med at IDE diske simplethen er af så
> dårlig kvalitet at de bryder sammen efter mindre end et år, selv på
> simple mail systemer med?
>
> Hvor meget skal man i øvrigt ligge i "Faulty Disk"? Kan man ligeså godt
> søge om ophugningsstøtte med det samme, eller kan det betale sig at
> forsøge at redde den? Ind til videre flår jeg konskvent faulty disks ud
> af RAID arrayet og erstatter dem med ny, jeg har ikke ret meget lyst til
> at gamble med en mail server en hel organisation er afhængig af.
>
> Men hovedsagligt, er IDE virkelig så ringe som jeg efterhånden har fået
> indtryk af?
Er vi nu sikre på at det er disken der er dårlig...
Jeg kører selv flere maskiner med software Raid og har et par gange oplevet
at Raid'en ryger.
Det har til dato altid været muligt at resync'e diskene og jeg har kun en
gang oplevet at den samme disk lavede flere fejl.
(da den ikke ville synces op i andet forsøg blev den kaseret)
Jeg mener linux er lidt hurtig til at stemple en disk som failed bare fordi
raid'en er gået ud af sync.
Lav en hotraidremove efterfulgt af en hotraidadd og du er kørende igen.
Jeg har endnu ikke oplevet at en disk døde fuldstændig.
Den disk jeg kaserede syncede fint op på 5 ud af 6 partitioner.
Rune - der har gode erfaringer med software Raid.
| |
|
|