---

Hej,

håber jeg er havnet i den rigtige gruppe, ellers beklager jeg meget. Jeg
prøvede først i dk.edb.netvaerk men det der kom nærmest et svar, var en
henvisning til denne gruppe.

Mit problem er, at jeg overvejer at skifte min synology CS407E ud med en
hjemmebygget NAS, da
jeg ikke bryder mig om performance i RAID 5, samt at den vist ikke kan
udnytte mine 4x1.5 TB diske
Mine planer går i retning af dette, som jeg gerne vil have nogle input til


Motherboard: Intel D510MO (fordi det kun bruger lidt strøm og er i mini itx
format)
Kabinet: CHENBRO ES34069(kan ikke finde andre med 4 bays, kom gerne med
forslag)
RAID Controller: 3ware 965oSE-4LPML (den billigste hardware controller jeg
har kunnet finde, men vil meget gerne have forslag fra kyndige herinde)
RAM 1-2 GB

Ser det helt tosset ud, så kom gerne med forslag og input.

Jeg har 4 WD GREEN diske på hver 1.5 TB der skal i, samt en 30GB 2,5" til
OS, som jeg regner med skal være noget Freenas eller lign.
Den skal køre RAID 5.
Den skal helst ikke larme alt for meget, da jeg desværre ikke kan gemme den
langt væk.
Der må gerne være godt hul igennem, da jeg skal afspille bluray film på to
pc'er af gangen, samtidig med at der også bliver kopieret filer til og fra
den (i pressede situationer).

Håber i kan guide mig i den rigtige retning

Vh

Poul

---

lør, 03 04 2010 kl. 22:07 +0200, skrev PK:
> Motherboard: Intel D510MO (fordi det kun bruger lidt strm og er i mini itx
> format)
> Kabinet: CHENBRO ES34069(kan ikke finde andre med 4 bays, kom gerne med
> forslag)
> RAID Controller: 3ware 965oSE-4LPML (den billigste hardware controller jeg
> har kunnet finde, men vil meget gerne have forslag fra kyndige herinde)
> RAM 1-2 GB
>
Du skal være opmærksom på at de billige raidcontrolere reelt er software
raid og derfor kan give performance tab.

> Jeg har 4 WD GREEN diske p hver 1.5 TB der skal i, samt en 30GB 2,5" til
> OS, som jeg regner med skal vre noget Freenas eller lign.
> Den skal kre RAID 5.
> Den skal helst ikke larme alt for meget, da jeg desvrre ikke kan gemme den
> langt vk.
> Der m gerne vre godt hul igennem, da jeg skal afspille bluray film p to
> pc'er af gangen, samtidig med at der ogs bliver kopieret filer til og fra
> den (i pressede situationer).
Det lyder som om du skal se på hvor meget controleren kan putte igenenn
da det nok er der og i netværket der vil være støreste flaskehalse hvis
der læses og skrives store mængder samtidig.

/a

---

Den Sat, 3 Apr 2010 22:07:44 +0200 skrev PK:
> Hej,
>
> håber jeg er havnet i den rigtige gruppe, ellers beklager jeg meget. Jeg
> prøvede først i dk.edb.netvaerk men det der kom nærmest et svar, var en
> henvisning til denne gruppe.
>
> Mit problem er, at jeg overvejer at skifte min synology CS407E ud med en
> hjemmebygget NAS, da
> jeg ikke bryder mig om performance i RAID 5, samt at den vist ikke kan
> udnytte mine 4x1.5 TB diske
> Mine planer går i retning af dette, som jeg gerne vil have nogle input til
>
>
> Motherboard: Intel D510MO (fordi det kun bruger lidt strøm og er i mini itx
> format)
> Kabinet: CHENBRO ES34069(kan ikke finde andre med 4 bays, kom gerne med
> forslag)
> RAID Controller: 3ware 965oSE-4LPML (den billigste hardware controller jeg
> har kunnet finde, men vil meget gerne have forslag fra kyndige herinde)
> RAM 1-2 GB
>
> Ser det helt tosset ud, så kom gerne med forslag og input.

Glem hardware RAID. Iflg. folkene på LKML har en moderne RAID-controller
langt højere performance end en dedikeret RAID-controller. Fordelen ved
en dedikeret kontroller er at den ikke tager performance fra
programmerne der kører på maskinen, men når vi snakker en NAS-boks, er
det nok ikke der du forventer at køre de krævende ting så som
first person shooters

Jeg mindes allerede for en del år siden at Alan Cox nævnte at han
havde kasseret en HP Netraid (aka. Ami Megaraid) controller og skiftet
til Linux software raid, og fået meget bedre performance. Det var den
raid-controller HP leverede med deres (Intel-) servere på det tidspunkt.

Det kommer dog an på hvordan Intel Atom performer i forhold til en
"rigtig " CPU.

> Jeg har 4 WD GREEN diske på hver 1.5 TB der skal i, samt en 30GB 2,5" til
> OS, som jeg regner med skal være noget Freenas eller lign.
> Den skal køre RAID 5.
> Den skal helst ikke larme alt for meget, da jeg desværre ikke kan gemme den
> langt væk.
> Der må gerne være godt hul igennem, da jeg skal afspille bluray film på to
> pc'er af gangen, samtidig med at der også bliver kopieret filer til og fra
> den (i pressede situationer).

Iflg.
ttp://www.intel.com/products/desktop/motherboards/D510MO/D510MO-overview.htm

er der kun to onboard SATA, så uanset om du vælger HW eller SW raid,
har du brug for en ekstra controller. Der er en mini-PCIe og en PCI. Kan
du finde en controller i mini-PCIe? Alm. PCI er langsommere end SATA
(en SATA-port kan flytte 300 MB/s, PCI/66 klarer 266 MB/s - og du snakker
om fire SATA-porte).

Mvh
Kent
--
"The Brothers are History"

---

Den Sat, 03 Apr 2010 22:07:44 +0200 skrev PK:

> Hej,
>
> håber jeg er havnet i den rigtige gruppe, ellers beklager jeg meget. Jeg
> prøvede først i dk.edb.netvaerk men det der kom nærmest et svar, var en
> henvisning til denne gruppe.
>
> Mit problem er, at jeg overvejer at skifte min synology CS407E ud med en
> hjemmebygget NAS, da
> jeg ikke bryder mig om performance i RAID 5, samt at den vist ikke kan
> udnytte mine 4x1.5 TB diske
> Mine planer går i retning af dette, som jeg gerne vil have nogle input
> til
>
> Motherboard: Intel D510MO (fordi det kun bruger lidt strøm og er i mini
> itx format)
> Kabinet: CHENBRO ES34069(kan ikke finde andre med 4 bays, kom gerne
> med forslag)
> RAID Controller: 3ware 965oSE-4LPML (den billigste hardware controller
> jeg har kunnet finde, men vil meget gerne have forslag fra kyndige
> herinde) RAM 1-2 GB
>
> Ser det helt tosset ud, så kom gerne med forslag og input.
>
> Jeg har 4 WD GREEN diske på hver 1.5 TB der skal i, samt en 30GB 2,5"
> til OS, som jeg regner med skal være noget Freenas eller lign. Den skal
> køre RAID 5.
> Den skal helst ikke larme alt for meget, da jeg desværre ikke kan gemme
> den langt væk.
> Der må gerne være godt hul igennem, da jeg skal afspille bluray film på
> to pc'er af gangen, samtidig med at der også bliver kopieret filer til
> og fra den (i pressede situationer).
>
> HÃ¥ber i kan guide mig i den rigtige retning

Hmm. Du skal have 4 sata-diske i kabinettet, så det kan vel ikke være så
lille et kabinet.

jeg synes de kabinetter jeg har set kun har plads til 3 sata-diske, så kig
lige efter om dit kabinet kan klare dette.

Da du skal have et lidt større kabinet, kan du lige så godt få et rimeligt
bundkort, helst et med mindst 4 sata-porte. Dit foreslåede bundkort har
kun 2 sata-porte.

Kør linux sw raid. Den billige HW -raid controller du taler om er vist
ikke HW raid, men kun noget fake-raid. Og Linux SW raid er langt
hurtigere, mere robust og mere fleksibelt end HW raid. Du kan fx have
flere typer raid på samme disk, fx linux raid-10 og raid5 på de samme
diske, på forskellige partitioner. Og du kan have et stort raid der kører
over flere controllere.

Du bør nok lægge systemet incl swap på raid også. Så er det beskyttet mod
at en disk går.

Hilsen
keld

---

Hej
Keld Jørn Simonsen wrote:
> Kør linux sw raid. Den billige HW -raid controller du taler om er vist
> ikke HW raid, men kun noget fake-raid. Og Linux SW raid er langt
> hurtigere, mere robust og mere fleksibelt end HW raid.

Jeg har ikke helt samme erfaring, som du.
Jeg prøvede i en periode, lidt forskellige setups med RAID5. både Win
soft-raid, linux soft-raid og til sidst en ægte hardware controller fra
promise. Intet af det jeg prøvede kunne måle sig op imod controlleren.
Den fylder snildt et Gbit interface op med data, uden så meget som at
svede en enkelt dråbe.
Linux-maskinen jeg prøvede på, kunne putte ca 40-45 MB/s igennem, inden
cpu'en (en dual-core Pentium 4 3GHz) gik i knæ.
Fleksibilitet, hmm. Ingen af de ting du nævnte der, er noget problem på
promise-controlleren jeg har.

Mvh
Martin

---

Den Mon, 05 Apr 2010 20:32:44 +0200 skrev Martin [TMM]:
> Hej
> Keld Jørn Simonsen wrote:
>> Kør linux sw raid. Den billige HW -raid controller du taler om er vist
>> ikke HW raid, men kun noget fake-raid. Og Linux SW raid er langt
>> hurtigere, mere robust og mere fleksibelt end HW raid.
>
> Jeg har ikke helt samme erfaring, som du.
> Jeg prøvede i en periode, lidt forskellige setups med RAID5. både Win
> soft-raid, linux soft-raid og til sidst en ægte hardware controller fra
> promise. Intet af det jeg prøvede kunne måle sig op imod controlleren.
> Den fylder snildt et Gbit interface op med data, uden så meget som at
> svede en enkelt dråbe.
> Linux-maskinen jeg prøvede på, kunne putte ca 40-45 MB/s igennem, inden
> cpu'en (en dual-core Pentium 4 3GHz) gik i knæ.
> Fleksibilitet, hmm. Ingen af de ting du nævnte der, er noget problem på
> promise-controlleren jeg har.

Han nævner to ting i forb. med fleksibilitet:

Forskellig type raid på forskellige partitioner - en controller aner
ikke noget om partitioner.

Raid over flere controllere - hvordan skulle controlleren se de diske
der ikke sidder på samme controller?

Hvordan kan det være "ikke noget problem" på din promise controller?

Mvh
Kent
--
"The Brothers are History"

---

Kent Friis wrote:

> Raid over flere controllere - hvordan skulle controlleren se de diske
> der ikke sidder på samme controller?

Det er der nu visse controllere der kan, men det er langt fra alle.

--
MVH. N_B_DK

---

PK wrote:

> Der må gerne være godt hul igennem, da jeg skal afspille bluray film på
> to pc'er af gangen, samtidig med at der også bliver kopieret filer til
> og fra den (i pressede situationer).

Det er ikke givet at det kræver RAID5 for hastighed. Min egen home server
har kun en disk (5400 rpm), og den kan levere mellem 35 og 40 MB/sec over
NFS hvilket burde række til 2x Blu-ray streaming (op til 8 MB/sec). OS
(Linux) + swap partition ligger dog på en anden disk, ligesom du har
tænkt dig. Begrænsningen er mit motherboard (et VIA C7 EN board),
eftersom samme disk snildt kan levere 50+ MB/sec andetsteds.

Du kan ikke undgå at 4 diske vil larme "en del" (støjniveauer er
subjektive). Små trange mini-ITX kabinetter med dårlig naturlig
luftcirkulation kræver mere aktiv køling. Hvis du vil reducere støjen
skal du kigge på et stort ATX kabinet ala Antec XXX, hvor der kan være
store (800-1200mm blæsere) og hvor der er masser af luft omkring diskene.

--
Jesper Lund

---

On 05 Apr 2010 19:23:37 GMT, Jesper Lund <usenet@jesperlund.com> wrote:

>store (800-1200mm blæsere) og hvor der er masser af luft omkring diskene.

Mon ikke det er at overdrive bare lidt?
--
Mads Lie Jensen - mads@gartneriet.dk - ICQ #25478403
Gartneriet - http://www.gartneriet.dk/

---

On Mon, 05 Apr 2010 20:32:44 +0200
"Martin [TMM]" <tmm@---FJERNDETTE---trutter.dk> wrote:

> Fleksibilitet, hmm. Ingen af de ting du nævnte der, er noget problem på promise-controlleren jeg har.
>
Hvordan vil du tilgå dine data den dag, din Promise controller står af,
og du ikke kan købe en erstatning?
En anden model af harddisk controller fra Promise er ikke garanti for,
at du vil kunne læse dine data, så derfor har du vel købt en
identisk Promise controller som reserve?

--
Hilsen/Regards
Michael Rasmussen
http://pgp.mit.edu:11371/pks/lookup?op=get&search=0xE3E80917
A computer is like air conditioning: it becomes useless when you open
windows.

---

Den Mon, 05 Apr 2010 20:32:44 +0200 skrev Martin [TMM]:

> Hej
> Keld Jørn Simonsen wrote:
>> Kør linux sw raid. Den billige HW -raid controller du taler om er vist
>> ikke HW raid, men kun noget fake-raid. Og Linux SW raid er langt
>> hurtigere, mere robust og mere fleksibelt end HW raid.
>
> Jeg har ikke helt samme erfaring, som du. Jeg prøvede i en periode, lidt
> forskellige setups med RAID5. både Win soft-raid, linux soft-raid og til
> sidst en ægte hardware controller fra promise. Intet af det jeg prøvede
> kunne måle sig op imod controlleren. Den fylder snildt et Gbit interface
> op med data, uden så meget som at svede en enkelt dråbe.

Linux sw raid kører da også snilt 1 Gbit/s; med 4 SATA drev skulle man
gerne kunne få en ca 2 Gbit/s eller 240 MB/s igennem.

> Linux-maskinen jeg prøvede på, kunne putte ca 40-45 MB/s igennem, inden
> cpu'en (en dual-core Pentium 4 3GHz) gik i knæ. Fleksibilitet, hmm.

Hvornår kørte du det med Linux? Det lyder som noget gammelt noget.
Vi taler om sekventiel læsning, ikke sandt?

> Ingen af de ting du nævnte der, er noget problem på promise-controlleren
> jeg har.

Jeg talte om en billig HW controller.

Nyere dyere HW controllere er da hurtigere. Men Linux SW raid er nok
hurtigere end de fleste større HW RAID controllere, ifølge de benchmarks
jeg har set. Linix SW raid-10 (F2) er hurtigere end de fleste HW raid-1
og Linux raid5 er ca lige så hurtigt som HW raid5.


Anyway, jeg ser at den HW controller 3ware 965oSE-4LPML som foreslås
koster ca 400 USD. Det synes jeg ikke er specielt billigt. Men den leverer
rigtig HW RAID. Stadigvæk, til opgaven, og jeg formoder at NAS er
forbundet med en 1 Gbit/s ethernet, så er SW raid fuldt ud tildtrækkeligt.
Ethernettet vil være flaskehalsen. Og hvis der bare skal streames 2 blue-
ray filer, så er det ikke alverden der kræves.


Lidt forslag til opsætning: https://raid.wiki.kernel.org/index.php/
Preventing_against_a_failing_disk

Lidt om performance: https://raid.wiki.kernel.org/index.php/Performance

Hilsen
keld

---

Keld Jørn Simonsen wrote:
> Nyere dyere HW controllere er da hurtigere. Men Linux SW raid er nok
> hurtigere end de fleste større HW RAID controllere, ifølge de
> benchmarks jeg har set. Linix SW raid-10 (F2) er hurtigere end de
> fleste HW raid-1 og Linux raid5 er ca lige så hurtigt som HW raid5.

Sammenlign lige æbler med æbler, og ikke som nu pærer og æbler, et RAID 10
bør alt andet lige være hurtigere end et RAID1.

> Anyway, jeg ser at den HW controller 3ware 965oSE-4LPML som foreslås
> koster ca 400 USD. Det synes jeg ikke er specielt billigt.

2000 for en controller anser jeg ikke som værende dyrt.

--
MVH. N_B_DK

---

Den Tue, 06 Apr 2010 08:30:58 +0200 skrev N_B_DK:

> Keld Jørn Simonsen wrote:
>> Nyere dyere HW controllere er da hurtigere. Men Linux SW raid er nok
>> hurtigere end de fleste større HW RAID controllere, ifølge de
>> benchmarks jeg har set. Linix SW raid-10 (F2) er hurtigere end de
>> fleste HW raid-1 og Linux raid5 er ca lige så hurtigt som HW raid5.
>
> Sammenlign lige æbler med æbler, og ikke som nu pærer og æbler, et RAID
> 10 bør alt andet lige være hurtigere end et RAID1.

Linux RAID 10 er ca RAID-1 i normal forstand. Linux RAID 10 er bare et
galt navn markedsføringsmæssigt. Fx er Linux RAID 10 O2 en implementering
af en variant af RAID-1 standarden, Linux RAID 10 N2 er ret præcist det
samme som RAID-1 i standardversion, og Linux RAID-10 F2 bare en noget
smartere udgave af RAID-1. Derfor sammenligner jeg det rigtige.

>> Anyway, jeg ser at den HW controller 3ware 965oSE-4LPML som foreslås
>> koster ca 400 USD. Det synes jeg ikke er specielt billigt.
>
> 2000 for en controller anser jeg ikke som værende dyrt.

MÃ¥ske ikke, men det er nok helt overkill til den foreliggende opgave.
Linux raid5 er ca lige så hurtigt som HW raid5, og kan med 4 diske sagtens
føde en 1 gigabit linje. Og kravet til at afspille 2 blueray film er langt
mindre end 1 gigabit.

---

On 06 Apr 2010 18:02:57 GMT, Keld Jørn Simonsen <keld@dkuug.dk> wrote:

> Linux raid5 er ca lige så hurtigt som HW raid5

På min server derhjemme (2 dual-core AMD Opteron CPU'er) er Linux
RAID5 *væsentligt* hurtigere end hardware RAID5. (En 3ware 9xxx-
controller, som jeg ikke lige kan huske nummeret på).

-A
--
http://www.hojmark.org/

---

Den Tue, 06 Apr 2010 21:06:04 -0700 skrev Asbjorn Hojmark:

> On 06 Apr 2010 18:02:57 GMT, Keld Jørn Simonsen <keld@dkuug.dk> wrote:
>
>> Linux raid5 er ca lige så hurtigt som HW raid5
>
> PÃ¥ min server derhjemme (2 dual-core AMD Opteron CPU'er) er Linux RAID5
> *væsentligt* hurtigere end hardware RAID5. (En 3ware 9xxx- controller,
> som jeg ikke lige kan huske nummeret på).


Jaja, det var jo også det jeg mente, men der er nogen folk der synes det
er meget provokerende at skrive, se andet indlæg. Man får jo mere for
pengene ved ikke at bruge dem! Den viser at SW RAID i nogen tilfælder er
10 % hurtigere, og i nogen tilfælde 10 % langsommere. Det er vel ikke
noget at ofre penge på så, når behovet er langt mindre, fx læsning af to
blu-ray strømme samtidigt.

Den omtalte test http://www.linux.com/feature/140734|RAID fik bla denne
kommentar (som er mest skrevet af mig):

In July 2008, Ben Martin made a test comparing HW and SW raid with 6
disks. The HW raid was a quite expensive USD 800 Adaptec SAS-31205 PCI
Express 12-SATA-port PCI-E x8 hardware RAID card. Compared raid types
included 5, 6 and 10,n2. Some conclusions: The difference is not big
between the expensive HW raid controller and Linux SW RAID. For raid5
Linux was 30 % faster (440 MB/s vs 340 MB/s) for reads. For writes Adaptec
was about 25 % faster (220 MB/s vs 175 MB/s). Keld's remarks: The Adaptec
controller actually slowed down disk reading, the single disk read on the
motherboard was 90 MB/s while via the Adaptec controller it was only 70 MB/
s. Writing was faster, tho. raid10,f2 and raid10,o2 was not included in
the test. Ben reported the Adaptec controller to give around 310 MB/s read
performance for raid1, while a raid10,f2 would probably have given around
400 MB/s via the Adaptec controller, and around 600 MB/s with the 6 disks
on the motherboard SATA controller and a reasonable extra contoller, given
other benchmarks as noted in this section, giving raid10,f2 a 95 %
utilization of the cumulated IO bandwidth. For raid5 the read/write
difference could possibly be explained by which chunk size to use, in
Linux raid5 reading improves with bigger chunk sizes, while writing
degrades.

Har du nogen tal?

Hilsen
keld

---

Den 07 Apr 2010 12:39:43 GMT skrev Keld Jørn Simonsen:
> Den Tue, 06 Apr 2010 21:06:04 -0700 skrev Asbjorn Hojmark:
>
>> On 06 Apr 2010 18:02:57 GMT, Keld Jørn Simonsen <keld@dkuug.dk> wrote:
>>
>>> Linux raid5 er ca lige så hurtigt som HW raid5
>>
>> På min server derhjemme (2 dual-core AMD Opteron CPU'er) er Linux RAID5
>> *væsentligt* hurtigere end hardware RAID5. (En 3ware 9xxx- controller,
>> som jeg ikke lige kan huske nummeret på).
>
>
> Jaja, det var jo også det jeg mente, men der er nogen folk der synes det
> er meget provokerende at skrive, se andet indlæg. Man får jo mere for
> pengene ved ikke at bruge dem! Den viser at SW RAID i nogen tilfælder er
> 10 % hurtigere, og i nogen tilfælde 10 % langsommere. Det er vel ikke
> noget at ofre penge på så, når behovet er langt mindre, fx læsning af to
> blu-ray strømme samtidigt.
>
> Den omtalte test http://www.linux.com/feature/140734|RAID fik bla denne
> kommentar (som er mest skrevet af mig):
>
> In July 2008, Ben Martin made a test comparing HW and SW raid with 6
> disks. The HW raid was a quite expensive USD 800 Adaptec SAS-31205 PCI
> Express 12-SATA-port PCI-E x8 hardware RAID card. Compared raid types
> included 5, 6 and 10,n2. Some conclusions: The difference is not big
> between the expensive HW raid controller and Linux SW RAID. For raid5
> Linux was 30 % faster (440 MB/s vs 340 MB/s) for reads. For writes Adaptec
> was about 25 % faster (220 MB/s vs 175 MB/s). Keld's remarks: The Adaptec
> controller actually slowed down disk reading, the single disk read on the
> motherboard was 90 MB/s while via the Adaptec controller it was only 70 MB/
> s. Writing was faster, tho. raid10,f2 and raid10,o2 was not included in
> the test. Ben reported the Adaptec controller to give around 310 MB/s read
> performance for raid1, while a raid10,f2 would probably have given around
> 400 MB/s via the Adaptec controller, and around 600 MB/s with the 6 disks
> on the motherboard SATA controller and a reasonable extra contoller, given
> other benchmarks as noted in this section, giving raid10,f2 a 95 %
> utilization of the cumulated IO bandwidth. For raid5 the read/write
> difference could possibly be explained by which chunk size to use, in
> Linux raid5 reading improves with bigger chunk sizes, while writing
> degrades.

Det lyder ikke som en controller i den billige ende. Det bekræfter blot
hvad jeg startede med at skrive, at HW RAID ikke er for rå disk-
performance, men for at CPU'en ikke skal spilde tid på disk der kunne
være brugt bedre til andre ting.

I en NAS-boks er det disk performance det handler om, ikke hvor meget
CPU software-raid stjæler fra økonomi-systemet.

Mvh
Kent
--
"The Brothers are History"