---

Hej gruppe

Hvorfor modsiger Linux altid sig selv?

Jeg kæmper en ulige kamp med at få opsat et RAID 1. Jeg er nået så
langt at jeg kan lave et med:

mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sd[ab]

Det ser ud til at gå fint f.eks. siger cat /proc/mdstat følgende:

Personalities : [raid1]
read_ahead 1024 sectors
md0 : active raid1 scsi/host1/bus0/target0/lun0/disc[1]
scsi/host0/bus0/target0/lun0/disc[0]
156290816 blocks [2/2] [UU]
[========>............] resync = 41.5% (64916032/156290816)
finish=29.7min speed=51191K/sec
unused devices: <none>

Når den er færdig med det tror jeg da nok den køre. Så forsøger jeg at
lukke ned, der kan jeg også se at den stopper.

Problemerne komme først når jeg starter maskinen igen. Jeg havde ikke
forventet at den autostartede, det kan man jo læse alle steder at det
komplet umulig for alm. dødelige at få til at virke.

Jeg havde dog forventet at jeg kunne starte igen med:
mdadm --misc --run md0

Men den siger at md0 ikke findes. Laver jeg en
mdadm --misc --query /dev/md0
Får jeg følgende:
/dev/md0: is an md device which is not active
Altså findes den, kikker man i /dev så er den også der.

Men hvorfor vil den så ikke starte?

--
Med venlig hilsen
Michael Vendelbo

---

On Wed, 28 Dec 2005 20:49:58 +0100, Michael Vendelbo wrote:

>Men hvorfor vil den så ikke starte?

mdadm --misc --examine /dev/md0

Siger at: /dev/md0 is too small for md

Det er jo sort snak... hvordan kan den være for lille?

--
Med venlig hilsen
Michael Vendelbo

---

On Wed, 28 Dec 2005 20:49:58 +0100, Michael Vendelbo wrote:

> mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sd[ab]

Det er det rene gøg og gokke. Efter at have kørt ovenstående endnu
engang, har jeg igen et kørende RAID 1.

Så prøver jeg at stoppe den, det gør jeg med:
mdadm --misc --stop /dev/md0

Den stopper uden brok overhovedet! Altså skulle jeg vel kunne starte
den igen med:
mdadm --misc --run /dev/md0

Men nej, nu findes md0 igen ikke.

--
Med venlig hilsen
Michael Vendelbo

---

On Wed, 28 Dec 2005 23:13:24 +0100, Michael Vendelbo wrote:

>Men nej, nu findes md0 igen ikke.

forsøger man så igen at køre
mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sd[ab]

Så får man at vide at md0 findes.

mdadm: /dev/sda appears to be part of a raid array:
level=1 devices=2 ctime=Wed Dec 28 23:44:45 2005
mdadm: /dev/sdb appears to be part of a raid array:
level=1 devices=2 ctime=Wed Dec 28 23:44:45 2005

Jeg fatter ikke en brik. Håber der er en der kan skære ud i pap
hvorfor og hvad der går galt. Alternativerne bryder jeg mig nemlig
ikke om... det er enten at skifte debian ud med windows eller køre
uden RAID.

--
Med venlig hilsen
Michael Vendelbo

---

Michael Vendelbo <news@mixeren.com> wrote:

> Hvorfor modsiger Linux altid sig selv?

Det gør det da ikke.

> Jeg kæmper en ulige kamp med at få opsat et RAID 1. Jeg er nået så
> langt at jeg kan lave et med:
> mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sd[ab]

Korrekt.

>
> Det ser ud til at gå fint f.eks. siger cat /proc/mdstat følgende:
> 156290816 blocks [2/2] [UU]

Også fint.

> Problemerne komme først når jeg starter maskinen igen. Jeg havde ikke
> forventet at den autostartede, det kan man jo læse alle steder at det
> komplet umulig for alm. dødelige at få til at virke.

Hvor er alle de steder man kan læse det? Jeg synes ikke at være stødt på
det, og bruger det også på mange maskiner uden problemer, og jeg
betragter da mig selv som værende almindelig dødelig.
RAID-understøttelse kompilet ind i kernen og så type "fd" på
partitionerne, så går det helt af sig selv.

>
> Jeg havde dog forventet at jeg kunne starte igen med:
> mdadm --misc --run md0
>
> Men den siger at md0 ikke findes. Laver jeg en
> mdadm --misc --query /dev/md0
> Får jeg følgende:
> /dev/md0: is an md device which is not active
> Altså findes den, kikker man i /dev så er den også der.

Du spørger på devicet, som ikke er startet, altså findes det ikke.

> Men hvorfor vil den så ikke starte?

Har du lavet en config-fil til mdadm? Ellers ved den ikke noget om
hvilke devices md0 består af.

--
-René

---

On 28 Dec 2005 23:40:57 GMT, Rene Joergensen wrote:

>Har du lavet en config-fil til mdadm? Ellers ved den ikke noget om
>hvilke devices md0 består af.

Ja så er det jo nok der kæden er hoppet af.

Jeg har nu prøvet at lave sådan en, men jeg må misforstå et eller
andet.

Jeg har følgende i i /etc/mdadm/mdadm.conf:

DEVICE /dev/sda /dev/sdb
ARRAY /dev/md0 level=raid1 num-devices=2
UUID=5e932161:a4568732:870b7cd1:1dd3e0ca

--
Med venlig hilsen
Michael Vendelbo

---

Michael Vendelbo wrote:
> Jeg har nu prøvet at lave sådan en, men jeg må misforstå et eller
> andet.

Har du sat partitionstyperne til fd?

> DEVICE /dev/sda /dev/sdb

Hvis du raid'er hele diske er det klart det ikke virker, sådan
virker md nemlig ikke, det er partitioner man spejler.

// Hans
--
Leveret af http://enterprise-server.dk
"Vejen til en professionel løsning"

---

Hans Joergensen <haj@enterprise-server.dk> writes:

> Hvis du raid'er hele diske er det klart det ikke virker, sådan
> virker md nemlig ikke, det er partitioner man spejler.

Hmm, det virker nu fint her.

% cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 sdb[0] sdc[1]
312571136 blocks [2/2] [UU]


/Claus A

---

Claus Alboege wrote:
>> Hvis du raid'er hele diske er det klart det ikke virker, sådan
>> virker md nemlig ikke, det er partitioner man spejler.
> Hmm, det virker nu fint her.
> % cat /proc/mdstat
> Personalities : [raid1]
> md0 : active raid1 sdb[0] sdc[1]
> 312571136 blocks [2/2] [UU]

Jada, man kan sagtens, men kan du også bygge partitioner på dit
spejl? og kan kernen finde dine arrays automatisk når du booter?

// Hans
--
Leveret af http://enterprise-server.dk
"Vejen til en professionel løsning"

---

Hej,

Hans Joergensen <haj@enterprise-server.dk> writes:
> Claus Alboege wrote:
>>> Hvis du raid'er hele diske er det klart det ikke virker, sådan
>>> virker md nemlig ikke, det er partitioner man spejler.
>> Hmm, det virker nu fint her.
>> % cat /proc/mdstat
>> Personalities : [raid1]
>> md0 : active raid1 sdb[0] sdc[1]
>> 312571136 blocks [2/2] [UU]
>
> Jada, man kan sagtens, men kan du også bygge partitioner på dit
> spejl?

Hvordan skulle det være forskelligt fra om spejlet er bygget på
partitioner? Men jo, med LVM kan man.

> og kan kernen finde dine arrays automatisk når du booter?

Det tror jeg ikke, nej - det har ikke været nødvendigt, og derfor ikke
undersøgt nærmere. Jeg skal checke ved næste reboot


/Claus A

---

On 29 Dec 2005 12:31:19 GMT, Hans Joergensen wrote:

>Har du sat partitionstyperne til fd?

Ja det har jeg vist fået gjort nu. Og det lader til at det virker.

# cat /proc/mdstat
Personalities : [raid1]
read_ahead 1024 sectors
md0 : active raid1 scsi/host0/bus0/target0/lun0/disc[0]
scsi/host1/bus0/target0/lun0/disc[1]
156290816 blocks [2/2] [UU]

Det svare den efter en opstart uden at jeg har forsøgt noget.

>Hvis du raid'er hele diske er det klart det ikke virker, sådan
>virker md nemlig ikke, det er partitioner man spejler.

fdisk /dev/sda -l siger:

Disk /dev/sda: 160.0 GB, 160041885696 bytes
255 heads, 63 sectors/track, 19457 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sda1 * 1 19119 153573336 fd Linux raid
autodetect
/dev/sda2 19120 19457 2714985 5 Extended
/dev/sda5 19120 19457 2714953+ 82 Linux swap /
Solaris

Er det så korrekt opfattet at det er /dev/sda1 den spejler?

fdisk /dev/sdb -l siger det samme.

Indholdet i /etc/mdadm/mdadm.conf er:
DEVICE /dev/sda /dev/sdb
ARRAY /dev/md0 level=raid1 num-devices=2
UUID=5e932161:a4568732:870b7cd1:1dd3e0c

Men der behøves måske slet ikke står noget, når autostart virker?

--
Med venlig hilsen
Michael Vendelbo

---

On Thu, 29 Dec 2005 14:58:35 +0100, Michael Vendelbo wrote:

>Indholdet i /etc/mdadm/mdadm.conf er:
>DEVICE /dev/sda /dev/sdb
>ARRAY /dev/md0 level=raid1 num-devices=2
>UUID=5e932161:a4568732:870b7cd1:1dd3e0c
>
>Men der behøves måske slet ikke står noget, når autostart virker?

Ja det kan jeg så selv svare på nu. De skal være der, ellers starter
den ikke RAID op.

Tror så jeg er ved at fatte bare lidt af logikken i det.

Ud over en evt. mail adresse den kan sende til ved fejl mangler der så
noget i mdadm.conf?

--
Med venlig hilsen
Michael Vendelbo

---

On Wed, 28 Dec 2005 20:49:58 +0100, Michael wrote:

> Hvorfor modsiger Linux altid sig selv?

For at genere dig?

> Problemerne komme først når jeg starter maskinen igen. Jeg havde ikke
> forventet at den autostartede, det kan man jo læse alle steder at det
> komplet umulig for alm. dødelige at få til at virke.

De eneste tilfælde det ikke har virket for mig, har været når jeg har
glemt at sætte partitionstypen til Linux RAID (0xfd, vist).

> Jeg havde dog forventet at jeg kunne starte igen med:
> mdadm --misc --run md0

Giver den kommando mening, hvis du har stoppet hele array'et? Manualen
siger, i Misc-afsnittet:

"--run This will fully activate a partially assembled md array."

Hvis du har stoppet det helt, er det så 'partially assembled'?

Skal du så ikke bruge 'assemble' for at starte det igen? Om 'assemble'
siger manualen:

"This usage assembles one or more raid arrays from pre-existing
compo- nents. For each array, mdadm needs to know the md device, the
identity of the array, and a number of component-devices."

> Men den siger at md0 ikke findes. Laver jeg en
> mdadm --misc --query /dev/md0
> Får jeg følgende:
> /dev/md0: is an md device which is not active
> Altså findes den, kikker man i /dev så er den også der.

Alt efter hvad man bruger til /dev/ (udev, devfs etc.) er der 'filer'
der uden at det tilsvarende hard/software er der, jeg har f.eks.
/dev/isdn0-7 på en maskine der absolut intet ISDN-udstyr har.

> Men hvorfor vil den så ikke starte?

Fordi du bruger en forkert kommando?


On Wed, 28 Dec 2005 20:56:19 +0100, Michael wrote:

> On Wed, 28 Dec 2005 20:49:58 +0100, Michael Vendelbo wrote:
>> Men hvorfor vil den så ikke starte?

> mdadm --misc --examine /dev/md0

> Siger at: /dev/md0 is too small for md

> Det er jo sort snak... hvordan kan den være for lille?

Manualen siger om --examine:

"Print content of md superblock on device(s)."

så det er nok ikke meningen du skal køre den på RAID-devicet, men på
en af de underliggende partitioner (det er dem, der har superblocks).

Når jeg gør det på en af mine maskiner med sw-RAID kommer der
meningsfuld uddata.


On Wed, 28 Dec 2005 23:13:24 +0100, Michael wrote:

> On Wed, 28 Dec 2005 20:49:58 +0100, Michael Vendelbo wrote:
>> mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sd[ab]

> Det er det rene gøg og gokke. Efter at have kørt ovenstående endnu
> engang, har jeg igen et kørende RAID 1.

> Så prøver jeg at stoppe den, det gør jeg med:
> mdadm --misc --stop /dev/md0

> Den stopper uden brok overhovedet! Altså skulle jeg vel kunne starte
> den igen med:
> mdadm --misc --run /dev/md0

> Men nej, nu findes md0 igen ikke.

Tjah, når du giver samme forkerte kommando igen, så får du samme
resultat. Det er vel forventeligt.

Hvad sker der, hvis du i stedet siger mdadm --assemble /dev/md0
/dev/sda /dev/sdb ?

(Kører du RAID på hele devices, uden at partitionere dem? Måske er det
nemmere for kernen selv at samle array'et hvis du laver partitioner og
sætter deres typer?)


On Wed, 28 Dec 2005 23:33:48 +0100, Michael wrote:

> On Wed, 28 Dec 2005 23:13:24 +0100, Michael Vendelbo wrote:
>> Men nej, nu findes md0 igen ikke.

> forsøger man så igen at køre
> mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sd[ab]

> Så får man at vide at md0 findes.

> mdadm: /dev/sda appears to be part of a raid array:
> level=1 devices=2 ctime=Wed Dec 28 23:44:45 2005
> mdadm: /dev/sdb appears to be part of a raid array:
> level=1 devices=2 ctime=Wed Dec 28 23:44:45 2005

Det var da pænt af den at fortælle dig, at du er ved at lave et nyt
array på nogle diske hvor du allerede har lavet et?

> Jeg fatter ikke en brik. Håber der er en der kan skære ud i pap
> hvorfor og hvad der går galt.

Prøv med assemble når du vil starte et eksisterende array og husk at
sætte partitionstyperne.

> Alternativerne bryder jeg mig nemlig ikke om... det er enten at
> skifte debian ud med windows eller køre uden RAID.

Windows er altid en god løsning


Mvh.

--
"He should have played something old Adam Sjøgren
Something melancholy and slow." asjo@koldfront.dk

---

On Thu, 29 Dec 2005 12:43:27 +0100, asjo@koldfront.dk (Adam Sjøgren)
wrote:

>De eneste tilfælde det ikke har virket for mig, har været når jeg har
>glemt at sætte partitionstypen til Linux RAID (0xfd, vist).

Hvor kommer 0x fra?

fdisk /dev/sda -l siger:
/dev/sda1 * 1 19119 153573336 fd Linux raid
autodetect
/dev/sda2 19120 19457 2714985 5 Extended
/dev/sda5 19120 19457 2714953+ 82 Linux swap /
Solaris

fdisk /dev/sdb -l siger:
/dev/sdb1 * 1 19119 153573336 fd Linux raid
autodetect
/dev/sdb2 19120 19457 2714985 5 Extended
/dev/sdb5 19120 19457 2714953+ 82 Linux swap /
Solaris

Partionerne oprettet af debian installeren, ændret til fd af mig.

Det lader dog til at de største kvaler er forsvundet ved at lukker
maskinen ned og sove et par timer.

Da jeg startede den op idag opførte den sig underlige... det var så
fordi at den ændring til Linux raid autodetct åbenbart virker.

Typisk mig, når noget lykkes, så aner jeg knap nok hvad jeg har gjort,
men i hvert fald giver cat /proc/mdstat nu følgende svar.

Personalities : [raid1]
read_ahead 1024 sectors
md0 : active raid1 scsi/host0/bus0/target0/lun0/disc[0]
scsi/host1/bus0/target0/lun0/disc[1]
156290816 blocks [2/2] [UU]

unused devices: <none>

Altså den køre og den køre korrekt ik'?

--
Med venlig hilsen
Michael Vendelbo

---

On Thu, 29 Dec 2005 17:39:03 +0100, Michael Vendelbo wrote:

>Altså den køre og den køre korrekt ik'?

Gad vide hvorfor den var så længe undervejs... når pyt.

Jeg kan vel konkludere at det som nævnt andet sted begynder at ligne
noget?

--
Med venlig hilsen
Michael Vendelbo

---

On Thu, 29 Dec 2005 17:39:03 +0100, Michael wrote:

> On Thu, 29 Dec 2005 12:43:27 +0100, asjo@koldfront.dk (Adam Sjøgren)
> wrote:

>> De eneste tilfælde det ikke har virket for mig, har været når jeg har
>> glemt at sætte partitionstypen til Linux RAID (0xfd, vist).

> Hvor kommer 0x fra?

Det er en gængs måde at indikere "herefter følger et hexadecimal tal".

> fdisk /dev/sda -l siger:
> /dev/sda1 * 1 19119 153573336 fd Linux raid
> autodetect

Whoa, i den sværm af emails du skrev tidligere havde du ingen
partitioner, men bruge sda og sdwhatever direkte...

> Partionerne oprettet af debian installeren, ændret til fd af mig.

Hvorfor bad du ikke installeren om at lave RAID for dig? Det havde
vel sparet dig en del besvær...?

> Det lader dog til at de største kvaler er forsvundet ved at lukker
> maskinen ned og sove et par timer.

Ja, lidt hvile til hjernen kan være godt når man er løbet sur i
manualer og edb-maskiner.


Mvh.

--
"He should have played something old Adam Sjøgren
Something melancholy and slow." asjo@koldfront.dk

---

On Fri, 30 Dec 2005 00:20:17 +0100, asjo@koldfront.dk (Adam Sjøgren)
wrote:

>Whoa, i den sværm af emails du skrev tidligere havde du ingen
>partitioner, men bruge sda og sdwhatever direkte...

Jeg havde som altid bedt debians installer om at lave det hele i en
partion. Den insistere dog på at der skal være en swap parion, hvorfor
aner jeg ikke. De maskiner jeg har kørende, har alle den swap partion,
men ingen har nogen siden brugt den, selv om de endda er hårdt presset
indimellem.

Hvor sda2 kommer fra aner jeg ikke, sikkert pga. min uvidenhed.

Iøjeblikket er jeg bare glad for at det virker, min eneste bekymring
er sådan set om den køre RAID på den rigtige partion. Det vil jeg da
selv mene at den gør, men det undre mig lidt at antallet af blokke
ikke stemmer helt overens.

cat /proc/mdstat siger:
156290816

Fdisk siger:
153573336 på sda1/sdb1

Lægger man sda2/sdb2's 2714985 til ender man på næsten samme tal som
mdstat.

>Hvorfor bad du ikke installeren om at lave RAID for dig? Det havde
>vel sparet dig en del besvær...?

Det forsøgte jeg også, men det mislykkes. Muligvis fordi hardwaren var
sat forkert op på det tidspunkt.

--
Med venlig hilsen
Michael Vendelbo

---

On Fri, 30 Dec 2005 11:54:06 +0100, Michael wrote:

> On Fri, 30 Dec 2005 00:20:17 +0100, asjo@koldfront.dk (Adam Sjøgren)
> wrote:

>> Whoa, i den sværm af emails du skrev tidligere havde du ingen
>> partitioner, men bruge sda og sdwhatever direkte...

> Jeg havde som altid bedt debians installer om at lave det hele i en
> partion. Den insistere dog på at der skal være en swap parion, hvorfor
> aner jeg ikke. De maskiner jeg har kørende, har alle den swap partion,
> men ingen har nogen siden brugt den, selv om de endda er hårdt presset
> indimellem.

Hvorfor lavede du så RAID på den rå disk - jvnf. dine kommandoer
tidligere - og ikke på de oprettede partitioner?

(swap er godt at have - hvis der er processer der kun laver noget et
par gange i døgnet f.eks. er det spild af god RAM at have dem der hele
tiden, og hvis der en dag kører et program der lige skal bruge 1MB RAM
mere end der er tilgængeligt, så føles det dumt at processen skal dø
af det, i stedet for at en anden process swappes ud og programmet
fuldfører sin opgave...)

> Iøjeblikket er jeg bare glad for at det virker, min eneste bekymring
> er sådan set om den køre RAID på den rigtige partion.

> cat /proc/mdstat siger:
> 156290816

> disk siger:
> 153573336 på sda1/sdb1

Jeg havde nok forventet at fdisks tal var større end eller lig med
mdstats. Måske nogen med mere rutine i at smække maskiner sammen kan
supplere.

Er du sikker på at du brugte sda1/sdb1 da du lavede RAID'et?

>> Hvorfor bad du ikke installeren om at lave RAID for dig? Det havde
>> vel sparet dig en del besvær...?

> Det forsøgte jeg også, men det mislykkes. Muligvis fordi hardwaren var
> sat forkert op på det tidspunkt.

Åh.


Mvh.

--
"He should have played something old Adam Sjøgren
Something melancholy and slow." asjo@koldfront.dk

---

On Fri, 30 Dec 2005 14:12:42 +0100, asjo@koldfront.dk (Adam Sjøgren)
wrote:

>Hvorfor lavede du så RAID på den rå disk - jvnf. dine kommandoer
>tidligere - og ikke på de oprettede partitioner?

Mangel på evner vel... Du har vel opdaget at jeg nemt komme på glat
is, hvis ikke det køre problem fri.

>Er du sikker på at du brugte sda1/sdb1 da du lavede RAID'et?

Jeg er ikke sikker på noget som helst længre.

Nu fik jeg pludselig at vide at disk sda ikke var med i RAID'et.
Syntes det var på tide at viske tavlen ren så jeg startede forfra. Nu
viste jeg at hardwaren er sat rigtig op, så jeg prøvede debians
"automatiske" opsætning af RAID. Det kunne jeg ikke få til at virke.
Den ville have at fil systemet på sda skulle være ext3 men man kan
ikke vælge de korrekte RAID disk med mindre de er sat op til "auto
raid." (fd)

Så nu er det igang med mdadm også håbe at jeg har lært noget/nok!

--
Med venlig hilsen
Michael Vendelbo

---

On Fri, 30 Dec 2005 17:38:42 +0100, Michael wrote:

>> Er du sikker på at du brugte sda1/sdb1 da du lavede RAID'et?

> Jeg er ikke sikker på noget som helst længre.

Det kan være du skulle begynde at føre en log over hvad du gør, så du
dels nemmere kan få hjælp til at finde ud af hvor det kørte af sporet,
dels kan gentage proceduren når du finder den rigtige måde(tm)?

> Nu fik jeg pludselig at vide at disk sda ikke var med i RAID'et.

Det lyder suspekt, da du burde have sda1 og sdb1 med. Hvis maskinen
både tror at den skal benytte hele disken som RAID *og* samtdig tror
den skal bruge enkelte partitioner på disken, så skal det gå galt.

> Syntes det var på tide at viske tavlen ren så jeg startede forfra. Nu
> viste jeg at hardwaren er sat rigtig op, så jeg prøvede debians
> "automatiske" opsætning af RAID. Det kunne jeg ikke få til at virke.
> Den ville have at fil systemet på sda skulle være ext3 men man kan
> ikke vælge de korrekte RAID disk med mindre de er sat op til "auto
> raid." (fd)

Jeg har uden problemer konfigureret RAID og XFS som filsystem med
Debian sarges installer.

Jeg har svært ved at forestille mig at den foreslog dig at lægge et
filsystem direkte på sda uden partitionering, gjorde den virkelig det?

Du er med på at man først partitionerer, så samler partitioner til
RAID-arrays og endelig til sidst laver filsystemer på disse, ikke?

(Jeg har sprunget LVM over i ovenstående, for enkelthedens skyld, og
fordi jeg ikke præcis kan huske hvordan det fungerer længere

> Så nu er det igang med mdadm også håbe at jeg har lært noget/nok!

Lad os høre hvilke kommandoer du skriver og hvad resultatet bliver


Mvh.

--
"He should have played something old Adam Sjøgren
Something melancholy and slow." asjo@koldfront.dk

---

On Fri, 30 Dec 2005 17:55:05 +0100, (Adam Sjøgren) wrote:

>Jeg har uden problemer konfigureret RAID og XFS som filsystem med
>Debian sarges installer.

Hvordan sætter man så et filsystem til både RAId autostart og ext3 på
engang?

>Jeg har svært ved at forestille mig at den foreslog dig at lægge et
>filsystem direkte på sda uden partitionering, gjorde den virkelig det?

Nej, men den foreslår da at lægge det hele i en stor partition. Det er
da en af standard valgmulighederne. At det så er i 2-3 partitioner, er
en anden sag. Fatter ikke hvor sda2 kommer fra det er kun sda 1 og 5
der bliver lavet under installationen.

>Lad os høre hvilke kommandoer du skriver og hvad resultatet bliver

Først tjekkede og slettede jeg evt. superblocks med:
mdadm --zero-superblock /dev/xxx

Kørte den en gang på alle drev og partitioner.

Så slettede jeg alle partitioner med fdisk. Installerede fra bunden.
Lader debian bestemme partitionerne.
Installere ssh
apt-get install ssh
installere nyeste kerne:
apt-get install kernel-image-2.6.8-2-686

Laver samme partitioner på sdb som installer har oprettet på sda
sfdisk -d /dev/sda | sfdisk /dev/sdb

Fdisk -l siger nu:
Disk /dev/sda: 160.0 GB, 160041885696 bytes
255 heads, 63 sectors/track, 19457 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sda1 * 1 19119 153573336 83 Linux
/dev/sda2 19120 19457 2714985 5 Extended
/dev/sda5 19120 19457 2714953+ 82 Linux swap /
Solaris

Disk /dev/sdb: 160.0 GB, 160041885696 bytes
255 heads, 63 sectors/track, 19457 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sdb1 * 1 19119 153573336 83 Linux
/dev/sdb2 19120 19457 2714985 5 Extended
/dev/sdb5 19120 19457 2714953+ 82 Linux swap /
Solaris


installere mdadm.
cat /proc/mdstat siger:
Personalities :
unused devices: <none>

mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sd[ab]1

Den siger:
mdadm: /dev/sda1 appears to contain an ext2fs file system
size=153573336K mtime=Sun Jan 1 22:01:54 2006
mdadm: /dev/sdb1 appears to contain an ext2fs file system
size=153573336K mtime=Fri Dec 30 06:58:47 2005
Continue creating array?

Det svare jeg selvfølgelig ja til, men så går det galt.
Den siger:
ADD_NEW_DISK for /dev/sda1 failed: Device or resource busy

Øhh, hvordan skulle den være optaget? Den laver jo intet.

--
Med venlig hilsen
Michael Vendelbo

---

Michael Vendelbo wrote:
>
> On Fri, 30 Dec 2005 17:55:05 +0100, (Adam Sjøgren) wrote:
>
> >Jeg har uden problemer konfigureret RAID og XFS som filsystem med
> >Debian sarges installer.
>
> Hvordan sætter man så et filsystem til både RAId autostart og ext3 på
> engang?

Partitionerne skal ikke være ext3. Partitionerne skal være
autodetect RAID partition (type fd). Det er den eneste måde
du får Linux til at autodetektere RAID. Så kan man lave et
filsystem på sit md device, f.eks. ext3. Når et device ikke
er partitioneret, så er der heller ingen partitionstype.
Til de fleste anvendelser (herunder filsystemer og swap) er
Linux fuldstændig ligeglad med partitionstyper. Så vidt
jeg har forstået tillader Linux 2.6, at man partitionerer
et md device. Men der er ingen grund til at gøre det med
mindre man vil lave mere end en partition på sit md device.

>
> >Jeg har svært ved at forestille mig at den foreslog dig at lægge et
> >filsystem direkte på sda uden partitionering, gjorde den virkelig det?
>
> Nej, men den foreslår da at lægge det hele i en stor partition. Det er
> da en af standard valgmulighederne.

Der er forskel på at lægge et filsystem direkte på disken
og så at lægge et filsystem på en partition, der fylder
næsten hele disken.

> At det så er i 2-3 partitioner, er
> en anden sag.

Modsiger du ikke dig selv nu? 2-3 partitioner er flere end
en partition.

> Fatter ikke hvor sda2 kommer fra det er kun sda 1 og 5
> der bliver lavet under installationen.

Da IBM introducerede partitionstabeller var der plads til
fire partitioner. Da det så ikke var nok fandt man senere
på at lave en "udvidet" partition som så kunne indeles i
"logiske" partitioner. Det fungerede ved at lave en kædet
liste af partitionstabeller hvor kun de første to indgange
i hver tabel blev brugt. Den ene til en "logisk" partition,
og den anden til endnu en "udvidet" partition.

Det er grimt som.... Men det er nu engang den lappeløsning
man har fundet på.

>
> Så slettede jeg alle partitioner med fdisk. Installerede fra bunden.
> Lader debian bestemme partitionerne.

Hvis du vil have RAID så skal du ikke lade den selv vælge
partitioneringen. Nu kender jeg ikke installeren, men den
laver næppe RAID med mindre man beder den om det.

> Installere ssh
> apt-get install ssh
> installere nyeste kerne:
> apt-get install kernel-image-2.6.8-2-686
>
> Laver samme partitioner på sdb som installer har oprettet på sda
> sfdisk -d /dev/sda | sfdisk /dev/sdb

Den kommando vil så lave samme forkerte partitionering af
sdb som du har på sda. Hvis du får installeren til at lave
RAID, så skal du slet ikke selv rode med partitionering
(før du engang skal til at udskifte en defekt disk).

>
> Fdisk -l siger nu:
> Disk /dev/sda: 160.0 GB, 160041885696 bytes
> 255 heads, 63 sectors/track, 19457 cylinders
> Units = cylinders of 16065 * 512 = 8225280 bytes
>
> Device Boot Start End Blocks Id System
> /dev/sda1 * 1 19119 153573336 83 Linux
> /dev/sda2 19120 19457 2714985 5 Extended
> /dev/sda5 19120 19457 2714953+ 82 Linux swap /
> Solaris
>
> Disk /dev/sdb: 160.0 GB, 160041885696 bytes
> 255 heads, 63 sectors/track, 19457 cylinders
> Units = cylinders of 16065 * 512 = 8225280 bytes
>
> Device Boot Start End Blocks Id System
> /dev/sdb1 * 1 19119 153573336 83 Linux
> /dev/sdb2 19120 19457 2714985 5 Extended
> /dev/sdb5 19120 19457 2714953+ 82 Linux swap /
> Solaris

Det er en OM'er.

Hvis du prøver at lave RAID udfra de partitioner, så vil
det gå galt. Men det kan faktisk gå galt på en så subtil
måde, at du ikke opdager det før disken bliver fuld og
pludseligt begynder at miste data fordi der er en
uoverensstemmelse mellem størrelsen på filsystemet og
devicet.

>
> installere mdadm.
> cat /proc/mdstat siger:
> Personalities :
> unused devices: <none>
>
> mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sd[ab]1
>
> Den siger:
> mdadm: /dev/sda1 appears to contain an ext2fs file system
> size=153573336K mtime=Sun Jan 1 22:01:54 2006
> mdadm: /dev/sdb1 appears to contain an ext2fs file system
> size=153573336K mtime=Fri Dec 30 06:58:47 2005
> Continue creating array?

Den pågældende advarsel kan ikke laves 100% pålideligt.
Derfor er man selv nødt til at vide hvad der foregår
for at kunne afgøre, om det er som det skal være. I dit
tilfælde kan jeg så fortælle dig, at der er noget
rivende galt med den måde du prøver at lave RAIDet på.

>
> Det svare jeg selvfølgelig ja til,

Det skulle du ikke have gjort.

> men så går det galt.
> Den siger:
> ADD_NEW_DISK for /dev/sda1 failed: Device or resource busy

Det er klart. Ikke nok med at der ligger et filsystem
på hver af partitionerne, men det ene af dem er enda
mountet.

>
> Øhh, hvordan skulle den være optaget? Den laver jo intet.

Jeg går ud fra, at du har dit rodfilsystem liggende på
/dev/sda1. Så du har simpelthen bedt den om at slette
dit rodfilsystem og bruge partitionen til noget andet.
Til dit held kan det ikke lade sig gøre, mens den er
mountet.

Jeg er imponeret over at det er lykkedes for dig at begå
så mange fejl undervejs. Du har nu to valgmuligheder,
enten reinstallerer du og gør det rigtigt den her gang.
Eller også prøver du at lave et RAID og flytte din
eksisterende installtion over på RAIDet. Det med at
flytte installationen er ret omstændigt og kræver at man
både har styr på, hvordan man flytter en installation til
et andet device, og har styr på RAID management.

Det burde være nemmest at reinstallere og så gøre det
rigtigt i den her omgang. Jeg kender ikke Debian
installeren, men jeg ved det er ret nemt at gøre rigtigt
med Fedora Core.

Evt. partitionerer du disken på forhånd. Jeg vil anbefale
følgende partitionering:

sdb1 32MB type fd (Linux RAID autodetect).
sdb2 resten type 85 (Linux extended).
sdb5 2.6GB type fd (Linux RAID autodetect).
sdb6 resten type fd (Linux RAID autodetect).

Og tilsvarende på sda.

Så laver du md1, md5 og md6 af RAID autodetect
partitionerne. md1 bruges til /boot, md5 bruges
til swap, og md6 bruges til /.

--
Kasper Dupont
#define _(_)"d.%.4s%."_"2s" /* This is my new email address */
char*_="@2kaspner"_()"%03"_("4s%.")"t\n";printf(_+11,_+6,_,6,_+2,_+7,_+6);

---

On Mon, 02 Jan 2006 00:11:42 +0100, Kasper Dupont wrote:

>Partitionerne skal ikke være ext3. Partitionerne skal være
>autodetect RAID partition (type fd). Det er den eneste måde
>du får Linux til at autodetektere RAID. Så kan man lave et
>filsystem på sit md device, f.eks. ext3.

Det vil med andre ord sige at / skal ligge på md0 ik'?

Så forstår jeg hvordan man skal benytte debians automatiske opsætning.
Det lader i hvert fald til at det virker.
Har oprettet md0 og monteret / på den. Efter endt installation, kommer
/proc/mdstat med meddelsen om at den opretter spejl. Ændringer i
mdadm.conf er også foretaget så med lidt held burde det være rigtig
så?

--
Med venlig hilsen
Michael Vendelbo

---

Michael Vendelbo wrote:
> Har oprettet md0 og monteret / på den. Efter endt installation, kommer
> /proc/mdstat med meddelsen om at den opretter spejl. Ændringer i
> mdadm.conf er også foretaget så med lidt held burde det være rigtig
> så?

Det er nemmest at svare på hvis du paster output fra "df" og
"cat /proc/mdstat".

// Hans
--
Leveret af http://enterprise-server.dk
"Vejen til en professionel løsning"

---

On 02 Jan 2006 06:36:35 GMT, Hans Joergensen wrote:

>Det er nemmest at svare på hvis du paster output fra "df" og
>"cat /proc/mdstat".

Ja selvfølgelig.

# df
Filsystem 1K-blokke Brugt Tilbage Brug% Monteret på
/dev/md0 151162956 287952 143196344 1% /
tmpfs 1033840 0 1033840 0% /dev/shm


# cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 sda1[0] sdb1[1]
153573248 blocks [2/2] [UU]

unused devices: <none>

--
Med venlig hilsen
Michael Vendelbo

---

Michael Vendelbo wrote:
>>Det er nemmest at svare på hvis du paster output fra "df" og
>>"cat /proc/mdstat".
> Ja selvfølgelig.
> # df
> Filsystem 1K-blokke Brugt Tilbage Brug% Monteret på
> /dev/md0 151162956 287952 143196344 1% /
> tmpfs 1033840 0 1033840 0% /dev/shm
> # cat /proc/mdstat
> Personalities : [raid1]
> md0 : active raid1 sda1[0] sdb1[1]
> 153573248 blocks [2/2] [UU]

Det ser ihvertfald udemærket ud :)

// Hans
--
Leveret af http://enterprise-server.dk
"Vejen til en professionel løsning"

---

On 02 Jan 2006 10:10:06 GMT, Hans Joergensen wrote:

>Det ser ihvertfald udemærket ud :)

Ja det var en hård omgang, men jeg vil mene at jeg at fattet det nu.

Jeg har lige fjernet den ene disk (sdb) og bootet så siger den:

# cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 sda1[0]
153573248 blocks [2/1] [U_]

Det har jeg forstået, at den mangler en disk og jeg kan også se at det
er sdb. Jeg opretter et par tilfældige filer.Så lukkede jeg ned og
satte diske i igen. Efter opstart siger den stadig at sdb mangle,
hvilket jeg også havde forventet. Jeg giver den så en:
mdadm /dev/md0 -a /dev/sdb1
Den svare:
mdadm: hot added /dev/sdb1
Og cat /proc/mdstat siger:
# cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 sdb1[2] sda1[0]
153573248 blocks [2/1] [U_]
[>....................] recovery = 0.5% (770496/153573248)
finish=42.9min speed=59268K/sec
unused devices: <none>

Der ser jo ganske godt ud, det eneste der undre mig lidt er at mdstat
kalder sdb1 for [2] i "md0 : active raid1 sdb1[2] sda1[0]"

Diskene sidder i hotplug skuffer, men det lyder ikke til at det er
nogen god ide at benytte sig af den mulighed. Altså hive den defekte
disk ud under drift. Det siger i hvert fald:
http://www.tldp.org/HOWTO/Software-RAID-HOWTO-6.html#ss6.3
Er det gamle info. eller skal man lukke den ned?

--
Med venlig hilsen
Michael Vendelbo

---

Michael Vendelbo wrote:
....
> Der ser jo ganske godt ud, det eneste der undre mig lidt er at mdstat
> kalder sdb1 for [2] i "md0 : active raid1 sdb1[2] sda1[0]"

Måske skal man "fjerne" sdb1 før du adder den igen?

mdadm /dev/md0 -r /dev/sdb1

Mogens
--
Mogens Kjaer, Carlsberg A/S, Computer Department
Gamle Carlsberg Vej 10, DK-2500 Valby, Denmark
Phone: +45 33 27 53 25, Fax: +45 33 27 47 08
Email: mk@crc.dk Homepage: http://www.crc.dk

---

Mogens Kjaer wrote:
>> Der ser jo ganske godt ud, det eneste der undre mig lidt er at mdstat
>> kalder sdb1 for [2] i "md0 : active raid1 sdb1[2] sda1[0]"
> Måske skal man "fjerne" sdb1 før du adder den igen?
> mdadm /dev/md0 -r /dev/sdb1

Det er lige meget, hovedsagen er at der er to spejl, hvad de har af
id-nummer er irelevant.

Den er i følge det dump der blev postet igang med at resynce, og så
virker det altså fint.

Som udgangspunkt ville jeg nok undgå at hotplugge med mindre det er
højst nødvendigt.. de fleste maskiner kan nok tåle at blive lukket
ned i 2-5 minutter så man kan skifte disken

// Hans
--
Leveret af http://enterprise-server.dk
"Vejen til en professionel løsning"

---

On 02 Jan 2006 11:00:05 GMT, Hans Joergensen wrote:

>Det er lige meget, hovedsagen er at der er to spejl, hvad de har af
>id-nummer er irelevant.

Efter endt resync får den sit gamle id nummer tilbage.

# cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 sdb1[1] sda1[0]
153573248 blocks [2/2] [UU]

unused devices: <none>

>Som udgangspunkt ville jeg nok undgå at hotplugge med mindre det er
>højst nødvendigt.. de fleste maskiner kan nok tåle at blive lukket
>ned i 2-5 minutter så man kan skifte disken

Ok.

I skal have mange tak alle sammen. Uden jer havde jeg nok aldrig
fattet hvordan det hænger sammen.

--
Med venlig hilsen
Michael Vendelbo

---

Hans Joergensen wrote:
....
> Som udgangspunkt ville jeg nok undgå at hotplugge med mindre det er
> højst nødvendigt.. de fleste maskiner kan nok tåle at blive lukket
> ned i 2-5 minutter så man kan skifte disken

Maskinerne kan tåle det, men brugerne kan ikke

En ting, som er værd at bemærke, er at diskfejl
ofte ses ved koldstart, så risikoen for at disk nr. 2
dør ved reboot kan jo ikke udelukkes.

Jeg har i øvrigt set et par gange, at det tilsyneladende
er gået godt med at hotplugge en SCSI disk, men, den fik
forhandlet sig til en meget langsom hastighed på SCSI
bussen (det kunne man se i /proc/scsi/aic7xxx/0 filen),
så genopbygningen tog meget lang tid. Efter en
reboot (efter genopbygningen) var der ingen hastighedsproblemer
for den pågældende disk.

Men denne reboot kan man så gøre om aftenen, når der ikke er så
mange brugere.

Mogens

--
Mogens Kjaer, Carlsberg A/S, Computer Department
Gamle Carlsberg Vej 10, DK-2500 Valby, Denmark
Phone: +45 33 27 53 25, Fax: +45 33 27 47 08
Email: mk@crc.dk Homepage: http://www.crc.dk

---

Mogens Kjaer wrote:
> Maskinerne kan tåle det, men brugerne kan ikke

Naturligvis kan de det, det er jo det der hedder servicevindue.

Langt de fleste systemer har et tidspunkt på døgnet hvor der ikke er
specielt mange brugere på, og der kan man oftest godt tillade sig at
lave et lille service.

> En ting, som er værd at bemærke, er at diskfejl
> ofte ses ved koldstart, så risikoen for at disk nr. 2
> dør ved reboot kan jo ikke udelukkes.

Den er minimal, og man har jo altid backup.

// Hans
--
Leveret af http://enterprise-server.dk
"Vejen til en professionel løsning"

---

Hans Joergensen wrote:
....
>>En ting, som er værd at bemærke, er at diskfejl
>>ofte ses ved koldstart, så risikoen for at disk nr. 2
>>dør ved reboot kan jo ikke udelukkes.
>
>
> Den er minimal, og man har jo altid backup.

Efter at have skiftet to diske på hver sit RAID
hér i julen vil jeg ikke give dig ret.

Den anden disk døede netop efter en koldstart
af maskinen (strømafbrydelse, hvor UPS'en
lukkede maskinen ordentligt ned inden batteriet løb
tør).

Et RAID med 1Tbytes lægger man ikke "lige bare" ind
fra tape.

Mogens

--
Mogens Kjaer, Carlsberg A/S, Computer Department
Gamle Carlsberg Vej 10, DK-2500 Valby, Denmark
Phone: +45 33 27 53 25, Fax: +45 33 27 47 08
Email: mk@crc.dk Homepage: http://www.crc.dk

---

Mogens Kjaer wrote:
> Et RAID med 1Tbytes lægger man ikke "lige bare" ind
> fra tape.

Det er årsagen til at jeg anvender diskbaseret backup

Et RAID backet op på et andet RAID virker imho fint, hvis ellers man
kan stole nogenlunde på disksystemerne.

// Hans
--
Leveret af http://enterprise-server.dk
"Vejen til en professionel løsning"

---

Hans Joergensen wrote:
> Mogens Kjaer wrote:
>
>>Et RAID med 1Tbytes lægger man ikke "lige bare" ind
>>fra tape.
>
>
> Det er årsagen til at jeg anvender diskbaseret backup

Det er nok mere sikkert at flytte tapes end harddiske, når de skal
gemmes off-site.

Jeg ville ikke sende harddiske med intern post...


> Et RAID backet op på et andet RAID virker imho fint, hvis ellers man
> kan stole nogenlunde på disksystemerne.

Det gør vi også - og derudover har vi tapebackup.

Men at flytte 1T fordelt på millioner af småfiler
med rsync fra en maskine til en anden, selv med gigabit
netværk, er altså ikke lige noget man når i frokostpausen.

Mogens

--
Mogens Kjaer, Carlsberg A/S, Computer Department
Gamle Carlsberg Vej 10, DK-2500 Valby, Denmark
Phone: +45 33 27 53 25, Fax: +45 33 27 47 08
Email: mk@crc.dk Homepage: http://www.crc.dk

---

Mogens Kjaer wrote:
> Det er nok mere sikkert at flytte tapes end harddiske, når de skal
> gemmes off-site.
> Jeg ville ikke sende harddiske med intern post...

Jeg gemmer offsite over en fiberforbindelse til en bygning der
ligger ca. 300 meter væk fra masteren, det er udemærket.

>> Et RAID backet op på et andet RAID virker imho fint, hvis ellers man
>> kan stole nogenlunde på disksystemerne.
> Det gør vi også - og derudover har vi tapebackup.

Fordi man ikke kan stole på det ene sæt diskkasser jeg drifter (de er købt
for billigt, og Promise RM8000-diskkasser kan IKKE anbefales hvis man
har vigtigt data) bliver der også taget backup til en Lacie 2TB-ting, bare
som en ekstra sikkerhed..

Bånd gider jeg ikke, da budgettet er lidt for strams til en ordentlig
båndløsning der kan tage backup af den mængde data.

> Men at flytte 1T fordelt på millioner af småfiler
> med rsync fra en maskine til en anden, selv med gigabit
> netværk, er altså ikke lige noget man når i frokostpausen.

Ja, det tager ca. et døgn, men man kan dog hente de vigtigste ting
ind først rimeligt nemt. Og alternativt kan man bytte om på master
og backup-maskine (hvis de er nogenlunde ens).

// Hans
--
Leveret af http://enterprise-server.dk
"Vejen til en professionel løsning"

---

Michael Vendelbo wrote:
>
> Der ser jo ganske godt ud, det eneste der undre mig lidt er at mdstat
> kalder sdb1 for [2] i "md0 : active raid1 sdb1[2] sda1[0]"

Det gør den kun så længe den er ved at resynce. Når den
er færdig med at resynce overtager sdb1 rollen som [1].

>
> Diskene sidder i hotplug skuffer, men det lyder ikke til at det er
> nogen god ide at benytte sig af den mulighed. Altså hive den defekte
> disk ud under drift. Det siger i hvert fald:
> http://www.tldp.org/HOWTO/Software-RAID-HOWTO-6.html#ss6.3
> Er det gamle info. eller skal man lukke den ned?

Jeg tror primært kommentaren er rettet imod hardware som
ikke er lavet til hotplug. Jeg ejer ikke en maskine med
harddiske, der kan hotpluges, så jeg har ikke selv haft
lejlighed til at teste det.

--
Kasper Dupont
#define _(_)"d.%.4s%."_"2s" /* This is my new email address */
char*_="@2kaspner"_()"%03"_("4s%.")"t\n";printf(_+11,_+6,_,6,_+2,_+7,_+6);

---

Michael Vendelbo wrote:
>
> On 02 Jan 2006 06:36:35 GMT, Hans Joergensen wrote:
>
> >Det er nemmest at svare på hvis du paster output fra "df" og
> >"cat /proc/mdstat".
>
> Ja selvfølgelig.
>
> # df
> Filsystem 1K-blokke Brugt Tilbage Brug% Monteret på
> /dev/md0 151162956 287952 143196344 1% /
> tmpfs 1033840 0 1033840 0% /dev/shm
>
> # cat /proc/mdstat
> Personalities : [raid1]
> md0 : active raid1 sda1[0] sdb1[1]
> 153573248 blocks [2/2] [UU]
>
> unused devices: <none>

Umiddelbart ser det ikke helt tosset ud. Vil du
supplere med output fra "fdisk -l" og
"cat /proc/{mounts,swaps}"

--
Kasper Dupont
#define _(_)"d.%.4s%."_"2s" /* This is my new email address */
char*_="@2kaspner"_()"%03"_("4s%.")"t\n";printf(_+11,_+6,_,6,_+2,_+7,_+6);

---

On Mon, 02 Jan 2006 12:27:20 +0100, Kasper Dupont
<63928199979657636747@expires.13.feb.2006.kasperd.net.invalid> wrote:

>Umiddelbart ser det ikke helt tosset ud. Vil du
>supplere med output fra "fdisk -l" og
>"cat /proc/{mounts,swaps}"

# fdisk -l

Disk /dev/sda: 160.0 GB, 160041885696 bytes
255 heads, 63 sectors/track, 19457 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sda1 * 1 19119 153573336 fd Linux raid
autodetect
/dev/sda2 19120 19457 2714985 5 Extended
/dev/sda5 19120 19457 2714953+ 82 Linux swap /
Solaris

Disk /dev/sdb: 160.0 GB, 160041885696 bytes
255 heads, 63 sectors/track, 19457 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sdb1 * 1 19119 153573336 fd Linux raid
autodetect
/dev/sdb2 19120 19457 2714985 5 Extended
/dev/sdb5 19120 19457 2714953+ 82 Linux swap /
Solaris

Disk /dev/md0: 157.2 GB, 157259005952 bytes
2 heads, 4 sectors/track, 38393312 cylinders
Units = cylinders of 8 * 512 = 4096 bytes

Disk /dev/md0 doesn't contain a valid partition table


# cat /proc/{mounts,swaps}
rootfs / rootfs rw 0 0
/dev2/root2 / ext3 rw 0 0
proc /proc proc rw,nodiratime 0 0
sysfs /sys sysfs rw 0 0
devpts /dev/pts devpts rw 0 0
tmpfs /dev/shm tmpfs rw 0 0
usbfs /proc/bus/usb usbfs rw 0 0
Filename Type Size Used
Priority
/dev/sda5 partition 2714944 0
-1

--
Med venlig hilsen
Michael Vendelbo

---

Michael Vendelbo wrote:
>
> Filename Type Size Used
> Priority
> /dev/sda5 partition 2714944 0
> -1

Rodfilsystemet ser helt fint ud. Så er der bare lige den
detalje med swap. Hvis bare du er klar over konsekvensen
af at swappe direkte til en partition, så kan du selv
tage stilling til om du vil lave det om.

Hvis sda dør, så vil rodfilsystemet stadigvæk køre videre
på spejlet på sdb. Men alle processer der har brug for at
swappe data ind vil dø.

Jeg har selv oplevet det. Resultatet var, at da den første
disk stod af i min maskine, så kunne jeg fint tilgå mit
raid5 over NFS. Men jeg kunne ikke logge ind på serveren
fordi sshd døde, det samme gjorde alt andet, jeg prøvede
at komme i kontakt med.

Efter en genstart kørte maskinen fint videre uden den ene
disk.

Hvis du vil swappe til et raid gøres det på følgende måde:
1. Fjern linien omkring swap fra /etc/fstab
2. Slå swap fra med "swapoff -a"
3. Skift partitionstyper på dine swap partitioner til fd
4. Lav et nyt raid af disse to partitioner
5. Kør mkswap på det nye md device (sørg for at du ikke
kommer til at skrive navnet på dit rodfilsystem).
6. Tilføj det nye swap til /etc/fstab
7. Kør "swapon -a"

Og hele vejen igennem skal man selvfølgelig være sikker på
man skriver de rigtige devicenumre, så man ikke kommer til
at slette et filsystem.

--
Kasper Dupont
#define _(_)"d.%.4s%."_"2s" /* This is my new email address */
char*_="@2kaspner"_()"%03"_("4s%.")"t\n";printf(_+11,_+6,_,6,_+2,_+7,_+6);

---

Den Mon, 02 Jan 2006 13:08:24 +0100 skrev Kasper Dupont:
>
> Hvis du vil swappe til et raid gøres det på følgende måde:
> 1. Fjern linien omkring swap fra /etc/fstab
> 2. Slå swap fra med "swapoff -a"

Umiddelbart ville jeg bytte om på 1 og 2. Bruger swapoff -a ikke
/etc/fstab til at se hvilke partitioner det drejer sig om?

Mvh
Kent
--
Hard work may pay off in the long run, but laziness pays off right now.

---

Kent Friis wrote:
>
> Bruger swapoff -a ikke
> /etc/fstab til at se hvilke partitioner det drejer sig om?

Den bruger tilsyneladende både /etc/fstab og /proc/swaps.
Så den skal nok få slået swap partitioner fra selvom de
ikke længere står i /etc/fstab. Det eneste jeg selv har
oplevet problemer med er en slettet swapfil. Hvis den
stadigvæk er i brug når man sletter den sidste dentry,
så er det umuligt at slå swapfilen fra uden at reboote.
(Sådan var det i hvert fald på Linux 2.4, jeg ved ikke
om det er blevet ændret).

--
Kasper Dupont
#define _(_)"d.%.4s%."_"2s" /* This is my new email address */
char*_="@2kaspner"_()"%03"_("4s%.")"t\n";printf(_+11,_+6,_,6,_+2,_+7,_+6);

---

Den Mon, 02 Jan 2006 23:02:02 +0100 skrev Kasper Dupont:
> Kent Friis wrote:
>>
>> Bruger swapoff -a ikke
>> /etc/fstab til at se hvilke partitioner det drejer sig om?
>
> Den bruger tilsyneladende både /etc/fstab og /proc/swaps.
> Så den skal nok få slået swap partitioner fra selvom de
> ikke længere står i /etc/fstab. Det eneste jeg selv har
> oplevet problemer med er en slettet swapfil. Hvis den
> stadigvæk er i brug når man sletter den sidste dentry,
> så er det umuligt at slå swapfilen fra uden at reboote.
> (Sådan var det i hvert fald på Linux 2.4, jeg ved ikke
> om det er blevet ændret).

Det skal nok passe. Når det er et normalt program der har fat
i en fil, kan man normalt få fat i den vha /proc/pid/fd, men
når det er kernen selv, er der nok ikke meget at gøre.

Mvh
Kent
--
Hard work may pay off in the long run, but laziness pays off right now.

---

On Mon, 02 Jan 2006 13:08:24 +0100, Kasper Dupont wrote:

>Hvis du vil swappe til et raid gøres det på følgende måde:
>1. Fjern linien omkring swap fra /etc/fstab
[klip]

Ja nu har jeg, som jeg vist har nævnt endnu ikke oplevet at den gamle
server swappede, men det skal da nok passe at hvis uheldet er ude at
den så netop den dag swapper. Dejlig vejledning, nem at forstå. Fulgte
den slavisk, der var dog en enkelt ting der undrede mig.

Den sagde at partitions ændringen først ville have effekt ved reboot,
da enheden var optaget. Skulle det ikke være nok at køre swapoff -a?

Der ud over løb jeg kun et et enkelt selvforskyldt problem. Nemlig da
jeg køre swapon -a den giver et UUID i output, den klasker jeg
hovedløs ind i mdadm.conf, det hjalp så en del på autostart funktionen
da jeg fandt den rigtige med "mdadm --misc --detail /dev/md1"

Så vidt jeg kan se skulle alt være iorden, her er lidt output fra
relevante steder.

# cat /proc/mdstat
Personalities : [raid1]
md1 : active raid1 sda5[0] sdb5[1]
2714880 blocks [2/2] [UU]

md0 : active raid1 sda1[0] sdb1[1]
153573248 blocks [2/2] [UU]

unused devices: <none>



# mdadm --misc --detail /dev/md1
/dev/md1:
Version : 00.90.01
Creation Time : Tue Jan 3 10:47:55 2006
Raid Level : raid1
Array Size : 2714880 (2.59 GiB 2.78 GB)
Device Size : 2714880 (2.59 GiB 2.78 GB)
Raid Devices : 2
Total Devices : 2
Preferred Minor : 1
Persistence : Superblock is persistent

Update Time : Tue Jan 3 10:55:35 2006
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0

UUID : 4757054a:229ed840:7ed4f5ec:e290a015
Events : 0.6

Number Major Minor RaidDevice State
0 8 5 0 active sync /dev/sda5
1 8 21 1 active sync /dev/sdb5



# cat /proc/{mounts,swaps}
rootfs / rootfs rw 0 0
/dev2/root2 / ext3 rw 0 0
proc /proc proc rw,nodiratime 0 0
sysfs /sys sysfs rw 0 0
devpts /dev/pts devpts rw 0 0
tmpfs /dev/shm tmpfs rw 0 0
usbfs /proc/bus/usb usbfs rw 0 0
Filename Type Size Used
Priority
/dev/md1 partition 2714872 0
-1





# fdisk -l

Disk /dev/sda: 160.0 GB, 160041885696 bytes
255 heads, 63 sectors/track, 19457 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sda1 * 1 19119 153573336 fd Linux raid
autodetect
/dev/sda2 19120 19457 2714985 5 Extended
/dev/sda5 19120 19457 2714953+ fd Linux raid
autodetect

Disk /dev/sdb: 160.0 GB, 160041885696 bytes
255 heads, 63 sectors/track, 19457 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sdb1 * 1 19119 153573336 fd Linux raid
autodetect
/dev/sdb2 19120 19457 2714985 5 Extended
/dev/sdb5 19120 19457 2714953+ fd Linux raid
autodetect

Disk /dev/md0: 157.2 GB, 157259005952 bytes
2 heads, 4 sectors/track, 38393312 cylinders
Units = cylinders of 8 * 512 = 4096 bytes

Disk /dev/md0 doesn't contain a valid partition table

Disk /dev/md1: 2780 MB, 2780037120 bytes
2 heads, 4 sectors/track, 678720 cylinders
Units = cylinders of 8 * 512 = 4096 bytes

Disk /dev/md1 doesn't contain a valid partition table




# /etc/fstab: static file system information.
#
# <file system> <mount point> <type> <options> <dump> <pass>
proc /proc proc defaults 0 0
/dev/md0 / ext3 defaults,errors=remount-ro 0
1
/dev/md1 none swap sw 0 0
/dev/hda /media/cdrom0 iso9660 ro,user,noauto 0 0
/dev/fd0 /media/floppy0 auto rw,user,noauto 0 0




# /etc/mdadm/mdadm.conf
DEVICE partitions
ARRAY /dev/md0 level=raid1 num-devices=2
UUID=61712c2e:f65c2690:d371aaf6:5ffe3bca
devices=/dev/sda1,/dev/sdb1

ARRAY /dev/md1 level=raid1 num-devices=2
UUID=4757054a:229ed840:7ed4f5ec:e290a015
devices=/dev/sda5,/dev/sdb5


--
Med venlig hilsen
Michael Vendelbo

---

Michael Vendelbo wrote:
>
> Den sagde at partitions ændringen først ville have effekt ved reboot,
> da enheden var optaget. Skulle det ikke være nok at køre swapoff -a?

Det er fordi kernen ikke ved, hvad der er ændret. Hvis noget
som helst er i brug på disken, så nægter den at genindlæse
partitionstabellen. Da sda1 og sdb1 er i brug, så vil den
ikke genindlæse partitionstabeller på sda og sdb.

Når det kun er partitionstyper man har ændret på er det som
regel ligegyldigt, om partitionstabellen bliver genindlæst.
Den eneste forskel på fd og 82/83 er, at under opstart vil
kernen automatisk aktivere RAID på type fd partitionerne.

>
> Der ud over løb jeg kun et et enkelt selvforskyldt problem. Nemlig da
> jeg køre swapon -a den giver et UUID i output, den klasker jeg
> hovedløs ind i mdadm.conf, det hjalp så en del på autostart funktionen
> da jeg fandt den rigtige med "mdadm --misc --detail /dev/md1"

Har du noget at bruge en mdadm.conf fil til? De maskiner
jeg har sat op med RAID kører fint uden konfigurationsfil.

>
> Så vidt jeg kan se skulle alt være iorden, her er lidt output fra
> relevante steder.
>
[...]

Det ser fornuftigt ud. Jeg kunne i hvert fald ikke få øje
på nogen problemer.

--
Kasper Dupont
#define _(_)"d.%.4s%."_"2s" /* This is my new email address */
char*_="@2kaspner"_()"%03"_("4s%.")"t\n";printf(_+11,_+6,_,6,_+2,_+7,_+6);

---

On Tue, 03 Jan 2006 13:08:46 +0100, Kasper Dupont wrote:

>Har du noget at bruge en mdadm.conf fil til? De maskiner
>jeg har sat op med RAID kører fint uden konfigurationsfil.

Både og.

Den RAID opsat i debians installer (md0) virker uanset om relevante
linjer findes i conf eller ej.

Den nye til swap (md1) virker kun linjen findes.

Det mest pussige er at md0's linjer er indsat af debians installer.

Men det er vel ikke noget problem, bare man ved at der er indhold i
den.

--
Med venlig hilsen
Michael Vendelbo

---

Michael Vendelbo wrote:
>
> Den nye til swap (md1) virker kun linjen findes.

Underligt. På FC1 og FC3 virker det fint uden konfigurationsfil.
Tilsyneladende finder kernen helt selv alle mine RAID devices.
Men jeg har ikke undersøgt i detaljer, hvad der foregår i initrd,
så måske får kernen lige en ekstra hjælpende hånd der.

Men eftersom dit setup ser ud til at virke nu, så er der vel
ingen grund til at ændre mere.

Så skal du bare huske at kigge på /proc/mdstat en gang imellem
så du opdager, hvis der opstår et problem. Jeg selv har gjort
det, at jeg har gemt en sha1sum af indholdet ved at skrive:
sha1sum /proc/mdstat >/var/local/mdstat.sha1
Og så checker jeg det i min .bash_login
sha1sum -c /var/local/mdstat.sha1 >/dev/null

--
Kasper Dupont
#define _(_)"d.%.4s%."_"2s" /* This is my new email address */
char*_="@2kaspner"_()"%03"_("4s%.")"t\n";printf(_+11,_+6,_,6,_+2,_+7,_+6);

---

On Tue, 03 Jan 2006 23:51:46 +0100, Kasper Dupont wrote:

>Men eftersom dit setup ser ud til at virke nu, så er der vel
>ingen grund til at ændre mere.

Nej det er der ikke. Jeg har det sådan set også fint med config filer
når først jeg har forstået dem.

--
Med venlig hilsen
Michael Vendelbo

---

Michael Vendelbo wrote:
>
> Så vidt jeg kan se skulle alt være iorden,

Har du testet om installeren installerede boot kode på begge diske?

Den her kommando burde ikke sige noget:
diff -u <(head -c32k /dev/sda|hexdump -Cv
) <(head -c32k /dev/sdb|hexdump -Cv)

--
Kasper Dupont
#define _(_)"d.%.4s%."_"2s" /* This is my new email address */
char*_="@2kaspner"_()"%03"_("4s%.")"t\n";printf(_+11,_+6,_,6,_+2,_+7,_+6);

---

On Tue, 03 Jan 2006 13:19:57 +0100, Kasper Dupont wrote:

>Har du testet om installeren installerede boot kode på begge diske?

Nej det ville jeg ikke ane hvordan jeg skulle gøre. Men hvis det er
hvad nedenstående kode gør, så er den tilføjet min egen mini
manual.

>diff -u <(head -c32k /dev/sda|hexdump -Cv
>) <(head -c32k /dev/sdb|hexdump -Cv)

Den er total tavs, den vender bare tilbage til "#"

--
Med venlig hilsen
Michael Vendelbo

---

Michael Vendelbo wrote:
>
> On Tue, 03 Jan 2006 13:19:57 +0100, Kasper Dupont wrote:
>
> >Har du testet om installeren installerede boot kode på begge diske?
>
> Nej det ville jeg ikke ane hvordan jeg skulle gøre.

Tja, der er forskellige måder at gøre det på.
1. Sammenlign bootkoden på diskene
2. Nogle BIOSer kan vælge hvilken disk der bootes fra
3. Byt om på kablerne
4. Kobl diskene fra en ad gangen og test

Den første metode er ganske uskadelig. Den sidste metode
skal man være ret påpasselig med.

> Men hvis det er
> hvad nedenstående kode gør, så er den tilføjet min egen mini
> manual.

Det den gør er at tage de første 32KB af hver disk
udskriver det som hexadecimal og sammenligner. De
første 512 bytes er MBR, de efterfølgende 31KB er
som regel reserveret. De næste 512 bytes er som
regel bootrecord på den første partition.

Den reserverede plads kan være mindre end 31KB men
det er mange år siden jeg har set en harddisk, hvor
det var tilfældet. Afhængig af konfigurationen vil
GRUB bruge en del af denne plads.

>
> >diff -u <(head -c32k /dev/sda|hexdump -Cv
> >) <(head -c32k /dev/sdb|hexdump -Cv)
>
> Den er total tavs, den vender bare tilbage til "#"

Godt. Så er bootkoden identisk på de to diske. Så
kan vi godt forvente, at den virker.

--
Kasper Dupont
#define _(_)"d.%.4s%."_"2s" /* This is my new email address */
char*_="@2kaspner"_()"%03"_("4s%.")"t\n";printf(_+11,_+6,_,6,_+2,_+7,_+6);

---

On Tue, 03 Jan 2006 23:43:00 +0100, Kasper Dupont wrote:

>Den første metode er ganske uskadelig. Den sidste metode
>skal man være ret påpasselig med.

Det er vel ikke så galt, hvis man ellers husker at køre en
mdadm /dev/md0 -a /dev/sdb[] efter man har haft fjernet en disk.

For at sådan et system er noget som helst værd, er man jo nødtil at
vide hvordan man får liv i det igen efter en disk nedbrud. Så jeg har
selvfølgelig "trænet". Det gjorde jeg bare ved at reboote maskinen. I
det den er lukket ned løsner jeg den ene disk fra sin hotswap skuffe.
Så starter op og melder selvfølgelig fejl på disken. Så lukker jeg ned
skubber disken på plads inden den rebooter.

Under sådan en test opdager jeg at RAID på swap partitionen ikke
behøves at blive genoprettet. Kan den virkelig se at der ingen
ændringer er sket på den partition? (maskinen swapper ikke) Den melder
fint fejl mens disken er ude.

--
Med venlig hilsen
Michael Vendelbo

---

Michael Vendelbo wrote:
>
> Det er vel ikke så galt, hvis man ellers husker at køre en
> mdadm /dev/md0 -a /dev/sdb[] efter man har haft fjernet en disk.

Ja. Og man skal selvfølgelig huske at sætte hver partition
ind i det rigtige raid. Og så skal man lige være opmærksom
på, at man ikke skal starte med at teste sda for sig selv
og derefter teste sdb for sig selv. Efter man har testet
den ene for sig selv skal man have raidet op at køre med
begge diske før man tester den anden for sig selv.

>
> For at sådan et system er noget som helst værd, er man jo nødtil at
> vide hvordan man får liv i det igen efter en disk nedbrud.

Det har du selvfølgelig ret i. Det havde jeg ikke selv tid
til at sætte mig ind i før jeg tog mit raid i brug. Men jeg
fandt da ud af det. Og så vidt jeg husker fandt jeg ud af
det inden den første disk stod af.

> Så jeg har selvfølgelig "trænet".

Hvis man har mulighed for at gøre det inden der kommer
vigtige data på maskinen, så er det også en god øvelse.

> Det gjorde jeg bare ved at reboote maskinen. I
> det den er lukket ned løsner jeg den ene disk fra sin hotswap skuffe.
> Så starter op og melder selvfølgelig fejl på disken. Så lukker jeg ned
> skubber disken på plads inden den rebooter.

Jeps, derefter skal man bare huske at tilføje begge
partitioner til hvert sit raid og kigge på /proc/mdstat
så man kan se at de begge syncer som de skal.

Til det formål er "watch cat /proc/mdstat" ganske
praktisk.

>
> Under sådan en test opdager jeg at RAID på swap partitionen ikke
> behøves at blive genoprettet. Kan den virkelig se at der ingen
> ændringer er sket på den partition? (maskinen swapper ikke) Den melder
> fint fejl mens disken er ude.

Der må jeg så tilstå, at jeg ved ikke præcist hvordan det
hænger sammen på Linux 2.6. På 2.4 ville det være nødvendigt
at synce.

Jeg har fået at vide, at 2.6 vil mærke raidet som synkroniseret
når den er færdig med at skrive til det. Dermed er det sjældent
nødvendigt med synkronisering når maskinen ikke er blevet
lukket pænt ned.

Det har nu ikke direkte noget med dit spørgsmål at gøre, men
jeg tror det er relateret. Når du booter med kun en disk vil
event counteren på dit rodfilsystem blive opdateret. Når den
anden disk kommer tilbage kan raid systemet se, hvilken disk
der har de nyeste data. Men måske bliver event counteren på
swap devicet ikke opdateret før den første skrivning. Det
kunne betyde, at hvis der ikke havde været swappet i
mellemtiden, så ville event counterne stadig være i sync.

Nogle 2.6 kerner har haft en bug som gjorde, at det gik grueligt
galt, hvis man afbrød en synkronisering før den gik i gang med
den sidste partition. Det har gjort mig lidt paranoid, og af
den grund skrev jeg på et tidspunkt et program til at teste om
indholdet af et raid faktisk er konsistent. Jeg postede på et
tidspunkt programmet her i gruppen, men det gav ikke ret meget
respons.

--
Kasper Dupont
#define _(_)"d.%.4s%."_"2s" /* This is my new email address */
char*_="@2kaspner"_()"%03"_("4s%.")"t\n";printf(_+11,_+6,_,6,_+2,_+7,_+6);

---

On Wed, 04 Jan 2006 22:35:17 +0100, Michael wrote:

> On Wed, 04 Jan 2006 00:59:55 +0100, (Adam Sjøgren) wrote:

>> Debians mdadm-pakke spørger pænt om man vil køre mdadm som 'RAID
>> monitor daemon', svarer man ja, får man en email hver gang noget
>> ændrer sig.

> Ja eller man kan smide følgende i config:
> MAILADDR [mailadresse]

Startes daemonen så også ved boot?

Så vidt jeg kan se (i /etc/init.d/mdadm) kræver det at START_DAEMON
ikke sættes til andet end 'true' i /etc/default/mdadm ... ?


Mvh.

--
"We are relaxed but nervous." Adam Sjøgren
asjo@koldfront.dk

---

Kasper Dupont wrote:
> sdb1 32MB type fd (Linux RAID autodetect).
> sdb2 resten type 85 (Linux extended).
> sdb5 2.6GB type fd (Linux RAID autodetect).
> sdb6 resten type fd (Linux RAID autodetect).
> Og tilsvarende på sda.
> Så laver du md1, md5 og md6 af RAID autodetect
> partitionerne. md1 bruges til /boot, md5 bruges
> til swap, og md6 bruges til /.

Skal vi ikke snart have aflivet den /boot-myte?
Brug grub og undlad /boot, for det er da fjollet at have sådan
en snollet partition når den overhoved ikke er nødvendig.
Hvad den jo i øvrigt kun er med rimeligt gamle versioner af lilo.

Ellers er jeg enig i alt hvad du har skrevet stort set

// Hans
--
Leveret af http://enterprise-server.dk
"Vejen til en professionel løsning"

---

Hans Joergensen wrote:
>
> Skal vi ikke snart have aflivet den /boot-myte?
> Brug grub og undlad /boot, for det er da fjollet at have sådan
> en snollet partition når den overhoved ikke er nødvendig.
> Hvad den jo i øvrigt kun er med rimeligt gamle versioner af lilo.

Nu er det ikke kun pga. LILO man kørte med en seperat /boot
partition. Der var jo f.eks. engang hvor BIOS i nogle
maskiner heller ikke kunne håndtere store diske. Mon ikke
stadigvæk det kan lade sig gøre at finde en BIOS med en
128GB begrænsning?

Men det er slet ikke på grund af de begrænsninger, at jeg
foretrækker at lave sådan et system med en /boot partition.

Jeg har aldrig oplevet, at en seperat /boot partition har
været en ulempe. Og hvis man har flere diske kan det være
en fordel.

Hvis man laver et raid med mere end to diske, så kan man
med fordel lave et lille /boot raid, der er spejlet over
*alle* diske. Resten af disken kan så være raid10, raid5
eller raid6. Men /boot skal mig bekendt ligge på raid1 for
at virke. Det gør ikke noget, at man er forbedret.

Hvis man på et senere tidspunkt vælger at køre raid1 med
to diske og hot spare. Så vil jeg da anbefale at /boot er
spejlet over alle tre diske med det samme. Så kan man
også boote fra sin hotspare, hvis det tilfældigvis er den
BIOS finder først, når en af de andre er stået af.

Sådan her ser det ud på min server:

[kasperd@hactar:pts/23] cat /proc/mdstat
Personalities : [raid1] [raid5]
read_ahead 1024 sectors
md2 : active raid1 hda2[1] hdc2[3] hde2[2] hdg2[0]
32064 blocks [25/4] [UUUU_____________________]

md1 : active raid5 hda7[2] hdc7[1] hde7[0]
306953728 blocks level 5, 64k chunk, algorithm 0 [3/3] [UUU]

md6 : active raid1 hda6[2] hdc6[0] hde6[1]
2096384 blocks [2/2] [UU]

md0 : active raid1 hda5[1] hdc5[2] hde5[0]
642496 blocks [3/3] [UUU]

unused devices: <none>
[kasperd@hactar:pts/23]

På min laptop bruger jeg også en seperat /boot partition,
men af en helt anden grund. Jeg multibooter mellem nogle
forskellige versioner af Fedora Core. De deles alle om
den samme /boot.

--
Kasper Dupont
#define _(_)"d.%.4s%."_"2s" /* This is my new email address */
char*_="@2kaspner"_()"%03"_("4s%.")"t\n";printf(_+11,_+6,_,6,_+2,_+7,_+6);

---

Kasper Dupont wrote:
> Nu er det ikke kun pga. LILO man kørte med en seperat /boot
> partition. Der var jo f.eks. engang hvor BIOS i nogle
> maskiner heller ikke kunne håndtere store diske. Mon ikke
> stadigvæk det kan lade sig gøre at finde en BIOS med en
> 128GB begrænsning?

Umidbart giver det så mere mening at lave et stort root-filsystem
(8-10gig kan normalt gøre det) med en seperat /home og evt. /var
så en bruger/logfil ikke så nemt kan fylde hele filsystemet op.

> Jeg har aldrig oplevet, at en seperat /boot partition har
> været en ulempe. Og hvis man har flere diske kan det være
> en fordel.

Jeg har aldrig oplevet det som hverken fordel eller ulempe, men jeg
synes dog stadig det er meningsløst :)

> Hvis man laver et raid med mere end to diske, så kan man
> med fordel lave et lille /boot raid, der er spejlet over
> *alle* diske. Resten af disken kan så være raid10, raid5
> eller raid6. Men /boot skal mig bekendt ligge på raid1 for
> at virke. Det gør ikke noget, at man er forbedret.

Jeg ville aldrig køre raid0 eller 5 på root-filsystemet alligevel,
normalt bygger jeg systemet op på normale spejlede diske, og hvis
der er brug for meget plads bliver det mountet seperat som raid5
eller 0+1 alt efter hvad der er praktisk med den givne storageløsning.

Jeg foretrækker klart 0+1, men visse eksterne "hardware"raids virker lige
så godt/dårligt med 5.

> Hvis man på et senere tidspunkt vælger at køre raid1 med
> to diske og hot spare. Så vil jeg da anbefale at /boot er
> spejlet over alle tre diske med det samme. Så kan man
> også boote fra sin hotspare, hvis det tilfældigvis er den
> BIOS finder først, når en af de andre er stået af.

Ja det lyder sådan set ganske smart :)

// Hans
--
Leveret af http://enterprise-server.dk
"Vejen til en professionel løsning"

---

On Tue, 03 Jan 2006 23:51:46 +0100, Kasper wrote:

> Så skal du bare huske at kigge på /proc/mdstat en gang imellem
> så du opdager, hvis der opstår et problem.

Det kan man i øvrigt også lade mdadm gøre, den har en monitor-mode.

Debians mdadm-pakke spørger pænt om man vil køre mdadm som 'RAID
monitor daemon', svarer man ja, får man en email hver gang noget
ændrer sig.

(Hvis man kom til at svare 'nej' i sin tid, kan 'dpkg-reconfigure
mdadm' bruges til at ændre det).


Mvh.

--
"He should have played something old Adam Sjøgren
Something melancholy and slow." asjo@koldfront.dk

---

On Wed, 04 Jan 2006 00:59:55 +0100, (Adam Sjøgren) wrote:

>Debians mdadm-pakke spørger pænt om man vil køre mdadm som 'RAID
>monitor daemon', svarer man ja, får man en email hver gang noget
>ændrer sig.

Ja eller man kan smide følgende i config:
MAILADDR [mailadresse]

--
Med venlig hilsen
Michael Vendelbo

---

Michael Vendelbo wrote:
>
> Problemerne komme først når jeg starter maskinen igen. Jeg havde ikke
> forventet at den autostartede, det kan man jo læse alle steder at det
> komplet umulig for alm. dødelige at få til at virke.

Det er nu ikke så slemt. Men dem der får det til at virke
kommer ikke så ofte og spørger efter hjælp.

Hvis bare man husker at sætte partitionstypen til fd, så
finder kernen selv raids ved opstart. I dit tilfælde var
fejlen så at du lavede raid på hele disken i stedet for
partitionerne.

Den fejl har jeg også begået. Heldigvis var det med en
helt ny disk, der stadig ingen data var på, så det eneste
jeg mistede var den partitionstabel jeg lige havde siddet
og lavet. Den gentog jeg så 2-3 gange før jeg opdagede,
hvad jeg havde gjort galt.

Måske ville det hjælpe lidt, hvis mdadm advarede når man
var ved at bruge noget som ikke var en partition med type
fd. Godt nok plejer man at gå ud fra, at root ved hvad
han gør. Men lige på det her punkt ville jeg nok synes
det var i orden, at man lige skulle bekræfte, hvis man
faktisk havde lyst til at køre software raid på noget
andet end raid autodetect partitioner.

Jeg håber du fik det gjort rigtigt i dit andet forsøg.
(Mit første raid lod jeg Fedora Core 1 installeren om at
lave, så virkede det bare som det skulle).

--
Kasper Dupont
#define _(_)"d.%.4s%."_"2s" /* This is my new email address */
char*_="@2kaspner"_()"%03"_("4s%.")"t\n";printf(_+11,_+6,_,6,_+2,_+7,_+6);

---

On Fri, 30 Dec 2005 18:03:37 +0100, Kasper Dupont wrote:

>Jeg håber du fik det gjort rigtigt i dit andet forsøg.

Tja, nu fik jeg bare et nyt problem.

Når den skal lave spejlet siger den:
ADD_NEW_DISK for /dev/sda1 failed: Device or resource busy

--
Med venlig hilsen
Michael Vendelbo

---

Adam Sjøgren wrote:
>
> Det lyder suspekt, da du burde have sda1 og sdb1 med. Hvis maskinen
> både tror at den skal benytte hele disken som RAID *og* samtdig tror
> den skal bruge enkelte partitioner på disken, så skal det gå galt.

Gå galt er vist mildt sagt. Jeg kan ikke se hvordan der
nogensinde skulle komme noget godt ud af at køre RAID
direkte på harddiskene i stedet for en partition.

>
> (Jeg har sprunget LVM over i ovenstående, for enkelthedens skyld, og
> fordi jeg ikke præcis kan huske hvordan det fungerer længere

Hvis der kommer LVM med ind i billedet ligger det normalt
mellem RAID og filsystem. Men hvis man synes RAID er
forvirrende, så tror jeg det er en god idé at holde sig
fra LVM. Egentlig kan jeg ikke se den store fordel ved
LVM i forhold til bate at lægge et filsystem på raidet.

--
Kasper Dupont
#define _(_)"d.%.4s%."_"2s" /* This is my new email address */
char*_="@2kaspner"_()"%03"_("4s%.")"t\n";printf(_+11,_+6,_,6,_+2,_+7,_+6);

---

On Fri, 30 Dec 2005 18:46:03 +0100, Kasper Dupont wrote:

>
> Hvis der kommer LVM med ind i billedet ligger det normalt
> mellem RAID og filsystem. Men hvis man synes RAID er
> forvirrende, så tror jeg det er en god idé at holde sig
> fra LVM. Egentlig kan jeg ikke se den store fordel ved
> LVM i forhold til bate at lægge et filsystem på raidet.
Du kan tage et konsistent snapshot af filsystemet, mens det er monteret i
både ro og rw. Endvidere kan snapshottet aktiveres umiddelbart på et
andet system - altså det ideelle filsystem for 24/7 servere. Jeg ved
selvfølgeligt godt, at du kan lave raid hot-add/remove, men det får så
den konsekvens, at dit raid kører i degraded mode - læs dårlig
performance. Hot-add til et kørende raid kan også tage lang tid, før
systemet kører 100% igen.

--
Hilsen/Regards
Michael Rasmussen
http://keyserver.veridis.com:11371/pks/lookup?op=get&search=0xE3E80917

---

Michael Rasmussen wrote:
>
> On Fri, 30 Dec 2005 18:46:03 +0100, Kasper Dupont wrote:
>
> > Egentlig kan jeg ikke se den store fordel ved
> > LVM i forhold til bate at lægge et filsystem på raidet.
> Du kan tage et konsistent snapshot af filsystemet, mens det er monteret i
> både ro og rw.

Fair nok, det er selvfølgelig en smart feature. Men ikke
noget jeg personligt har så meget brug for, at jeg gider
bruge LVM for det.

> Jeg ved
> selvfølgeligt godt, at du kan lave raid hot-add/remove, men det får så
> den konsekvens, at dit raid kører i degraded mode - læs dårlig
> performance.

Ikke ligefrem den bedste måde at clone et device. Der er
også sikkerheden at bekymre sig om. Men frem for alt
virker det kun med RAID-1.

> Hot-add til et kørende raid kan også tage lang tid, før
> systemet kører 100% igen.

Det tager den tid en kopiering af hele devicet kræver.
Hastigheden kan begrænses for at forbedre performance
på alt andet.

I øvrigt er RAID-1 ikke begrænset til to diske. Man kan
køre RAID-1 med op til 26 diske. Så hvis man normalt
kører med tre diske og gerne vil klone over på en
fjerde disk, så kan man bare sætte antal spejl op til
fire, tilføje den nye disk, fjerne disken igen efter
endt kloning, og til sidst sætte antal spejl ned igen.
(Det kræver vist en 2.6 kerne).

--
Kasper Dupont
#define _(_)"d.%.4s%."_"2s" /* This is my new email address */
char*_="@2kaspner"_()"%03"_("4s%.")"t\n";printf(_+11,_+6,_,6,_+2,_+7,_+6);

---

On Fri, 30 Dec 2005 20:55:44 +0100, Kasper Dupont wrote:

>> Du kan tage et konsistent snapshot af filsystemet, mens det er monteret i
>> både ro og rw.
>
Glemte så lige denne ekstra feature: Hvis filsystemet er reiserfs, det
har jeg erfaring med, men andre skulle også virke; undtagen ext2/3, så
kan man udvide/indskrænke et monteret filsystem.
>
>
> I øvrigt er RAID-1 ikke begrænset til to diske. Man kan køre RAID-1
> med op til 26 diske. Så hvis man normalt kører med tre diske og gerne
> vil klone over på en fjerde disk, så kan man bare sætte antal spejl
> op til fire, tilføje den nye disk, fjerne disken igen efter endt
> kloning, og til sidst sætte antal spejl ned igen. (Det kræver vist en
> 2.6 kerne).
Jeg er ret sikker på, at RH har back-ported denne feature til deres
patchede kerne 2.4 på RHES.

--
Hilsen/Regards
Michael Rasmussen
http://keyserver.veridis.com:11371/pks/lookup?op=get&search=0xE3E80917

---

Michael Rasmussen <mir@miras.org> wrote:

> Glemte så lige denne ekstra feature: Hvis filsystemet er reiserfs, det
> har jeg erfaring med, men andre skulle også virke; undtagen ext2/3, så
> kan man udvide/indskrænke et monteret filsystem.

Det a man kan ændre på størrelsen af filsystemet relaterer ikke direkte
til LVM, om end det kun giver mening at gøre det når det underliggende
volume også kan ændre størrelse.

Uanset hvad dokumentationen måtte sige, så vil jeg anbefale at lade være
med at gøre et live filsystem mindre. Det har jeg personligt haft
problemer med to gange.

mvh
--
Allan Joergensen

"I picked 'em myself."

---

On Fri, 30 Dec 2005 18:46:03 +0100, Kasper wrote:

> Adam Sjøgren wrote:

>> Det lyder suspekt, da du burde have sda1 og sdb1 med. Hvis maskinen
>> både tror at den skal benytte hele disken som RAID *og* samtdig tror
>> den skal bruge enkelte partitioner på disken, så skal det gå galt.

> Gå galt er vist mildt sagt.

Nå ja, det går vel galt?

> Jeg kan ikke se hvordan der nogensinde skulle komme noget godt ud af
> at køre RAID direkte på harddiskene i stedet for en partition.

I disse tider er de sølle par bytes vist ret ligemeget, og det har de
sikkert altid været...

Men man sparer besværet med at partitionere diskene fra start, og
afløser-diske senere - det kan måske være rart hvis man gerne vil
skifte hurtigt... Lidt søgt.

> Hvis der kommer LVM med ind i billedet ligger det normalt
> mellem RAID og filsystem. Men hvis man synes RAID er
> forvirrende, så tror jeg det er en god idé at holde sig
> fra LVM.

Debian sarges installer giver mulighed for at sætte LVM op, det var
alene derfor jeg nævnte det i sammenhængen.


Mvh.

--
"He should have played something old Adam Sjøgren
Something melancholy and slow." asjo@koldfront.dk

---

Adam Sjøgren wrote:
> Men man sparer besværet med at partitionere diskene fra start, og
> afløser-diske senere - det kan måske være rart hvis man gerne vil
> skifte hurtigt... Lidt søgt.

sfdisk -d /dev/<goddisk> | sfdisk /dev/<nydisk>

Det er ikke megabesværligt...

// Hans
--
Leveret af http://enterprise-server.dk
"Vejen til en professionel løsning"

---

Adam Sjøgren wrote:
>
> Men man sparer besværet med at partitionere diskene fra start, og
> afløser-diske senere - det kan måske være rart hvis man gerne vil
> skifte hurtigt... Lidt søgt.

Lav et program (eller et script), der kan gøre det for dig.

Den tid du bruger på at lave sådan et program når nok aldrig
at tjene sig ind igen. Så den eneste grund skulle da lige
være at sikre sig, at man ikke kommer til at begå en fejl
undervejs. Man tilføjer jo lige test for, at den nye disk
ikke er i brug, altså at den ikke er nævnt i
/proc/{mdstat,mounts,swaps} samt at den ikke allerede er
partitioneret. Og samtidig skal man ikke selv huske på at
sætte typen til fd, hver gang man skifter disk, når scriptet
gør det for en.

--
Kasper Dupont
#define _(_)"d.%.4s%."_"2s" /* This is my new email address */
char*_="@2kaspner"_()"%03"_("4s%.")"t\n";printf(_+11,_+6,_,6,_+2,_+7,_+6);

---

On Fri, 30 Dec 2005 23:51:52 +0100, Kasper wrote:

> Adam Sjøgren wrote:

>> Men man sparer besværet med at partitionere diskene fra start, og
>> afløser-diske senere - det kan måske være rart hvis man gerne vil
>> skifte hurtigt... Lidt søgt.

> Lav et program (eller et script), der kan gøre det for dig.

Det var en mulighed. Det er dog stadig mere besværligt end ikke at
lave et sådant (og afprøve det), hvorfor den søgte forklaring stadig
holder, omend den stadig er lidt søgt.


,

--
"He should have played something old Adam Sjøgren
Something melancholy and slow." asjo@koldfront.dk

---

On 31 Dec 2005 12:11:19 GMT, Hans wrote:

> sfdisk -d /dev/<goddisk> | sfdisk /dev/<nydisk>

> Det er ikke megabesværligt...

Hvis man kender det rette værktøj(tm) er mange ting ikke særligt
besværlige

Tak for tippet.


Mvh.

--
"He should have played something old Adam Sjøgren
Something melancholy and slow." asjo@koldfront.dk

---

On Sun, 01 Jan 2006 21:43:23 +0100, Michael wrote:

> On Fri, 30 Dec 2005 17:55:05 +0100, (Adam Sjøgren) wrote:
>> Jeg har uden problemer konfigureret RAID og XFS som filsystem med
>> Debian sarges installer.

> Hvordan sætter man så et filsystem til både RAId autostart og ext3 på
> engang?

Jeg tror du blander et par ting sammen.

Partitioner har en type. Der findes en masse forskellige, heriblandt
0x82 for "Linux swap", 0x83 for "Linux", 0xfd for "Linux raid auto",
0x39 for "Plan 9" osv. osv. osv.)

Hvad partitionstypen bruges til - og om den gør - afhænger af
styresystemet.

På en partition kan man lave et filsystem. Filsystemet er som sådan
uafhængigt af partitionens type - udover at et styresystem kan vælge
kun at "synes om"/tillade at man bruger filsystemer på partitioner af
en vis type.

Man kan så slå flere partitioner sammen f.eks. v.hj.a. software-RAID.
Disse kommer så til at udgøre et RAID-device, som f.eks. /dev/md0.
Dette kan man så lave et filsystem på, som om det var en almindelig
partition.

Gør man dette med Linux bør man sætte partitionstypen for alle de
partitioner der indgår i RAID'et til 0xfd "Linux raid auto".

[...]
> /dev/sda1 * 1 19119 153573336 83 Linux

Var det ikke den du ville lave RAID på? Forkert partionstype...

> mdadm --create /dev/md0 --level=1 --raid-devices=2 /dev/sd[ab]1

Uhm, hvor har du sagt til Debian den skulle installere systemet henne?
på /dev/sda1? I så fald er det lidt uheldigt at bruge den partition
igen...

> Det svare jeg selvfølgelig ja til, men så går det galt.
> Den siger:
> ADD_NEW_DISK for /dev/sda1 failed: Device or resource busy

> Øhh, hvordan skulle den være optaget? Den laver jo intet.

Mit gæt er at du bad installeren om at installere på /dev/sda1 og at
mdadm nu nægter at lade dig bruge samme partition som en del af et nyt
RAID-device. Fordi partitionen allerede bruges som "/".

Det er meget nemmere at bede installeren om at lave RAID'et - men det
har du vist fundet ud af nu


Mvh.

--
"He should have played something old Adam Sjøgren
Something melancholy and slow." asjo@koldfront.dk

---

On Mon, 02 Jan 2006 23:17:45 +0100, (Adam Sjøgren) wrote:

>Jeg tror du blander et par ting sammen.

Det var vist ikke kun et par ting.

>Mit gæt er at du bad installeren om at installere på /dev/sda1 og at
>mdadm nu nægter at lade dig bruge samme partition som en del af et nyt
>RAID-device. Fordi partitionen allerede bruges som "/".

Korrekt. Den primære grund til at jeg bliver ved med at have svært ved
at fatte logikken i det, er at første gang jeg forsøger at lave et
RAID lykkes det mig (af ukendte årsager) at lave et der køre uden brok
direkte på sda/sdb.

>Det er meget nemmere at bede installeren om at lave RAID'et - men det
>har du vist fundet ud af nu

Jeg er blevet meget klogere siden den 28/12.

--
Med venlig hilsen
Michael Vendelbo