---

Hej

Jeg roder lidt med rsync for at spejle data fra en server til en anden med
et cronjob hver time. Det virker udmærket men, hvad nu hvis der er så meget
data der skal opdateres at jobbet ikke er færdigt før et nyt påbegyndes? Vil
det give problemer med at rsync ligesom vil køre i loop, og påbegynde de
samme data flere gange?

Per

---

P og T skrev:

> Jeg roder lidt med rsync for at spejle data fra en server til
> en anden med et cronjob hver time. Det virker udmærket men,
> hvad nu hvis der er så meget data der skal opdateres at jobbet
> ikke er færdigt før et nyt påbegyndes?

Pak rsync ind i et shell-script der først undersøger om en given
lockfil findes (og i givet fald returnerer med det samme), og der-
næst opretter lockfilen, kører rsync og sletter lockfilen igen.

Hvis det skal være helt atomisk, skal det nok være et lockdir i
stedet for en lockfil, men princippet er det samme.


// Klaus

--
><>    unselfish actions pay back better

---

"P og T" <nix@ingen.spam> skrev i en meddelelse
news:3f8c6eda$0$45325$edfadb0f@dread11.news.tele.dk...
> Hej
>
> Jeg roder lidt med rsync for at spejle data fra en server til en anden med
> et cronjob hver time. Det virker udmærket men, hvad nu hvis der er så
meget
> data der skal opdateres at jobbet ikke er færdigt før et nyt påbegyndes?
Vil
> det give problemer med at rsync ligesom vil køre i loop, og påbegynde de
> samme data flere gange?

Start scriptet med "kill rsync"

Rune

---

Rune Friis Jørgensen wrote:
> Start scriptet med "kill rsync"

Kill skal have et pid, ikke navnet på processen.
Men hvis du brugte denne fremgangsmåde, så ville du risikere at den når
at overføre 50% af en stor fil, og så vil der gå en time og scriptet vil
dræbe rsync og starte forfra med den fil. Sådan vil det fortsætte uden
at den får taget backup af noget som helst og den vil bruge en masse
båndbredde.

---

"Thor Dreier" <news@cheater.dk> skrev i en meddelelse
news:880jb.7112$jf4.435801@news000.worldonline.dk...
> Rune Friis Jørgensen wrote:
> > Start scriptet med "kill rsync"
>
> Kill skal have et pid, ikke navnet på processen.

så læg "kilall navnet_på_script" ind i din crontab 2 minutter før scriptet
køres

> Men hvis du brugte denne fremgangsmåde, så ville du risikere at den når
> at overføre 50% af en stor fil, og så vil der gå en time og scriptet vil
> dræbe rsync og starte forfra med den fil. Sådan vil det fortsætte uden
> at den får taget backup af noget som helst og den vil bruge en masse
> båndbredde.

Hvis der skal synkroniseres hver time, formodede jeg at det ville ske over
lokalnet.
Og jeg formodede at der ikke var filer der kunne give dette problem (med 5
MB/s kan der trods alt overføres 18 GB/time)
Men så finder vi da bare på en anden løsning...

Lav et script der undersøger om "synkroniserings-script" kører. i så
fald ->slut
hvis ikke -> kør "synkroniserings-script"

Om scriptet kører kan vel undersøges med "ps -ef"


Rune

---

In <3f8c91f0$0$94872$edfadb0f@dtext02.news.tele.dk> "Rune Friis Jørgensen" <rune_friis@adslhome.dk> writes:

>"Thor Dreier" <news@cheater.dk> skrev i en meddelelse
>news:880jb.7112$jf4.435801@news000.worldonline.dk...
>> Rune Friis Jørgensen wrote:
>> > Start scriptet med "kill rsync"
>>
>> Kill skal have et pid, ikke navnet på processen.

>så læg "kilall navnet_på_script" ind i din crontab 2 minutter før scriptet
>køres

Men bemaerk at det ville vaere meget dumt at koere paa en solaris maskine, da
killall draeber _alt_.

/Martin

---

Martin Moller Pedersen wrote:
> Men bemaerk at det ville vaere meget dumt at koere paa en solaris maskine, da
> killall draeber _alt_.

Ikke i nyere udgaver af Solaris .. (den gør så heller ikke noget
andet brugbart;)
Men på fx. AIX dræber den ganske rigtigt alt.

// Hans
--
Red-line-shift,Red-line-shift,etc.etc.Red-Light-Stop,Repeat...

---

> >så læg "kilall navnet_på_script" ind i din crontab 2 minutter før
scriptet
> >køres
>
> Men bemaerk at det ville vaere meget dumt at koere paa en solaris maskine,
da
> killall draeber _alt_.
>
En anden solaris-"afvigelse": uname -a
Så hedder maskinen "-a"...

Leif

---

"Leif Neland" <leifn@neland.dk> writes:

>En anden solaris-"afvigelse": uname -a
>Så hedder maskinen "-a"...

Nej, så skal du skrive "uname -s -a".

"uname -a" giver det, man vil forvente.

Mvh.
   Klaus.

---

Klaus Ellegaard wrote:
> "Leif Neland" <leifn@neland.dk> writes:
>
> >En anden solaris-"afvigelse": uname -a
> >Så hedder maskinen "-a"...
>
> Nej, så skal du skrive "uname -s -a".
>
> "uname -a" giver det, man vil forvente.
>

hostname, derimod, skal man passe paa med. Jeg husker stadig (med fryd?)
en af vores storageadministratorer (Morten), der skulle checke hvilken
maskine han var paa: 'hostname -a', tror jeg det var. Sudo sad ham i
fingrene, og saa holdt ret mange ting pludselig op med at virke (maskine
hed pludseligt '-a'.

Heldigvis fandt vi den skyldige vha sudo-loggen og kunne straffe
behoerigt.

--
Ole Michaelsen, Darmstadt, Germany
http://www.fys.ku.dk/~omic

---

> Hvis der skal synkroniseres hver time, formodede jeg at det ville ske
> over lokalnet.
> Og jeg formodede at der ikke var filer der kunne give dette problem
> (med 5 MB/s kan der trods alt overføres 18 GB/time)
> Men så finder vi da bare på en anden løsning...
>
> Lav et script der undersøger om "synkroniserings-script" kører. i så
> fald ->slut
> hvis ikke -> kør "synkroniserings-script"
>
> Om scriptet kører kan vel undersøges med "ps -ef"
>

Jeg syntes din ide ser rigtig ud, men da jeg er ude på dybt vand med script,
kunne jeg bruge et par forslag omkring det. Evt. et par links omkring det.
I øvrigt er det to E-smith 5.6 servere (Redhat 7.3). De står to forskellige
steder i byen på ADSL. Så det er ikke lokalnet og det er heller ikke
sansynligt situationen opstår men..........

Per

---

"Rune Friis Jørgensen" <rune_friis@adslhome.dk> writes:

> "Thor Dreier" <news@cheater.dk> skrev i en meddelelse
> news:880jb.7112$jf4.435801@news000.worldonline.dk...
>> Rune Friis Jørgensen wrote:
>> > Start scriptet med "kill rsync"
>>
>> Kill skal have et pid, ikke navnet på processen.
>
> så læg "kilall navnet_på_script" ind i din crontab 2 minutter før scriptet
> køres

Det er en rigtig skidt plan, hvis det skal køres på HP-UX, Solaris
eller unix'er med tilsvarende killall-funktionalitet.

En låsefil er formentlig bedre, så den forrige kørsel kan gøres færdig
- hvis den ind imellem kan være særlig lang tid om synkroniseringen.

/Rasmus

--
-- [ Rasmus "Møffe" Bøg Hansen ] ---------------------------------------
Windows NT: Insert Wallet into Drive A: and press any key to empty.
--Matt Garrison, MacLine
----------------------------------[ moffe at amagerkollegiet dot dk ] --

---

spam@amagerkollegiet.dk (Rasmus Bøg Hansen) writes:

> > så læg "kilall navnet_på_script" ind i din crontab 2 minutter før scriptet
> > køres
>
> Det er en rigtig skidt plan, hvis det skal køres på HP-UX, Solaris
> eller unix'er med tilsvarende killall-funktionalitet.

Meget! Ligesom, man hurtigt finder ud af, at "reboot" er en dum måde
at vende en Solaris-maskine! :) (Altså, den rebooter da - men ikke på
helt den måde, man havde forventet)

> /Rasmus

--
Ole Hansen

---

Ole Hansen wrote:

> > Det er en rigtig skidt plan, hvis det skal køres på HP-UX, Solaris
> > eller unix'er med tilsvarende killall-funktionalitet.
>
> Meget! Ligesom, man hurtigt finder ud af, at "reboot" er en dum måde
> at vende en Solaris-maskine! :) (Altså, den rebooter da - men ikke på
> helt den måde, man havde forventet)

Jeg bruger reboot til at vende mine Solaris-maskiner - og har gjort det
de sidste 5-6 aar. Hvorfor er det dumt?

Vh,


--
Ole Michaelsen, Darmstadt, Germany
http://www.fys.ku.dk/~omic

---

Ole Michaelsen <omic+usenet4@fys.ku.dk> writes:

>Jeg bruger reboot til at vende mine Solaris-maskiner - og har gjort det
>de sidste 5-6 aar. Hvorfor er det dumt?

NOTES
The reboot utility does not execute the scripts in
/etc/rcnum.d or execute shutdown actions in inittab(4). To
ensure a complete shutdown of system services, use
shutdown(1M) or init(1M) to reboot a Solaris system.

Så hvis man har databaser eller applikationer kørende, får de bare
en kill (efterfulgt af en "kill -9", hvis de ikke dør hurtigt nok)
smidt i nakken i stedet for en pæn nedlukning.

På servere med mindre kritiske systemer (mailservere og lignende,
der sikrer dataintegritet pr. transaktion) betyder det ikke ret
meget.

Mvh.
   Klaus.

---

Den Wed, 15 Oct 2003 11:48:48 +0000 (UTC) skrev Klaus Ellegaard:
>Ole Michaelsen <omic+usenet4@fys.ku.dk> writes:
>
>>Jeg bruger reboot til at vende mine Solaris-maskiner - og har gjort det
>>de sidste 5-6 aar. Hvorfor er det dumt?
>
>NOTES
> The reboot utility does not execute the scripts in
> /etc/rcnum.d or execute shutdown actions in inittab(4). To
> ensure a complete shutdown of system services, use
> shutdown(1M) or init(1M) to reboot a Solaris system.

Det er da bedre end <stop-a>reset<enter> (evt. med et n<enter> imellem,
det kan jeg ikke huske længere om er nødvendigt på det sted).

Mvh
Kent
--
Journalist: En der har forstand på at skrive artikler, men typisk
ikke på det artiklerne handler om.

---

leeloo@phreaker.net (Kent Friis) writes:

>Det er da bedre end <stop-a>reset<enter> (evt. med et n<enter> imellem,
>det kan jeg ikke huske længere om er nødvendigt på det sted).

Tjah, Oracle bliver nogenlunde lige sur...

Mvh.
   Klaus.

---

In <bmjv9e$863$1@sunsite.dk> leeloo@phreaker.net (Kent Friis) writes:

>Den Wed, 15 Oct 2003 11:48:48 +0000 (UTC) skrev Klaus Ellegaard:
>>Ole Michaelsen <omic+usenet4@fys.ku.dk> writes:
>>
>>>Jeg bruger reboot til at vende mine Solaris-maskiner - og har gjort det
>>>de sidste 5-6 aar. Hvorfor er det dumt?
>>
>>NOTES
>> The reboot utility does not execute the scripts in
>> /etc/rcnum.d or execute shutdown actions in inittab(4). To
>> ensure a complete shutdown of system services, use
>> shutdown(1M) or init(1M) to reboot a Solaris system.

>Det er da bedre end <stop-a>reset<enter> (evt. med et n<enter> imellem,
>det kan jeg ikke huske længere om er nødvendigt på det sted).

<stop-a>boot<enter> saa kan det ikke goeres hurtigere, men det efterflg.
fsck tager nok lidt lang tid, men saa er option -Y til fsck jo god
at kende.

/Martin

---

tusk@daimi.au.dk (Martin Moller Pedersen) writes:

><stop-a>boot<enter> saa kan det ikke goeres hurtigere, men det efterflg.
>fsck tager nok lidt lang tid, men saa er option -Y til fsck jo god
>at kende.

....eller sætte logging (journaling) i options på vfstab. Så skal
den slet ikke fsck'e.

Mvh.
   Klaus.

---

Klaus Ellegaard wrote:
> tusk@daimi.au.dk (Martin Moller Pedersen) writes:
>
>> <stop-a>boot<enter> saa kan det ikke goeres hurtigere, men det
>> efterflg. fsck tager nok lidt lang tid, men saa er option -Y til
>> fsck jo god
>> at kende.
>

OK OK, men hvordan skal JEG så gøre med mit rsync.........


Per

---

P og T skrev:

> OK OK, men hvordan skal JEG så gøre med mit rsync.........

Se <http://groups.google.com/groups?selm=3f8c7ba6-bfa95047-2adb-4357-bed4-7428c200ebb5%40news.szn.dk>.


// Klaus

--
><>    unselfish actions pay back better

---

>
> Se
>
<http://groups.google.com/groups?selm=3f8c7ba6-bfa95047-2adb-4357-bed4-7428c
200ebb5%40news.szn.dk>.
>
>

Eller her:
http://groups.google.com/groups?hl=da&lr=&ie=UTF-8&frame=right&th=d2c0aea6d83d06de&seekm=bmjv9e%24863%241%40sunsite.dk#link14

Per

---

In <bmk764$3nr$1@katie.ellegaard.dk> Klaus Ellegaard <klausellegaard@msn.com> writes:

>tusk@daimi.au.dk (Martin Moller Pedersen) writes:

>><stop-a>boot<enter> saa kan det ikke goeres hurtigere, men det efterflg.
>>fsck tager nok lidt lang tid, men saa er option -Y til fsck jo god
>>at kende.

>...eller sætte logging (journaling) i options på vfstab. Så skal
>den slet ikke fsck'e.

Nogle URL'er til om det er muligt paa solaris og hvordan ?
Det er lige noget jeg kunne bruge.

/Martin

---

Martin Moller Pedersen wrote:
> In <bmk764$3nr$1@katie.ellegaard.dk> Klaus Ellegaard <klausellegaard@msn.com> writes:
>
> >tusk@daimi.au.dk (Martin Moller Pedersen) writes:
>
> >><stop-a>boot<enter> saa kan det ikke goeres hurtigere, men det efterflg.
> >>fsck tager nok lidt lang tid, men saa er option -Y til fsck jo god
> >>at kende.
>
> >...eller sætte logging (journaling) i options på vfstab. Så skal
> >den slet ikke fsck'e.
>
> Nogle URL'er til om det er muligt paa solaris og hvordan ?
> Det er lige noget jeg kunne bruge.

Solaris 8 (muligvis ogaa 7) eller nyere, ikke alt for gammel patchlevel:

man mount_ufs

logging | nologging

If logging is specified, then logging is enabled for the duration
of the mounted file system. Logging is the process of storing
transactions (changes that make up a complete UFS operation) in a log
before the transactions are applied to the file system. Once a
transaction is stored, the transaction can be applied to the file sys-
tem later. This prevents file systems from becoming inconsistent,
therefore eliminat- ing the need to run fsck. And, because fsck can be
bypassed, logging reduces the time required to reboot a system if it
crashes, or after an unclean halt. The default behavior is nologging.

Vh,

--
Ole Michaelsen, Darmstadt, Germany
http://www.fys.ku.dk/~omic

---

Martin Moller Pedersen wrote:
> Nogle URL'er til om det er muligt paa solaris og hvordan ?
> Det er lige noget jeg kunne bruge.

Som tidligere skrevet kræver det Solaris 9, eller en Solaris 8 der
har en patchlevel der ikke er mere end et par år eller 3 gammel..

Min vfstab ser således ud i de entryes der benytter logging:
#device device mount FS fsck mount mount
#to mount to fsck point type pass at boot options
/dev/dsk/c0t0d0s0 /dev/rdsk/c0t0d0s0 / ufs 1 no logging
/dev/dsk/c0t2d0s6 /dev/rdsk/c0t2d0s6 /home ufs 1 yes logging

Som det ses .. kan det vist ikke være meget mere simpelt :)

(partitionerne skal naturligvis remountes før det bliver aktivt)

// Hans
--
http://ph33r.dk - Helt galt .. :)
UNIX Admin søger arbejde, http://nathue.dk/?page=cv

---

tusk@daimi.au.dk (Martin Moller Pedersen) writes:

>>...eller sætte logging (journaling) i options på vfstab. Så skal
>>den slet ikke fsck'e.

>Nogle URL'er til om det er muligt paa solaris og hvordan ?
>Det er lige noget jeg kunne bruge.

Det har været en integreret del af UFS siden... uha... Solaris 7,
tror jeg.

Fra mount_ufs:

logging | nologging
If logging is specified, then logging is
enabled for the duration of the mounted
file system. Logging is the process of
storing transactions (changes that make up
a complete UFS operation) in a log before
the transactions are applied to the file
system. Once a transaction is stored, the
transaction can be applied to the file sys-
tem later. This prevents file systems from
becoming inconsistent, therefore eliminat-
ing the need to run fsck. And, because
fsck can be bypassed, logging reduces the
time required to reboot a system if it
crashes, or after an unclean halt. The
default behavior is nologging.

The log is allocated from free blocks on
the file system, and is sized approximately
1 Mbyte per 1 Gbyte of file system, up to a
maximum of 64 Mbytes. Logging can be
enabled on any UFS, including root (/). The
log created sby UFS logging is continually
flushed as it fills up. The log is totally
flushed when the file system is unmounted
or as a result of the lockfs -f command.


Mvh.
   Klaus.

---

Martin Moller Pedersen wrote:

>>Det er da bedre end <stop-a>reset<enter> (evt. med et n<enter> imellem,
>>det kan jeg ikke huske længere om er nødvendigt på det sted).
>
>
> <stop-a>boot<enter> saa kan det ikke goeres hurtigere, men det efterflg.
> fsck tager nok lidt lang tid, men saa er option -Y til fsck jo god
> at kende.

"logging" tilvalget til ufs filsystemerne, er nu heller ikke tosset.
Det kan godt spare en del tid (specielt hvis fsck er bange og vil holdes
i hånden).

--
Thorbjørn

---

Ole Michaelsen <omic+usenet4@fys.ku.dk> writes:

> > Meget! Ligesom, man hurtigt finder ud af, at "reboot" er en dum måde
> > at vende en Solaris-maskine! :) (Altså, den rebooter da - men ikke på
> > helt den måde, man havde forventet)
>
> Jeg bruger reboot til at vende mine Solaris-maskiner - og har gjort det
> de sidste 5-6 aar. Hvorfor er det dumt?

Ehmm.. Har jeg misforstået noget? Sidst jeg stak en Solaris-box en
reboot, sync'ede den, dræbte alt og vupti! Ikke så pænt, efter min
mening! :) Så jeg bruger normalt 'shutdown -i 6'

På Debian skifter den til runlevel 6, lukker alt pænt og
yndigt ned, sync'er og vupti..

> --
> Ole Michaelsen, Darmstadt, Germany
> http://www.fys.ku.dk/~omic

--
Ole Hansen

---

Ole Hansen wrote:
> Ole Michaelsen <omic+usenet4@fys.ku.dk> writes:
>
> > > Meget! Ligesom, man hurtigt finder ud af, at "reboot" er en dum måde
> > > at vende en Solaris-maskine! :) (Altså, den rebooter da - men ikke på
> > > helt den måde, man havde forventet)
> >
> > Jeg bruger reboot til at vende mine Solaris-maskiner - og har gjort det
> > de sidste 5-6 aar. Hvorfor er det dumt?
>
> Ehmm.. Har jeg misforstået noget? Sidst jeg stak en Solaris-box en
> reboot, sync'ede den, dræbte alt og vupti! Ikke så pænt, efter min
> mening! :) Så jeg bruger normalt 'shutdown -i 6'

Hmja okay. Reboot er dejlig hurtigt at skrive, og til at lukke ned og
genstarte Fair nok, de gange hvor jeg har skulle goere det paa et
system med andre end mig selv logget ind, har jeg dog ogsaa brugt
shutdown med passende lang advarselstid.

Et kompromis kunne vaere 'init 6' der koerer korrekt igennem init.d
programmerne (har jeg lige testet).

Men som Klaus ogsaa skriver goer det ikke saa meget med mindre der
koerer tunge applikationer som databaser etc (og selv disse kommer jo nu
om stunder oftest fornuftigt op igen - Lotus Notes goer i hvert fald).

Vh,

--
Ole Michaelsen, Darmstadt, Germany
http://www.fys.ku.dk/~omic

---

Thorbjørn Ravn Andersen <nospam0000@c.dk> writes:

>> fsck tager nok lidt lang tid, men saa er option -Y til fsck jo god
>> at kende.

> "logging" tilvalget til ufs filsystemerne, er nu heller ikke
> tosset. Det kan godt spare en del tid (specielt hvis fsck er bange og
> vil holdes i hånden).

Om man kör med Soft Updates så gör strikt talat en fsck inte så
mycket. Den ser bara till att eventuella felaktigt allockerade block
frias. Under FreeBSD 5.x kan man med hjälp av snapshot-stödet köra en
fsck i bakgrunden för sådant, medan resten av systemet bootar.

--
MC, http://hack.org/mc/

---

english: http://www.denmarkserver.net

german: http://www.webzentrum.de

Translator wanted to Danish language