/ Forside / Teknologi / Operativsystemer / Linux / Nyhedsindlæg
Login
Glemt dit kodeord?
Brugernavn

Kodeord


Reklame
Top 10 brugere
Linux
#NavnPoint
o.v.n. 11177
peque 7911
dk 4814
e.c 2359
Uranus 1334
emesen 1334
stone47 1307
linuxrules 1214
Octon 1100
10  BjarneD 875
Automatisk backup via ftp/ssh
Fra : Ukendt


Dato : 18-04-05 21:28

Jeg ønsker daglige backups af en Samba Server via ftp/ssh til en Linux
server, som står fysisk adskilt fra Samba serveren.

Af hensyn til båndbredden (128 Mb/s)og data sikkerheden, skal følgende
krav kunne opfyldes:
- Mulighed for incremental backup
- Krypteret data overførelse
- Restore af enkelte/udvalgte filer
- Daglige backups på faste tidspunkter

Systemet skal *ikke* baseres på en grafisk brugeflade, da det helst skal
kunne styres via ssh.

Datamængden er ca. 2GB, og der skal dagligt opdateres ca. 10-20MB

Jeg er ikke en Linux haj, men er der nogen som har et forslag til
hvordan man kan gøre det?

mvh
Gert

 
 
Mads (18-04-2005)
Kommentar
Fra : Mads


Dato : 18-04-05 21:39

"at" <"gert.eriksen.fjern.dette.remove.this(at)eriksminde.dk"> wrote in
message news:4264186e$0$188$edfadb0f@dread11.news.tele.dk...
> Jeg ønsker daglige backups af en Samba Server via ftp/ssh til en Linux
> server, som står fysisk adskilt fra Samba serveren.
>
> Af hensyn til båndbredden (128 Mb/s)og data sikkerheden, skal følgende
> krav kunne opfyldes:
> - Mulighed for incremental backup
> - Krypteret data overførelse
> - Restore af enkelte/udvalgte filer
> - Daglige backups på faste tidspunkter
>
> Systemet skal *ikke* baseres på en grafisk brugeflade, da det helst skal
> kunne styres via ssh.
>
> Datamængden er ca. 2GB, og der skal dagligt opdateres ca. 10-20MB
>
> Jeg er ikke en Linux haj, men er der nogen som har et forslag til hvordan
> man kan gøre det?
>
Et godt sted at starte er rsync over et ssh link.
Jeg har dog kun brugt den til at holde en kopi af ca. 1 GB data
synkroniseret, altså ingen historik. Men det er såvidt vides også muligt.

Hilsen
Mads



Mikkel Bundgaard (18-04-2005)
Kommentar
Fra : Mikkel Bundgaard


Dato : 18-04-05 21:57

at wrote:
> Jeg ønsker daglige backups af en Samba Server via ftp/ssh til en Linux
> server, som står fysisk adskilt fra Samba serveren.
>

Har du overvejet rsync til formålet?

> Af hensyn til båndbredden (128 Mb/s)og data sikkerheden, skal følgende
> krav kunne opfyldes:
> - Mulighed for incremental backup
> - Krypteret data overførelse
> - Restore af enkelte/udvalgte filer
> - Daglige backups på faste tidspunkter
>
> Systemet skal *ikke* baseres på en grafisk brugeflade, da det helst skal
> kunne styres via ssh.
>
> Datamængden er ca. 2GB, og der skal dagligt opdateres ca. 10-20MB
>
> Jeg er ikke en Linux haj, men er der nogen som har et forslag til
> hvordan man kan gøre det?

Jeg har mit eget forslag som jeg selv bruger.

Jeg bruger rsync til backup af ca. 11Gb dagligt. Det uploades til en
remote rsync server og tunnels igennem en ssh tunnel. Det tager en
syvdages incremental backup( kan nemt modificeres til mere ). Der bliver
for mit vedkommende uploadet gennemsnitligt 10-20mb.

ssh forbindelsen oprettes og vedligeholdes automatisk. Jeg bruger en
nøglefil til at logge ind på den anden server.

Du kan læse mere om rsync her: http://samba.anu.edu.au/rsync/


jeg har vedlagt de forskellige scripts og conf filer jeg selv bruger.


Hilsen Mikkel



**** Conf fil til rsync serveren: ****
uid = nobody
gid = nobody
#use chroot = true # default
max connections = 4
syslog facility = local5
log format = %h %o %f %l %b
pid file = /var/run/rsyncd.pid
log file = /var/log/rsyncd.log
hosts allow = 127.0.0.1
hosts deny = 0.0.0.0/0

[backup]
path = /mnt/hdb2/backup
comment = backup directory
auth users = admin
secrets file = /etc/rsyncd.secrets
read only=false


**** Mit script til at vedligeholde en ssh tunnel. ****
#!/bin/bash

autossh -M 20000 -i /etc/ssh_vpn/id_dsa vpn@rypevej.dk -L
873:127.0.0.1:873 -o GatewayPorts=yes -f -N



**** Mit backupscript, lægges i /etc/cron.daily: ****
#!/bin/sh

# This script does personal backups to a rsync backup server. You will
end up
# with a 7 day rotating incremental backup. The incrementals will go
# into subdirectories named after the day of the week, and the current
# full backup goes into a directory called "current"
# tridge@linuxcare.com

# directory to backup
BDIR=/home

MODULE=backup


# excludes file - this contains a wildcard pattern per line of files to
exclude
EXCLUDES=

# the name of the backup machine
BSERVER=rsync://admin@127.0.0.1:873

# your password on the backup server
export RSYNC_PASSWORD=DitPassword




########################################################################

BACKUPDIR=`date +%A`
OPTS="--force --ignore-errors --compress --delete-excluded
--exclude-from=$EXCLUDES
--delete --backup --backup-dir=/$BACKUPDIR -a -v --stats"

export PATH=$PATH:/bin:/usr/bin:/usr/local/bin

# the following line clears the last weeks incremental directory
[ -d $HOME/emptydir ] || mkdir $HOME/emptydir
rsync --delete -a $HOME/emptydir/ $BSERVER/$MODULE//$BACKUPDIR
rmdir $HOME/emptydir

# now the actual transfer
rsync $OPTS $BDIR $BSERVER/$MODULE//current




**** SLUT ****




Henrik Farre (18-04-2005)
Kommentar
Fra : Henrik Farre


Dato : 18-04-05 22:20

man, 18 04 2005 kl. 22:28 +0200, skrev at:

> Datamængden er ca. 2GB, og der skal dagligt opdateres ca. 10-20MB
>
> Jeg er ikke en Linux haj, men er der nogen som har et forslag til
> hvordan man kan gøre det?

Jeg vil forslå rdiff-backup, en er baseret på rsync algoritmen, og
tilbyder "historie". Den gemmer kun forskellene på filerne så det fylder
ikke meget. Noget af det smarte (IMHO) er at selve backupen ikke bliver
pakket, dvs at hvis man vi restore den nyeste fil så er det bare at
bruge cp eller scp. En ældre version af filen hentes vha rdiff-backup

Se:
http://www.nongnu.org/rdiff-backup/

Og se især:
http://www.nongnu.org/rdiff-backup/examples.html

--
Mvh. / Kind regards
Henrik Farre - http://www.rockhopper.dk

Get Firefox! - http://www.spreadfirefox.com/?q=affiliates&id=31865&t=1


Thor Dreier (19-04-2005)
Kommentar
Fra : Thor Dreier


Dato : 19-04-05 00:09

at wrote:
> Jeg ønsker daglige backups af en Samba Server via ftp/ssh til en Linux
> server, som står fysisk adskilt fra Samba serveren.
>
> Af hensyn til båndbredden (128 Mb/s)og data sikkerheden, skal følgende
> krav kunne opfyldes:
> - Mulighed for incremental backup
> - Krypteret data overførelse
> - Restore af enkelte/udvalgte filer
> - Daglige backups på faste tidspunkter

Jeg bruger Dirvish til det formål.

Jeg har en "backup-server" der hver nat forbinder til alle de maskiner
der skal tages backup af via ssh (og altså ikke den anden vej hvor
maskinerne forbinder til backup-serveren).

Hvis min maskine der bliver taget backup af bliver kompromiteret, så vil
det ikke være muligt at finde nøgler/passwords der gør det muligt at
forbinde til backup-serveren - så det vil altså ikke være muligt at
ændre i backup'en af den maskine der er blevet kompromiteret.

Hvis backup-serveren bliver kompromiteret så vil der være adgang til
alle filer der ligger på denne, incl. backup'erne af mine andre
maskiner. Der vil også ligge ssh-nøgler som kan bruges til at forbinde
til de maskiner der bliver taget backup af, men da jeg på maskinerne har
begrænset at disse nøgler kun kan starte rsync med bestemte parametre,
så kan de altså ikke bruge dem til andet end at hente de filer der
allerede ligger på backup-servenen på ny. De kan altså ikke få
shell-adgang (exploits i ssh eller rsync ikke taget i betragtning).

Dog burde man nok ændre alle passwords nøgler osv. på alle maskiner hvis
nogen fik adgang til backup-serveren.



Thor

Lars Møller (19-04-2005)
Kommentar
Fra : Lars Møller


Dato : 19-04-05 07:09

at wrote:
> Jeg ønsker daglige backups af en Samba Server via ftp/ssh til en Linux
> server, som står fysisk adskilt fra Samba serveren.
>
> Af hensyn til båndbredden (128 Mb/s)og data sikkerheden, skal følgende
> krav kunne opfyldes:
> - Mulighed for incremental backup
> - Krypteret data overførelse
> - Restore af enkelte/udvalgte filer
> - Daglige backups på faste tidspunkter
>
> Systemet skal *ikke* baseres på en grafisk brugeflade, da det helst skal
> kunne styres via ssh.
>
> Datamængden er ca. 2GB, og der skal dagligt opdateres ca. 10-20MB
>
> Jeg er ikke en Linux haj, men er der nogen som har et forslag til
> hvordan man kan gøre det?
>
> mvh
> Gert

Hej

Jeg bruger selv følgende script til at foretage backup over ssh:

#!/bin/bash
# Backup via secure shell

cd /

list="home/www etc var usr/local"
target="[target hostname]"
src="[src hostname]"
user="backup"


for file in $list
do
tgz=`echo $file | sed -e 's/\//_/g'`;
old="${tgz}.old";
ssh -l $user $target "mv -f /home/backup/$src.$tgz.tgz
/home/backup/$src.$old.tgz";

tar -cz $file/* | ssh -l $user $target "cat - >
/home/backup/$src.$tgz.tgz";
done


Det kan godtnok ikke lave incremental backup, men det kan vel løses med
at lave noget med --after-date i tar kommandoen.

Med venlig hilsen

Lars P. Møller

Kasper Dupont (19-04-2005)
Kommentar
Fra : Kasper Dupont


Dato : 19-04-05 13:02

at wrote:
>
> Jeg ønsker daglige backups af en Samba Server via ftp/ssh til en Linux
> server, som står fysisk adskilt fra Samba serveren.

Hvad OS kører Samba serveren? Er det også en Linux boks, og
har du tænkt dig at køre backup softwaren på Samba serveren,
eller skal backup softwaren hente filerne vha. SMB protokollen?

Hvis du kører backup softwaren på den maskine, hvor filerne
ligger, så behøver backup softwaren slet ikke bekymre sig om,
at den også kører Samba. Den skal jo bare læse filerne.

>
> Af hensyn til båndbredden (128 Mb/s)

Det lyder da af rimelig meget. Men du mener måske 128Kb/s.

> og data sikkerheden, skal følgende
> krav kunne opfyldes:
> - Mulighed for incremental backup
> - Krypteret data overførelse
> - Restore af enkelte/udvalgte filer
> - Daglige backups på faste tidspunkter

Hvis det bare er overførslen, der skal krypteres, så kan
næsten alt køres gennem ssh. Resten kan vel klares med lidt
scripts.

>
> Systemet skal *ikke* baseres på en grafisk brugeflade, da det helst skal
> kunne styres via ssh.
>
> Datamængden er ca. 2GB, og der skal dagligt opdateres ca. 10-20MB
>
> Jeg er ikke en Linux haj, men er der nogen som har et forslag til
> hvordan man kan gøre det?

Jeg er en Linux haj, og jeg har ca. de samme krav, men har
ikke kunnet finde noget, som lever helt op til mine ønsker,
så jeg er begyndt på at lave mit eget.

Det er desværre ikke helt klart til produktion endnu, så
jeg vil ikke opfordre dig til at bruge det. Men jeg vil
godt beskrive princippet i tilfælde nogen skulle være
interesseret.

I mit /etc/cron.daily directory har jeg et script, der
laver en backup af relevante data, f.eks. /home. Jeg bruger
tar til at lave denne backup. Outputet fra tar pipes ind i
mit eget arkiveringsværktøj, som vedligholder et storage
med tar filer. Værktøjet holder øje med identiske blokke
og sørger for at der aldrig ligger mere end et eksemplar
af en blok i storaget. Desuden oprettes et indeks til hver
tar fil i storaget sådan at blokkene kan findes igen, det
fungerer efter samme princip som indirection blokke i et
filsystem.

På den måde kan jeg gemme alle gamle tar filer uden at
storaget bliver særligt stort. Jeg har selv brugt det i
syv måneder og har nu 749GB tar filer, men storaget fylder
kun 8.8GB.

Storaget kan mountes vha. et readonly filsystem og derved
kan man tilgå tar filerne på ganske normal vis vha. tar
kommandoen.

Da der ikke ændres ret meget på storaget er det realistisk
at synkronisere dette storage over en langsom forbindelse.
Til det formål kan rsync anvendes, men jeg har tænkt mig
at implementere et synkroniseringsværktøj rettet mod mit
specifikke format.

Engang i en tidligere tråd lovede jeg at fortælle nærmere
om mit værktøj, når det var ved at være færdigt. Jeg regner
med at det bliver klart til betatest engang i løbet af 2005.

--
Kasper Dupont

Ukendt (19-04-2005)
Kommentar
Fra : Ukendt


Dato : 19-04-05 18:50

Kasper Dupont wrote:

> at wrote:
>
.....klip...


> Hvad OS kører Samba serveren? Er det også en Linux boks, og
> har du tænkt dig at køre backup softwaren på Samba serveren,
> eller skal backup softwaren hente filerne vha. SMB protokollen?

Samba serveren kører på en Redhat 7.2, og jeg havde tænkt mig, at backup
softwaren skulle ligge på den, da jeg regner med at det er det simpleste.

> Hvis du kører backup softwaren på den maskine, hvor filerne
> ligger, så behøver backup softwaren slet ikke bekymre sig om,
> at den også kører Samba. Den skal jo bare læse filerne.

Fint, så var det det simpleste


>
>>Af hensyn til båndbredden (128 Mb/s)
>
>
> Det lyder da af rimelig meget. Men du mener måske 128Kb/s.
Jo da

.....klip...

> Da der ikke ændres ret meget på storaget er det realistisk
> at synkronisere dette storage over en langsom forbindelse.
> Til det formål kan rsync anvendes, men jeg har tænkt mig
> at implementere et synkroniseringsværktøj rettet mod mit
> specifikke format.
>
> Engang i en tidligere tråd lovede jeg at fortælle nærmere
> om mit værktøj, når det var ved at være færdigt. Jeg regner
> med at det bliver klart til betatest engang i løbet af 2005.

Jeg er ikke sikker på at jeg forstår det helt, men der er nok mange som
er lidt nysgerrige, og ser frem til at høre mere.

Tak for inputet

mvh
Gert

Ukendt (19-04-2005)
Kommentar
Fra : Ukendt


Dato : 19-04-05 20:45

at wrote:
> Jeg ønsker daglige backups af en Samba Server via ftp/ssh til en Linux
> server, som står fysisk adskilt fra Samba serveren.
>
> Af hensyn til båndbredden (128 Mb/s)og data sikkerheden, skal følgende
> krav kunne opfyldes:
> - Mulighed for incremental backup
> - Krypteret data overførelse
> - Restore af enkelte/udvalgte filer
> - Daglige backups på faste tidspunkter
>
> Systemet skal *ikke* baseres på en grafisk brugeflade, da det helst skal
> kunne styres via ssh.
>
> Datamængden er ca. 2GB, og der skal dagligt opdateres ca. 10-20MB
>
> Jeg er ikke en Linux haj, men er der nogen som har et forslag til
> hvordan man kan gøre det?
>
> mvh
> Gert

Tak for de mange svar. Nu har jeg fået lidt at arbejde videre med, som
er blevet noget mere konkret.

mvh
Gert

Søg
Reklame
Statistik
Spørgsmål : 177560
Tips : 31968
Nyheder : 719565
Indlæg : 6408942
Brugere : 218888

Månedens bedste
Årets bedste
Sidste års bedste