Backup Linux System

**imitheos** · 02-03-20, 16:56

Το backup χρειάζεσαι να είναι "cp-able" χωρίς καθόλου εργαλεία ; Αν δεν σε ενδιαφέρει αυτό, τότε δοκίμασες το borg;

Αποθηκεύει μόνο τα δεδομένα που άλλαξαν όπως το rsync αλλά ταυτόχρονα κάνει block deduplication με hashes οπότε μπορείς να έχεις snapshots (δηλαδή σαν τα rsnapshot, rdiff αλλά χωρίς hardlinks). Επίσης όλα τα δεδομένα αποθηκεύονται μέσα σε "αρχεία" οπότε δεν έχεις το πρόβλημα του να μην υποστηρίζει permissions το remote fs, υπάρχει encryption αν δεν εμπιστεύεσαι το remote, κτλ.

Το μόνο κακό που έχει σε σχέση με τα rsync, tar είναι ότι τα δεδομένα σου δεν είναι τόσο εύκαιρα δηλαδή να bootάρεις ακόμη και με ένα αρχαίο cd και να κάνεις cp ή untar το τάδε αρχείο που θέλεις. Χρειάζεσαι το πρόγραμμα borg για να τα προσπελάσεις.

**DVader** · 03-03-20, 09:38

Αρχικό μήνυμα από Nikiforos

H rsync παιζει και μεσω SSH https://www.digitalocean.com/communi...rsync-over-ssh
αλλα και σαν daemon τα λεει στο arch wiki.
Δεν ειναι μονο για τοπικο συστημα δλδ.

Η rsync μια χαρά θα έπαιζε.....αλλά δυστυχώς δεν μου κάνει γιατί:
1. Ο δίσκος που παίρνω backup δεν είναι ακριβώς δίσκος αλλά φάκελος network στο οποίο δεν μπορώ να γράψω τα file attributes & file permissions.
2. H rsync δεν βγάζει πακέτα όπως το tar.gz οπότε ούτε download τοπικά δεν μπορέι να γίνει ..για έξτρα ασφάλεια ..

**DVader** · 04-03-20, 12:11

Αρχικό μήνυμα από EnDLess

Δοκίμασες το veeam? Θα συμφωνήσω με τον φίλο πιο πάνω. Είναι αξιόλογο προϊόν.

Δεν έχει για Linux... Mάλιστα για CentOS έχει ένα Linux Agent ..δεν είναι το πρόγραμμα αυτό ...είναι για άλλη χρήση ο agent ..

**dimitri_ns** · 04-03-20, 13:04

Αρχικό μήνυμα από DVader

Η rsync μια χαρά θα έπαιζε.....αλλά δυστυχώς δεν μου κάνει γιατί:
1. Ο δίσκος που παίρνω backup δεν είναι ακριβώς δίσκος αλλά φάκελος network στο οποίο δεν μπορώ να γράψω τα file attributes & file permissions.
2. H rsync δεν βγάζει πακέτα όπως το tar.gz οπότε ούτε download τοπικά δεν μπορέι να γίνει ..για έξτρα ασφάλεια ..

To να το κάνεις τοπικά και να ανεβάζεις τον κρυπτογραφημένο/συμπιεσμένο φάκελο, παίζει ?

**BlueChris** · 04-03-20, 15:04

Αρχικό μήνυμα από DVader

Δεν έχει για Linux... Mάλιστα για CentOS έχει ένα Linux Agent ..δεν είναι το πρόγραμμα αυτό ...είναι για άλλη χρήση ο agent ..

Ε? το Freepbx μου που το κάνω backup και είναι με centos μια χαρά μου λειτουργεί.

Σίγουρα πήγες εδώ και έκανες ότι έλεγε?

**parapente** · 08-03-20, 23:58

Νομίζω ότι η πιο απλή λύση είναι incremental backups με το tar. Μπορείς να φτιάξεις ένα απλό script που μια φορά ανά 15 ημέρες θα παίρνει πλήρες backup και τις υπόλοιπες φορές incremental. Αυτό που ίσως θα έπρεπε να δεις είναι η μορφή της συμπίεσης που θα χρησιμοποιήσεις αν θέλεις να επιταχύνεις λίγο το αποτέλεσμα. Ειδικά αν τα δεδομένα που αποθηκεύεις είναι αρχεία pdf, mp3, jpg, διάφορες μορφές βίντεο και ήδη συμπιεσμένα αρχεία δεν κερδίζεις κάτι με το -z. Δοκίμασε αν θέλεις να τα συμπιέσεις με το --lzop που μπορεί να παράγει μεγαλύτερα αρχεία, το κάνει όμως πολύ πιο γρήγορα και ακόμα πιο γρήγορα τα αποσυμπιέζει.

**BlueChris** · 09-03-20, 01:04

Επιμένω με το veeam. Είναι τσάμπα, κάνεις differential, σου σβήνει τα παλιά με γνώμονα πόσες μέρες θες να κρατάς. Απλά δεν υπάρχει. Μην το φοβάστε παιδιά, δοκιμάστε το.

**netblues** · 09-03-20, 10:28

Καλα τα tar και τα rsync, αλλα εχουμε 2020.. veeam, και αν ειστε πιο cli die hards borg.. H hetzner τo υποστηριζει και natively σαν backup service, για οποιον θελει offsite και εχει και λιγο bandwidth για ξοδεμα.

**imitheos** · 09-03-20, 10:55

Το tar, όπως λέει και το όνομά του, φτιάχθηκε για κασέτες για αυτό και έχει όλες τις ιδιαιτερότητες που έχει. Έχει μεν δυνατότητες αλλά πολλές από αυτές είναι hacks το ένα πάνω στο άλλο. Ο μόνος λόγος που συνεχίστηκε η χρήση του ήταν γιατί οι sysadmins ήξεραν να το χρησιμοποιούν και υπήρχε σε όλες τις δισκέτες boot / root και μετά στα livecd. Λόγω μικρού χώρου των cd (και αν θυμάμαι καλά, τότε δεν υπήρχε compression με squashfs, κτλ ώστε να χωρέσεις λίγο παραπάνω πράγμα στο cd) ήσουν σίγουρος ότι θα υπήρχε το tar και όχι το Ψ άλλο. Σήμερα με τα livedvd, liveusb, κτλ που έχουν ένα κάρο προγράμματα μέσα, ο μόνος λόγος που συνεχίζει να χρησιμοποιείται από διανομές και χρήστες είναι 90% αδράνεια, 10% ότι κάνει την δουλειά του αρκετά ικανοποιητικά ώστε (σε συνδυασμό με την αδράνεια) να μην μπαίνει κανείς στον κόπο να το αλλάξει.

Δεν είναι όμως η βέλτιστη λύση για απλά sources προγραμμάτων και σίγουρα δεν είναι για backups που θέλουμε incrementals, differentials, κτλ.

Αν θέλεις το backup σου να είναι copy-able κατευθείαν σε όποιο λειτουργικό ή live περιβάλλον βρεθείς, τότε μπορείς να χρησιμοποιήσεις tar ή καλύτερα να χρησιμοποιήσεις το rsync (ίσως σε συνδυασμό με κάποια έξτρα layers που δημιουργούν snapshots μέσω hardlinks όπως το rsnapshot). Το rsync φτιάχθηκε για αυτή τη δουλειά και είναι πολύ πιο αποδοτικό και εύχρηστο από το tar.

Διαφορετικά, μπορείς να χρησιμοποιήσεις κάποιο ειδικό backup πρόγραμμα όπως το veeam που πρότεινε ο BlueChris ή το borg που πρότεινα εγώ. Το borg είναι opensource, είναι γραμμένο σε python (που πλέον υπάρχει σχεδόν σε όλα τα live περιβάλλοντα) και κάνει τα πάντα:

Τα δεδομένα, όπως και στο tar, αποθηκεύονται σε απλά μεγάλα αρχεία οπότε μπορείς να τα αποθηκεύσεις οπουδήποτε ακόμη και σε περιβάλλοντα που δεν υποστηρίζουν άδειες (νομίζω ότι κάποιο τέτοιο πρόβλημα ανέφερε ο OP) όπως Ψ cloud, FAT32, κτλ.
Υποστηρίζει συμπίεση
Υποστηρίζει deduplication (μέσω cache):
- Έχει το καλό έναντι του rsync ότι αντί να έχεις ένα μόνο συγχρονισμό εκείνης της στιγμής, μπορείς να έχεις άπειρα snapshots με μηδαμηνό χώρο και πιο καλή απόδοση από hardlinks.
- Είναι block level deduplication οπότε δεν θα αποθηκεύσει ένα αρχείο 1GB επειδή άλλαξε 1MB.
- Τα δεδομένα υπάρχουν αποθηκευμένα και το κάθε archive απλά έχει αναφορές σε αυτά οπότε αν κάποιο archive γίνει corrupt, τα υπόλοιπα θα συνεχίζουν να δουλεύουν σε αντίθεση με τα incremental, differential backups που αν χάσεις το "μητρικό" τον ήπιες.
Υποστηρίζει encryption (αν θυμάμαι καλά αναγκαστική encryption οπότε δεν μπορείς να έχεις unencrypted backup) οπότε μπορείς να το αντιγράψεις σε όποιο cloud θέλεις χωρίς να φοβάσαι.
Prune παλαιών archives με ό,τι κανόνα επιλέξεις.
1002 άλλα features που δεν μου έρχονται τώρα.

Αρνητικά:

Το κύριο αρνητικό είναι ότι τα δεδομένα σου δεν είναι τόσο πρόχειρα όσο με το rsync. Έσβησες ένα αρχείο καταλάθος; Κάνεις mount το rsynced backup και κάνεις cp το αρχείο που θέλεις. Στο borg είναι πάλι εύκολο αλλά ένα μικρό κλικ πιο μανούρα. Μπορείς να κάνεις extract από το archive το αρχείο, μπορείς να κάνεις mount το archive μέσω fuse, ή μπορείς να κάνεις export σαν tar όλο το archive.
Υποστηρίζει μόνο SSH οπότε θα πρέπει ο cloud provider σου να το υποστηρίζει. Υπάρχει και ένα άλλο πρόγραμμα όπως το borg (και τα δύο ξεκίνησαν σαν fork του παλαιού backup προγράμματος attic) του οποίο το όνομα μου διαφεύγει τώρα και το οποίο έχει λιγότερα features από το borg αλλά έχει διάφορα plugins που υλοποιούν το Ψ API του Ω provider και μπορείς να στέλνεις κατευθείαν σε πολλούς cloud providers.
Λίγο προσοχή που πρέπει να έχεις με το cache αλλά μόνο αν χρησιμοποιείς περισσότερους του ενός backup targets.

Το veeam νομίζω έχει περισσότερα features αλλά το borg αφενός είναι opensource (ίσως να μην σε νοιάζει) αφετέρου είναι πιο γνωστό και το βρίσκεις πολύ εύκολα σε πολλά περιβάλλοντα.

Για να πάρεις μια ιδέα, εγώ έχω βάλει στο cron να κάνει backup κάθε δύο ώρες και αυτή τη στιγμή έχω

Κώδικας:

                       Original size      Compressed size    Deduplicated size
All archives:                1.83 TB              1.73 TB            113.40 GB

Αυτό σημαίνει ότι το συνολικό μέγεθος όλων των snanshots αυτού του backup είναι 1.83TB δηλαδή αν είχα κάνει ένα tar για κάθε backup μου, θα ήθελα τόσο χώρο. Επειδή το borg κάνει συμπίεση, το τελικό μέγεθος βγαίνει 1.73TB (όχι σημαντικό κέρδος γιατί στο συγκεκριμένο backup έχω και τραγούδια και ταινίες και γενικά δεδομένα που δεν συμπιέζονται). Επειδή το borg κάνει deduplication, το πραγματικό μέγεθος που πιάνουν όλα τα backups είναι 113.40GB.

TL;DR Αν δεν έχεις κάποιο σημαντικό λόγο να χρησιμοποιήσεις tar, προτίμησε το rsync. Ομοίως, αν δεν έχεις κάποιο σημαντικό λόγο να χρησιμοποιήσεις το rsync, προτίμησε το veeam. Ομοίως για το veeam, προτίμησε το borg.

**DVader** · 09-03-20, 17:55

Αρχικό μήνυμα από imitheos

Το tar, όπως λέει και το όνομά του, φτιάχθηκε για κασέτες για αυτό και έχει όλες τις ιδιαιτερότητες που έχει. Έχει μεν δυνατότητες αλλά πολλές από αυτές είναι hacks το ένα πάνω στο άλλο. Ο μόνος λόγος που συνεχίστηκε η χρήση του ήταν γιατί οι sysadmins ήξεραν να το χρησιμοποιούν και υπήρχε σε όλες τις δισκέτες boot / root και μετά στα livecd. Λόγω μικρού χώρου των cd (και αν θυμάμαι καλά, τότε δεν υπήρχε compression με squashfs, κτλ ώστε να χωρέσεις λίγο παραπάνω πράγμα στο cd) ήσουν σίγουρος ότι θα υπήρχε το tar και όχι το Ψ άλλο. Σήμερα με τα livedvd, liveusb, κτλ που έχουν ένα κάρο προγράμματα μέσα, ο μόνος λόγος που συνεχίζει να χρησιμοποιείται από διανομές και χρήστες είναι 90% αδράνεια, 10% ότι κάνει την δουλειά του αρκετά ικανοποιητικά ώστε (σε συνδυασμό με την αδράνεια) να μην μπαίνει κανείς στον κόπο να το αλλάξει.

Δεν είναι όμως η βέλτιστη λύση για απλά sources προγραμμάτων και σίγουρα δεν είναι για backups που θέλουμε incrementals, differentials, κτλ.

Αν θέλεις το backup σου να είναι copy-able κατευθείαν σε όποιο λειτουργικό ή live περιβάλλον βρεθείς, τότε μπορείς να χρησιμοποιήσεις tar ή καλύτερα να χρησιμοποιήσεις το rsync (ίσως σε συνδυασμό με κάποια έξτρα layers που δημιουργούν snapshots μέσω hardlinks όπως το rsnapshot). Το rsync φτιάχθηκε για αυτή τη δουλειά και είναι πολύ πιο αποδοτικό και εύχρηστο από το tar.

Διαφορετικά, μπορείς να χρησιμοποιήσεις κάποιο ειδικό backup πρόγραμμα όπως το veeam που πρότεινε ο BlueChris ή το borg που πρότεινα εγώ. Το borg είναι opensource, είναι γραμμένο σε python (που πλέον υπάρχει σχεδόν σε όλα τα live περιβάλλοντα) και κάνει τα πάντα:

Τα δεδομένα, όπως και στο tar, αποθηκεύονται σε απλά μεγάλα αρχεία οπότε μπορείς να τα αποθηκεύσεις οπουδήποτε ακόμη και σε περιβάλλοντα που δεν υποστηρίζουν άδειες (νομίζω ότι κάποιο τέτοιο πρόβλημα ανέφερε ο OP) όπως Ψ cloud, FAT32, κτλ.
Υποστηρίζει συμπίεση
Υποστηρίζει deduplication (μέσω cache):
- Έχει το καλό έναντι του rsync ότι αντί να έχεις ένα μόνο συγχρονισμό εκείνης της στιγμής, μπορείς να έχεις άπειρα snapshots με μηδαμηνό χώρο και πιο καλή απόδοση από hardlinks.
- Είναι block level deduplication οπότε δεν θα αποθηκεύσει ένα αρχείο 1GB επειδή άλλαξε 1MB.
- Τα δεδομένα υπάρχουν αποθηκευμένα και το κάθε archive απλά έχει αναφορές σε αυτά οπότε αν κάποιο archive γίνει corrupt, τα υπόλοιπα θα συνεχίζουν να δουλεύουν σε αντίθεση με τα incremental, differential backups που αν χάσεις το "μητρικό" τον ήπιες.
Υποστηρίζει encryption (αν θυμάμαι καλά αναγκαστική encryption οπότε δεν μπορείς να έχεις unencrypted backup) οπότε μπορείς να το αντιγράψεις σε όποιο cloud θέλεις χωρίς να φοβάσαι.
Prune παλαιών archives με ό,τι κανόνα επιλέξεις.
1002 άλλα features που δεν μου έρχονται τώρα.

Αρνητικά:

Το κύριο αρνητικό είναι ότι τα δεδομένα σου δεν είναι τόσο πρόχειρα όσο με το rsync. Έσβησες ένα αρχείο καταλάθος; Κάνεις mount το rsynced backup και κάνεις cp το αρχείο που θέλεις. Στο borg είναι πάλι εύκολο αλλά ένα μικρό κλικ πιο μανούρα. Μπορείς να κάνεις extract από το archive το αρχείο, μπορείς να κάνεις mount το archive μέσω fuse, ή μπορείς να κάνεις export σαν tar όλο το archive.
Υποστηρίζει μόνο SSH οπότε θα πρέπει ο cloud provider σου να το υποστηρίζει. Υπάρχει και ένα άλλο πρόγραμμα όπως το borg (και τα δύο ξεκίνησαν σαν fork του παλαιού backup προγράμματος attic) του οποίο το όνομα μου διαφεύγει τώρα και το οποίο έχει λιγότερα features από το borg αλλά έχει διάφορα plugins που υλοποιούν το Ψ API του Ω provider και μπορείς να στέλνεις κατευθείαν σε πολλούς cloud providers.
Λίγο προσοχή που πρέπει να έχεις με το cache αλλά μόνο αν χρησιμοποιείς περισσότερους του ενός backup targets.

Το veeam νομίζω έχει περισσότερα features αλλά το borg αφενός είναι opensource (ίσως να μην σε νοιάζει) αφετέρου είναι πιο γνωστό και το βρίσκεις πολύ εύκολα σε πολλά περιβάλλοντα.

Για να πάρεις μια ιδέα, εγώ έχω βάλει στο cron να κάνει backup κάθε δύο ώρες και αυτή τη στιγμή έχω

Κώδικας:

                       Original size      Compressed size    Deduplicated size
All archives:                1.83 TB              1.73 TB            113.40 GB

Αυτό σημαίνει ότι το συνολικό μέγεθος όλων των snanshots αυτού του backup είναι 1.83TB δηλαδή αν είχα κάνει ένα tar για κάθε backup μου, θα ήθελα τόσο χώρο. Επειδή το borg κάνει συμπίεση, το τελικό μέγεθος βγαίνει 1.73TB (όχι σημαντικό κέρδος γιατί στο συγκεκριμένο backup έχω και τραγούδια και ταινίες και γενικά δεδομένα που δεν συμπιέζονται). Επειδή το borg κάνει deduplication, το πραγματικό μέγεθος που πιάνουν όλα τα backups είναι 113.40GB.

TL;DR Αν δεν έχεις κάποιο σημαντικό λόγο να χρησιμοποιήσεις tar, προτίμησε το rsync. Ομοίως, αν δεν έχεις κάποιο σημαντικό λόγο να χρησιμοποιήσεις το rsync, προτίμησε το veeam. Ομοίως για το veeam, προτίμησε το borg.

Το veeam που έβαλα ... δεν κατάφερα να το κάνω να δουλέψει ...

Στο περιβλλάον του έβαλα να κάνει backup όλο το /home και να το βάλει στο /root/externaldisk και δεν με άφησε.. μου έβγαλε ότι δεν είναι διαφορετικό file system ενώ το root/externaldisk είναι mounted σε άλλο δισκο... Δεν είναι USB αλλά εσωτερικός ...

Τώρα το borg είναι αλήθεια δεν το δοκίμασα... ακόμα..

To screenshot σου είναι από το veem .. ?

- - - Updated - - -

Το rsync δεν μου κάνει για backup ...Θα μπορούσε αλλά έχει ένα μεγάλο πρόβλημα... Δεν μπορεί να βγάλει ως αποτέλεσμα ένα αρχείο σε τύπου .tar..
Είναι αντιγραγή ουσιαστικά του tree με πολύ περισσότερες δυνατότητες ...το αποτέλεσμα αυτό είναι και επειδή εκεί που κάνω backup είναι remote linux system
μου βγάζει error ότι δεν μπορεί να πάρει attibutes & permissions...

**imitheos** · 09-03-20, 17:57

Αρχικό μήνυμα από DVader

Το veeam που έβαλα ... δεν κατάφερα να το κάνω να δουλέψει ...

Στο περιβλλάον του έβαλα να κάνει backup όλο το /home και να το βάλει στο /root/externaldisk και δεν με άφησε.. μου έβγαλε ότι δεν είναι διαφορετικό file system ενώ το root/externaldisk είναι mounted σε άλλο δισκο... Δεν είναι USB αλλά εσωτερικός ...

Τώρα το borg είναι αλήθεια δεν το δοκίμασα... ακόμα..

To screenshot σου είναι από το veem .. ?

Αν εννοείς αυτό που έγραψα για τον χώρο, ναι είναι από borg. Αν δεν κατάφερες το veeam να δουλέψει δεν ξέρω κατά πόσο θα σε βολέψει το borg επειδή πρέπει να γράψεις κάποιο scriptάκι που να του λες τι παραμέτρους να τρέξει (όπως φυσικά θα κάνεις και στην περίπτωση του rsync) γιατί είναι κάμποσες + τις παραμέτρους που θα χρειαστείς την πρώτη φορά για το create του repo. Υπάρχουν και γραφικά front-ends για το borg οπότε μπορείς να ξεκινήσεις από εκεί αν θέλεις αλλά δεν τα έχω δουλέψει και δεν ξέρω κατά πόσο είναι βολικά. Υποθέτω θα μπορείς να βρεις αναφορές σε αυτά στην σελίδα του borg γιατί δεν θυμάμαι πως λέγονται. Το μόνο που θυμάμαι είναι το vorta για ευνόητους λόγους.

**DVader** · 09-03-20, 18:14

Αρχικό μήνυμα από imitheos

Αν εννοείς αυτό που έγραψα για τον χώρο, ναι είναι από borg. Αν δεν κατάφερες το veeam να δουλέψει δεν ξέρω κατά πόσο θα σε βολέψει το borg επειδή πρέπει να γράψεις κάποιο scriptάκι που να του λες τι παραμέτρους να τρέξει (όπως φυσικά θα κάνεις και στην περίπτωση του rsync) γιατί είναι κάμποσες + τις παραμέτρους που θα χρειαστείς την πρώτη φορά για το create του repo. Υπάρχουν και γραφικά front-ends για το borg οπότε μπορείς να ξεκινήσεις από εκεί αν θέλεις αλλά δεν τα έχω δουλέψει και δεν ξέρω κατά πόσο είναι βολικά. Υποθέτω θα μπορείς να βρεις αναφορές σε αυτά στην σελίδα του borg γιατί δεν θυμάμαι πως λέγονται. Το μόνο που θυμάμαι είναι το vorta για ευνόητους λόγους.

Ισα ίσα που το θέλω σε command line για να μπορώ να το κατευθύνω όπως θέλω εγώ τι να παίρνει...

Να σκεφτείς τώρα έχω ένα bash script το οποίο δουλεύει με την tar αλλά τι θα πάρει backup εξαρτάται από κάποιους παράγοντες και πριν το backup κάνει και κάποιες εργασίες...

- - - Updated - - -

Αυτό που με βόλεψε στο tar είναι ότι βγαίνει σε ένα αρχείο η σε μια μικρή ομάδα (splitted) και μπορώ να το μεταφέρω εύκολα χωρίς πολύ κόπο ....
Οτι είναι σε μορφή όπως βγάζει το Rsync δυστυχώς δεν μας κάνει ....

**imitheos** · 09-03-20, 20:07

Αρχικό μήνυμα από DVader

Αυτό που με βόλεψε στο tar είναι ότι βγαίνει σε ένα αρχείο η σε μια μικρή ομάδα (splitted) και μπορώ να το μεταφέρω εύκολα χωρίς πολύ κόπο ....
Οτι είναι σε μορφή όπως βγάζει το Rsync δυστυχώς δεν μας κάνει ....

Και εδώ τέτοια αρχεία αλλά είναι σχετικά πιο πολλά μοιρασμένα σε 10-15 υποκαταλόγους. Σε περίπτωση που το δοκιμάσεις, να εξηγήσω λίγο αυτό που είπα για το cache. Αν κάνεις backup μόνο σε ένα μέρος τότε δεν σε ενδιαφέρει. Αν κάνεις backup σε 2+ targets (πχ σε ένα εξωτερικό δίσκο, στον hetzner, και στο AWS), μπορείς υπό συνθήκες να έχεις corruption.

Επειδή το deduplication είναι χρονοβόρο και έχει κόστος για τον επεξεργαστή, το borg κρατάει ένα cache με τα διάφορα hashes. Έτσι όταν δημιουργείς ένα archive σε ένα repo, το borg ελέγχει το cache και μεταφέρει μόνο τα δεδομένα που άλλαξαν. Για να το εξηγήσω πιο εύκολα θα χρησιμοποιήσω αριθμητικά revisions (στην πραγματικότητα δεν γίνεται έτσι φυσικά)

Ας υποθέσουμε ότι έχεις 2 targets τον Α και τον Β. Το backup και στους 2 βρίσκεται στην revision 300. Το cache στο τοπικό σου σύστημα βρίσκεται επίσης στην revision 300. Το filesystem σου όμως άλλαξε από τότε και τώρα βρίσκεται στην revision 312. Δημιουργείς ένα archive στον target Α οπότε το borg αποθηκεύει τα δεδομένα που άλλαξαν στις revisions 301 - 312 και ανανεώνει το cache ώστε να δείχνει στην 312. Μετά από λίγο (και ενώ το filesystem σου βρίσκεται στην revision 315) πας να δημιουργήσεις ένα archive στον target Β. Το borg θα δει ότι το cache είναι στην 312, το fs είναι στην 315 οπότε θα μεταφέρει στον Β μόνο τα 313 - 315. Ο Β όμως βρισκόταν στην έκδοση 300 οπότε χάθηκαν ένα κάρο δεδομένα.

Αυτό γίνεται μόνο αν δεν χρησιμοποιείς την προτεινόμενη μέθοδο και μόνο υπό ορισμένες συνθήκες (πρέπει να χρησιμοποιείς παντού το ίδιο repo το οποίο αντέγραψες την 1η φορά με rsync και μετά είπες να τρέχεις κατευθείαν borg). Το γράφω απλά για να το έχει υπόψιν του κάποιος που θα πάει να χρησιμοποιήσει το borg. Στην επίσημη σελίδα το εξηγεί αναλυτικά καλύτερα από εμένα όπως επίσης έχει ένα κάρο χρήσιμες πληροφορίες και οδηγούς.

**DVader** · 09-03-20, 22:51

Μόλις έβαλα το borg και το δοκιμάζω...

- - - Updated - - -

Για 10GB ούτε 10mins

- - - Updated - - -

Λοιπόν αρχίζει να με ψήνει ως αντικαταστάτης του Tar & gzip ...

Γρήγορο και με αρκετές δυνατότητες...

Το δουλεύει κανείς και αν ναι ..πόσο καιρό ..?

**MitsakosGR** · 10-03-20, 13:16

Αρχικό μήνυμα από DVader

Μόλις έβαλα το borg και το δοκιμάζω...

- - - Updated - - -

Για 10GB ούτε 10mins

- - - Updated - - -

Λοιπόν αρχίζει να με ψήνει ως αντικαταστάτης του Tar & gzip ...

Γρήγορο και με αρκετές δυνατότητες...

Το δουλεύει κανείς και αν ναι ..πόσο καιρό ..?

Εγώ το έχω για backup σε ένα arch linux 4-5 χρόνια. Κρατάει συνεχώς 6 μηνιαία, 4 εβδομαδιαία και 7 ημερήσια backup. Τις φορές που έχει χρειαστεί να κάνω restore δεν είχα ποτέ πρόβλημα. Ακόμα και full system νομίζω είχαμε κάνει, απλά κάναμε την τυπική εγκατάσταση πρώτα ώστε να φτιάξει τα βασικά (boot partition κτλ).

- - - Updated - - -

Αυτό το script χρησιμοποιώ για backup. Νομίζω το είχα βρει από τα samples.

Spoiler:

Κώδικας:

#!/bin/sh

# Setting this, so the repo does not need to be given on the commandline:
export BORG_REPO=/backup/www

# Setting this, so you won't be asked for your repository passphrase:
export BORG_PASSPHRASE='something_something_something'


# some helpers and error handling:
info() { printf "\n%s %s\n\n" "$( date )" "$*" >&2; }
trap 'echo $( date ) Backup interrupted >&2; exit 2' INT TERM

info "Starting backup"

# Backup the most important directories into an archive named after
# the machine this script is currently running on:

borg create                         \
    --verbose                       \
    --filter AME                    \
    --list                          \
    --stats                         \
    --show-rc                       \
    --compression lz4               \
    --exclude-caches                \
    --exclude '/home/*/.cache/*'    \
    --exclude '/var/cache/*'        \
    --exclude '/var/tmp/*'          \
    --exclude '/tmp/*'              \
    --exclude '/backup/*'           \
    --exclude '/dev/*'              \
    --exclude '/lost+found/*'       \
    --exclude '/proc/*'             \
    --exclude '/sys/*'              \
                                    \
    ::'{hostname}-{now}'            \
    /                               \

backup_exit=$?

info "Pruning repository"

# Use the `prune` subcommand to maintain 7 daily, 4 weekly and 6 monthly
# archives of THIS machine. The '{hostname}-' prefix is very important to
# limit prune's operation to this machine's archives and not apply to
# other machines' archives also:

borg prune                          \
    --list                          \
    --prefix '{hostname}-'          \
    --show-rc                       \
    --keep-daily    7               \
    --keep-weekly   4               \
    --keep-monthly  6               \

prune_exit=$?

# use highest exit code as global exit code
global_exit=$(( backup_exit > prune_exit ? backup_exit : prune_exit ))

if [ ${global_exit} -eq 1 ];
then
    info "Backup and/or Prune finished with a warning"
fi

if [ ${global_exit} -gt 1 ];
then
    info "Backup and/or Prune finished with an error"
fi

exit ${global_exit}

Και έχω φτιάξει ένα service και ένα timer στο systemd ώστε να τρέχει κάθε βράδυ, τα μεσάνυχτα.

Spoiler:

Θέμα: Backup Linux System

Bookmarks

Bookmarks

Δικαιώματα - Επιλογές