Το backup χρειάζεσαι να είναι "cp-able" χωρίς καθόλου εργαλεία ; Αν δεν σε ενδιαφέρει αυτό, τότε δοκίμασες το borg;
Αποθηκεύει μόνο τα δεδομένα που άλλαξαν όπως το rsync αλλά ταυτόχρονα κάνει block deduplication με hashes οπότε μπορείς να έχεις snapshots (δηλαδή σαν τα rsnapshot, rdiff αλλά χωρίς hardlinks). Επίσης όλα τα δεδομένα αποθηκεύονται μέσα σε "αρχεία" οπότε δεν έχεις το πρόβλημα του να μην υποστηρίζει permissions το remote fs, υπάρχει encryption αν δεν εμπιστεύεσαι το remote, κτλ.
Το μόνο κακό που έχει σε σχέση με τα rsync, tar είναι ότι τα δεδομένα σου δεν είναι τόσο εύκαιρα δηλαδή να bootάρεις ακόμη και με ένα αρχαίο cd και να κάνεις cp ή untar το τάδε αρχείο που θέλεις. Χρειάζεσαι το πρόγραμμα borg για να τα προσπελάσεις.
Εμφάνιση 16-30 από 52
Θέμα: Backup Linux System
-
02-03-20, 16:56 Απάντηση: Backup Linux System #16"I like offending people, because I think people who get offended should be offended" - Linus Torvalds
"Παλιά είχαμε φτωχούς οι οποίοι ζούσανε σε φτωχογειτονιές. Τώρα, η οικονομικά δυσπραγούσα τάξη
κατέχει στέγες υποδεέστερης ποιότητας σε υποβαθμισμένα αστικά κέντρα" - George Carlin
Γα.... την πολιτική ορθότητα.
-
03-03-20, 09:38 Απάντηση: Backup Linux System #17
Η rsync μια χαρά θα έπαιζε.....αλλά δυστυχώς δεν μου κάνει γιατί:
1. Ο δίσκος που παίρνω backup δεν είναι ακριβώς δίσκος αλλά φάκελος network στο οποίο δεν μπορώ να γράψω τα file attributes & file permissions.
2. H rsync δεν βγάζει πακέτα όπως το tar.gz οπότε ούτε download τοπικά δεν μπορέι να γίνει ..για έξτρα ασφάλεια ..
-
04-03-20, 12:11 Απάντηση: Backup Linux System #18
-
04-03-20, 13:04 Απάντηση: Backup Linux System #19
-
04-03-20, 15:04 Απάντηση: Backup Linux System #20
Ε? το Freepbx μου που το κάνω backup και είναι με centos μια χαρά μου λειτουργεί.
Σίγουρα πήγες εδώ και έκανες ότι έλεγε?There's no substitute for experience
CorollaClub
-
08-03-20, 23:58 Απάντηση: Backup Linux System #21
Νομίζω ότι η πιο απλή λύση είναι incremental backups με το tar. Μπορείς να φτιάξεις ένα απλό script που μια φορά ανά 15 ημέρες θα παίρνει πλήρες backup και τις υπόλοιπες φορές incremental. Αυτό που ίσως θα έπρεπε να δεις είναι η μορφή της συμπίεσης που θα χρησιμοποιήσεις αν θέλεις να επιταχύνεις λίγο το αποτέλεσμα. Ειδικά αν τα δεδομένα που αποθηκεύεις είναι αρχεία pdf, mp3, jpg, διάφορες μορφές βίντεο και ήδη συμπιεσμένα αρχεία δεν κερδίζεις κάτι με το -z. Δοκίμασε αν θέλεις να τα συμπιέσεις με το --lzop που μπορεί να παράγει μεγαλύτερα αρχεία, το κάνει όμως πολύ πιο γρήγορα και ακόμα πιο γρήγορα τα αποσυμπιέζει.
-
09-03-20, 01:04 Απάντηση: Backup Linux System #22
Επιμένω με το veeam. Είναι τσάμπα, κάνεις differential, σου σβήνει τα παλιά με γνώμονα πόσες μέρες θες να κρατάς. Απλά δεν υπάρχει. Μην το φοβάστε παιδιά, δοκιμάστε το.
There's no substitute for experience
CorollaClub
-
09-03-20, 10:28 Απάντηση: Backup Linux System #23
Καλα τα tar και τα rsync, αλλα εχουμε 2020.. veeam, και αν ειστε πιο cli die hards borg.. H hetzner τo υποστηριζει και natively σαν backup service, για οποιον θελει offsite και εχει και λιγο bandwidth για ξοδεμα.
-
09-03-20, 10:55 Απάντηση: Backup Linux System #24
Το tar, όπως λέει και το όνομά του, φτιάχθηκε για κασέτες για αυτό και έχει όλες τις ιδιαιτερότητες που έχει. Έχει μεν δυνατότητες αλλά πολλές από αυτές είναι hacks το ένα πάνω στο άλλο. Ο μόνος λόγος που συνεχίστηκε η χρήση του ήταν γιατί οι sysadmins ήξεραν να το χρησιμοποιούν και υπήρχε σε όλες τις δισκέτες boot / root και μετά στα livecd. Λόγω μικρού χώρου των cd (και αν θυμάμαι καλά, τότε δεν υπήρχε compression με squashfs, κτλ ώστε να χωρέσεις λίγο παραπάνω πράγμα στο cd) ήσουν σίγουρος ότι θα υπήρχε το tar και όχι το Ψ άλλο. Σήμερα με τα livedvd, liveusb, κτλ που έχουν ένα κάρο προγράμματα μέσα, ο μόνος λόγος που συνεχίζει να χρησιμοποιείται από διανομές και χρήστες είναι 90% αδράνεια, 10% ότι κάνει την δουλειά του αρκετά ικανοποιητικά ώστε (σε συνδυασμό με την αδράνεια) να μην μπαίνει κανείς στον κόπο να το αλλάξει.
Δεν είναι όμως η βέλτιστη λύση για απλά sources προγραμμάτων και σίγουρα δεν είναι για backups που θέλουμε incrementals, differentials, κτλ.
Αν θέλεις το backup σου να είναι copy-able κατευθείαν σε όποιο λειτουργικό ή live περιβάλλον βρεθείς, τότε μπορείς να χρησιμοποιήσεις tar ή καλύτερα να χρησιμοποιήσεις το rsync (ίσως σε συνδυασμό με κάποια έξτρα layers που δημιουργούν snapshots μέσω hardlinks όπως το rsnapshot). Το rsync φτιάχθηκε για αυτή τη δουλειά και είναι πολύ πιο αποδοτικό και εύχρηστο από το tar.
Διαφορετικά, μπορείς να χρησιμοποιήσεις κάποιο ειδικό backup πρόγραμμα όπως το veeam που πρότεινε ο BlueChris ή το borg που πρότεινα εγώ. Το borg είναι opensource, είναι γραμμένο σε python (που πλέον υπάρχει σχεδόν σε όλα τα live περιβάλλοντα) και κάνει τα πάντα:
- Τα δεδομένα, όπως και στο tar, αποθηκεύονται σε απλά μεγάλα αρχεία οπότε μπορείς να τα αποθηκεύσεις οπουδήποτε ακόμη και σε περιβάλλοντα που δεν υποστηρίζουν άδειες (νομίζω ότι κάποιο τέτοιο πρόβλημα ανέφερε ο OP) όπως Ψ cloud, FAT32, κτλ.
- Υποστηρίζει συμπίεση
- Υποστηρίζει deduplication (μέσω cache):
- Έχει το καλό έναντι του rsync ότι αντί να έχεις ένα μόνο συγχρονισμό εκείνης της στιγμής, μπορείς να έχεις άπειρα snapshots με μηδαμηνό χώρο και πιο καλή απόδοση από hardlinks.
- Είναι block level deduplication οπότε δεν θα αποθηκεύσει ένα αρχείο 1GB επειδή άλλαξε 1MB.
- Τα δεδομένα υπάρχουν αποθηκευμένα και το κάθε archive απλά έχει αναφορές σε αυτά οπότε αν κάποιο archive γίνει corrupt, τα υπόλοιπα θα συνεχίζουν να δουλεύουν σε αντίθεση με τα incremental, differential backups που αν χάσεις το "μητρικό" τον ήπιες.
- Υποστηρίζει encryption (αν θυμάμαι καλά αναγκαστική encryption οπότε δεν μπορείς να έχεις unencrypted backup) οπότε μπορείς να το αντιγράψεις σε όποιο cloud θέλεις χωρίς να φοβάσαι.
- Prune παλαιών archives με ό,τι κανόνα επιλέξεις.
- 1002 άλλα features που δεν μου έρχονται τώρα.
Αρνητικά:
- Το κύριο αρνητικό είναι ότι τα δεδομένα σου δεν είναι τόσο πρόχειρα όσο με το rsync. Έσβησες ένα αρχείο καταλάθος; Κάνεις mount το rsynced backup και κάνεις cp το αρχείο που θέλεις. Στο borg είναι πάλι εύκολο αλλά ένα μικρό κλικ πιο μανούρα. Μπορείς να κάνεις extract από το archive το αρχείο, μπορείς να κάνεις mount το archive μέσω fuse, ή μπορείς να κάνεις export σαν tar όλο το archive.
- Υποστηρίζει μόνο SSH οπότε θα πρέπει ο cloud provider σου να το υποστηρίζει. Υπάρχει και ένα άλλο πρόγραμμα όπως το borg (και τα δύο ξεκίνησαν σαν fork του παλαιού backup προγράμματος attic) του οποίο το όνομα μου διαφεύγει τώρα και το οποίο έχει λιγότερα features από το borg αλλά έχει διάφορα plugins που υλοποιούν το Ψ API του Ω provider και μπορείς να στέλνεις κατευθείαν σε πολλούς cloud providers.
- Λίγο προσοχή που πρέπει να έχεις με το cache αλλά μόνο αν χρησιμοποιείς περισσότερους του ενός backup targets.
Το veeam νομίζω έχει περισσότερα features αλλά το borg αφενός είναι opensource (ίσως να μην σε νοιάζει) αφετέρου είναι πιο γνωστό και το βρίσκεις πολύ εύκολα σε πολλά περιβάλλοντα.
Για να πάρεις μια ιδέα, εγώ έχω βάλει στο cron να κάνει backup κάθε δύο ώρες και αυτή τη στιγμή έχω
Κώδικας:Original size Compressed size Deduplicated size All archives: 1.83 TB 1.73 TB 113.40 GB
TL;DR Αν δεν έχεις κάποιο σημαντικό λόγο να χρησιμοποιήσεις tar, προτίμησε το rsync. Ομοίως, αν δεν έχεις κάποιο σημαντικό λόγο να χρησιμοποιήσεις το rsync, προτίμησε το veeam. Ομοίως για το veeam, προτίμησε το borg."I like offending people, because I think people who get offended should be offended" - Linus Torvalds
"Παλιά είχαμε φτωχούς οι οποίοι ζούσανε σε φτωχογειτονιές. Τώρα, η οικονομικά δυσπραγούσα τάξη
κατέχει στέγες υποδεέστερης ποιότητας σε υποβαθμισμένα αστικά κέντρα" - George Carlin
Γα.... την πολιτική ορθότητα.
-
09-03-20, 17:55 Απάντηση: Backup Linux System #25
Το veeam που έβαλα ... δεν κατάφερα να το κάνω να δουλέψει ...
Στο περιβλλάον του έβαλα να κάνει backup όλο το /home και να το βάλει στο /root/externaldisk και δεν με άφησε.. μου έβγαλε ότι δεν είναι διαφορετικό file system ενώ το root/externaldisk είναι mounted σε άλλο δισκο... Δεν είναι USB αλλά εσωτερικός ...
Τώρα το borg είναι αλήθεια δεν το δοκίμασα... ακόμα..
To screenshot σου είναι από το veem .. ?
- - - Updated - - -
Το rsync δεν μου κάνει για backup ...Θα μπορούσε αλλά έχει ένα μεγάλο πρόβλημα... Δεν μπορεί να βγάλει ως αποτέλεσμα ένα αρχείο σε τύπου .tar..
Είναι αντιγραγή ουσιαστικά του tree με πολύ περισσότερες δυνατότητες ...το αποτέλεσμα αυτό είναι και επειδή εκεί που κάνω backup είναι remote linux system
μου βγάζει error ότι δεν μπορεί να πάρει attibutes & permissions...
-
09-03-20, 17:57 Απάντηση: Backup Linux System #26
Αν εννοείς αυτό που έγραψα για τον χώρο, ναι είναι από borg. Αν δεν κατάφερες το veeam να δουλέψει δεν ξέρω κατά πόσο θα σε βολέψει το borg επειδή πρέπει να γράψεις κάποιο scriptάκι που να του λες τι παραμέτρους να τρέξει (όπως φυσικά θα κάνεις και στην περίπτωση του rsync) γιατί είναι κάμποσες + τις παραμέτρους που θα χρειαστείς την πρώτη φορά για το create του repo. Υπάρχουν και γραφικά front-ends για το borg οπότε μπορείς να ξεκινήσεις από εκεί αν θέλεις αλλά δεν τα έχω δουλέψει και δεν ξέρω κατά πόσο είναι βολικά. Υποθέτω θα μπορείς να βρεις αναφορές σε αυτά στην σελίδα του borg γιατί δεν θυμάμαι πως λέγονται. Το μόνο που θυμάμαι είναι το vorta για ευνόητους λόγους.
"I like offending people, because I think people who get offended should be offended" - Linus Torvalds
"Παλιά είχαμε φτωχούς οι οποίοι ζούσανε σε φτωχογειτονιές. Τώρα, η οικονομικά δυσπραγούσα τάξη
κατέχει στέγες υποδεέστερης ποιότητας σε υποβαθμισμένα αστικά κέντρα" - George Carlin
Γα.... την πολιτική ορθότητα.
-
09-03-20, 18:14 Απάντηση: Backup Linux System #27
Ισα ίσα που το θέλω σε command line για να μπορώ να το κατευθύνω όπως θέλω εγώ τι να παίρνει...
Να σκεφτείς τώρα έχω ένα bash script το οποίο δουλεύει με την tar αλλά τι θα πάρει backup εξαρτάται από κάποιους παράγοντες και πριν το backup κάνει και κάποιες εργασίες...
- - - Updated - - -
Αυτό που με βόλεψε στο tar είναι ότι βγαίνει σε ένα αρχείο η σε μια μικρή ομάδα (splitted) και μπορώ να το μεταφέρω εύκολα χωρίς πολύ κόπο ....
Οτι είναι σε μορφή όπως βγάζει το Rsync δυστυχώς δεν μας κάνει ....
-
09-03-20, 20:07 Απάντηση: Backup Linux System #28
Και εδώ τέτοια αρχεία αλλά είναι σχετικά πιο πολλά μοιρασμένα σε 10-15 υποκαταλόγους. Σε περίπτωση που το δοκιμάσεις, να εξηγήσω λίγο αυτό που είπα για το cache. Αν κάνεις backup μόνο σε ένα μέρος τότε δεν σε ενδιαφέρει. Αν κάνεις backup σε 2+ targets (πχ σε ένα εξωτερικό δίσκο, στον hetzner, και στο AWS), μπορείς υπό συνθήκες να έχεις corruption.
Επειδή το deduplication είναι χρονοβόρο και έχει κόστος για τον επεξεργαστή, το borg κρατάει ένα cache με τα διάφορα hashes. Έτσι όταν δημιουργείς ένα archive σε ένα repo, το borg ελέγχει το cache και μεταφέρει μόνο τα δεδομένα που άλλαξαν. Για να το εξηγήσω πιο εύκολα θα χρησιμοποιήσω αριθμητικά revisions (στην πραγματικότητα δεν γίνεται έτσι φυσικά)
Ας υποθέσουμε ότι έχεις 2 targets τον Α και τον Β. Το backup και στους 2 βρίσκεται στην revision 300. Το cache στο τοπικό σου σύστημα βρίσκεται επίσης στην revision 300. Το filesystem σου όμως άλλαξε από τότε και τώρα βρίσκεται στην revision 312. Δημιουργείς ένα archive στον target Α οπότε το borg αποθηκεύει τα δεδομένα που άλλαξαν στις revisions 301 - 312 και ανανεώνει το cache ώστε να δείχνει στην 312. Μετά από λίγο (και ενώ το filesystem σου βρίσκεται στην revision 315) πας να δημιουργήσεις ένα archive στον target Β. Το borg θα δει ότι το cache είναι στην 312, το fs είναι στην 315 οπότε θα μεταφέρει στον Β μόνο τα 313 - 315. Ο Β όμως βρισκόταν στην έκδοση 300 οπότε χάθηκαν ένα κάρο δεδομένα.
Αυτό γίνεται μόνο αν δεν χρησιμοποιείς την προτεινόμενη μέθοδο και μόνο υπό ορισμένες συνθήκες (πρέπει να χρησιμοποιείς παντού το ίδιο repo το οποίο αντέγραψες την 1η φορά με rsync και μετά είπες να τρέχεις κατευθείαν borg). Το γράφω απλά για να το έχει υπόψιν του κάποιος που θα πάει να χρησιμοποιήσει το borg. Στην επίσημη σελίδα το εξηγεί αναλυτικά καλύτερα από εμένα όπως επίσης έχει ένα κάρο χρήσιμες πληροφορίες και οδηγούς."I like offending people, because I think people who get offended should be offended" - Linus Torvalds
"Παλιά είχαμε φτωχούς οι οποίοι ζούσανε σε φτωχογειτονιές. Τώρα, η οικονομικά δυσπραγούσα τάξη
κατέχει στέγες υποδεέστερης ποιότητας σε υποβαθμισμένα αστικά κέντρα" - George Carlin
Γα.... την πολιτική ορθότητα.
-
09-03-20, 22:51 Απάντηση: Backup Linux System #29
Μόλις έβαλα το borg και το δοκιμάζω...
- - - Updated - - -
Για 10GB ούτε 10mins
- - - Updated - - -
Λοιπόν αρχίζει να με ψήνει ως αντικαταστάτης του Tar & gzip ...
Γρήγορο και με αρκετές δυνατότητες...
Το δουλεύει κανείς και αν ναι ..πόσο καιρό ..?
-
10-03-20, 13:16 Απάντηση: Backup Linux System #30
Εγώ το έχω για backup σε ένα arch linux 4-5 χρόνια. Κρατάει συνεχώς 6 μηνιαία, 4 εβδομαδιαία και 7 ημερήσια backup. Τις φορές που έχει χρειαστεί να κάνω restore δεν είχα ποτέ πρόβλημα. Ακόμα και full system νομίζω είχαμε κάνει, απλά κάναμε την τυπική εγκατάσταση πρώτα ώστε να φτιάξει τα βασικά (boot partition κτλ).
- - - Updated - - -
Αυτό το script χρησιμοποιώ για backup. Νομίζω το είχα βρει από τα samples.
Spoiler:
Και έχω φτιάξει ένα service και ένα timer στο systemd ώστε να τρέχει κάθε βράδυ, τα μεσάνυχτα.
Spoiler:
Bookmarks