Backup Linux System

[DVader]

ΟΚ ! Με έπεισες !!!

Γενικώς μου αρέσει σαν πρόγραμμα.. Είναι πολύ γρήγορο ... και μου θυμίζει πολύ το Source Safe στον τρόπο που δουλεύει ...
Και επειδή το συμπαθώ το Source Safe τα μάλλα μάλλον προς τα εκεί θα πάω ....

- - - Updated - - -

Πως καταλαβαίνει άραγε την έννοια μηνιαίο...εβδομαδιαίο ..?

Εδώ το βρήκες..

https://gist.github.com/dckg/2f7af60...nux-desktop-sh

[MitsakosGR]

ΟΚ ! Με έπεισες !!!

Γενικώς μου αρέσει σαν πρόγραμμα.. Είναι πολύ γρήγορο ... και μου θυμίζει πολύ το Source Safe στον τρόπο που δουλεύει ...
Και επειδή το συμπαθώ το Source Safe τα μάλλα μάλλον προς τα εκεί θα πάω ....

- - - Updated - - -

Πως καταλαβαίνει άραγε την έννοια μηνιαίο...εβδομαδιαίο ..?

Εδώ το βρήκες..

https://gist.github.com/dckg/2f7af60...nux-desktop-sh

Σε κάθε backup έχει timestamp. Kάθε φορα που τρέχει κάνει ένα καινούργιο backup και μετά διαγράφει όσα δεν χρειάζονται. Οπότε με βάση το timestamp ξέρει ότι χρειάζεται ή όχι διαγραφή!
Αυτό φαίνεται και στο script που είναι άλλο το create και άλλο το prune!

Εδώ το βρήκα (συνήθως προτιμώ το documentation)! :P

[imitheos]

Όπως σε προέτρεψε ο MitsakosGR (ή έτσι το κατάλαβα εγώ), διάβασε όλο το documentation. Έχει πολλές πληροφορίες που θα σε βοηθήσουν (πχ τι μεταδεδομένα αποθηκεύονται και τι όχι, pitfalls που θα συναντήσεις, κτλ) και επίσης έχει και τέτοια sample scripts. Θυμάμαι είχε και ένα (overkill για τις περισσότερες περιπτώσεις) πλήρως αυτοματοποιημένο με timers και λοιπά το οποίο είχε ένα config αρχείο στο οποίο έβαζες το serial no του σκληρού και οποιαδήποτε στιγμή έκανες plug τον συγκεκριμένο δίσκο, έκανε μόνο του backup αυτόματα.

[tsigarid]

Εγώ το έχω για backup σε ένα arch linux 4-5 χρόνια. Κρατάει συνεχώς 6 μηνιαία, 4 εβδομαδιαία και 7 ημερήσια backup. Τις φορές που έχει χρειαστεί να κάνω restore δεν είχα ποτέ πρόβλημα. Ακόμα και full system νομίζω είχαμε κάνει, απλά κάναμε την τυπική εγκατάσταση πρώτα ώστε να φτιάξει τα βασικά (boot partition κτλ).

- - - Updated - - -

Αυτό το script χρησιμοποιώ για backup. Νομίζω το είχα βρει από τα samples.

Spoiler:

#!/bin/sh

# Setting this, so the repo does not need to be given on the commandline:
export BORG_REPO=/backup/www

# Setting this, so you won't be asked for your repository passphrase:
export BORG_PASSPHRASE='something_something_something'


# some helpers and error handling:
info() { printf "\n%s %s\n\n" "$( date )" "$*" >&2; }
trap 'echo $( date ) Backup interrupted >&2; exit 2' INT TERM

info "Starting backup"

# Backup the most important directories into an archive named after
# the machine this script is currently running on:

borg create                         \
    --verbose                       \
    --filter AME                    \
    --list                          \
    --stats                         \
    --show-rc                       \
    --compression lz4               \
    --exclude-caches                \
    --exclude '/home/*/.cache/*'    \
    --exclude '/var/cache/*'        \
    --exclude '/var/tmp/*'          \
    --exclude '/tmp/*'              \
    --exclude '/backup/*'           \
    --exclude '/dev/*'              \
    --exclude '/lost+found/*'       \
    --exclude '/proc/*'             \
    --exclude '/sys/*'              \
                                    \
    ::'{hostname}-{now}'            \
    /                               \

backup_exit=$?

info "Pruning repository"

# Use the `prune` subcommand to maintain 7 daily, 4 weekly and 6 monthly
# archives of THIS machine. The '{hostname}-' prefix is very important to
# limit prune's operation to this machine's archives and not apply to
# other machines' archives also:

borg prune                          \
    --list                          \
    --prefix '{hostname}-'          \
    --show-rc                       \
    --keep-daily    7               \
    --keep-weekly   4               \
    --keep-monthly  6               \

prune_exit=$?

# use highest exit code as global exit code
global_exit=$(( backup_exit > prune_exit ? backup_exit : prune_exit ))

if [ ${global_exit} -eq 1 ];
then
    info "Backup and/or Prune finished with a warning"
fi

if [ ${global_exit} -gt 1 ];
then
    info "Backup and/or Prune finished with an error"
fi

exit ${global_exit}

Και έχω φτιάξει ένα service και ένα timer στο systemd ώστε να τρέχει κάθε βράδυ, τα μεσάνυχτα.

Spoiler:

# /etc/systemd/system/backup.service
[Unit]
Description="Borg - System Backup"

[Service]
Type=simple
ExecStart=/backup/www-backup.sh



# ---------------------------------------

# /etc/systemd/system/backup.timer
[Unit]
Description=Backup Scheduler

[Timer]
OnCalendar=00:00
Persistent=false

[Install]
WantedBy=timers.target

Από περιέργεια, γιατί το κάνεις με service και όχι με cron;

[DVader]

Από περιέργεια, γιατί το κάνεις με service και όχι με cron;

Δεν το σκέφτηκε...

Εγώ cron θα το κάνω....

[MitsakosGR]

Από περιέργεια, γιατί το κάνεις με service και όχι με cron;

Η έννοια των services και των timer πάνω σε αυτά μου φαίνεται πιο εύκολη, αν και θέλει πιο πολύ configuration από το cron.

Δεν είχα ξαναδουλέψει ούτε cron ούτε systemd όταν το έκανα και επειδή τα πάντα πάνε προς το systemd (καλώς ή κακώς) αποφάσισα να μάθω αυτό γιατί μου άρεσε η ιδέα των services.

- - - Updated - - -

Όπως σε προέτρεψε ο MitsakosGR (ή έτσι το κατάλαβα εγώ), διάβασε όλο το documentation. Έχει πολλές πληροφορίες που θα σε βοηθήσουν (πχ τι μεταδεδομένα αποθηκεύονται και τι όχι, pitfalls που θα συναντήσεις, κτλ) και επίσης έχει και τέτοια sample scripts. Θυμάμαι είχε και ένα (overkill για τις περισσότερες περιπτώσεις) πλήρως αυτοματοποιημένο με timers και λοιπά το οποίο είχε ένα config αρχείο στο οποίο έβαζες το serial no του σκληρού και οποιαδήποτε στιγμή έκανες plug τον συγκεκριμένο δίσκο, έκανε μόνο του backup αυτόματα.

Το borg μόνο του, νομίζω, δεν έχει τέτοιες δυνατότητες (με hooks κτλ). Υπάρχει όμως το borgmatic που παρέχει hooks και άλλες λειτουργίες.

[imitheos]

Το borg μόνο του, νομίζω, δεν έχει τέτοιες δυνατότητες (με hooks κτλ). Υπάρχει όμως το borgmatic που παρέχει hooks και άλλες λειτουργίες.

Δεν είπα ότι το έκανε το borg αλλά ότι σου έδιναν μια "υποδομή" φτιαγμένη από διάφορα scripts και timers που το έκανε. Όπως δηλαδή έκανες και εσύ.

Καλά θυμόμουν ότι είναι στην ιστοσελίδα του borg αλλά δεν θυμόμουν σωστά τις λεπτομέρειες. Αντί για systemd timers που ανέφερα, ήτανε udev κανόνας και αντί για serial number που ανέφερα, ήτανε επιλογή μέσω UUID.

[DVader]

Ξέρει κανείς που κρατάει log files το borg backup ...?

Κρατάει ..?

[MitsakosGR]

Ξέρει κανείς που κρατάει log files το borg backup ...?

Κρατάει ..?

https://borgbackup.readthedocs.io/en...l.html#logging

Εγώ τα έβλεπα με journactl, αλλά ίσως επειδή το έτρεχα μέσω systemd.

[DVader]

https://borgbackup.readthedocs.io/en...l.html#logging

Εγώ τα έβλεπα με journactl, αλλά ίσως επειδή το έτρεχα μέσω systemd.

Εγώ το έχω με Script στο crontab ... Με βολεύει καλύτερα...αλλά θέλω να βλέπω τι κάνει ....

Το link που έδωσες το έχω διαβάσει ήδη ..Λέει ότι δεν βγάζει βασικά...

Το να βάλω >log.file θα είναι τεράστιο ...τελικά και δεν το θέλω... Κάτι που να μου δείχνει το exit code θέλω...

[DVader]

Καλημέρα,


Σε κάθε backup που κάνει δεν τελειώνει ποτέ και μένει με .checkpoint το backup...

[imitheos]

Καλημέρα,


Σε κάθε backup που κάνει δεν τελειώνει ποτέ και μένει με .checkpoint το backup...

Το borg δεν τελειώνει; Δοκίμασες να το τρέξεις με παραμέτρους που να εμφανίζει πληροφορίες ώστε να δεις πού κολάει; πχ -v --stats --list

[DVader]

Το borg δεν τελειώνει; Δοκίμασες να το τρέξεις με παραμέτρους που να εμφανίζει πληροφορίες ώστε να δεις πού κολάει; πχ -v --stats --list

ναι ξέρω που κολλάει ....

μπορώ στο ίδιο να προσθέσω 2-3 διαφορετικά backups που το καθένα να έχει διαφορετικό target σαν backup..?

[imitheos]

ναι ξέρω που κολλάει ....

μπορώ στο ίδιο να προσθέσω 2-3 διαφορετικά backups που το καθένα να έχει διαφορετικό target σαν backup..?

Δεν ξέρω αν κατάλαβα σωστά τι εννοείς αλλά το borg δουλεύει με repos και archives. Μπορείς να έχεις όσα repos θέλεις και μέσα στο ίδιο repo να έχεις όσα διαφορετικά archives θέλεις. Εγώ για παράδειγμα κάθε φορά που τρέχει το cron αποθηκεύω στο ίδιο repository ένα archive για το λειτουργικό (κάποια αρχεία που με ενδιαφέρουν από το λειτουργικό), ένα άλλο archive για το /home μου και ένα τρίτο archive για το /home ενός 2ου χρήστη. Δεν είναι δηλαδή απαραίτητο να βάζεις όλους τους καταλόγους που σε ενδιαφέρουν σε ένα μόνο archive.

[DVader]

Δεν ξέρω αν κατάλαβα σωστά τι εννοείς αλλά το borg δουλεύει με repos και archives. Μπορείς να έχεις όσα repos θέλεις και μέσα στο ίδιο repo να έχεις όσα διαφορετικά archives θέλεις. Εγώ για παράδειγμα κάθε φορά που τρέχει το cron αποθηκεύω στο ίδιο repository ένα archive για το λειτουργικό (κάποια αρχεία που με ενδιαφέρουν από το λειτουργικό), ένα άλλο archive για το /home μου και ένα τρίτο archive για το /home ενός 2ου χρήστη. Δεν είναι δηλαδή απαραίτητο να βάζεις όλους τους καταλόγους που σε ενδιαφέρουν σε ένα μόνο archive.

Α ! Σε διαφορετικό archive....

Τώρα το έπιασα ... Σωστα το λές...