Εύρεση ποσοστού χρήσης φυσικών δίσκων σε LVM

[dimangelid]

Έχω στήσει στο σπίτι έναν backup server που είναι μόνιμα κλειστός και τον ανοίγω ανά τακτά διαστήματα, ώστε να κάνω backup τα δεδομένα του κύριου file server μου.

Έχω μέσα δίσκους διαφορετικών μεγεθών (έναν 3TB και δύο από 1TB ο καθένας) και ο καθένας είναι ένα EXT4 filesystem χωρίς LVM. Οπότε είναι μπλέξιμο ποιους φακέλους θα κάνω backup σε ποιον δίσκο για να είμαι εντάξει με την χωρητικότητα του καθενός.

Έχω σκεφτεί να στήσω ένα LVM και να πετάξω μέσα όλους τους δίσκους, ώστε να έχω το σύνολο της χωρητικότητάς τους σε ένα mountpoint. Έχω κάνει ένα δοκιμαστικό στήσιμο σε VMware Workstation ώστε να δω πως παίζει το LVM καθώς δεν έχω ασχοληθεί ποτέ.

Μέχρι στιγμής δεν με έχει προβληματίσει κάτι και το στήσιμο είναι πολύ απλό (φτιάχνω το volume group, διαλέγω ποιους δίσκους θέλω μέσα και το βάζω στο 100% της χωρητικότητας. οπότε το pvdisplay -m δείχνει 0 ελεύθερα PE σε κάθε δίσκο) .

Θα ήθελα όμως έναν τρόπο να βλέπω πόσο γεμίζει (είτε σε GB, είτε σε PE) κάθε φυσικός δίσκος. Μέχρι στιγμής δεν έχω βρει κάτι. Μπορεί κάποιος να βοηθήσει;

Η διανομή που χρησιμοποιώ είναι το Opensuse 15.3 .

[Moho]

Έχεις κοιτάξει καθόλου το mergerfs ?

DESCRIPTION
mergerfs is a union filesystem geared towards simplifying storage and management of files across numerous commodity storage devices. It is similar to mhddfs, unionfs, and aufs.

Συγκεντρώνει πολλαπλά block devices σε ένα mountpoint και έχει διάφορα policies για την κατανομή των αρχείων και των χωρητικοτήτων. Μπορείς όμως ταυτόχρονα να έχεις mounted και το κάθε ξεχωριστό device σε ανεξάρτητο mountpoint και να τα χειρίζεσαι όλα παράλληλα. Φυσικά έτσι μπορείς και να βλέπεις το πόσο γεμάτο είναι το κάθε device. Εμένα με έχει βολέψει πολύ, και δεν έμπλεξα με τα LVM που δεν τα κατέχω

[dimangelid]

Έχεις κοιτάξει καθόλου το mergerfs ?



Συγκεντρώνει πολλαπλά block devices σε ένα mountpoint και έχει διάφορα policies για την κατανομή των αρχείων και των χωρητικοτήτων. Μπορείς όμως ταυτόχρονα να έχεις mounted και το κάθε ξεχωριστό device σε ανεξάρτητο mountpoint και να τα χειρίζεσαι όλα παράλληλα. Φυσικά έτσι μπορείς και να βλέπεις το πόσο γεμάτο είναι το κάθε device. Εμένα με έχει βολέψει πολύ, και δεν έμπλεξα με τα LVM που δεν τα κατέχω

Το mergefs ήταν το πρώτο που είδα. Δεν με εξυπηρετεί όμως, καθώς δεν έχεις πραγματικά την συνολική χωρητικότητα των δίσκων σε ένα mountpoint.

Παράδειγμα: Έχουμε δύο δίσκους 1TB και έναν 3TB. Ο ένας 1TB είναι γεμάτος, ο δεύτερος έχει ελεύθερα 400GB και ο 3TB έχει ελεύθερα 600GB.
Πάω να γράψω ένα αρχείο 900GB στο mergefs mountpoint. Το αρχείο δεν θα μπορέσει να γραφτεί, καθώς δεν αρκεί ότι στο mergefs mountpoint έχω ελεύθερο 1TB, αλλά θα πρέπει ένας από τους δύο δίσκους να έχει ελεύθερα τουλάχιστον 900GB. Ενώ το ίδιο σενάριο παίζει κανονικά στο LVM. Έχω κάνει δοκιμές σε VMware Workstation και με LVM και με Mergefs, προφανώς με μικρότερα μεγέθη αρχείων και έπαιξε ακριβώς όπως στο παράδειγμα.

Έχω φτιάξει ήδη το LVM με δύο δίσκους 1TB και έναν 3TB και περνάω ήδη δεδομένα. Θα ήθελα όμως μια λύση για το αρχικό ερώτημα από κάποιον που γνωρίζει, καθώς δεν έβγαλα άκρη με το google.

[Moho]

Ωπ ναι, αυτό το σενάριο μάλλον πράγματι δεν παίζει αν έχεις τέτοια μεγέθη αρχείων. Νομίζω πως θα πρέπει ένα τουλάχιστον από τα devices να μπορεί να χωρέσει ολόκληρο το αρχείο για να πετύχει η εγγραφή.

Πάντως μου φαίνεται κι εμένα δύσκολο κοτζάμ LVM να μην δίνει την δυνατότητα να δεις την πληρότητα του κάθε volume ξεχωριστά. Εκτός αν τα αντιμετωπίζει τόσο πολύ ως ενιαίο pool, που δεν το απασχολεί καθόλου η πληρότητα του κάθε μέλους

[dimangelid]

Ωπ ναι, αυτό το σενάριο μάλλον πράγματι δεν παίζει αν έχεις τέτοια μεγέθη αρχείων. Νομίζω πως θα πρέπει ένα τουλάχιστον από τα devices να μπορεί να χωρέσει ολόκληρο το αρχείο για να πετύχει η εγγραφή.

Πάντως μου φαίνεται κι εμένα δύσκολο κοτζάμ LVM να μην δίνει την δυνατότητα να δεις την πληρότητα του κάθε volume ξεχωριστά. Εκτός αν τα αντιμετωπίζει τόσο πολύ ως ενιαίο pool, που δεν το απασχολεί καθόλου η πληρότητα του κάθε μέλους

Τα μεγέθη αρχείων είναι ενδεικτικά Ίσως μόνο με video editing να μπορείς να βγάλεις τόσο μεγάλα αρχεία

Ο ένας δίσκος στον file server είναι 4TB και έχει πιασμένα τα 3+ , οπότε δεν μπορούσα να τον κάνω ολόκληρο backup στον 3ΤΒ δίσκο του backup server.

Για την ιστορία, περάστηκαν όλα τα δεδομένα στο LVM και βλέπω/διαχειρίζομαι μια χαρά τα αρχεία. Αλλά πραγματικά θα ήθελα να ξέρω πόσο γεμάτος είναι ο κάθε ένας από τους 3 δίσκους του LVM.

Στον file server έχω δίσκους συνολικού μεγέθους 10TB που είναι σχεδόν γεμάτοι (μαζί με τον 4TB που προανέφερα) . Σχεδιάζω αρκετά σύντομα να πάρω έναν μεγάλο δίσκο πάνω από 10TB, να τους ξηλώσω όλους εκτός από έναν που θα κάνω κάθε μέρα με cron job backup τις φωτογραφίες. Και να τους χώσω όλους στον backup server, να τους κάνω ένα μεγάλο LVM και να κάνω εκεί backup τα πάντα.

Για τις φωτογραφίες και τα βίντεο, κάνω καθημερινό backup σε ένα φουλ κρυπτογραφημένο VM στην Contabo.

[WAntilles]

Προσοχή πολλή με το LVM.

Πολλαπλασιάζει την πιθανότητα να χάσεις δεδομένα με το failure ενός δίσκου.

Γιατί αν υποστεί failure ένας δίσκος από τους Χ που απαρτίζουν τον LVM volume, τότε σαβουρεύεται το κοινό file system που έχουν όλοι οι Χ δίσκοι.

Αν θέλεις LVM, καλό είναι να συνδυαστεί με RAID-5 ή RAID-6.

[dimitri_ns]

Aυτό σου κάνει ?
https://serverfault.com/questions/26...when-using-lvm

ή
https://www.thegeekdiary.com/centos-...-group-in-lvm/

[dimangelid]

Aυτό σου κάνει ?
https://serverfault.com/questions/26...when-using-lvm

ή
https://www.thegeekdiary.com/centos-...-group-in-lvm/

Δυστυχώς αυτό δεν με καλύπτει. Με αυτά τα δύο Post μπορώ να δω τον ελεύθερο χώρο που έχω είτε για να φτιάξω νέα logical volumes, είτε για να επεκτείνω υπάρχοντα. Εγώ πχ δεν έχω καθόλου τέτοιο ελεύθερο χώρο, γιατί έχω φτιάξει ένα logical volume όπου έχω δώσει όλο τον χώρο. Μπορώ να αποκτήσω μόνο προσθέτοντας νέο δίσκο.

Θα ήθελα να ξέρω πχ με πόσα δεδομένα έχει γεμίσει ο ένας 1TB δίσκος του LVM.

- - - Updated - - -

Προσοχή πολλή με το LVM.

Πολλαπλασιάζει την πιθανότητα να χάσεις δεδομένα με το failure ενός δίσκου.

Γιατί αν υποστεί failure ένας δίσκος από τους Χ που απαρτίζουν τον LVM volume, τότε σαβουρεύεται το κοινό file system που έχουν όλοι οι Χ δίσκοι.

Αν θέλεις LVM, καλό είναι να συνδυαστεί με RAID-5 ή RAID-6.

Σε ευχαριστώ πολύ! Γνωρίζω τι ρίσκο παίρνω, αλλά δεν με καίει πολύ γιατί:

1) Είναι backup σύστημα που το έχω μόνιμα σβηστό και εκτός ρεύματος/δικτύου και το ανοίγω μια φορά τον μήνα για να κάνω backup

2) Τα πολύ σημαντικά δεδομένα (φωτογραφίες, βίντεο) τα έχω backup σε άλλα δύο σημεία:
α) Έναν δίσκο που είναι μέσα στον κύριο server μου και γίνονται rsync κάθε μέρα
β) Ένα VM στην Contabo όπου γίνονται και σε αυτό rsync κάθε μέρα

Κάποια στιγμή ανάλογα τα οικονομικά μου, θα το στήσω πιο safe. Αυτή την στιγμή προσπαθώ με ότι μέσο έχω διαθέσιμο.

Μέχρι πριν στήσω το LVM, είχα κάθε δίσκο σε ένα δικό του EXT4. Έκανα backup κάποια πράγματα στον 3TB, κάποια στον ένα 1TB και κάποια άλλα στον δεύτερο 1TB.
Δεν με βόλευε ιδιαίτερα γιατί έπρεπε να ξεχωρίζω κάθε φορά ποιους φακέλους θα κάνω rsync σε ποιον δίσκο.
Θα μου πεις βέβαια ότι έτσι θα ήταν πολύ πιο ασφαλές, γιατί αν έσκαγε ένας backup δίσκος θα έχανα μόνο τα δεδομένα που έχει αυτός. Θα το σκεφτώ ξανά μήπως σπάσω το LVM και τα ξανακάνω rsync έτσι.