Επίσημη υποστήριξη του ZFS filesystem στην έκδοση 16.04 LTS του Ubuntu linux

[nnn]

Την ενσωμάτωση ενός διαδεδομένου συστήματος αρχείων (filesystem) σε διανομές αποθήκευσης όπως η FreeNAS, στην επόμενη LTS έκδοση του Ubuntu Linux, ανακοίνωσε η Canonical, με την 16.04 LTS που θα περιέχει το ZFS module, ενώ και το OpenZFS-based implementation θα αποκτήσει επίσημη υποστήριξη.

Το ZFS file system, χρησιμοποιείται εκεί που η ακεραιότητατων δεδομένων είναι απόλυτα αναγκαία, αφού είναι σχεδιασμένο να τα ελέγχει συνεχώς για τυχόν αλλοιώσεις, με την δημιουργία και αποθήκευση του checksum για κάθε data block. Κάθε φορά που γίνεται πρόσβαση σε αυτά τα δεδομένα, γίνεται έλεγχος του checksum για να επιβεβαιωθεί πως αυτά είναι ακέραια. Στην περίπτωση που υπάρχει mirrored storage, το filesystem μπορεί αυτόματα να αντικαθιστά τα κατεστραμένα data blocks με τα λειτουργικά αντίγραφα τους.

Το μειονέκτημα του ZFS είναι πως απαιτεί 1GB RAM για κάθε TB αποθηκευτικού χώρου, μιας και η όλη διαδικασία ελέγχου και επαλήθευσης γίνεται στην μνήμη του υπολογιστή.

ZFS is a combination of a volume manager (like LVM) and a filesystem (like ext4, xfs, or btrfs).

ZFS one of the most beloved features of Solaris, universally coveted by every Linux sysadmin with a Solaris background. To our delight, we're happy to make to OpenZFS available on every Ubuntu system. Ubuntu's reference guide for ZFS can be found here, and these are a few of the killer features:
•snapshots
•copy-on-write cloning
•continuous integrity checking against data corruption
•automatic repair
•efficient data compression.
These features truly make ZFS the perfect filesystem for containers.

Πηγή : Arstechnica

[xhaos]

επιτέλους!!!! πολύ καλό νέο!!!!!

όμως για όσους τρέξουν, υπάρχει απαίτηση για ECC memory. διαφορετικά μπορεί να δημιουργηθούν προβλήματα.

[mojiro]

επιτέλους!!!! πολύ καλό νέο!!!!!

όμως για όσους τρέξουν, υπάρχει απαίτηση για ECC memory. διαφορετικά μπορεί να δημιουργηθούν προβλήματα.

πόσο πιθανό είναι να συμβεί κάτι τέτοιο;

[xhaos]

το "πρόβλημα" είναι ότι σε non ECC μνήμες, μπορεί τυχαία κάποιο bit να αλλάξει (πχ από κοσμική ακτινοβολία) με αποτέλεσμα στον έλεγχο του block να υπάρχει πρόβλημα (είτε false positive είτε false negative).
στη μια περίπτωση το σύστημα νομίζει οτι έχει σωστό block ενώ είναι χαλασμένο, και στην άλλη το ανάποδο.

Η πιθανότητα σε κάθε έλεγχο είναι πολύ πολύ μικρή, όμως σε μεγάλα συστήματα (άρα πολλούς έλεγχους γιατί είναι 24/7/365) τα οποία έχουν πολλά IO, η μικρή αυτή πιθανότητα, αθροίζεται και κάποια στιγμή πραγματοποιείται.


το zfs γενικά, είναι ένα απίστευτο fs, για πολύ συγκεκριμένες δουλειές. Δεν υπάρχει λόγος να χρησιμοποιηθεί σε σπίτια ή SOHO. όμως για μεγάλα SAN ή data backups μεγάλων οργανισμών, είναι πρακτικά μονόδρομος.
πχ στη δουλειά, το χρησιμοποιώ για να κρατώ με versioning, όλα τα vm ακόμα και τα workstations (λειτουργούμε με thin clients). Έτσι αν κάποιος κάνει καμία πατάτα (πχ ramsonware) πάντα έχω το vm του.

[famous-walker]

Από ότι θυμάμαι ο λόγος που δεν ήταν στο kernel τόσα χρόνια ήταν λόγω licensing και ή μόνη λύση ήταν μέσω fuse με τα όποια αρνητικά. Έχει αλλάξει κάτι από τότε;

[goku]

Εκτός από την ram, δεν χρειάζεται και επεξεργαστική ισχύς από την στιγμή που ελέγχεται συνέχεια το checksum;

[xhaos]

Εκτός από την ram, δεν χρειάζεται και επεξεργαστική ισχύς από την στιγμή που ελέγχεται συνέχεια το checksum;

θέλει διάφορα πράγματα. δες εδώ.

[teodor_ch]

η ECC δεν είναι απαραίτητη ή αλλιώς είναι απαραίτητη όσο και σε οποιοδήποτε άλλο fs

τεχνικός του ZFS (της Sun) το είχε αναφέρει και υπήρχε και παράδειγμα με αναφορά σε αυτά που γράφονται στο freenas forum

εγώ πλέον έχω στραφεί στο btrfs
http://marc.merlins.org/linux/talks/...2014/Btrfs.pdf

[famous-walker]

Από ότι θυμάμαι ο λόγος που δεν ήταν στο kernel τόσα χρόνια ήταν λόγω licensing και ή μόνη λύση ήταν μέσω fuse με τα όποια αρνητικά. Έχει αλλάξει κάτι από τότε;

Για να απαντήσω στην δικιά μου ερώτηση, αυτό που "επέτρεψε" την ενσωμάτωση στον kernel δεν είναι κάποια αλλαγή στο licensing, αλλά ερμηνεία της canonical.

We at Canonical have conducted a legal review, including discussion with the industry’s leading software freedom legal counsel, of the licenses that apply to the Linux kernel and to ZFS.

And in doing so, we have concluded that we are acting within the rights granted and in compliance with their terms of both of those licenses.

While the CDDL and GPLv2 are both “copyleft” licenses, they have different scope. The CDDL applies to all files under the CDDL, while the GPLv2 applies to derivative works.

The CDDL cannot apply to the Linux kernel because zfs.ko is a self-contained file system module — the kernel itself is quite obviously not a derivative work of this new file system.

And zfs.ko, as a self-contained file system module, is clearly not a derivative work of the Linux kernel but rather quite obviously a derivative work of OpenZFS and OpenSolaris. Equivalent exceptions have existed for many years, for various other stand alone, self-contained, non-GPL and even proprietary (hi, nvidia.ko) kernel modules.

Our conclusion is good for Ubuntu users, good for Linux, and good for all of free and open source software.

https://insights.ubuntu.com/2016/02/...ing-and-linux/

[bill2003]

το zfs γενικά, είναι ένα απίστευτο fs, για πολύ συγκεκριμένες δουλειές. Δεν υπάρχει λόγος να χρησιμοποιηθεί σε σπίτια ή SOHO. όμως για μεγάλα SAN ή data backups μεγάλων οργανισμών, είναι πρακτικά μονόδρομος.
πχ στη δουλειά, το χρησιμοποιώ για να κρατώ με versioning, όλα τα vm ακόμα και τα workstations (λειτουργούμε με thin clients). Έτσι αν κάποιος κάνει καμία πατάτα (πχ ramsonware) πάντα έχω το vm του.

Λίγο offtopic αλλά από περιέργεια:
Τι διαφορά έχει να κρατάς incremental backups τα VMs με ένα πρόγραμμα π.χ. Veeam Backup & Replication ακόμη και σε NTFS που λέει ο λόγος...

[teodor_ch]

Λίγο offtopic αλλά από περιέργεια:
Τι διαφορά έχει να κρατάς incremental backups τα VMs με ένα πρόγραμμα π.χ. Veeam Backup & Replication ακόμη και σε NTFS που λέει ο λόγος...

αυτό γίνεται και με rsync πανεύκολα
σε bash script το έχω να κάνει ανα ημέρα, ανα μήνα και ανα έτος
όλα είναι hardlinks εκτός απο ότι έχει πραγματικά αλλάξει

και εκτός απο το τοπικό αντίγραφο, στέλνει και σε απομακρυσμένο server

[xhaos]

Καλά και Αγία τα incremental αλλά σε χρονικά διαστήματα που εξαρτάται από το τι κάνεις backup, πρέπει να έχεις και full. Πχ για να κόβεις offline backups.

[fumantsu]

η ECC δεν είναι απαραίτητη ή αλλιώς είναι απαραίτητη όσο και σε οποιοδήποτε άλλο fs

τεχνικός του ZFS (της Sun) το είχε αναφέρει και υπήρχε και παράδειγμα με αναφορά σε αυτά που γράφονται στο freenas forum

εγώ πλέον έχω στραφεί στο btrfs
http://marc.merlins.org/linux/talks/...2014/Btrfs.pdf

Δεν ειναι απολυτα σωστο ή δεν εχεις διαβασει καλα (https://forums.freenas.org/index.php...and-zfs.15449/). Ακομα και το επισημο guide του FreeNAS και του NAS4Free μιλανε για σχεδον υποχρεωτικη χρηση ECC με το ZFS. Το ZFS δεν εχει fsck αλλα scrub. Σε αντιθεση που ενα fsck με χαλασμενη μνημη το μονο που θα σου προκαλεσει ειναι κρασαρισματα, στο ZFS θα σου κανει corrupt τα παντα. Η ECC μνημη ειναι high recommended εως mandatory σε αντιθεση με τα αλλα που απλα ειναι recommended.

[Ax0R7aG0z]

@xhaos Άσχετη ερώτηση, γιατί thin clients? Δεν ήταν ένα πείραμα που απέτυχε και εγκαταλείφθηκε;

[Φανερός Πράκτωρ]

καλά νέα