Filesystems

[flamelab]

Κάνεις λάθος, δεν έχει σχέση το γεμάτο, όλα τα file systems γίνονται fragmented εύκολα όταν γεμίζουν.

Το πρόβλημα στο ZFS/COW είναι ότι και πολύ ελεύθερο χώρο να έχεις, μετά από αρκετή "χρήση" σέρνεται. Δεν γίνεται να το αποφύγεις, είναι broken από design σε αυτό τον τομέα. Οποιοδήποτε write διαλύει την δομή του δίσκου.

Και από ότι βλέπω και το btrts τα ίδια χάλια θα είναι σαν (φτηνή) αντιγραφή του ZFS. EXT4 και XFS λοιπόν, μην περιμένετε τίποτα από COW file systems εκτός άμα θα βάλετε πολλούς δίσκους σε RAID.

........Auto merged post: AppDeb πρόσθεσε 1 λεπτά και 38 δευτερόλεπτα αργότερα ........



Μπα experimental ακόμα (δηλαδή με ρίσκο data-loss).

Μόνο το XFS έχει ώριμο defrag.

Mόλις το βρηκα μεσα στο e2fsprogs (το τραβηκα απο git). Αλλα δεν βρηκα man page, --help δεν εχει και φοβήθηκα να το δοκιμάσω καν.

[anon]

για defrag:

κάνεις find . -depth -print | cpio -pdmv {άλλος δίσκος}
καιέχεις κάνει ένα ωραιότατο defrag. Μειονέκτημα; χρειάζεσαι άλλο τόσο δίσκο

[imitheos]

Μόνο το XFS έχει ώριμο defrag.

Το XFS τεχνολογικά γ...άει. Ίσως το πιο αξιόλογο fs σαν υλοποίηση. Οι άνθρωποι
έκαναν τρελή δουλειά. journal, extents, delayed allocation, online defrag/grow και
όλα αυτά το 1994

[WAntilles]

Το XFS τεχνολογικά γ...άει. Ίσως το πιο αξιόλογο fs σαν υλοποίηση. Οι άνθρωποι
έκαναν τρελή δουλειά. journal, extents, delayed allocation, online defrag/grow και
όλα αυτά το 1994

Και πολύ scalable, με πολύ καλή multi-tasking συμπεριφορά.

Αν είχε και online shrink.

[imitheos]

Και πολύ scalable, με πολύ καλή multi-tasking συμπεριφορά.

Αν είχε και online shrink.

Τις τελευταίες μέρες, ο Torvalds έκανε merge το branch "shrinker" όπως φαίνεται σε
αυτό το commit το οποίο είχε πολλά commits που μιλούσαν για inode shrinker,
αλλά δεν έδωσα σημασία γιατί δεν αναφέρθηκε τίποτα στις λίστες οπότε μάλλον θα
είναι κάτι άσχετο.

[flamelab]

Και πολύ scalable, με πολύ καλή multi-tasking συμπεριφορά.

Αν είχε και online shrink.

Aλλα κακιστο με τα μικρα αρχεία.

[tsigarid]

Το XFS τεχνολογικά γ...άει. Ίσως το πιο αξιόλογο fs σαν υλοποίηση. Οι άνθρωποι
έκαναν τρελή δουλειά. journal, extents, delayed allocation, online defrag/grow και
όλα αυτά το 1994

Τότε γιατί κυριάρχησε το extX;

[imitheos]

Τότε γιατί κυριάρχησε το extX;

Το ότι κυριαρχεί κάτι δεν σημαίνει ότι είναι καλύτερο. Συνήθως είναι θέμα πολιτικής
και λανσαρίσματος. Το minidisc ήταν απείρως καλύτερο από το cd αλλά κυριάρχησε
το cd. Το DVD-RAM είναι απείρως καλύτερο από τα DVD+RW/-RW αλλά δεν το
χρησιμοποιεί κανείς. RISC > CISC και άπειρα άλλα παραδείγματα.

Εν προκειμένω, το extX κυριάρχησε γιατί:
α) το XFS μπορεί να μπήκε στο IRIX το 1994 αλλά στο Linux μπήκε πολύ αργότερα,
οπότε το ext3 κέρδισε κάποιο έδαφος.
β) Το ext3/4 προσέφερε αναβάθμιση χωρίς backup->format->restore, οπότε ήταν
δύσκολο να πάρει κάποιος την απόφαση να μεταβεί σε XFS
γ) Το ext3 ήταν ext2+journal οπότε ο κόσμος το δούλευε ήδη και το ήξερε, βάλε
και τις διάφορες υπερμεγεθυμένες αναφορές ότι το XFS σβήνει τα αρχεία, ο κόσμος
έλεγε "καλά είμαι με το extX"
δ) Πολιτική. Το extX είναι το "linux filesystem" οπότε "πρέπει να χρησιμοποιούμε extX"
Η ίδια πολιτική λανσαρίσματος χρησιμοποιείται τώρα και για το btrfs "btrfs =the
future linux fs" και οι μισές διανομές έχουν ήδη πάει σε default btrfs στον installer τους.
Όχι ότι δεν είναι καλό φυσικά. Πολύ καλή προσπάθεια είναι, αλλά το προωθούν και
πολύ.

[anon]

μην ξεχνάμε ότι μπορεί το XFS να πρωτοβγήκε το 1990 κάτι, αλλά δεν είχε τότε όλα όσα προσφέρει σαν δυνατότητες τώρα, και φυσικά δεν ήταν GPL. Ανήκε σε μια εταιρία και έγινε GPL το 2000. To linux δεν ξεκίνησε το 2000, οπότε λογικό είναι να έχει μια προιστορία με το δικό του filesystem. Επειτα κανένα filesystem δεν είναι silver bullet. Το καθένα σύγχρονο filesystem έχει περιπτώσεις που ενδείκνυται και άλλες όχι. Το XFS δεν είναι προτιμόμενο σε επαγγελματική χρήση λόγω ότι ειναι αναξιόπιστο (όπως επίσης και το ReiserFS ακόμα όταν μεσουρανούσε). Εχω πάρει δις στο χέρι filesystem ReiserFS, και απο τα ίδια προβλήματα πάσχει και το XFS εαν χρησιμοποιείς τις default ρυθμίσεις (όπως οι περισσότεροι, εαν το βάλεις ναναι αξιόπιστο, χάνεις σημαντικά ταχύτητα), δηλαδή με κάποιο power failure ή crash κλπ. Γιαυτό σε datacenters και για επαγγελματικούς λόγους όπου πρωτο ρόλο παίζει η αξιοπιστία το ext3/ext4 είναι απλά ασυζητιτί η καλύτερη επιλογή.
Εαν έχεις κάποιο storage όπου έχεις μια βιοβληθήκη με τα προσωπικά σου mp3, ΟΚ, βάλε και XFS... Εαν χρειάζεσαι κάποιο storage με πολλά μικρά αρχεία τότε θα πάς με ReiserFS (παλαιότερα τουλάχιστον) ή με BTRFS. Εαν πας με ORACLE, θα χρησιμοποιήσεις raw partitions & ΑSM. Και ούτω καθεξής.

Οπως είπα, δεν υπάρχει το απόλυτο filesystem, όλα ειναι θέμα του τι θέλεις να κάνεις και τι είσαι πρόθυμος να θυσιάσεις...

[AppDeb]

μην ξεχνάμε ότι μπορεί το XFS να πρωτοβγήκε το 1990 κάτι, αλλά δεν είχε τότε όλα όσα προσφέρει σαν δυνατότητες τώρα, και φυσικά δεν ήταν GPL. Ανήκε σε μια εταιρία και έγινε GPL το 2000. To linux δεν ξεκίνησε το 2000, οπότε λογικό είναι να έχει μια προιστορία με το δικό του filesystem. Επειτα κανένα filesystem δεν είναι silver bullet. Το καθένα σύγχρονο filesystem έχει περιπτώσεις που ενδείκνυται και άλλες όχι. Το XFS δεν είναι προτιμόμενο σε επαγγελματική χρήση λόγω ότι ειναι αναξιόπιστο (όπως επίσης και το ReiserFS ακόμα όταν μεσουρανούσε). Εχω πάρει δις στο χέρι filesystem ReiserFS, και απο τα ίδια προβλήματα πάσχει και το XFS εαν χρησιμοποιείς τις default ρυθμίσεις (όπως οι περισσότεροι, εαν το βάλεις ναναι αξιόπιστο, χάνεις σημαντικά ταχύτητα), δηλαδή με κάποιο power failure ή crash κλπ. Γιαυτό σε datacenters και για επαγγελματικούς λόγους όπου πρωτο ρόλο παίζει η αξιοπιστία το ext3/ext4 είναι απλά ασυζητιτί η καλύτερη επιλογή.
Εαν έχεις κάποιο storage όπου έχεις μια βιοβληθήκη με τα προσωπικά σου mp3, ΟΚ, βάλε και XFS... Εαν χρειάζεσαι κάποιο storage με πολλά μικρά αρχεία τότε θα πάς με ReiserFS (παλαιότερα τουλάχιστον) ή με BTRFS. Εαν πας με ORACLE, θα χρησιμοποιήσεις raw partitions & ΑSM. Και ούτω καθεξής.

Οπως είπα, δεν υπάρχει το απόλυτο filesystem, όλα ειναι θέμα του τι θέλεις να κάνεις και τι είσαι πρόθυμος να θυσιάσεις...

Έχεις δίκιο, αλλά το XFS δεν είναι τόσο του "σπιτιού" όπως λες. Επειδή δεν το υποστήριξε επίσημα η RedHat πολλοί νομίζουν ότι είναι αναξιόπιστο.

Το ext4 πχ, από την στιγμή που θεωρητικά έγινε stable στο kernel, έχει πέσει στα ίδια bugs που έπεσε και έλυσε το XFS, 5-6 χρόνια πριν. Το πανεύκολο upgrade path από ext2 --> ext3 --> ext4 μαζί με την full-υποστήριξη της red hat είναι αυτό που κάνει την διαφορά.

Αν και off-topic, κατά την γνώμη μου, εξαιρετικό file system για την εποχή που βγήκε είναι το NTFS. Είχε/έχει online compression, journal, online defrag, sparse files, extents, built-in encryption, τεράστια όρια file/partition size, αργότερα και σταθερό TRIM κλπ.

[WAntilles]

Αν και off-topic, κατά την γνώμη μου, εξαιρετικό file system για την εποχή που βγήκε είναι το NTFS. Είχε/έχει online compression, journal, online defrag, sparse files, extents, built-in encryption, τεράστια όρια file/partition size, αργότερα και σταθερό TRIM κλπ.

Καλό αλλά είχε κάποια αδύνατα σημεία:

1. Τρομερή ευαισθησία στο fragmentation

2. Την πολιτική της Microsoft που το έθαψε, όπου για να μην πάθουν πολιτισμικό σοκ οι 11888 χρήστες-κυράτσες των Windows, απέκρυψε πάρα πολλά δυνατά στοιχεία του, που είναι απαραίτητα-παρόντα σε κάθε προηγμένο σύγχρονο fs εδώ και χρόνια:

- case sensitivity
- symlinks

[homer_k]

Πρόσφατα αγόρασα ένα δίσκο 2TB για data-storage και θα ήθελα τη συμβουλή σας για τη δημιουργία ενός partition ext4.

Τι options θα πρέπει να δώσω στο mkfs.ext4 έτσι ώστε να έχω την καλύτερη εκμετάλλευση όλου του δίσκου;

ΥΓ: στον δίσκο θα αποθηκευτούν αρχεία απο 100mb μέχει και HD υλικό (~10Gb ανά αρχείο)

[imitheos]

Πρόσφατα αγόρασα ένα δίσκο 2TB για data-storage και θα ήθελα τη συμβουλή σας για τη δημιουργία ενός partition ext4.

Τι options θα πρέπει να δώσω στο mkfs.ext4 έτσι ώστε να έχω την καλύτερη εκμετάλλευση όλου του δίσκου;

ΥΓ: στον δίσκο θα αποθηκευτούν αρχεία απο 100mb μέχει και HD υλικό (~10Gb ανά αρχείο)

Οι πρώτες παράμετροι που μου έρχονται στο μυαλό είναι -m και -i (ή -T)

Εφόσον θα χρησιμοποιηθεί για storage, δεν χρειάζεται να δεσμευθεί χώρος για τον
root οπότε μπορείς να βάλεις -m 0.

Το -i ορίζει την αναλογία με την οποία θα οριστούν i-nodes. Αν θεωρήσουμε
το χειρότερο σενάριο που όλα τα αρχεία θα είναι 100MiB, το μέγιστο που μπορείς
να αποθηκεύσεις στα 2TB είναι κάτι λιγότερο από 20,000 αρχεία.

Το κάθε block είναι 4KiB οπότε 2TB / 4KiB ~= 488,280,000 blocks σύνολο.
Από την μάνα του το ext4 κρατάει χώρο για 1 i-node για κάθε 4 blocks οπότε
θα σου κρατήσει χώρο για 120 εκατομμύρια αρχεία, έτσι θα χάσεις πολύ χώρο
στο δίσκο.

Στο /etc/mke2fs.conf υπάρχουν κάποια έτοιμα προφίλ που μπορείς να χρησιμοποιήσεις,
πχ το προφίλ largefile4 που δεσμεύει χώρο για 1 i-node για κάθε 1024 blocks,
το οποίο θα σου κρατήσει χώρο για 470 χιλιάδες αρχεία το οποίο φυσικά σε
υπερκαλύπτει. Μπορείς με την -i να επιλέξεις πιο μεγάλη αναλογία ακόμη
αλλά από ένα σημείο και μετά δεν κερδίζεις πολύ χώρο.

Οπότε προτείνω:

mkfs.ext4 -m 0 -T largefile4 -L mylabelTADE /dev/sdX
ή mkfs.ext4 -m 0 -i 33554432 -L mylabelTADE /dev/sdX

και noatime στα mount options.

[homer_k]

Ευχαριστώ πολύ για την άμεση απάντηση!

ΥΓ: Πάνω απο το 70% του δίσκου θα έχει αρχεία μεγαλύτερα απο ~700mb.

[flamelab]

Πολύ ενδιαφέρον

http://www.phoronix.com/scan.php?pag...item&px=ODQ3Mw