Μέγεθος αρχείων σε διαφορετικά filesystems

[tsigarid]

Μπορεί να ακούγεται χαζό και οφείλεται στην άγνοιά μου, αλλά υπάρχει διαφορά μεγέθους (όπως αναφέρεται από την du) στον χώρο που πιάνουν τα αρχεία με διαφορετικά filesystems; Για να το εξηγήσω καλύτερα, έχω ένα directory σε ένα υπολογιστή με gpfs. Το κάνω rsync σε ένα άλλο υπολογιστή με ext4, μεταφέρει όλα τα αρχεία χωρίς πρόβλημα και χωρίς να λείπει κανένα. Κάνω μετά du -ch στους δύο υπολογιστές και τα μεγέθη είναι διαφορετικά (το ext4 έχει μικρότερο νούμερο). WTF?

[netblues]

Διαφορετικος τροπος μετρησης των sparse files?

[panoc]

Διαφορετικο μεγεθος block / cluster size οποτε και διαφορετικο μεγεθος που καταλαμβανουν τα αρχεια στο δισκο;

[imitheos]

Και τα sparse files που είπε ο netblues παίζουν ρόλο (ανάλογα με το fs και πώς τα αντέγραψες) αλλά η κύρια αιτία είναι αυτό που είπε ο panoc.

Ανάλογα το filesystem και το block size που έχεις επιλέξει, θα καταλαμβάνουν και διαφορετικό χώρο. Επίσης εκτός από το block size έχουμε το inode size και διάφορα άλλα μεγέθη που παίζουν ρόλο.

# for i in 1024 2048 4096; do
for k in 128 256; do
echo Creating filesystem with $i blocksize and $k inode size
mkfs.ext4 -b $i -I $k -F /tmp/tmp.img
mount -o loop /tmp/tmp.img /mnt; df /mnt 
cp -dRp /etc /mnt
du -s /mnt
umount /mnt
done
done                                    

Creating filesystem with 1024 blocksize and 128 inode size
Filesystem     1K-blocks  Used Available Use% Mounted on
/dev/loop0       1023644  2830    964290   1% /mnt
32351	/mnt
Creating filesystem with 1024 blocksize and 256 inode size
Filesystem     1K-blocks  Used Available Use% Mounted on
/dev/loop0       1015452  2830    956098   1% /mnt
32351	/mnt

Creating filesystem with 2048 blocksize and 128 inode size
Filesystem     1K-blocks  Used Available Use% Mounted on
/dev/loop0       1007456  8212    938624   1% /mnt
33276	/mnt
Creating filesystem with 2048 blocksize and 256 inode size
Filesystem     1K-blocks  Used Available Use% Mounted on
/dev/loop0        999264  8212    930432   1% /mnt
33278	/mnt

Creating filesystem with 4096 blocksize and 128 inode size
Filesystem     1K-blocks  Used Available Use% Mounted on
/dev/loop0       1007512  2564    936136   1% /mnt
35240	/mnt
Filesystem     1K-blocks  Used Available Use% Mounted on
/dev/loop0        999320  2564    927944   1% /mnt
35240	/mnt

Όπως βλέπεις, όσο μεγαλώνει το block size, τα αρχεία του /etc καταλαμβάνουν και μεγαλύτερο χώρο (32M, 33M, 35M αντίστοιχα). Το μέγεθος των inodes όμως δεν έπαιξε ρόλο. Αυτό γίνεται επειδή το παράδειγμά μου δεν είναι και τόσο καλό μια και τα αρχεία του /etc δεν έχουν ACLs και extended attributes.

Στα extX ο αριθμός των inodes ορίζεται κατά την δημιουργία του fs και δεν αλλάζει. Όπως βλέπεις λοιπόν από την έξοδο του df, στα filesystems με 256 inode size δεσμεύεται περισσότερος χώρος λόγω μεγαλύτερων inodes και το fs ακόμη και άδειο έχει λιγότερο διαθέσιμο χώρο. Από εκεί και πέρα όμως, επειδή έχουμε ίδιο block size, δεν αλλάζει ο χώρος που καταλαμβάνουν.

Πότε λοιπόν θα είχαμε διαφορά; Αν είχαμε μεγάλα μεταδεδομένα όπως extended attributes που δεν χωρούσαν να αποθηκευτούν στην 128άρα inode, τότε τα αρχεία θα καταλάμβαναν περισσότερο χώρο από ό,τι στο fs με την 256άρα inode (το νούμερο της du θα ήταν όμως ψιλοπλασματικό γιατί ο χώρος στο 256άρι fs χάνεται έτσι και αλλιώς είτε έχεις γραμμένα αρχεία είτε όχι).

[tsigarid]

imitheos