backup & keep only 5 files

[atux_null]

έχω ένα server (Linux) όπου έχει διάφορους λογαρισμούς και ο κάθε χρήστης στέλνει στον φάκελο του το backup του. Αυτό γίνεται κάθε περίπου 15 μέρες. Ψάχνω script που θα κρατάει μόνο τα τελευταία 5 αρχεία και θα κάνει delete τα υπόλοιπα.
προσπαθώ να τροποποιήσω το delete older than x days πχ 5 μέρες

find /path/to/files* -mtime +5 -exec rm {} \;

, αλλά δεν μου βγαίνει για αριθμό αρχείων.
γνωρίζει κανείς κάποιο script ή άλλο τρόπο να το κάνω?

[pap]

python??
από stack overflow:

from pathlib import Path
import arrow

filesPath = r"C:\scratch\removeThem"

criticalTime = arrow.now().shift(hours=+5).shift(days=-7)

for item in Path(filesPath).glob('*'):
    if item.is_file():
        print (str(item.absolute()))
        itemTime = arrow.get(item.stat().st_mtime)
        if itemTime < criticalTime:
            #remove it
            pass

https://stackoverflow.com/questions/...er-than-x-days

[atux_null]

αν και θα προτιμούσα bash script.
κρατάει μόνο τα τελευταία 5 αρχεία? ή των τελευταίων 5 ημερών? θέλω τα τελευταία 5 αρχεία

[Mosfet]

έχω ένα server (Linux) όπου έχει διάφορους λογαρισμούς και ο κάθε χρήστης στέλνει στον φάκελο του το backup του. Αυτό γίνεται κάθε περίπου 15 μέρες

Το backup του τι είναι, κάποιο tarball με ημερομηνία, ή βάζει χύμα μέσα σε ένα φάκελο αρχεία ότι να ναι;
Θα πρέπει να γίνεις πιο συγκεκριμένος, αν περιμένεις κάποια σοβαρή απάντηση.

[atux_null]

ειναι αρχεία τύπου tar, zip txt, rsc. ανάλογα από τι σύστημα το τραβάει.

[Mosfet]

Όλα αυτά τα αρχεία έχουν την ημερομηνία στο filename σαν suffix;

Π.χ. my_20220211.zip

Πως τα ομαδοποιείς, για να κρατήσεις τα 5 τελευταία;

[atux_null]

για να το κάνω πιο ευκολο, ας πουμε ότι είναι ενός τύπου πχ my_20220211.zip

[Mosfet]

Δοκίμασε το oneliner:

perl -e '@f = <*.*>; foreach(@f) { $key = $_; $key =~ s/^(.*)_\d{8}(\..*)$/$1$2/; if (! exists $h{$key}) { $h{$key} = [$_]; } else { push(@{$h{$key}}, $_); } }  foreach $k(keys %h)  { $s = @{$h{$k}}; if($s > 5) { $t = $s - 5; while($t--) { unlink shift(@{$h{$k}}); } } }'

[imitheos]

% ls
keep5.sh*        my_20210225.zip  my_20211225.zip  my_20220210.zip
my_20210105.zip  my_20211220.zip  my_20220209.zip  my_20220211.zip

% cat keep5.sh 
#!/bin/zsh

PURGE_ZIPFILES_AFTER="5"

#FOUND_ZIPFILES=( my_*(#qn) )
FOUND_ZIPFILES=( my_*(oa) )
rm -v ${FOUND_ZIPFILES[0,-${PURGE_ZIPFILES_AFTER} - 1]}

% ./keep5.sh 
removed 'my_20210105.zip'
removed 'my_20210225.zip'
% ls
keep5.sh*        my_20211225.zip  my_20220210.zip
my_20211220.zip  my_20220209.zip  my_20220211.zip

Edit: Σήμερα μπορώ να γράψω κάτι παραπάνω για το script. Δεν είναι τόσο γενικού σκοπού όσο το perl script του Mosfet αλλά είναι πιο εύκολο στη χρήση.

my_*

Το κλασικό globbing pattern που χρησιμοποιούμε παντού (πχ ls *.pdf).

my_*(#qn)

Όταν έχουμε κάτι με παρενθέσεις μετά από κάποιο glob, αυτό είναι globbing qualifier και αλλάζει την συμπεριφορά του globbing (πχ να δείξει μόνο αρχεία και όχι καταλόγους, κτλ). Το συγκεκριμένο είναι άσκοπα πολύπλοκο γιατί το αντέγραψα από ένα δικό μου script στο οποίο κάνω και άλλα πράγματα. Το #q επιτρέπει το να βάλεις πολλαπλούς qualifiers μαζί οπότε δεν χρειάζεται εδώ, μου ξέφυγε χτες που το έγραψα γρήγορα. Οπότε αρκεί το my_*(n). Ο qualifier n ενεργοποιεί την αριθμητική ταξινόμηση οπότε αν έχεις τάδε-9 και τάδε-10, να μην πάει το τάδε-10 στην αρχή λόγω ότι 1 < 9 αλλά να το εκλάβει όλο μαζί. Στην προκειμένη περίπτωση που έχουμε ημερομηνίες δεν χρειάζεται καν αυτό αλλά το έβαλα επειδή μπορεί να χρησιμοποιηθεί κάποιος άλλο template για τα αρχεία (πχ με εκδόσεις). Ένας άλλος qualifier που μπορεί να χρησιμοποιηθεί είναι αντί για αριθμητική ταξινόμηση, να χρησιμοποιηθεί ταξινόμηση με βάση την atime ώστε να κρατήσει τα Ν πιο καινούρια άσχετα από το αν έχουνε αριθμητικό όνομα ή όχι. Αυτό γίνεται με τον qualifier o. Οπότε το απλοποιημένο και βελτιωμένο είναι το my_*(oa).

FOUND_ZIPFILES=( my_*(#qn) )

Το αποτέλεσμα του globbing δηλαδή τα ταξινομημένα ονόματα αρχείων θα γίνουν μέλη ενός πίνακα ώστε να μπορούμε εύκολα να επιλέξουμε μεταξύ τους.

rm -v ${FOUND_ZIPFILES[0,-${PURGE_ZIPFILES_AFTER} - 1]}

Το [x,y] σημαίνει τα στοιχεία του πίνακα από το χ μέχρι το ψ. Όταν ένα από αυτά είναι αρνητικό, αυτό μετράει από το τέλος του πίνακα. Οπότε κάτι σαν το [1,-5] θα σήμαινε όλα τα στοιχεία μέχρι 5 από το τέλος (οπότε δεν θα μπουν σαν όρισμα στην εντολή rm τα 5 τελευταία, οπότε θα μας κρατήσει τα 5 νεώτερα αρχεία λόγω της ταξινόμησης που επιλέξαμε πριν). Επειδή όμως το μέτρημα ξεκινά από το 0, πρέπει να έχουμε [0, -4] έτσι έχουμε το [0, -5 - 1].

[pap]

Μπορεις να κανεις πολλα πραγματα. Αλλη μια λυση θα ηταν να φτιαξεις watched folder καθε πεμπτο αρχειο που δημιουργειται θα σβηνεις το πρωτο.

[Mosfet]

Αφού εξήγησε ο imitheos πως δουλεύει το script του, ας εξηγήσω και εγώ πως δουλεύει το δικό μου.

@f = <*.*>;

Μαζεύω σε ένα array f, από το τρέχον directory, όλα τα αρχεία με όλες τις καταλήξεις. Αν π.χ. ήθελα μόνο τα zip, μπορούσα να βάλω <*.zip> αντί για <*.*>

foreach(@f) { $key = $_; $key =~ s/^(.*)_\d{8}(\..*)$/$1$2/; if (! exists $h{$key}) { $h{$key} = [$_]; } else { push(@{$h{$key}}, $_); } }

Στη συνέχεια ομαδοποιώ όλα αυτά τα αρχεία, σε ένα hash h με array elements αυτές τις ομάδες. Το κάνω αυτό, χρησιμοποιώντας για την κατασκευή του κλειδιού το pattern:

s/^(.*)_\d{8}(\..*)$/$1$2/

Δηλαδή ουσιαστικά "πετάω" εκτός του κλειδιού το underscore με την ημερομηνία (8 ψηφία πριν την κατάληξη). Π.χ. αν είχα στο directory τα αρχεία:

dummy.txt
my_20220110.zip
my_20220111.zip
my_20220112.zip
my_20220210.xlsx
my_20220211.xlsx

Το hash μου, μόλις τελειώσει το loop, θα είναι σαν να έκανα την ανάθεση:

%h = ( 
       dummy.txt => ["dummy.txt"], 
       my.zip    => ["my_20220110.zip", "my_20220111.zip", "my_20220112.zip"],
       my.xlsx   => ["my_20220210.xlsx", "my_20220211.xlsx"]
);

Για το τέλος έχουμε:

foreach $k(keys %h)  { $s = @{$h{$k}}; if($s > 5) { $t = $s - 5; while($t--) { unlink shift(@{$h{$k}}); } } }'

Δηλαδή loop-άρω στο hash μου και εαν το τρέχον array έχει μεγαλύτερο πλήθος στοιχείων από 5, ας πούμε π.χ. ότι κάποια στιγμή είναι 7, τότε για 2 (= 7 - 5) φορές, θα τραβήξω από το array το πρώτο στοιχείο και θα το σβήσω (ρουτίνα unlink). Εφόσον λοιπόν χρησιμοποιώ γιαπωνέζικο format, θα σβηστούν πρώτα τα αρχεία με τις αρχαιότερες ημερομηνίες.

Αν όμως ήθελα να γίνω πιο σοφιστικέ και να παίξω με modification time, θα μπορούσα να σορτάρω το array πριν το while, με τον αγαπημένο μου spaceship operator

@sa = sort{ -M $b <=> -M $a } @{$h{$k}};

Οπότε, όποιος θέλει να παίξει έτσι, μπορεί να χρησιμοποιήσει το oneliner ():

perl -e '@f = <*.*>; foreach(@f) { $key = $_; $key =~ s/^(.*)_\d{8}(\..*)$/$1$2/; if (! exists $h{$key}) { $h{$key} = [$_]; } else { push(@{$h{$key}}, $_); } }  foreach $k(keys %h)  { $s = @{$h{$k}}; if($s > 5) { $t = $s - 5; @sa = sort{ -M $b <=> -M $a } @{$h{$k}}; while($t--) { unlink shift(@sa); } } }'

Φυσικά, το παραπάνω script είναι cross-platform. Καλωσορίσατε στον μαγικό κόσμο της perl.