sshfs: Πέφτει το transfer rate σε μεγάλα αρχεία

**DVader** · 06-06-23, 18:43

Καλησπέρα σε όλους,

Σε ότι περιβάλλον RHEL και να έχω κάνει δοκιμές το sshfs όταν αρχίζει να μεταφέρει αρχεία άνω των 500MB ρίχνει στο 0 το transfer rate και τέλος.. Κολλάει το process του προγράμματος που κάνει την μεταφορά ...π.χ borg/restic/rsync/etc...

Η εντολή με την όποια κάνω mount είναι η εξής:

echo $PASS | sshfs -o password_stdin,reconnect,allow_other,idmap=user,uid=0,gid=0,cache=no,noauto_cache,entry_timeout=0 $USER@HOST

ROOT $LOCAL_DIR

Βλέπει κάποιος κάτι λάθος που δεν βλέπω εγώ..?

**tsigarid** · 08-06-23, 05:20

Εγώ χρησιμοποιώ αυτό:

Κώδικας:

sshfs -o TCPKeepAlive=yes -o ServerAliveInterval=120 -o ssh_command='ssh -A' ${remote} ${local}

και δίνω τα remote/local μέσω script. Δε θυμάμαι πια γιατί διάλεξα αυτές τις παραμέτρους, αλλά ποτέ δεν είχα πρόβλημα, και σίγουρα έχω μεταφέρει μεγάλα αρχεία.

**DVader** · 08-06-23, 13:33

Αρχικό μήνυμα από tsigarid

Εγώ χρησιμοποιώ αυτό:

Κώδικας:

sshfs -o TCPKeepAlive=yes -o ServerAliveInterval=120 -o ssh_command='ssh -A' ${remote} ${local}

και δίνω τα remote/local μέσω script. Δε θυμάμαι πια γιατί διάλεξα αυτές τις παραμέτρους, αλλά ποτέ δεν είχα πρόβλημα, και σίγουρα έχω μεταφέρει μεγάλα αρχεία.

Αν και την έδωσα έτσι .....sshfs -o TCPKeepAlive=yes -o ServerAliveInterval=120

έφτασε μέχρι τα 3GB κολάει το σταματάω το ξαναβάζω και πάει παρακάτω μέχρι να το τελειώσει ...Δεν έχω καταλάβει γιατί και έχω δοκιμάσει πραγματικά τα πάντα....

Μπορώ να δουλέψω αντι με το sshfs με κάτι άλλο ...? Υπήρχε το curftps στο CentOS 7....αλλά στο 8 και 9 δεν υπάρχει ...

- - - Updated - - -

Κάτι δεν πάει καλά με το sshfs... Γιατί όταν με τα ίδια στοιχεία σύνδεσης ... μέσα από το mc με Shell Link η μεταφορά παίζει κανονικά..?

**tsigarid** · 08-06-23, 13:41

Γιατί δεν κάνεις rsync απευθείας από το remote, και πας μέσω sshfs;

**DVader** · 08-06-23, 14:03

Αρχικό μήνυμα από tsigarid

Γιατί δεν κάνεις rsync απευθείας από το remote, και πας μέσω sshfs;

Γιατί έχω το restic καιο το borg για backup ... Θέλω ιστορικότητα... και εκδόσεις στα αρχέια...Το rsync κάνει απλά copy...

**MitsakosGR** · 08-06-23, 14:24

Μήπως είναι κάποιο πρόβλημα του δικτύου και όχι του ssh; Είσαι σε τοπικό δίκτυο ή μέσω VPN; Μήπως πάει να στείλει κάτι και κολλάει τίποτα άλλο στο ενδιάμεσο.

Το BORG (και το restic απ'ότι βλέπω) μπορείς να το βάλεις να στείλει απευθείας σε SSH, χωρίς το overhead του sshfs.

**DVader** · 08-06-23, 14:43

Αρχικό μήνυμα από MitsakosGR

Μήπως είναι κάποιο πρόβλημα του δικτύου και όχι του ssh; Είσαι σε τοπικό δίκτυο ή μέσω VPN; Μήπως πάει να στείλει κάτι και κολλάει τίποτα άλλο στο ενδιάμεσο.

Το BORG (και το restic απ'ότι βλέπω) μπορείς να το βάλεις να στείλει απευθείας σε SSH, χωρίς το overhead του sshfs.

Ρε παιδιά .....να ρωτήσω κάτι ..?

Το Over SSH με το over SHHFS δεν είναι το ίδιο ...ή έχω λάθος ..?

Δοκιμάζω με rclone και έχει ήδη μεταφέρει 15/33 GB..Για την ιδέα αν και δεν το είπε αλλά μου έδωσε hint εύσημα στον @tsigarid

@Mitsakos: Εχεις βρεί κάτι που δεν έχω δεί ..Για δώσε link ..? από αυτά που βρήκες...? Είμαι και λίγο γκαβάδι ώρες στο Google Search ...

**tsigarid** · 08-06-23, 14:56

Αρχικό μήνυμα από DVader

Ρε παιδιά .....να ρωτήσω κάτι ..?

Το Over SSH με το over SHHFS δεν είναι το ίδιο ...ή έχω λάθος ..?

Χρησιμοποιούν το ίδιο πρωτόκολλο, αλλά δεν είναι το ίδιο. Διαφορετικό software το SSH (e.g. openssh) και το SSHFS.

**MitsakosGR** · 08-06-23, 15:07

Borg Remote Repository
Restic SFTP

Όπως είπε και ο @tsigarid δεν είναι το ίδιο πράγμα. Και τα δύο στέλνουν αρχεία μέσω SSH αλλά το ένα χρησιμοποιεί απευθείας το πρωτόκολλο, ενώ το άλλο δημιουργεί ένα filesystem connection (fuse) στον πυρήνα ώστε να μπορέσει να κάνει mount και να το δει σαν μέρος του Path. Οπότε πέρα από το SSH έχει από πάνω το FUSE και τον "αντάπτορα" μεταξύ FUSE και SSH. Δεδομένου ότι το SSHFS έχει σταματήσει να αναπτύσσετε είναι πιθανό να έχει προβλήματα που δεν υπάρχουν στο SSH ή στο FUSE.

**DVader** · 08-06-23, 15:30

Λοιπόν ...με rclone ανέβασε 33GB στον 1ο server... χωρίς θέμα ! Τώρα ανεβάζω και στον 2ο

Στον 2ο backup server που δοκίμασα το rclone δε δουλεύει...Επίσης restic -r stftp στον 2ο server επίσης δεν δουλεύει ...

**tsigarid** · 08-06-23, 16:23

Αρχικό μήνυμα από MitsakosGR

Borg Remote Repository
Restic SFTP

Όπως είπε και ο @tsigarid δεν είναι το ίδιο πράγμα. Και τα δύο στέλνουν αρχεία μέσω SSH αλλά το ένα χρησιμοποιεί απευθείας το πρωτόκολλο, ενώ το άλλο δημιουργεί ένα filesystem connection (fuse) στον πυρήνα ώστε να μπορέσει να κάνει mount και να το δει σαν μέρος του Path. Οπότε πέρα από το SSH έχει από πάνω το FUSE και τον "αντάπτορα" μεταξύ FUSE και SSH. Δεδομένου ότι το SSHFS έχει σταματήσει να αναπτύσσετε είναι πιθανό να έχει προβλήματα που δεν υπάρχουν στο SSH ή στο FUSE.

Δεν ήξερα ότι το SSHFS έχει σταματήσει να αναπτύσσεται! Υπάρχουν εναλλακτικές;

**euri** · 08-06-23, 17:19

Αρχικό μήνυμα από MitsakosGR

Το BORG (και το restic απ'ότι βλέπω) μπορείς να το βάλεις να στείλει απευθείας σε SSH, χωρίς το overhead του sshfs.

Προϋπόθεση για αυτό είναι να είναι εγκαταστημένο το borg και στα δύο άκρα. Όταν δεν είναι εφικτό να υπάρχει το borg απέναντι, προτείνεται το sshfs.
https://borgbackup.readthedocs.io/en...e-repositories

**DVader** · 08-06-23, 17:27

Αρχικό μήνυμα από tsigarid

Δεν ήξερα ότι το SSHFS έχει σταματήσει να αναπτύσσεται! Υπάρχουν εναλλακτικές;

Και εγώ το διάβασα προχτές...Εναλλακτική δεν έχω βρεί και το CurFTPS δεν υπάρχει σε νεώτερες διανομές !

**MitsakosGR** · 08-06-23, 19:42

Υπάρχουν κάποια fork αλλά μέχρι στιγμής κανένα δεν έχει πάρει επίσημα τη θέση του.

The current maintainer continues to apply pull requests and makes regular releases, but unfortunately has no capacity to do any development beyond addressing high-impact issues.

Κάπου διάβασα που έλεγε ότι αν βρει κάποιο fork το οποίο ενημερώνεται τακτικά για πάνω από 6 μήνες, θα κάνει redirect το δικό του στο άλλο, για να γίνει το άλλο main. Προς το παρόν όμως δεν υπάρχει κάτι.

Σύμφωνα με την mailing list υπάρχουν δύο κύρια repo:
https://github.com/deadbeefsociety/sshfs που συνεχίζει το παλιό και κάνει νέες προσθήκες/διορθώσεις.
https://github.com/neunenak/sshfs που σκοπός του είναι να ξαναγράψει όλο το project σε rust, και μετά να γίνει κύριο.

**DVader** · 08-06-23, 20:50

Αρχικό μήνυμα από MitsakosGR

Υπάρχουν κάποια fork αλλά μέχρι στιγμής κανένα δεν έχει πάρει επίσημα τη θέση του.

Κάπου διάβασα που έλεγε ότι αν βρει κάποιο fork το οποίο ενημερώνεται τακτικά για πάνω από 6 μήνες, θα κάνει redirect το δικό του στο άλλο, για να γίνει το άλλο main. Προς το παρόν όμως δεν υπάρχει κάτι.

Σύμφωνα με την mailing list υπάρχουν δύο κύρια repo:
https://github.com/deadbeefsociety/sshfs που συνεχίζει το παλιό και κάνει νέες προσθήκες/διορθώσεις.
https://github.com/neunenak/sshfs που σκοπός του είναι να ξαναγράψει όλο το project σε rust, και μετά να γίνει κύριο.

ΟΚ! Ευχαριστούμε για τα info !

Αυτό που παρατηρώ εγώ είναι ότι όλες οι κύριες διανομές CentOS/RHEL/Rocky Linux/Alma/Cloud/Debian/etc στις τελευταίες εκδόσεις έχουν εξαφανίσει το curlFTPFS που είχε λιγότερα πρόβληματα σε σχέση με το sshfs.. Είσαι αναγκασμένος λοιπόν αν θέλεις να δουλέψεις με bash scripts με το sshfs....που δεν συντηρείτε...και έχει προβλήματα...

Τώρα εγώ προσανατολίζομαι να λύσω το θέμα ως εξής:
1. Backup με restic + rclone που δουλεύει με FTP ή SH στον 1ο backup server
2. RSync 1ου μεταξύ 2ου ....μεταξύ τους...

Οπότε θα τελειώσει η χρήση του sshfs πλέον ...

Θέμα: sshfs: Πέφτει το transfer rate σε μεγάλα αρχεία

Bookmarks

Bookmarks

Δικαιώματα - Επιλογές