Home Server - ιδέες και ανυσυχίες

[patch]

Δεν κατάλαβα τίποτα απ' ότι λες. Έχω datasets και τα κάνω NFS/SMB share κατά πως θέλω. To pool δεν το βλέπει κανένας client. Επίσης με LXC δεν παίζω.

έγραψες

Περί ορέξεως κολοκυθόπιτα.

απάντησα

το μόνο σίγουρο, αφού έχουμε τις επιλογές το κάνουμε όπως μας γουστάρει

Όταν σχεδίαζα το σύστημα αποφάσισα να το κάνω έτσι. Ένας παράγοντας ήταν ότι ήθελα να έχω ξεχωριστά το data store για τα VMs από αυτό για το file server.

σου απάντησα πως αυτό το κάνεις με χίλιους τρόπους. Μπορείς να κάνεις όσα datasets θες στο zfs και να τα κάνεις mount όπου θες.
Για smb ειτε με ένα samba lxc/ στο ίδιο το proxmox samba/ μέσου του ίδιου του zfs samba
nfs είναι απλά μια εντολή στο ίδιο το dataset που θες να κάνεις share

Επίσης ήθελα να παίξω με το PCI passthrough. Γενικά η λογική του όλου εγχειρήματος ήταν πειραματισμός και για να μάθω και κάτι. Έχω ξαναπεί αν το ξαναέστεινα θα έπαιρνα κάτι έτοιμο (μάλλον ένα μικρό QNAP που να τρέχει QuTS Hero για ZFS). Για τα VMs θα έστεινα ξεχωριστά κάνα μικρό server. Κάποια στιγμή θέλω να ανεβάσω φωτογραφίες για όποιον ενδιαφέρεται και θέλει να πάρει ιδέες για πιθανόν δικό του homelab.

δεν απάντησα κάτι, δεν ξέρω
Καλημέρα

- - - Updated - - -

Σας ευχαριστώ και τους 2 σας.



Όχι, δεν δείχνει κάτι τέτοιο. Οπότε πήγε λάθος η εγκατάσταση.
...

η έκανε boot απο το tinycore
δες επιλογές του tinycore grub ποια είναι πρώτη επιλογή boot

[megahead13]

Patch αυτά τα κόλπα με lxc για να κάνεις ένα file share (είτε NFS, είτε SMB) ως storage admin θα μου επιτρέψεις να πω πως μου φαίνονται κουλά. Θέλω να διαχειρίζομαι κλασσικό file server. Το να έχω το storage μου και να το κάνω export σε ένα άλλο VM/container το οποίο εκείνο θα κάνει το NFS/SMB κομμάτι, αυξάνει την πολυπλοκότητα χωρίς λόγο, ενώ για πιο πολύπλοκα file systems (πχ Lustre) ενέχει και κινδύνους να πάρεις τα δεδομένα στο χέρι. Όλα αυτά που σου λέω τα έχω δει από πρώτο χέρι και δεν έχει να κάνει με το περί ορέξεως κολοκυθόπιτα (αν θα έχεις ένα VM με μεγάλο virtual disk ή που θα του περνάς αληθινούς δίσκους, κτλ). Τεσπά, εδώ μιλάμε για σπιτικές καταστάσεις, αλλά και πάλι. Προσωπικά θέλω ο storage server μου να είναι ο storage server μου.

[patch]

zfs sharesmb NATIVE απο το HOST!
zfs sharenfs NATIVE απο το HOST!

το lxc είναι καλύτερο γιατί δανείζεται κερνελ του host και δεν μπορεί να πάρει ποτέ δικαίωμα root στο host όπως και μπορείς να το περιορίσεις ακόμα περισσότερο με uid/gid
το πως θα το κάνει ο καθένας μας είναι καθαρά και μόνο επιλογή του καθένα μας. Ο τρόπος που δουλεύει για τον καθένα και του είναι οικείο είναι και ο καλύτερος!

[megahead13]

zfs sharesmb NATIVE απο το HOST!
zfs sharenfs NATIVE απο το HOST!

το lxc είναι καλύτερο γιατί δανείζεται κερνελ του host και δεν μπορεί να πάρει ποτέ δικαίωμα root στο host όπως και μπορείς να το περιορίσεις ακόμα περισσότερο με uid/gid
το πως θα το κάνει ο καθένας μας είναι καθαρά και μόνο επιλογή του καθένα μας. Ο τρόπος που δουλεύει για τον καθένα και του είναι οικείο είναι και ο καλύτερος!

Για την τελευταία πρόταση δε διαφωνώ καθόλου. Απλώς είπα πως ως storage admin (μεταξύ άλλων) κάποιες πρακτικές δεν τις μπορώ καθόλου/δεν τις θεωρώ σωστές κι αυτό γιατί έχω δει την αυξημένη πολυπλοκότητα και τα προβλήματα που αυτή στις περισσότερες περιπτώσεις έχει προκαλέσει. Από εκεί κι έπειτα όταν μιλάμε για σπιτικό περιβάλλον ας κάνει ότι θέλει ο καθένας.

[vassilis3]

η εντολη που σου ειχα βαλει εφτιαχνε raid 10
εδωσες λαθος εντολη, εβαλες mirror και μετα ολους τους δισκους! Μετα απο δυο δισκους βαζεις ξανα mirror
zpool create onoma mirror disk1 disk2 mirror disk3 disk4 mirror disk5 disk6 ...... mirror diskx disky

root@srv1:~# lsblk
NAME               MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda                  8:0    0 953.9G  0 disk 
├─sda1               8:1    0  1007K  0 part 
├─sda2               8:2    0   512M  0 part 
└─sda3               8:3    0 953.4G  0 part 
  ├─pve-swap       253:0    0     8G  0 lvm  [SWAP]
  ├─pve-root       253:1    0    96G  0 lvm  /
  ├─pve-data_tmeta 253:2    0   8.3G  0 lvm  
  │ └─pve-data     253:4    0 816.7G  0 lvm  
  └─pve-data_tdata 253:3    0 816.7G  0 lvm  
    └─pve-data     253:4    0 816.7G  0 lvm  
sdb                  8:16   0   1.8T  0 disk 
├─sdb1               8:17   0   1.8T  0 part 
└─sdb9               8:25   0     8M  0 part 
sdc                  8:32   0   1.8T  0 disk 
├─sdc1               8:33   0   1.8T  0 part 
└─sdc9               8:41   0     8M  0 part 
sdd                  8:48   0   1.8T  0 disk 
├─sdd1               8:49   0   1.8T  0 part 
└─sdd9               8:57   0     8M  0 part 
sde                  8:64   0   1.8T  0 disk 
├─sde1               8:65   0   1.8T  0 part 
└─sde9               8:73   0     8M  0 part 
sdf                  8:80   0   1.8T  0 disk 
├─sdf1               8:81   0   1.8T  0 part 
└─sdf9               8:89   0     8M  0 part 
sdg                  8:96   0   1.8T  0 disk 
├─sdg1               8:97   0   1.8T  0 part 
└─sdg9               8:105  0     8M  0 part 
sdh                  8:112  0   1.8T  0 disk 
├─sdh1               8:113  0   1.8T  0 part 
└─sdh9               8:121  0     8M  0 part 
sdi                  8:128  0   1.8T  0 disk 
├─sdi1               8:129  0   1.8T  0 part 
└─sdi9               8:137  0     8M  0 part

zpool destroy zfsa

zfs create -f -o ashift=12 onoma mirror /dev/sdb /dev/sdc mirror /dev/sdd /dev/sde mirror /dev/sdf /dev/sdg mirror /dev/sdh /dev/sdi

zfs list

root@srv1:~# zfs list
NAME         USED  AVAIL     REFER  MOUNTPOINT
zfs_raid10   444K  7.12T       96K  /zfs_raid10
root@srv1:~#

root@srv1:~# zpool status
  pool: zfs_raid10
 state: ONLINE
config:

        NAME                                          STATE     READ WRITE CKSUM
        zfs_raid10                                    ONLINE       0     0     0
          mirror-0                                    ONLINE       0     0     0
            ata-WDC_WD20EADS-00W4B0_WD-WCAVY7044919   ONLINE       0     0     0
            ata-WDC_WD20EARS-00MVWB0_WD-WCAZA7341280  ONLINE       0     0     0
          mirror-1                                    ONLINE       0     0     0
            ata-WDC_WD20EARS-00MVWB0_WD-WCAZA7324824  ONLINE       0     0     0
            ata-WDC_WD20EARS-00MVWB0_WD-WCAZA7324356  ONLINE       0     0     0
          mirror-2                                    ONLINE       0     0     0
            ata-WDC_WD20EARX-00PASB0_WD-WCAZA9080446  ONLINE       0     0     0
            ata-WDC_WD20EARX-00PASB0_WD-WCAZA9908355  ONLINE       0     0     0
          mirror-3                                    ONLINE       0     0     0
            ata-WDC_WD20EARS-00MVWB0_WD-WCAZA7072959  ONLINE       0     0     0
            ata-WDC_WD20EARX-00PASB0_WD-WCAZA9906816  ONLINE       0     0     0

errors: No known data errors
root@srv1:~#

Κάπως έτσι. Επρεπε να χιονίσει

[patch]

Κάπως έτσι. Επρεπε να χιονίσει

θα σου πρότεινα με την μια πριν αρχίσεις να το γεμίσεις

zfs set acltype=posixacl zfs_raid10
zfs set xattr=sa zfs_raid10

μπορεί να είναι default επιλογή πλέον, δες το με zfs get compression
zfs set compression=lz4 zfs_raid10

Όχι τόσο σημαντικά
zfs set atime=off zfs_raid10
zfs set relatime=off zfs_raid10

[ranger]

Θα δοκιμάσω ξανά με την τελευταία 8.x έκδοση.

κοίτα εγώ το έκανα με την 0.8 γιατί η 9 δεν μου δούλεψε για το migration που ήθελα να κάνω από 918 6.x σε 7.1. Δεν υποστήριζε καθόλου το 918 μου.

Μόλις έκανα δεύτερη εγκατάσταση καθαρή αυτή τη φορά με τον 0.9.0.3 και δούλεψε κανονικά το 918. Είναι και πιο εύκολο μάλιστα, δες τα 1-2 εξτρά βήματα εδώ
https://xpenology.com/forum/topic/65...mox-with-tcrp/

[Φανερός Πράκτωρ]

Ευχαριστώ για τις απαντήσεις! Χθες βράδυ που είχα λίγο χρόνο το παίδεψα λίγο ακόμα και το κατάφερα.

- Χρησιμοποίησα το tinycore-redpill.v0.9.4.0.img
- Η σωστή εντολή για το build είναι ./rploader.sh build ds3622xsp-7.1.1-42962. Δεν υπήρχε κάτι σε broadwellnk-*
- Το λάθος μου την πρώτη φορά ήταν ότι δεν έτρεξα 2 φορές την ./rploader.sh build μια που την πρώτη απλά κατέβασε ένα update και τη δεύτερη έκανε το πραγματικό build
- Έπρεπε να διαλέξω στο πρώτο boot την επιλογή SATA (και όχι USB) αλλιώς δεν πετύχαινε η εγκατάσταση του DSM
- Μετά το boot, το https://find.synology.com βρήκε άμεσα ένα DS3622xs+ και εγκατέστησα την έκδοση του DSM "7.1.1-42962 (with Update 1)"

Το σύστημα (xpenology) πετάει επειδή το image είναι και σε σοβαρό μηχάνημα και σε nvme. Βέβαια του έχω δώσει λίγα CPUS και μνήμη. Μάλλον είναι ολιγαρκές
Μετέφερα στο xpenology το cloudstation που πια το λένε synology drive με τα 20GB δεδομένα που είχα.
Στα 2 mac έγινε γρήγορα η αλλαγή σε synology drive. Σε ένα παλιό imac (OS X El Capitan) που είχα δεν έμπαινε το τελευταίο synology drive και δεν μπορούσε να δουλέψει με παλιότερο client το DSM 7.1.

Δεν χάρηκα πάρα πολύ για αυτή την εξέλιξη αλλά η αλήθεια είναι ότι δεν τα χρειάζομαι τόσο σε εκείνο το iMac τα συγκεκριμένα αρχεία.
Το παλιό Synology θα το κρατήσω για το timemachine που πια θα κάνει backup μόνο κάθε 2 μέρες (μπας και διατηρηθούν οι σκληροί για κάποια χρόνια ακόμα)
Στο xpnology θα μεταφέρω και το VPN για να απαλλάξω το Synology από το συνεχές on-off των σκληρών.

Ελπίζω να είναι σταθερό το xpenology και επιπλέον να μην έχουμε κανένα πρόβλημα με vulnerabilities μια που το έχω σε σχετικά critical σημείο.
Ο καιρός θα δείξει...

[patch]

πάρε συχνά snapshots (κάθε βδομάδα με crontab πχ) από το proxmox και δεν θα έχεις κανένα θέμα. Ειδικά αν κάνεις reboot μια φορά στους 2-3 μήνες θα ξεχάσεις να μπεις στο webinterface του

[Φανερός Πράκτωρ]

Ναι κάπως έτσι είναι το setup μου. Εβδομαδιαία snapshots, τα πιο critical vms δεν κλείνουν ποτέ απλά τα κάνει freeze κατά το snapshot και ο mini server που τρέχει τον proxmox και βασίζονται όλα αυτά κλείνει κάθε μερικούς μήνες αν και όταν χρειαστεί.

- - - Updated - - -

Το μόνο που πρέπει να κάνω είναι να βάλω κάποια ειδοποίηση να μου έρχεται στο κινητό αν υπάρχουν software updates σε packages ή στο DSM του xpenology.
Μια που όλα τα automatic updates τα έχω κλείσει.

Λογικά θα είναι απλό

[vassilis3]

θα σου πρότεινα με την μια πριν αρχίσεις να το γεμίσεις

zfs set acltype=posixacl zfs_raid10
zfs set xattr=sa zfs_raid10

μπορεί να είναι default επιλογή πλέον, δες το με zfs get compression
zfs set compression=lz4 zfs_raid10

Όχι τόσο σημαντικά
zfs set atime=off zfs_raid10
zfs set relatime=off zfs_raid10

Last login: Mon Feb  6 15:05:23 EET 2023 on pts/0
root@srv1:~# zfs set acltype=posixacl zfs_raid10
root@srv1:~# zfs set xattr=sa zfs_raid10
root@srv1:~# zfs get compression
NAME        PROPERTY     VALUE           SOURCE
zfs_raid10  compression  lz4             local
root@srv1:~# zfs set atime=off zfs_raid10
root@srv1:~# zfs set relatime=off zfs_raid10
root@srv1:~#

τυφλοσούρτη τα έκανα χωρίς να τα πολυψάξω
Κάτι αλλο;

[patch]

χονδρικά όπως τα έχω καταλάβει εγώ
posixacl = δικαιώματα στον χρήστη που δημιούργησε/έγραψε το αρχείο. Ενα user/lxc/vm με uid 1000 δεν θα πάρει τον έλεγχο σε αρχείο του user/lxc/vm με uid 1001
xattr = μειώνει τις έγραφες σε zfs on linux από τα extended attributes αλλά θα τα χάσεις αν μεταφέρεις το pool se BSD
lz4 = ελαφρύτερο + ταχύτερο
atime = μειώνει εγγραφές στον δίσκο, κατά πολύ σε αρχεία που ανοίγουν συχνά
relatime = κάπως σαν το atime

Καλά μοιράσματα!

[vassilis3]

χονδρικά όπως τα έχω καταλάβει εγώ
posixacl = δικαιώματα στον χρήστη που δημιούργησε/έγραψε το αρχείο. Ενα user/lxc/vm με uid 1000 δεν θα πάρει τον έλεγχο σε αρχείο του user/lxc/vm με uid 1001
xattr = μειώνει τις έγραφες σε zfs on linux από τα extended attributes αλλά θα τα χάσεις αν μεταφέρεις το pool se BSD
lz4 = ελαφρύτερο + ταχύτερο
atime = μειώνει εγγραφές στον δίσκο, κατά πολύ σε αρχεία που ανοίγουν συχνά
relatime = κάπως σαν το atime

για να δουμε τώρα τι θα σηκώσουμε
Απο σκληρούς πάντως τελειώσα

[patch]

Ναι κάπως έτσι είναι το setup μου. Εβδομαδιαία snapshots, τα πιο critical vms δεν κλείνουν ποτέ απλά τα κάνει freeze κατά το snapshot και ο mini server που τρέχει τον proxmox και βασίζονται όλα αυτά κλείνει κάθε μερικούς μήνες αν και όταν χρειαστεί.

- - - Updated - - -

Το μόνο που πρέπει να κάνω είναι να βάλω κάποια ειδοποίηση να μου έρχεται στο κινητό αν υπάρχουν software updates σε packages ή στο DSM του xpenology.
Μια που όλα τα automatic updates τα έχω κλείσει.

Λογικά θα είναι απλό

datastorage είναι, δεν είναι ανάγκη να τρέξεις το τελευταίο update
και εγώ κλειστά τα έχω όλα τα updates, τα κάνω όταν με αναγκάζουν να δω ρομαντική ταινία

[Φανερός Πράκτωρ]

Ναι δεν είναι ακριβώς data storage αν τρέχει VPN και έχω κάνει port fowarding διάφορα εξωτερικά ports του router σε αυτό.
Τα VPN ports του για αρχή θα μπορεί να τα καλέσει όποιος θέλει από το net, οπότε θέλει και μια Α προσοχή.