Home Server - ιδέες και ανυσυχίες

[megahead13]

Αν σε καλύπτει το δωρεάν ESXi μείνε σε αυτό

[jkarabas]

Αν σε καλύπτει το δωρεάν ESXi μείνε σε αυτό

[isurfer]

Καλησπέρα,

Είπα να ποστάρω εδώ, άν ταιριάζει καλύτερα στο νήμα για home lab ας μεταφερθεί....

Λοιπόν:

Έχω ένα πρόβλημα με στήσιμο καινούριου NAS στο σπίτι, έχει κανείς καμιά ιδέα γιατί έχω κολλήσει.....
Αρχικά το hardware:
1. δίσκοι data: 3 x Toshiba MG08ACA 16TB
2. controller: LSI 9300-16i
3. M/B: MSI MAG Z590 Torpedo, 128GB RAM
4. system disks: Samsung SSD 970 EVO Plus 1TB M.2 PCIe 3.0 x4 , Samsung SSD 980 PRO 1TB M.2 PCIe 4.0 x4

Οι δίσκοι είναι ολοκαίνουριοι, τους έκανα long test έναν έναν ξεχωριστά, κανένα πρόβλημα.

Στο server τρέχει esxi 8 και αρχικά είπα να δοκιμάσω Openmediavault (έχω ένα FreeNAS αλλού σε PC δεκαετίας και είπα να τα συγκρίνω - ΟΚ το FreeNAS είναι παλιό αλλά έλεγα να δοκιμάσω άλλο filesystem και το TrueNAS/FreeNAS δίνει μόνο ZFS). Ενώ φαινομενικά όλα είναι ΟΚ, δεν βγάζουν SMART errors κλπ, όταν πάω να φτιάξω ένα RAID5 πχ τα errors πέφτουν βροχή και είτε σκάει είτε κρασάρει μέχρι και το VM. Ενδεικτικά:
mpt3sas_cm0 fault info from func: mpt3sas_base_make_ioc_ready
mpt3sas_cm0: fault_state(0x2622)!

Από googling δεν έβγαλα ασφαλές συμπέρασμα.....


Είπα να δοκιμάσω TrueNAS core. Μία από τα ίδια, ενδεικτικά:
CAM status: SCSI status error
SCSI status: check condition
SCSI sense: UNIT ATTENTION asc:29,0 (power on, reset, or bus device reset occured)

Έκανα όλους τους πιθανούς συνδυασμούς, πχ
1. passthrough τον controller στο vm ώστε να βλέπει τους δίσκους native
2. άφησα τον controller στο esxi και έκανα attach μόνο τους δίσκους ως raw devices
3. μέχρι και Windows server με storage spaces δοκίμασα !!

αλλά τζίφος σε όλα. Αν δεν έσκαγε και στην περίπτωση 2 θα σκεφτόμουν ότι είναι θέμα controller driver στο OMV και στο TrueNAS, αλλά το μόνο που μένει είναι είτε ο controller να είναι dead, ή τα καλώδια. Ή κάτι άλλο, καμιά ιδέα?

[BlueChris]

Καλησπέρα,

Είπα να ποστάρω εδώ, άν ταιριάζει καλύτερα στο νήμα για home lab ας μεταφερθεί....

Λοιπόν:

Έχω ένα πρόβλημα με στήσιμο καινούριου NAS στο σπίτι, έχει κανείς καμιά ιδέα γιατί έχω κολλήσει.....
Αρχικά το hardware:
1. δίσκοι data: 3 x Toshiba MG08ACA 16TB
2. controller: LSI 9300-16i
3. M/B: MSI MAG Z590 Torpedo, 128GB RAM
4. system disks: Samsung SSD 970 EVO Plus 1TB M.2 PCIe 3.0 x4 , Samsung SSD 980 PRO 1TB M.2 PCIe 4.0 x4

Οι δίσκοι είναι ολοκαίνουριοι, τους έκανα long test έναν έναν ξεχωριστά, κανένα πρόβλημα.

Στο server τρέχει esxi 8 και αρχικά είπα να δοκιμάσω Openmediavault (έχω ένα FreeNAS αλλού σε PC δεκαετίας και είπα να τα συγκρίνω - ΟΚ το FreeNAS είναι παλιό αλλά έλεγα να δοκιμάσω άλλο filesystem και το TrueNAS/FreeNAS δίνει μόνο ZFS). Ενώ φαινομενικά όλα είναι ΟΚ, δεν βγάζουν SMART errors κλπ, όταν πάω να φτιάξω ένα RAID5 πχ τα errors πέφτουν βροχή και είτε σκάει είτε κρασάρει μέχρι και το VM. Ενδεικτικά:
mpt3sas_cm0 fault info from func: mpt3sas_base_make_ioc_ready
mpt3sas_cm0: fault_state(0x2622)!

Από googling δεν έβγαλα ασφαλές συμπέρασμα.....


Είπα να δοκιμάσω TrueNAS core. Μία από τα ίδια, ενδεικτικά:
CAM status: SCSI status error
SCSI status: check condition
SCSI sense: UNIT ATTENTION asc:29,0 (power on, reset, or bus device reset occured)

Έκανα όλους τους πιθανούς συνδυασμούς, πχ
1. passthrough τον controller στο vm ώστε να βλέπει τους δίσκους native
2. άφησα τον controller στο esxi και έκανα attach μόνο τους δίσκους ως raw devices
3. μέχρι και Windows server με storage spaces δοκίμασα !!

αλλά τζίφος σε όλα. Αν δεν έσκαγε και στην περίπτωση 2 θα σκεφτόμουν ότι είναι θέμα controller driver στο OMV και στο TrueNAS, αλλά το μόνο που μένει είναι είτε ο controller να είναι dead, ή τα καλώδια. Ή κάτι άλλο, καμιά ιδέα?

Ο controller και τα καλώδια είσαι σίγουρος πως είναι οκ? Είναι σε IT Mode?
Κάνε και ένα memtest πάντως για σιγουριά με τις μνήμες και μην κλοκαρεις τίποτα.
Αν όλα είναι οκ, δοκίμασε να κατεβάσεις την έκδοση Pci Gen στο MB, αν είναι auto ή gen4, βάλτο Gen3 πχ



Επίσης γιατί δεν βάζεις πάνω ή truenas ή unraid ή proxmox? Τι θέμα έχεις με το zfs? Αλλά ασχέτως zfs, αν δεν έχεις άλλα vm στον esxi, δοκιμασε κάτι άλλο να δεις αν έχεις τα ίδια errors.

[megahead13]

Ότι είπε ο Chris. Επίσης, μια παρατήρηση: Απέφυγε τα raw devices. Ότι χειρότερο για μένα.

[isurfer]

Αυτό είναι το θέμα, δεν έχω χρησιμοποιήσει αλλού / ξανά αυτόν τον controller και τα καλώδια..... δεν μπορώ να ξέρω 100% άν είναι ΟΚ
Είναι σε ΙΤ mode, ναι. Υποθέτω μπορώ να πάρω ένα set καλώδια από το Amazon να δοκιμάσω.....

Δεν κλοκάρω τίποτα, όλα είναι σε stock και default ρυθμίσεις (δεν το έχω κάνει ποτέ και πουθενά, από άποψη )

Με το ZFS δεν έχω θέμα, απλά είπα να δοκιμάσω και κάτι άλλο..... όπως έγραψα έστησα και ένα TrueNAS VM για να παίξω μέχρι να καταλήξω ποιό θα είναι το μόνιμο....

proxmox δεν είναι επιλογή, στον ίδιο server έχω και το vCenter VM και κάτι άλλα (δεν τρέχουν όλα μαζί εννοείται) οπότε δεν......

unraid θέλει πληρωμή, οπότε (ακόμα τουλάχιστον) δεν το σκέφτομαι (ναι ξέρω έχει trial, αλλά προς το παρόν δεν το σκέφτομαι).

το pcigen είναι στο ΜΒ BIOS να φανταστώ? δεν μου λέει κάτι

memtest δεν είχα σκεφτεί σαν ενδεχόμενο, μέχρι τώρα δεν είχα θέματα στο μηχάνημα..... θα κάνω πάντως, γιατί όχι....

[BlueChris]

Αυτό είναι το θέμα, δεν έχω χρησιμοποιήσει αλλού / ξανά αυτόν τον controller και τα καλώδια..... δεν μπορώ να ξέρω 100% άν είναι ΟΚ
Είναι σε ΙΤ mode, ναι. Υποθέτω μπορώ να πάρω ένα set καλώδια από το Amazon να δοκιμάσω.....

Δεν κλοκάρω τίποτα, όλα είναι σε stock και default ρυθμίσεις (δεν το έχω κάνει ποτέ και πουθενά, από άποψη )

Με το ZFS δεν έχω θέμα, απλά είπα να δοκιμάσω και κάτι άλλο..... όπως έγραψα έστησα και ένα TrueNAS VM για να παίξω μέχρι να καταλήξω ποιό θα είναι το μόνιμο....

proxmox δεν είναι επιλογή, στον ίδιο server έχω και το vCenter VM και κάτι άλλα (δεν τρέχουν όλα μαζί εννοείται) οπότε δεν......

unraid θέλει πληρωμή, οπότε (ακόμα τουλάχιστον) δεν το σκέφτομαι (ναι ξέρω έχει trial, αλλά προς το παρόν δεν το σκέφτομαι).

το pcigen είναι στο ΜΒ BIOS να φανταστώ? δεν μου λέει κάτι

memtest δεν είχα σκεφτεί σαν ενδεχόμενο, μέχρι τώρα δεν είχα θέματα στο μηχάνημα..... θα κάνω πάντως, γιατί όχι....

Εγώ που γύρισα σε proxmox, έχω nested esxi μέσα του και τα μισά VM μου όπως 9 δικός μου vcenter τρέχει εκεί για ότι έχω σε esxi... Just saying

Εμένα με νοιάζει να κάνεις τη δοκιμή με κάτι άλλο να είμαστε σίγουροι πως η κάρτα/καλώδια είναι οκ.
Ή βγαλτα απο αυτό το μηχάνημα και Βάλτα σε άλλο να δεις εκεί αν κάνει τα ίδια.

Είσαι και μακρυά να σου έδινα έναν lsi ή perc να δοκίμαζες.

[netblues]

Nested esxi απο αναγκη να το καταλαβω. Ελπιζω οχι απο αποψη

[BlueChris]

Nested esxi απο αναγκη να το καταλαβω. Ελπιζω οχι απο αποψη

Ανάγκη ρε συ όσο δοκιμαζω πράγματα.
Καλώς ο proxmox αλλά δεν έχω ζήσει καταστροφές να είμαι έμπειρος οποτε ο esxi παραμένει με όλα τα vm διπλά και σβηστά και τα κάνω και backup...
Μετά από 12 χρόνια esxi δεν είναι εύκολο να νιώσεις 100% οκ.

[isurfer]

Εγώ που γύρισα σε proxmox, έχω nested esxi μέσα του και τα μισά VM μου όπως 9 δικός μου vcenter τρέχει εκεί για ότι έχω σε esxi... Just saying

Εμένα με νοιάζει να κάνεις τη δοκιμή με κάτι άλλο να είμαστε σίγουροι πως η κάρτα/καλώδια είναι οκ.
Ή βγαλτα απο αυτό το μηχάνημα και Βάλτα σε άλλο να δεις εκεί αν κάνει τα ίδια.

Είσαι και μακρυά να σου έδινα έναν lsi ή perc να δοκίμαζες.

Και μόνο που το πρότεινες
Άλλο μηχάνημα που να κουμπώνει αυτός ο controller δεν υπάρχει, βρήκα όμως έναν με 100Ε εδώ Γερμανία οπότε δε βαριέσαι, θα τον παραγγείλω.
Ή θα πετάξω τα 100Ε, ή τα 220 που είχα πάρει τον άλλο από ebay (πέρυσι από Κίνα, δεν παίζει να τον γυρίσω πλέον). Πως έπεσαν έτσι οι τιμές!!!

Ηθικό δίδαγμα, αν ξεκινάς ένα project κοίτα να έχεις χρόνο κλπ να το τελειώνεις εγκαίρως

[BlueChris]

Και μόνο που το πρότεινες
Άλλο μηχάνημα που να κουμπώνει αυτός ο controller δεν υπάρχει, βρήκα όμως έναν με 100Ε εδώ Γερμανία οπότε δε βαριέσαι, θα τον παραγγείλω.
Ή θα πετάξω τα 100Ε, ή τα 220 που είχα πάρει τον άλλο από ebay (πέρυσι από Κίνα, δεν παίζει να τον γυρίσω πλέον). Πως έπεσαν έτσι οι τιμές!!!

Ηθικό δίδαγμα, αν ξεκινάς ένα project κοίτα να έχεις χρόνο κλπ να το τελειώνεις εγκαίρως

Ρε συ μην παίρνεις τον LSI τον συγκεκριμένο? ποιο το νόημα? θα πιάσεις κανένας HDD σου τις ταχύτητες του SAS3? οι δίσκοι σου πάνε MAX 250-270mb/sec
Εγώ βάζω Dell H200 σε IT mode που είναι τσάμπα σχεδόν... και δεν έχω κανένα θέμα με ταχύτητες και είναι και σούπερ συμβατοί.
https://www.ebay.com/sch/i.html?_fro...fLoc=5&_sop=15

[isurfer]

Δεν προσβλέπω σε high performance, θέλω να σηκώνει 16 δίσκους, γι αυτό κοιτάω σειρά 93xx. Υπάρχει κάτι φτηνότερο?
Στο case έχω βάλει δύο τέτοια https://www.chieftec.eu/products-detail/de/340/CMR-625
και δύο τέτοια https://icybox.de/product/interne_sp...ngen/IB-565SSK
σύνολο 22 δίσκοι (μαζί με τα sata της M/B). Εγώ θα πεθάνω, αλλά θα έχει ακόμα χώρο να μεγαλώσει το storage


Στο άλλο αρχαίο FreeNAS που έχω του έχω έναν 9200-8i, προς το παρόν με 5 δίσκους.

[BlueChris]

Δεν προσβλέπω σε high performance, θέλω να σηκώνει 16 δίσκους, γι αυτό κοιτάω σειρά 93xx. Υπάρχει κάτι φτηνότερο?
Στο case έχω βάλει δύο τέτοια https://www.chieftec.eu/products-detail/de/340/CMR-625
και δύο τέτοια https://icybox.de/product/interne_sp...ngen/IB-565SSK
σύνολο 22 δίσκοι (μαζί με τα sata της M/B). Εγώ θα πεθάνω, αλλά θα έχει ακόμα χώρο να μεγαλώσει το storage


Στο άλλο αρχαίο FreeNAS που έχω του έχω έναν 9200-8i, προς το παρόν με 5 δίσκους.

Ώπα 16 δίσκοι οκ αν και δεν τους βάζει κανείς μέσα σε pc αλλά παίρνει enclosure.
Εγώ νόμιζα πως θα είχες λίγους αλλά είναι φτηνός ο μικρός για να δοκιμάσεις.

[isurfer]

Δεν είναι PC
case : https://www.inter-tech.de/productdet...-40248_EN.html

Θα μου πεις δεν είναι server-grade το ΜΒ. Ναι ΟΚ, αλλά όταν έκανα τα σχέδια, άν έβαζα και "κανονικό" server board, και ECC μνήμες,
πήγαινε πολύ ακριβό....

Παρ' όλα αυτά εδώ πρέπει να εξηγήσω ότι για τις ανάγκες μου το NAS ως χρήση εδώ και χρόνια
έχει "υποβιβαστεί" σε cold storage, μπορεί να περάσουν και 3 μήνες χωρίς να το ανοίξω, και πάλι θα είναι για λίγες ώρες μέχρι να
βρω αυτά που θέλω ή να ρίξω "νέο" πράμα μέσα, και μετά πάλι κλείνει. Ακόμα κι έτσι, τα cages που έχω πάρει έχουν power switch σε
κάθε slot, ώστε να δίνω ρεύμα μόνο σε ότι πραγματικά θέλω.

Το καινούριο που στήνω τώρα έχει μόνο 3 δίσκους (αλλά 30ΤΒ ωφέλιμα δεν θα γεμίσουν γρήγορα). Βέβαια έρχεται και ο teenager γιος από πίσω,
αν αρχίσει κι αυτός να ρίχνει φωτογραφίες κλπ, βλέπω να βάζω δίσκους σε 4-5 χρόνια πάλι. Υπολόγισα και τα δικά μου πειράματα, ε δεν θέλει
και πολύ ο άνθρωπος.....

Κάτι φτηνότερο για 16 δίσκους δεν υπάρχει φαντάζομαι, αν και 100Ε για κάτι τέτοιο νομίζω είναι λογικότατη τιμή (και είναι μαζί με τα καλώδια).

[isurfer]

Νέο test με TrueNAS:
1. Short SMART test στους δίσκους - PASS
2. Long SMART test στους δίσκους ΤΑΥΤΟΧΡΟΝΑ - PASS (περίπου 20 ώρες).
3. raid-z Pool creation, σκάει το VM στα 3-5 λεπτά (μια φορά έκανε reboot, την δεύτερη shutdown).


Σπάω το κεφάλι μου, δεν μπορεί να είναι hardware πρόβλημα...... πόσταρα και στο forum του TrueNAS μήπως έχουν καμιά ιδέα.....