Home Server - ιδέες και ανυσυχίες

[BlueChris]

Νέο test με TrueNAS:
1. Short SMART test στους δίσκους - PASS
2. Long SMART test στους δίσκους ΤΑΥΤΟΧΡΟΝΑ - PASS (περίπου 20 ώρες).
3. raid-z Pool creation, σκάει το VM στα 3-5 λεπτά (μια φορά έκανε reboot, την δεύτερη shutdown).


Σπάω το κεφάλι μου, δεν μπορεί να είναι hardware πρόβλημα...... πόσταρα και στο forum του TrueNAS μήπως έχουν καμιά ιδέα.....

Έχεις ένα τροφοδοτικό 2ο να το βάλεις να δεις? Κάτι δεν μου κολλάει στην υπόθεση.

[patch]

το truenas ειναι vm σωστα;
νομίζω ειναι θέμα passthrough, driver vm κτλ
αν έχεις την δυνατότητα κανε ενα boot απο live cd απο καποια διανομή που έρχεται με zfs (bsd, arch, proxmox etc)
αν φτιάξει το pool είναι ξεκάθαρα θέμα esxi vm

[BlueChris]

το truenas ειναι vm σωστα;
νομίζω ειναι θέμα passthrough, driver vm κτλ
αν έχεις την δυνατότητα κανε ενα boot απο live cd απο καποια διανομή που έρχεται με zfs (bsd, arch, proxmox etc)
αν φτιάξει το pool είναι ξεκάθαρα θέμα esxi vm

Ωχ ναι το είχα ξεχάσει αυτό αλλά κανονικά δεν θα έπρεπε να είχε θέμα, ετσι ήμουν και εγώ με έναν lsi passthrough και έναν optane για zil

[isurfer]

Έχεις ένα τροφοδοτικό 2ο να το βάλεις να δεις? Κάτι δεν μου κολλάει στην υπόθεση.

Γι' αυτό το M/B όχι (έχω ένα spare αλλά είναι λίγο παλιότερο και το power connector δεν κάνει σε αυτό το ΜΒ).

- - - Updated - - -

το truenas ειναι vm σωστα;
νομίζω ειναι θέμα passthrough, driver vm κτλ
αν έχεις την δυνατότητα κανε ενα boot απο live cd απο καποια διανομή που έρχεται με zfs (bsd, arch, proxmox etc)
αν φτιάξει το pool είναι ξεκάθαρα θέμα esxi vm

Ναι είναι VM.

Αρχίζω να υποψιάζομαι κάτι. Ο controller είναι φυσικά σε IT mode, αλλιώς δεν θα έπαιζε καθόλου. ΟΜΩΣ:
1. Πήγα στο ιστορικό της αγοράς στο ebay και ναι μεν ο πωλητής το ανέφερε ΑΛΛΑ δεν έλεγε ποιο version.
2. Στο Google και σε διάφορα sites που ψάχνω τόσες μέρες, και στο ebay που πουλάνε τον ίδιο controller άλλοι πωλητές, λένε BIOS v. 16
3. Στο site της Broadcom, το τελευταίο (και το μόνο) fw που υπάρχει είναι το v. 16
Εδώ είναι το ωραίο:
4. Στο BIOS της ΜΒ που ψαχουλεύω τόσες μέρες, o controller φαίνεται κανονικά, λέει ότι είναι σε IT mode, και λέει ότι το fw version είναι 5! Αρχαίο!
Άν όντως ισχύει αυτό, τότε νομίζω βρήκα το πρόβλημα. (Μπορεί όντως η ΜΒ να διαβάσει αυτές τις πληροφορίες από τον controller ?)
Επίσης, όταν μπουτάρει ο server δεν εμφανίζεται η γνωστή οθόνη Ctrl-C to access the Controller settings μπλα μπλα, που βγαίνει στο αρχαίο PC
που έχω έναν 9200-8i με fw v. 20.

Σ' αυτό το σημείο δεν έχω να χάσω τίποτα να προσπαθήσω να τον φλασάρω με το fw που κατέβασα.....

[BlueChris]

Γι' αυτό το M/B όχι (έχω ένα spare αλλά είναι λίγο παλιότερο και το power connector δεν κάνει σε αυτό το ΜΒ).

- - - Updated - - -



Ναι είναι VM.

Αρχίζω να υποψιάζομαι κάτι. Ο controller είναι φυσικά σε IT mode, αλλιώς δεν θα έπαιζε καθόλου. ΟΜΩΣ:
1. Πήγα στο ιστορικό της αγοράς στο ebay και ναι μεν ο πωλητής το ανέφερε ΑΛΛΑ δεν έλεγε ποιο version.
2. Στο Google και σε διάφορα sites που ψάχνω τόσες μέρες, και στο ebay που πουλάνε τον ίδιο controller άλλοι πωλητές, λένε BIOS v. 16
3. Στο site της Broadcom, το τελευταίο (και το μόνο) fw που υπάρχει είναι το v. 16
Εδώ είναι το ωραίο:
4. Στο BIOS της ΜΒ που ψαχουλεύω τόσες μέρες, o controller φαίνεται κανονικά, λέει ότι είναι σε IT mode, και λέει ότι το fw version είναι 5! Αρχαίο!
Άν όντως ισχύει αυτό, τότε νομίζω βρήκα το πρόβλημα. (Μπορεί όντως η ΜΒ να διαβάσει αυτές τις πληροφορίες από τον controller ?)
Επίσης, όταν μπουτάρει ο server δεν εμφανίζεται η γνωστή οθόνη Ctrl-C to access the Controller settings μπλα μπλα, που βγαίνει στο αρχαίο PC
που έχω έναν 9200-8i με fw v. 20.

Σ' αυτό το σημείο δεν έχω να χάσω τίποτα να προσπαθήσω να τον φλασάρω με το fw που κατέβασα.....

Δεν θυμάμαι σε ποιες περιπτώσεις δεν το δείχνει αυτό το ctrl+c αλλά δεν είναι σημαντικό, όσο για το bios μου φαίνεται δύσκολο να φταίει αυτό επίσης αλλά αναβάθμισε τον για σιγουριά.
Να βάλεις δοκιμαστικά τον 9200 πάνω δεν παίζει ε?

[isurfer]

Λοιπόν φλάσαρα με το fw 16 (όντως είχε v. 5, που διάολο το είχε βρεί ο τύπος......).
Καμία διαφορά, και OMV και TrueNAS σκάνε με τον ίδιο τρόπο και τα ίδια errors.
Όλα συνηγορούν σε hardware error, το ίδιο λέει και το chatgpt που του τα έβαλα όλα
Τώρα κάνω memtest, θα το αφήσω όλο το βράδυ.

Να δοκιμάσω τον 9200 είναι μανούρα. Αν δεν βγάλει errors το memtest, αύριο θα παραγγείλω έναν ίδιο 9300,
έχει το ebay με 50Ε (χωρίς καλώδια - θα το ξαναπώ: πως έπεσαν έτσι οι τιμές!!).
Εδώ Γερμανία που βρήκα 1-2 shops τους δίνουν 100Ε αφλασάριστους κιόλας, ε δεν θα πάρω!
Μπορώ να περιμένω 2-3 εβδομάδες να έρθει από Κίνα.

- - - Updated - - -

... και φυσικά το memtest δεν έβγαλε τίποτα οπότε παράγγειλα νέο controller από άλλο πωλητή εννοείται

[isurfer]

Λοιπόν ήρθε ο καινούριος controller. Αυτός είχε fw v. 7 (!) ενώ φυσικά τον διαφήμιζε ο πωλητής ως v. 16.

Μικρή σημασία είχε αυτό, δυστυχώς και με αυτόν έχω τα ίδια προβλήματα. Σκάνε τα VMs (είτε TrueNAS είτε OMV) το πολύ 10 λεπτά
αφού ξεκινήσει να φτιάχνει pool. Δοκίμασα και με το που βγήκε από το κουτί (με το v. 7) και αφού τον φλάσαρα με το v. 16.

Αρχίζω να απελπίζομαι. Το μόνο που μένει είναι να δοκιμάσω με άλλα καλώδια (αλλά αν φταίνε τα καλώδια δεν θα φαινόταν αμέσως ???).

Καμμιά ιδέα??

[BlueChris]

Λοιπόν ήρθε ο καινούριος controller. Αυτός είχε fw v. 7 (!) ενώ φυσικά τον διαφήμιζε ο πωλητής ως v. 16.

Μικρή σημασία είχε αυτό, δυστυχώς και με αυτόν έχω τα ίδια προβλήματα. Σκάνε τα VMs (είτε TrueNAS είτε OMV) το πολύ 10 λεπτά
αφού ξεκινήσει να φτιάχνει pool. Δοκίμασα και με το που βγήκε από το κουτί (με το v. 7) και αφού τον φλάσαρα με το v. 16.

Αρχίζω να απελπίζομαι. Το μόνο που μένει είναι να δοκιμάσω με άλλα καλώδια (αλλά αν φταίνε τα καλώδια δεν θα φαινόταν αμέσως ???).

Καμμιά ιδέα??

Ναι, σου είπα βγάλε από το άλλο μηχάνημα τον πιο μικρό LSI που έχεις να δοκιμάσεις.

[isurfer]

Είναι μανούρα αλλά στο σημείο που είμαι δεν βλέπω άλλη επιλογή (εκτός από το να παραγγείλω ένα σετ καλώδια).
Ερώτηση: στο esxi 8, τι διαφορά έχει στα settings ενός vm το Add other device -> PCI Device ή Dynamic PCI device ?

Παίζει να φταίει αυτό (τον έχω σαν PCI Device, δεν θυμάμαι αν δοκίμασα με dynamic) ?

[BlueChris]

Είναι μανούρα αλλά στο σημείο που είμαι δεν βλέπω άλλη επιλογή (εκτός από το να παραγγείλω ένα σετ καλώδια).
Ερώτηση: στο esxi 8, τι διαφορά έχει στα settings ενός vm το Add other device -> PCI Device ή Dynamic PCI device ?

Παίζει να φταίει αυτό (τον έχω σαν PCI Device, δεν θυμάμαι αν δοκίμασα με dynamic) ?

Δεν παίζει ρόλο αυτό όχι.

[isurfer]

Λοιπόν πριν κάνω τράμπα τον 9200 έστω για δοκιμή, είπα να δοκιμάσω το εξής:

Σε ένα spare δίσκο έστησα Proxmox στο server και το ξεκινάω από το boot menu της ΜΒ, χωρίς να πειράξω το esxi καθόλου.
Θέλω να στήσω ένα καινούριο vm είτε TrueNAS είτε OMV και να δοκιμάσω εκεί.

Έφτιαξα ένα VM και του όρισα το iso του TrueNAS για να κάνει boot και να ξεκινήσει η εγκατάσταση.
Ξεκινάει το VM αλλά μετά δεν κάνει απολύτως τίποτα, κάθεται....
Ασχολούμαι πρώτη φορά με Proxmox, δεν έχω ιδέα. Είμαι όμως σίγουρος ότι τα settings για το VM φταίνε, άλλο ψάξιμο τώρα.....

Θα δοκιμάσω κάτι άλλο, θα στήσω απευθείας ένα TrueNAS σε spare δίσκο (ευτυχώς έχω καβάτζα), να δω τι θα κάνει

Update:
Έστησα TrueNAS, είδε τα πάντα, έκανε create pool σε δευτερόλεπτα (εκεί που το esxi VM έβγαζε spinning wheel και έσκαγε μετά σπό 3-5 λεπτά).
Θα συνεχίσω με τεστάκια.......

Άρα σίγουρα είναι θέμα settings στο esxi/VM. Tη τρέλλα μου μέσα.......

[patch]

το truenas ειναι vm σωστα;
νομίζω ειναι θέμα passthrough, driver vm κτλ
αν έχεις την δυνατότητα κανε ενα boot απο live cd απο καποια διανομή που έρχεται με zfs (bsd, arch, proxmox etc)
αν φτιάξει το pool είναι ξεκάθαρα θέμα esxi vm

Λοιπόν πριν κάνω τράμπα τον 9200 έστω για δοκιμή, είπα να δοκιμάσω το εξής:

Σε ένα spare δίσκο έστησα Proxmox στο server και το ξεκινάω από το boot menu της ΜΒ, χωρίς να πειράξω το esxi καθόλου.
Θέλω να στήσω ένα καινούριο vm είτε TrueNAS είτε OMV και να δοκιμάσω εκεί.

Έφτιαξα ένα VM και του όρισα το iso του TrueNAS για να κάνει boot και να ξεκινήσει η εγκατάσταση.
Ξεκινάει το VM αλλά μετά δεν κάνει απολύτως τίποτα, κάθεται....
Ασχολούμαι πρώτη φορά με Proxmox, δεν έχω ιδέα. Είμαι όμως σίγουρος ότι τα settings για το VM φταίνε, άλλο ψάξιμο τώρα.....

Θα δοκιμάσω κάτι άλλο, θα στήσω απευθείας ένα TrueNAS σε spare δίσκο (ευτυχώς έχω καβάτζα), να δω τι θα κάνει

Update:
Έστησα TrueNAS, είδε τα πάντα, έκανε create pool σε δευτερόλεπτα (εκεί που το esxi VM έβγαζε spinning wheel και έσκαγε μετά σπό 3-5 λεπτά).
Θα συνεχίσω με τεστάκια.......

Άρα σίγουρα είναι θέμα settings στο esxi/VM. Tη τρέλλα μου μέσα.......

μπορει να ειχες γλυτωσει την δευτερη καρτα

(θα μπορουσες να φτιαξεις το pool με το proxmox, δεν ηταν αναγκη για αλλο δισκο η αλλο OS )

[isurfer]

Ναι όντως αλλά άμα κολλήσει το μυαλό (βασικά δεν με βολεύει 100% αυτή η λύση)..... τέλος πάντων μόνο ένα 50άρικο έχασα
(ή αλλιώς, τώρα έχω spare αν χρειαστεί).

Από Proxmox δεν έχω ιδέα, τώρα που είπες τώρα το είδα.... τέλος πάντων μικρή σημασία έχει, ή θα βρώ κάποτε τι φταίει στο esxi και
σκαλώνει ή στη χειρότερη θα "μείνω" με parallel boot το TrueNAS.....

[patch]

Ναι όντως αλλά άμα κολλήσει το μυαλό (βασικά δεν με βολεύει 100% αυτή η λύση)..... τέλος πάντων μόνο ένα 50άρικο έχασα
(ή αλλιώς, τώρα έχω spare αν χρειαστεί).

Από Proxmox δεν έχω ιδέα, τώρα που είπες τώρα το είδα.... τέλος πάντων μικρή σημασία έχει, ή θα βρώ κάποτε τι φταίει στο esxi και
σκαλώνει ή στη χειρότερη θα "μείνω" με parallel boot το TrueNAS.....

Καλά σίγουρα δεν έγινε κάτι, όπως λες έχεις δυο
Εγω σου πρότεινα να κανεις boot απο ενα live usb και να δοκιμάσεις εαν θα έφτιαχνες το pool απροβλημάτιστα, δεν σου πρότεινα λύση για να πορευτεις
Απλα θα ειχες γλιτώσει λιγο χρονο και χρημα. Τωρα βουτα στα log να βρεις που σκάει
Για την πλακα, μην χαλάσεις το pool που έφτιαξες, φτιάξε το vm και κανε zpool import μεσα απο το vm να δεις αν θα κανει το ιδιο. Κατι μου λεει οτι θα δουλεύει σωστά

[isurfer]

Tο import είναι μια ιδέα όντως, ευχαριστώ. Προς το παρόν θα πάρω έναν μικρό SSD για να εγκαταστήσω το TrueNAS εκεί
(το test το έκανα σε ένα παλιό 2.5" HDD και φυσικά σέρνεται..... επίσης όταν έκανα shutdown περίμενα 3-4 λεπτά και δεν έκανε
τίποτα, το έκλεισα από το κουμπί!).
Αν τελικά δεν βρώ γιατί δεν δουλεύει ως VM στο esxi "από την αρχή" όπως το σχεδίαζα (και το φτιάξω), μια ζωή θα έχω ανησυχία
(αν κάνω το import) ότι μπορεί οποτεδήποτε να ξανασκάσει.....

- - - Updated - - -

To import έσκασε, το ξεκίνησα και για 20 λεπτά περίπου η CPU του server χτύπησε ταβάνι και το VM ήταν παγωμένο....είναι σίγουρα θέμα esxi.....

- - - Updated - - -

Η έρευνα συνεχίζεται....

Ως τώρα έκανα όλες τις ρυθμίσεις για το VM κατευθείαν από τον esxi host.
O controller φαινόταν έτσι:

Address Description SR-IOV Passthrough
0000:05:00.0 Avago (LSI Logic) Fusion-MPT 12GSAS SAS3008 PCI-Express Not capable Active
0000:03:00.0 Avago (LSI Logic) Fusion-MPT 12GSAS SAS3008 PCI-Express Not capable Active


Σήμερα σήκωσα και τον vCenter, και εκεί το δείχνει έτσι:
PCI device 0 0000:03:00.0 | Avago (LSI Logic) Fusion-MPT 12GSAS SAS3008 PCI-Express
PCI device 1 0000:05:00.0 | Avago (LSI Logic) Fusion-MPT 12GSAS SAS3008 PCI-Express
PCI device 2 Avago (LSI Logic) Fusion-MPT 12GSAS SAS3008 PCI-Express

Αν δώσω στο VM μόνο το device 2, τότε δεν βλέπει τους δίσκους.

Αν δώσω και τα τρία, τότε δεν ξεκινάει το VM με errors:

Wa(03) vmx - PCIPassthru: Failed to get NumaNode for sbdf 0000:03:00.0
Wa(03) vmx - PCIPassthru: Selected device 0000:03:00.0 is outside of the NUMA configuration
In(05) vmx - PCIPassthru: Device 0000:03:00.0 barIndex 0 type 1 realaddr 0x4000 size 256 flags 1
In(05) vmx - PCIPassthru: Device 0000:03:00.0 barIndex 1 type 3 realaddr 0x80b40000 size 65536 flags 4
In(05) vmx - PCIPassthru: Device 0000:03:00.0 barIndex 3 type 3 realaddr 0x80b00000 size 262144 flags 4
In(05) vmx - PCIPassthru: Device has PCI Express Cap Version 2(size 60)
In(05) vmx - PCIPassthru: Registered a PCI device for 0000:03:00.0 vIRQ 0x13, physical MSI = Enabled (vmmInt = Enabled), IntrPin = 1
Wa(03) vmx - PCIPassthru: Failed to get NumaNode for sbdf 0000:05:00.0
Wa(03) vmx - PCIPassthru: Selected device 0000:05:00.0 is outside of the NUMA configuration
In(05) vmx - PCIPassthru: Device 0000:05:00.0 barIndex 0 type 1 realaddr 0x3000 size 256 flags 1
In(05) vmx - PCIPassthru: Device 0000:05:00.0 barIndex 1 type 3 realaddr 0x80940000 size 65536 flags 4
In(05) vmx - PCIPassthru: Device 0000:05:00.0 barIndex 3 type 3 realaddr 0x80900000 size 262144 flags 4
In(05) vmx - PCIPassthru: Device has PCI Express Cap Version 2(size 60)
In(05) vmx - PCIPassthru: Registered a PCI device for 0000:05:00.0 vIRQ 0x11, physical MSI = Enabled (vmmInt = Enabled), IntrPin = 1
In(05) vmx - AH Failed to find a suitable device for pciPassthru2
In(05) vmx - Module 'DevicePowerOn' power on failed.

Έκανα διάφορες δοκιμές με αριθμό vCPUs, core/socket, κλπ. αλλά τζίφος.
Καμιά βοήθεια ?