Ενημερωτικά μετά από τόσο καιρό απλά ενημερώνω πως το vSan το έστειλα. Ήταν πολλά τα λεφτά "Άρη" χωρίς τελικά να δίνει το κάτι παραπάνω από ταχύτητα.
Έγδυσα τα Epyc Supermicro από δίσκους και Optane και τα άφησα απλά να εξηπηρετούν VM.
Εντέλει έφτιαξα ένα 2ο Truenas για να εξηπηρετήσω τα VM του μαγαζιού μέσω NFS4.1 (δεν το θέλω το iScsi αν και ίσως θα ήταν ένα 5-10% ταχύτερο γιατί αν για οποιοδήποτε λόγο έκανε ένα κιχ το truenas οι 8 esxi δεν θα έκαναν ποτέ reconnect. Με το NFS μέχρι και reboot κάνω το truenas όπου παγώνουν τα VM για 1 λεπτό γιατί παθαίνουν κοκομπλόκο που χάνουν τους δίσκους τους αλλά στα καπάκια επανέρχονται χωρίς καν restart)
Έφτιαξα λοιπόν αυτό το Supermicro
SuperServer 2028U-E1CNRT+
Στο οποίο έβαλα
2 x Xeon 2660v3
256GB Ecc Ram (8 x 32GB@2133mhz)
3 x LSI SAS 9300-8i που συνδέθηκε ο καθένας σε 2 από τις 6 φύσες Sas3 του backplane.
Στο Backplane συνδέθηκαν σχεδόν όλοι οι δίσκοι Sas SSD
8 x 2TB Sas3 Samsung PM1643a
4 x 1TB Sas3 Samsung PM1643a
Επίσης του έβαλα 2 κάρτες
AOC-SLG3-2M2
όπου με bifurcation ενεργό, πήραν πάνω τους 4 Optane 4801x 200GB
Ακόμα έβαλα
1 x HPE P822 External Raid Controller σε HBA Mode που συνδέθηκε πάνω σε 2 εξωτερικά P2000G3 sas enclosures που το ένα έχει πάνω 4 χ 3ΤΒ HP 7.2K mdl και το άλλο 8 χ 600GB 15k HP Sas HDD (δεν τους έχω κάνει κάτι και μάλλον ούτε πρόκειται)
και τέλος έβαλα μια HP 560SFP+ Ethernet.
Σύνολο το μηχάνημα είχε 4 x 10GB και με LACP συνδέθηκε στο HP 5820x Switch.
Max Speed σε read και write έχω δει μέχρι 3200mb/sec
Έκανα 2 Pool , το 1ο με τους 8x2TB SSD με 4 Mirror Vdev (ωφέλιμος χώρος 8TB), 2 x 1 TB SSD σε Stripe για Read Cache (l2arc) και τους 4 Optane σε raid10 (έχουν μέσα τους μόνο το 20GB για ZIL/Slog και άλλα 40GB για DDU Tables) με ενεργό το Deduplication και Compression όπου κερδίζω συνολικά γύρω στο 2:1 και άλλο 1 pool με τους 4 x 3TB HDD με 2 Mirror Vdev, συν 2 x Special Mirror Vdev με τους 4 x 1TB SSd με ρύθμιση στο pool και special block size κάτω 32k να γράφεται στους SSD.
To 1o Pool πήρε τα VM και το 2ο Pool πήρε τα Data του μαγαζιού.
Το πράγμα πετάει ειλικρινά και απορώ με τον εαυτό μου που παιδευόμουν τόσο καιρό με το vsan. Δεν λέω πως το vSan είναι κακό.. είναι φάση Set & Forget αν το στήσεις καλά, αλλά πρώτον είναι πανάκριβο αλλά κυρίως με χαλάει που δεν έχω έπιλογή να ρυθμίσω τίποτα όπως πχ το σημαντικότερο για μένα πόση μνήμα να τρώει από το κάθε Node για Ram Caching κλπ
Δοκίμασα και το Replication που έχει το truenas οπότε έβαλα να στέλνει το Truenas2 με τα VM στο 1ο Truenas που είναι με τα Backup και λειτουργεί εντυπωσιακά καλά.
Τέλος έστησα επιτέλους και ένα Grafana για στατιστικά κλπ και μπορώ να ηρεμήσω σιγά σιγά...
Εμφάνιση 61-75 από 120
-
27-07-21, 23:25 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #61There's no substitute for experience
CorollaClub
-
28-07-21, 00:08 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #62
Αφου το ξέρεις οτι δεν θα ηρεμήσεις ποτέ...Το γραφεις για να το πιστέψεις?
-
28-07-21, 07:41 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #63There's no substitute for experience
CorollaClub
-
28-07-21, 08:12 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #64
Θες να πεις οτι δεν εχει γινει ηδη? Απλα δεν το ξερεις.
Σοβαρα τωρα, ολα αυτα αναγκαστικα γινονται after hours... και τα copy θελουν χρονο. Ποσο αντεχεις τις δοκιμες??
-
28-07-21, 08:28 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #65
Μπορεί να έχεις δίκιο τι να πω. Εκτός της δουλειάς τρώω κάνα 3ωρο standard κάθε βράδυ σε διάβασμα κυρίως.
Το θέμα ήταν με το hardware που είχα στα χέρια μου να βρω την πιο γρήγορη λύση και να έχει και ασφάλεια. Με τις δοκιμές που έκανα το πιο γρήγορο με επιλογές στο config ήταν το starwind vsan αλλά με κέρδισε το τσάμπα Truenas (πλάκα πλάκα απίστευτο το ότι είναι τσάμπα όταν τo qnap και γενικά όλα τα σύγχρονα τέτοια συστήματα όλα στηρίζονται στο zfs με δικό τους custom έξτρα κώδικα). Με το σύστημα όπως είμαι τώρα, το μόνο που φρενάρει είναι το δίκτυο που θα το κάνω μετά το καλοκαίρι 40-100gbit μεταξύ των truenas και των esxi server. Έχω και πολύ δουλειά ακόμα στο να είναι optimised, είναι πάρα πολλές οι ρυθμίσεις για να λέει κάποιος πως το έχει με το θέμα.
Αυτό είναι το αλάτι της ζωής μου φίλε (μετά το γιο μου βέβαια) και αν το σταματήσω πέθανα και το ξέρει η γυναίκα μου.
-
28-07-21, 19:34 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #66
Αδερφή έχει?
-
28-07-21, 21:31 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #67There's no substitute for experience
CorollaClub
-
28-07-21, 21:51 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #68
Τυχερε !!!!
-
30-10-21, 21:04 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #69
Επειδή είχα μια συζήτηση σήμερα στη δουλειά περί pros and cons nfs vs iscsi. Έπεσα στο search σε κάποια ενδιαφέροντα πραγματάκια και είπα να τα ποστάρω για να υπάρχουν...
Testing NFS vs iSCSI performance μάλλον είναι πολύ παραπάνω από 5-10%
vSphere Storage
Storage Protocol Comparison White Paper παλιό, δεν ισχύουν όλα, αλλά παίρνεις μια ιδέα
Σίγουρα η όποια απόφαση απαιτεί σκέψη. Θα κάνω τεστ για να τσεκάρω το reconnect που λες...
-
13-01-22, 20:37 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #70
Chris είχες πολύ δίκιο τελικά με το reconnect...
-
14-01-22, 01:24 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #71
Ε ναι... έριξα κλάμα σπίτι με τα disconnect του iScsi... οπότε όπως είπα στη δουλειά δοκίμασα το NFS και τέλος.
Πλέον στη δουλειά τα 8 σέρβερ με τις 2 x 10GB το καθένα που έχω είναι με διπλό vlan στο NFS με 2πλή IP με NFS4.1 version που κάνει κάτι σαν multipath και πετάει.
- - - Updated - - -
Σχετικό/άσχετο , αλλά αν κανείς θέλει να κάνει AIO μηχάνημα με esxi και nfs όπου το 1ο VM που έχει επάνω του τους δίσκους, επιστρέφει πίσω στον ESXI με NFS χώρο για άλλα VM, να το πει να βοηθήσω γιατί είχα δοκιμάσει τα πάντα και το σέρβερ μου σπίτι κάνει ακριβώς αυτό με windows server 2019 (δοκίμασα και truenas αλλά το 2019 είχα καταλήξει στα windows).There's no substitute for experience
CorollaClub
-
25-01-22, 18:39 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #72
Παιδιά έχω ένα θέμα αν έχει κανείς καμία ιδέα...
Ένας από τους 4 νέους Supermicro, χτες αφού τους έκλεισα, όταν τους άναψα μετά αφού ήρθε το ρεύμα, βγάζει αυτό το κουφό μήνυμα και μένει εκεί.
Από ότι καταλαβαίνω, αφορά το security που έχουν οι Epyc2 και μπορείς να το εκμεταλλευτείς σε όποια VM θέλεις που λέγεται SEV. Επίσημα η VMWare το έβγαλε από την έκδοση 7.01... εγώ είμαι full updated σε 7.0.3
Η ίδια η VMWare λέει αυτά και εννοείται πως δεν έχω χρησιμοποιήσει το SEV σε κάποιο VM μου.
Από εκεί και πέρα στο BIOS η μόνες επιλογές που έχω που αφορά SEV είναι
Αυτή
και αυτή που στο Manual παίρνει αριθμό αλλά μαξιμουμ από ότι διάβασα από την VMWare πάει στο 16.
Off δεν έχει.. οπότε ότι και να διαλέξω πάλι κολλάει στο boot.
Η υποψία μου είναι πως ίσως έχει χτυπήσει κάτι στην εγκατάσταση του esxi... οι 4 σέρβερ αυτοί έχουν πάνω τους Satadom 32GB της Supermicro που θεωρητικά δεν σπάνε δεν χαλάνε αλλά ποτέ δεν ξέρεις.... θα προσπαθήσω αύριο να πάω από το μαγαζί να ξηλώσω το Satadom να το βάλω στο pc μου να δω τι παίζει.
Προσωρινά το μηχάνημα αυτό το πέταξα από το cluster οπότε μπορώ να κάνω ότι θέλω αλλά είναι πολύ κουφό πρόβλημα...Η πλάκα είναι πως αν ψάξεις για αυτό το μήνυμα λάθους.. δεν υπάρχει καμία μα καμία πληροφορία πουθενά στο ίντερνετ αλλά ίσως κάποιο γατόνι εδώ μέσα μου βρει κάτι..
Ευχαριστώ.There's no substitute for experience
CorollaClub
-
25-01-22, 19:01 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #73
και οι 4 ειναι με ιδια specs ? αλλα μονο στον εναν στο κανει ?
The gr81 .
-
25-01-22, 19:02 Re: Σύνθεση για ESXI Servers στη δουλειά. #74
Άνοιξες ticket στη vmware?
-
25-01-22, 19:06 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #75
Ναι ακριβώς ίδια.
Θα ανοίξω σε λίγο, απλά το έψαχνα πρώτα μόνος μου
Είμαι 99% σίγουρος πως έχει χτυπήσει το boot... άλλο ένα Satadom μου την έχει ξανακάνει άλλη μια φορά και είχε χτυπήσει αρχείο που απλά το πάτησα μέσα του και όλα καλά μετά...(το πήρα από άλλο ίδιο σέρβερ).
Αυτό θα κάνω αύριο βασικά.. θα κλείσω αυτό και άλλο ένα από τα ίδια, θα πάρω τα 2 satadom στο χέρι και θα δω τι παίζει.
Ίσως και με ένα update από πάνω να ισιώσει.. ποιο εύκολο μου φαίνεται αυτό πλάκα πλάκα μιας που το έχω βγάλει off το μηχάνημα.There's no substitute for experience
CorollaClub
Bookmarks