Σύνθεση για ESXI Servers στη δουλειά.

[EnDLess]

Παρεμπιπτόντως δεν μπορώ να κατεβάσω την έκδοση 7.0b ως trial ενώ τρέχει το evaluation...

[BlueChris]

Παρεμπιπτόντως δεν μπορώ να κατεβάσω την έκδοση 7.0b ως trial ενώ τρέχει το evaluation...

Θες να στην ανεβάσω κάπου να την πάρεις?

[EnDLess]

Θες να στην ανεβάσω κάπου να την πάρεις?

Μπορείς να καταβάσεις;;; Το VCSA 7.0d με ενδιαφέρει πιο πολύ... αλλά είναι μεγάλο για να το ανεβάσεις... έπεσα και εδώ, μήπως το έκοψαν προσωρινά;;;

[BlueChris]

Μπορείς να καταβάσεις;;; Το VCSA 7.0d με ενδιαφέρει πιο πολύ... αλλά είναι μεγάλο για να το ανεβάσεις... έπεσα και εδώ, μήπως το έκοψαν προσωρινά;;;

Το 7.0b στο ανεβάζω αλλά στείλε μου PM ένα mail να σου στείλω Link από το onedrive μου στη δουλειά.
Το vCenter Server 7.0.0d κατεβαίνει σε κάνα 10λεπτο, θα στο ανεβάσω και αυτό σε λίγο αλλά είδες πως είναι patch μόνο ε?

[EnDLess]

Το 7.0b στο ανεβάζω αλλά στείλε μου PM ένα mail να σου στείλω Link από το onedrive μου στη δουλειά.
Το vCenter Server 7.0.0d κατεβαίνει σε κάνα 10λεπτο, θα στο ανεβάσω και αυτό σε λίγο αλλά είδες πως είναι patch μόνο ε?

Thanks θα σου στείλω pm με το mail μου.

Ναι αυτό που λινκαρες είναι patch. Αυτό που βλέπω στα downloads είναι το κανονικό iso μάλλον



- - - Updated - - -

Ναι, το patch με αφήνει να το κατεβάσω από το link που έβαλες...

[BlueChris]

Thanks θα σου στείλω pm με το mail μου.

Ναι αυτό που λινκαρες είναι patch. Αυτό που βλέπω στα downloads είναι το κανονικό iso μάλλον



- - - Updated - - -

Ναι, το patch με αφήνει να το κατεβάσω από το link που έβαλες...

Να ψάξω για full iso η θα κάνεις update? η vmware μου βγάζει πως κάνουν maintenance

- - - Updated - - -

Να ψάξω για full iso η θα κάνεις update? η vmware μου βγάζει πως κάνουν maintenance

περίμενο το βρήκα το full, ανεβάζω αυτό τώρα.

Edit:14 λεπτά να κατέβει και άλλα τόσα να ανέβει (στη δουλειά είμαι με 100/100)

[BlueChris]

Λοιπόν το πράγμα θα προχωρήσει... πήρα ΟΚ να πάρουμε προσφορά και μαζεύω κομμάτια.

Στο ενδιάμεσο εμφανίστηκε νέο MB, το Asrock Rack X570D4U-2L2T το οποίο από ότι φαίνεται βγήκε χτες!!!??? (το βλέπω από την ημερομηνία των αρχείων για download) οπότε λογικά θα πάω σε αυτό.

Αποφάσισα να αποσύρω τελείως και το MSA2040 το οποίο έχει 2 enclosures extra γιατί θέλω κάτι ποιο γρήγορο με deduplication και compression, οπότε προσανατολίζομαι ή σε FreeNas ή σε Windows Server 2019 με storage spaces. Storage Spaces έχω ήδη σπίτι και πετάει με απίστευτα κέρδη από το deduplication.

Σε αυτό το Freenas ή Storage spaces θα μπουν οι υπάρχοντες δίσκοι του MSA2040 που είναι

10 x Samsung PM1643 SAS 12gb
8 x Seagate ST3600057SS 600GB 15k SAS 6GB
4 x Seagate ST4000NM0295 4TB 7.2K SAS 6GB
4 x Seagate ST3000NM0023 3TB 7.2K SAS 6GB

Θα πάρω λογικά και έναν Intel Optane SSD DC P4800X Series 375GB (U2 ή PCIe, δεν έχω αποφασίσει ακόμα) για write cache και έναν NVME Samsung 980 Pro για Read Cache (αν έχει εμφανιστεί στην αγορά μέχρι τα Χριστούγεννα)

Θα παρθεί και ένα Switch με 10GB 10base-T και SFP+ γιατί έχω ήδη υποδομή με SPF+ και τα καινούργια server θα τα πάρω με 10G 10Base-t οπότε κάπως πρέπει να τα ενώσω μεταξύ τους.
Σκέφτομαι αυτό το TP-Link T1700X-16TS

[BlueChris]

Βρήκα κουτιά

1. Supermicro SuperChassis 825TQ-563LPB
2. Chenbro RM23608
3. JOUJYE JJ-R32324 3U

Βρήκα και ψήκτρα 2U AM4 για Server με ονομαστική δύναμη 165W, o 3900XT είναι και καλά 105W οπότε θα είναι χαλαρός.
Dynatron A24

[EnDLess]

Τους δίσκους που θα τους κουμπώσεις;;;

[BlueChris]

Τους δίσκους που θα τους κουμπώσεις;;;

Αυτό είναι το άλλο Project... τα κουτιά Νο1 και 2 είναι για τα server με τα VM... οι δίσκοι θα μπουν στο Νο3 κουτί... αλλά αυτό το μηχάνημα δεν έχω κάτσει να ασχοληθώ ακόμα σοβαρά.

Τα server για τα VM δεν έχουν δίσκο κανένα μέσα πλυν ένα Satadom 16GB που θα μπει για τον esxi και οι δίσκοι στο μηχάνηματα έρχονται από την συστοιχία με σύνδεση 8GB Fiber που υπάρχει αυτή τη στιγμή που έχει πάνω της όλους τους δίσκους που ανάφερα ποιο πάνω.
Το Project για νέο fileserver είναι γιατί αυτή η συστοιχία (HPE MSA2042) που έχω τώρα δεν έχει να δώσει άλλη ταχύτητα. Βασικά έχει δυνατότητα 100000 Iops σαν CPU και για να καταλάβεις ο καθένας από τους 10 Samsung PM1643 που έχω επάνω έχει 350K random read και 30k random write οπότε από 1 στο read και από 4 και πάνω οι δίσκοι πάνε στράφι και είμαι τώρα με raid 10 (5 raid1), δηλαδή ένα pool 5tb με θεωρητική ταχύτητα

Read 5x2100MB/sec = 10500MB/sec
Write 5x1000MB/sec = 5000MB/sec

και 350K iops x 5 δηλαδή πάνω από 1.500K iops Read
kai 30K iops x 5 δηλαδή πάνω από 150Κ iops write

Δεν τις ποιάνω αυτές τις ταχύτητες σε throughput .. μάξ έχω δει 900mb/sec λόγο το ότι τα σερβερ συνδέονται με 8Gbit Fiber Cards.

Anyway... αν φτιάξω ένα file server σοβαρό θα εκμεταλλευτώ και τα Iops και το throughput μιας που θα φύγει το FC και θα παίξω με 2x10Gbit iscsi ή NFS κλπ....
Θα μπορούσα να αλλάξω και όλες τις FC 8GB κάρτες και τις εξόδους του MSA και να πάω σε 16GB FC αλλά ΔΕΝ θέλω να χώσουμε λεφτά σε αυτό το πράγμα άλλο.

[EnDLess]

bottleneck στο FC

ok, εγώ τα λυπάμαι ... fc κάρτες, brocade... τι θα τα κάνεις αυτά;;; και σε δουλειά να βρίσκεσαι για μετατροπή iscsi... το brocade πάει στα 16;;

[BlueChris]

bottleneck στο FC

ok, εγώ τα λυπάμαι ... fc κάρτες, brocade... τι θα τα κάνεις αυτά;;; και σε δουλειά να βρίσκεσαι για μετατροπή iscsi... το brocade πάει στα 16;;

Το 2016 που πήραμε το MSA το πήρα με 8GB εξόδους γιατί από 8000€ έβγαινε +2500€ με 16GB και βάλε και αλλαγή στις κάρτες στα υπάρχοντα σέρβερ που είχα τότε (4) που κάθε 2x16GB FC card έκανε 1800€!!!!.
Άσε που οι 8 έξοδοι του MSA πάνε σε ένα Brocade 8Gb SAN Switch 24port και εκεί συνδέονται τα server με Multipath round robin κλπ. Δυστηχώς ενοποίηση τύπου LACP Lag κλπ δεν γίνεται όπως στα Lan Switch.

Τεσπα δεν θα πειράξω το Bus speed , δεν υπάρχει λόγος γιατί Iops θέλω να ανεβάσω και όχι throughput. Από τη στιγμή που ξεκινάει ένα VM δεν τρώει traffic κάπου και σε δοκιμές που έχω κάνει, δηλαδή να ξεκινήσω μετά από προγραμματισμένο shutdown τα 6 server, τα 49vm ξεκινάνε όλα και είναι έτοιμα κάτω από 1 λεπτό.

[EnDLess]

Αφού έχει 4 ports ο κάθε controller στο msa τότε μπορείς να κουμπώσεις μέχρι 4 server και στους 2 controller χωρίς να χρειάζεσαι san switch.
Στο πρώτο ποστ γράφεις πως θες να αντικαταστήσεις τους G7 και G9 οπότε μένεις με R420, DL380G6, συν τους 2 ryzen που θα πάρεις...
άρα αν τα υποθέτω σωστά δεν χρειάζεσαι αναβάθμιση στο brocade, αλλά 16αρια sfp στο msa συν τις fc 16αρες κάρτες στους server.

Η φωτό είναι με iscsi αλλά είναι το ίδιο σενάριο...



- - - Updated - - -

Φυσικά οι κάρτες fc 16GB dual port όπως γράφεις είναι πανάκριβες... σε κάτι dell που έχω αν θυμάμαι καλά κόστισαν κοντά στα 1300€ αλλά δεν είμαι σίγουρος... οι single port είναι πιο φθηνές, κάτω από 1000€

[BlueChris]

Αφού έχει 4 ports ο κάθε controller στο msa τότε μπορείς να κουμπώσεις μέχρι 4 server και στους 2 controller χωρίς να χρειάζεσαι san switch.
Στο πρώτο ποστ γράφεις πως θες να αντικαταστήσεις τους G7 και G9 οπότε μένεις με R420, DL380G6, συν τους 2 ryzen που θα πάρεις...
άρα αν τα υποθέτω σωστά δεν χρειάζεσαι αναβάθμιση στο brocade, αλλά 16αρια sfp στο msa συν τις fc 16αρες κάρτες στους server.

Η φωτό είναι με iscsi αλλά είναι το ίδιο σενάριο...



- - - Updated - - -

Φυσικά οι κάρτες fc 16GB dual port όπως γράφεις είναι πανάκριβες... σε κάτι dell που έχω αν θυμάμαι καλά κόστισαν κοντά στα 1300€ αλλά δεν είμαι σίγουρος... οι single port είναι πιο φθηνές, κάτω από 1000€

Το msa 204X έχει 8 εξόδους και τα transceiver που έχω εκεί είναι 8gb, έκαναν + 3000€ τα 16gb transceiver τότε.

Οι τιμές τους τώρα έχουν πέσει, περίπου 800$ η 4αδα αρα 1500€ περίπου αλλά δεν αξίζει σου λέω ειλικρινά γιατί κάθε σέρβερ έχει πάνω του μαξ 10vm και φτάνει με 1fc x8gbit στα 850-900mb throughput.
Όσο αναφορά αν χρειάζομαι το brocade, εκεί υπάρχει θέμα γιατί στην αρχή δεν είχα και το πήρα μετά και εξηγώ.

Το msa έχει 2 controller για redundancy. Όταν συνδέσεις ένα server στη 1η 4αδα fc τότε μιλάει με τον 1ο controller και έχει καθυστερήσεις με τον 2ο, όχι πάρα πολύ αλλά όταν σου προσθέτει κάποια Nanoseconds σε access time τότε με τα VM που σε όλα οι δίσκοι τους είναι στη συστηχία πας πάνε ποιο αργά.

Τώρα όταν φορμαρεις δίσκους και κάνεις pool στο msa, διαλέγεις controller, A ή Β. Δεν είναι σωστό πχ στη δική μου περίπτωση να βάλεις όλους τους δίσκους στο 1ο pool και πρέπει να το σπάσεις αλλά δεν γινόταν τότε.

Εκεί ξεκινάει το πανηγύρι. Όταν το πρωτοεστησα είχα μόνο

1. 2x400Gb Ssd σε raid1 (Οι μαμά δίσκοι)
2. 8x600gb hdd 15k σε raid10
3. 4x3tb hdd 7.2k σε raid10.
4. 4x4tb hdd 7.2k σε raid10


Το παραπάνω ήταν αδύνατο να το σπάσω για να δουλέψει σωστά το auto tiering γιατί αυτό για να δουλέψει θέλει μικτούς δίσκους οπότε το 1,2,3 πήγαν στον 1ο Controller σε ένα pool οπου εκεί εκανα 3 Volumes.
2 volumes από 2tb το καθένα για το δίσκο συστήματος του κάθε vm και ότι έμεινε πήγε για data.
Το 4. ήταν Backup Space 8TB και πήγε στον 2ο controller

Τώρα μετά πας και βοηθάς το auto tiering και είπα στα 2 vm volume πως είναι για performance και το Data volume είπα archive.

Αρα ενώ στην αρχή με 3 server που είχα και τα σύνδεα απευθείας όπως λες στον 1ο controller δεν έχανα κάτι, μετά που τα server έγιναν 6 εμφανίστηκε το θέμα και πήρα το Brocade.
Το brocade με βοήθησε γιατί οι 8 έξοδοι του MSA πήγαν πάνω του και τα Server επίσης, οπότε πάντα το brocade έδινε σε κάθε server το optimum path προς το MSA.

O λόγος τώρα που πιέζεται το MSA είναι λόγο των SSD... βασικά δεν πιέζεται αλλά είναι παραπάνω από τις δυνατότητές του οι ικανότητες των δίσκων.

Όλα πήγαιναν καλά για κάνα χρόνο μέχρι που έγινε έκρηξη VM και χρειάστηκα χώρους γρήγορους... βασικά καιγόντουσαν PC στην παραγωγή και ήθελα 1 μέρα να τα ξαναφτιάξω οπότε πήρα τη μεγάλη απόφαση "Τέλος τα κανονικά τερματικά και γίνονται ολοι VM", οπότε ετοίμασα ότι παλιό είχα και είτε με XP είτε με 7 είτε με 10 ήταν απλά τερματικά για τα windows10 VM τους.

Σε εκείνο το σημείο πούλησα στο ebay τους 2 x 400GBssd και πήραμε 5 και μετά από 1 χρόνο άλλους 5 Samsung 1TB PM1643.

Αν βάλω αυτούς τους δίσκους σε ένα Freenas ή Storage Spaces με καλή cache θα πετάξει το σύμπαν.....

Ειδικά με storage spaces έχω δει απίστευτα πράγματα σπίτι με το deduplication πάνω στο ryzen μου.

έκανα το εξής τεστ

10vm X 96GB το καθένα μας κάνει 1 TB πες... ε με το deduplication και τη διαφορετικότητα των προσωπικών αρχείων του κάθε χρήστη και αφού δήλωσα στο Volume πως είναι VDI deduplication τότε ο πραγματικός χώρος από 1TB έγινε γύρω στα 120GB!!!!!!!!!!!!!! μιλάμε για 80-90% κέρδος σε χώρο.
Θέλει όμως CPU power και γρήγορους δίσκους, ε οι συγκεκριμένοι Samsung στη δουλειά είναι αστέρια και συν της άλλης θα βάλω επάνω για read και write cache Intel P4800

Το πράγμα κυριολεκτικά θα πετάει.

Τώρα είμαι έτσι από Config στο MSA

Στον Α είναι όλοι πλυν των 4x4TB που είναι backup και έχω 2 SSD σε απλό mirroring όπου εκεί έχω έχω τον SQL Server και το πρόγραμμα παραγωγής μας,

Υ.Γ. Δεν παίζω στο μαγαζί ή σπίτι με thin provisioning γιατί έχω φάει φάπα κάνα 2 φορές με το χώρο να σκάει και το MSA να είναι ευτυχισμένο και όλα καλά. Όλοι οι δίσκοι είναι Thick Provision Lazy Zeroed πάντα για λόγους εγκεφαλικής ηρεμίας και είναι και η συμβουλή μου σε όλους.

[EnDLess]

Όλα πήγαιναν καλά για κάνα χρόνο μέχρι που έγινε έκρηξη VM και χρειάστηκα χώρους γρήγορους... βασικά καιγόντουσαν PC στην παραγωγή και ήθελα 1 μέρα να τα ξαναφτιάξω οπότε πήρα τη μεγάλη απόφαση "Τέλος τα κανονικά τερματικά και γίνονται ολοι VM", οπότε ετοίμασα ότι παλιό είχα και είτε με XP είτε με 7 είτε με 10 ήταν απλά τερματικά για τα windows10 VM τους.

Αααα μάλιστα... μου έλυσες την απορία γιατί είχες τόσα τερματικά σε vm. Έχεις δοκιμάσει το vmware horizon;;; Δεν το έχω δοκιμάσει αλλά γνωρίζω ότι σερβίρει virtual desktop.

Ή ίσως να μεταπέσεις σε μικρά κουτιά τύπου asrock a300 για να ξαλαφρώσεις το σερβίρισμα σε τερματικά vm, ή να πας storage spaces όπως λες... ωραία διλήμματα.

Ειδικά με storage spaces έχω δει απίστευτα πράγματα σπίτι με το deduplication πάνω στο ryzen μου.

έκανα το εξής τεστ

10vm X 96GB το καθένα μας κάνει 1 TB πες... ε με το deduplication και τη διαφορετικότητα των προσωπικών αρχείων του κάθε χρήστη και αφού δήλωσα στο Volume πως είναι VDI deduplication τότε ο πραγματικός χώρος από 1TB έγινε γύρω στα 120GB!!!!!!!!!!!!!! μιλάμε για 80-90% κέρδος σε χώρο.
Θέλει όμως CPU power και γρήγορους δίσκους, ε οι συγκεκριμένοι Samsung στη δουλειά είναι αστέρια και συν της άλλης θα βάλω επάνω για read και write cache Intel P4800

Το πράγμα κυριολεκτικά θα πετάει.


Υ.Γ. Δεν παίζω στο μαγαζί ή σπίτι με thin provisioning γιατί έχω φάει φάπα κάνα 2 φορές με το χώρο να σκάει και το MSA να είναι ευτυχισμένο και όλα καλά. Όλοι οι δίσκοι είναι Thick Provision Lazy Zeroed πάντα για λόγους εγκεφαλικής ηρεμίας και είναι και η συμβουλή μου σε όλους.

Θεαματικό αποτέλεσμα στο τεστ!!! Με την πρώτη ευκαιρία θα δοκιμάσω και εγώ.

ΥΓ1. Συμφωνώ στο Lazy Zeroed
ΥΓ2. Κάποια παλιά multimode δεν ανέβαιναν πάνω από 10Gbps.