Λοιπόν μετά τo επιτυχές τεστ που είχα εγώ σπίτι με ένα Aorus Pro x570 με έναν 3600 και 64gb ram σαν ESXI Server, σκέφτομαι πλέον στη δουλειά σιγά σιγά να αρχίσω να παροπλίζω τα HP DL 380 G9(2), G7(4) και να πάω σε custom συνθέσεις για να πάρουν τα πάνω τους τα πάντα.
Ήδη ένα σαν αυτό του σπιτιού μου τρέχει δοκιμαστικά στο γραφείο μου εδώ και 3 μήνες με το δικό μου VM που δουλεύω με bypass μία NVIDIA και μια USB3 κάρτα και έχει πάνω του ακόμα 2 δυνατά Virtual.
Ήμουν σε ένα δίλημμα αν θα πάω σε TR4 και treadripper3 ή X570 και 3000 series CPUs αλλά συγκλίνω προς το x570 γιατί και το έχω δουλέψει αλλά και γιατί τα κόστη ανεβαίνουν πολύ με τους theadripper και επίσης είμαι της φιλοσοφίας όχι 1 δυνατό τέρας αλλά 2-3 με λιγότερους πυρήνες για ασφάλεια. Θα βάλω configurations και από AM4 Και TR4
Οπότε έχω τις εξής λύσεις στο θέμα Motherboard όπου με νοιάζει βασικά μόνο να έχει IPMI (remote control δηλαδή για έλεγχο απευθείας του Motherboard) και δεν με ενδιαφέρει το PCI4 καθόλου γιατί κανένα MB δεν θα έχει δίσκο επάνω του παρά μόνο κάτι μικρό για το esxi. Σε κάθε MB θα μπουν επάνω 2 κάρτες που επιτυχώς δουλεύουν όπως προείπα στο μηχάνημα της δουλειάς 3 μήνες τώρα. Μία HP Ethernet 10Gb 2-port 560SFP+ Adapter για Lan και μία HP StorageWorks 82Q 8Gb PCI-e FC HBA για σύνδεση στην MSA 2042 συστοιχία οπότε ότι και να βάλω δουλεύει.
ΑΜ4
Από ΑΜ4 βρίσκω μόνο αυτά τα 2 αλλά συγκλίνω περισσότερο στο ASROCK.
1. ASUS PRO WS X570-ACE περίπου 370€.
2. Asrock X470D4U περίπου στα 300€. Ο λόγος εδώ για το x470 αντί για το x570 μοντέλο είναι πως το x570 έχει μόνο ένα PCIe slot οπότε δεν μου κάνει. Έχω 2x8 Pcie splitter σε 2x8 και η asrock υποστηρίζει bifurcation αλλά δεν θέλω να το παιδέψω το θέμα. Επίσης δεν μου κάνουν τα μοντέλα της Asrock με της 2x10GBlan γιατί το 24άρι switch στο μαγαζί που έχω είναι FC (HPE 5820AF-24XG Switch)
Από AM4 CPU τώρα που μιλάμε ο CPU AMD RYZEN 9 3900XT 3.80GHZ 12-CORE BOX είναι γύρω στα 540€, δεν χρειάζομαι παραπάνω πυρήνες για κανένα λόγο. (8-10vm θα τρέχει max το καθένα)
Ο λόγος που έχω πάει σε μεγάλο ryzen 9 είναι πως όσο ποιο πολλά τα MHZ τόσο ποιο γρήγορα δουλεύουν όλα, στην πράξη είδα πως τα MHZ κάνουν τη διαφορά στα VM μου στο μαγαζί.
Ψήκτρα θα πάω σε Noctua NH-U12A περίπου γύρω στα 110€ με ανεμηστήρες 2 x NOCTUA NF-F12 INDUSTRIALPPC-2000 120MM PWM γύρω στα 30€ ο ένας
Μνήμες θα μπουν
2 x Micron MTA18ASF4G72AZ-3G2B1 memory module 32 GB 1 x 32 GB DDR4 3200 MHz ECC γύρω στα 200€ η μία
ή
2 x 32GB (1x32GB) Samsung M391A4G43MB1-CTD DDR4 Server RAM, PC4-21300 (2666), ECC, CAS 17, Dual Rank, 1.2V γύρω στα 185€ η μία
Κουτί λέω το inter tech 4U 4088-S στα 90€ περίπου με
2 x NOCTUA NF-F12 INDUSTRIALPPC-3000 120MM PWM (1ας μπροστά που μπαίνει κανονικά και πίσω τα κουτιά θα τα κόψω στις θέσεις που έχουν για 2 χ 80mm για να μπει ένας τέτοιος) γύρω στα 37€ ο καθένας
Το παραπάνω κοστίζει περίπου 1500-1600€
TRX40
Τώρα με TRX40 δεν βλέπω πολλές επιλογές.... βρίσκω αυτό
ASRock Rack TRX40D8-2N2T το οποίο δεν έχει βγει καλά καλά ακόμα και κοστίζει στην Αμερική γύρω στα 700$... θεωρητικά μέχρι οκτώμβρη που θα προχωρήσω θα έχει βγει.
Από CPU μεριά θέλω τον AMD Ryzen Threadripper-3960X που είναι γύρω στα 1300€
Ψήκτρα θέλω την Noctua NH-U12S TR4-SP3 γύρω στα 80€
Το παραπάνω τώρα θα πάει γύρω στα 2500€ οπότε υπάρχει μια διαφορά στα 1000€ άρα ο Threadripper μάλλον αποκλείεται....
Αυτά σκέφτομαι και έχω άνετα 2 μήνες μπροστά μου αν προχωρήσει το Project... οπότε όποιος έχει άποψη ας την εκφράσει ελεύθερα.
Εμφάνιση 1-15 από 120
-
25-08-20, 13:44 Σύνθεση για ESXI Servers στη δουλειά. #1There's no substitute for experience
CorollaClub
-
25-08-20, 18:20 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #2
Εγώ από τις δύο μητρικές που λες θα προτιμούσα την asrock . Αν καταλήξεις στην asrock , θα πας για τον απλό 3900x και όχι για τον xt εκτός και αν όταν αγοράσεις , έχει βγει bios που να τον υποστηρίζει. Για μνήμη αυτήν που λέει το qvl της asrock δλδ την samsung που γράφεις.
Στο κουτί υπάρχει λόγος που διαλέγεις το συγκεκριμένο ;Gentoo Linux, οδηγός εγκατάστασης
ASUS P8Z77-V @1908 || Intel Core i5 3570K || Windows 10 Enterprise LTSB || G.skill F3-12800CL10-16GBXL || GX-550W || GTX680-DC2T-2GD5 || SAMSUNG 830 256 GB || WDC WD1002FAEX-00Y9A0 || iHAS124 C LL0G || Hyper 612S || Define R3 Usb3.0 || HP LP1965
-
25-08-20, 18:50 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #3
Και εγώ την Asrock λέω και όντως τον XT δεν τον λέει στο QVL αλλά μέχρι τότε θα βγάλουν bios σίγουρα... τώρα και ο 3800x μια χαρά θα μου κάτσει μάλλον.
Το κουτί απλά το έχω ήδη σε ένα custom καταγραφικό που έχω εδώ και 4 χρόνια και είναι μια χαρά... αν έχεις άλλη πρόταση σε 4U με 12άρηδες είσοδο αέρα μπροστά και πίσω 12άρη/δες έξοδο είμαι μέσα.There's no substitute for experience
CorollaClub
-
25-08-20, 20:07 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #4
Δεν έχω άλλη πρόταση απλά και για αυτό ρώτησα , δεν ήξερα αν χρειάζεσαι τον συγκεκριμένο τύπο κουτιού. Μια χαρά φαίνεται κι αφού το έχεις ήδη κομπλέ.
Gentoo Linux, οδηγός εγκατάστασης
ASUS P8Z77-V @1908 || Intel Core i5 3570K || Windows 10 Enterprise LTSB || G.skill F3-12800CL10-16GBXL || GX-550W || GTX680-DC2T-2GD5 || SAMSUNG 830 256 GB || WDC WD1002FAEX-00Y9A0 || iHAS124 C LL0G || Hyper 612S || Define R3 Usb3.0 || HP LP1965
-
25-08-20, 20:10 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #5
Τροφοδοτικά ξέχασα, αν βρω εύκολα seasonic θα πάρω αλλιώς corsair HX
There's no substitute for experience
CorollaClub
-
26-08-20, 20:59 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #6
Το παρακάτω φαίνεται καλή περίπτωση: 80+ gold, πολλά functionalities, πολλές προστασίες, fully modular και dual-eps που ενδέχεται να το χρειαστείς μιας και πας σε flagship CPUs.
https://www.skroutz.gr/s/17418571/Sh...Zero-650W.htmlHP EliteDesk 800 G1 Tower || i7-4790 || 32GB RAM DDR3-1600MHz || nVidia GTX1050 (powerless) || 860EVO 1TB || WD 4TB || 2 x HP 27mq QHD 2560x1440
-
26-08-20, 21:19 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #7There's no substitute for experience
CorollaClub
-
26-08-20, 21:20 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #8
Ανάλογα και τα οικονομικά βέβαια αλλά προσωπικά θα πήγαινα σε dell rack server. Δεν μας λες τι ανάγκες έχεις σε πόρους. Τα vm τα έχεις μέσα στο storage φαντάζομαι σωστά;;
-
26-08-20, 21:41 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #9
https://www.skroutz.gr/s/15098381/Co...50x-140mm.html
https://www.skroutz.gr/s/14483039/Co...750x-2018.html
το έχει και σε προσφορά το πλαίσιο αλλά και γενικά η τιμή τους είναι σχετικά καλή και με 10ετη εγγύηση.Gentoo Linux, οδηγός εγκατάστασης
ASUS P8Z77-V @1908 || Intel Core i5 3570K || Windows 10 Enterprise LTSB || G.skill F3-12800CL10-16GBXL || GX-550W || GTX680-DC2T-2GD5 || SAMSUNG 830 256 GB || WDC WD1002FAEX-00Y9A0 || iHAS124 C LL0G || Hyper 612S || Define R3 Usb3.0 || HP LP1965
-
26-08-20, 22:41 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #10
Δίκιο έχεις.
Λοιπόν αυτά είναι τα σύνολά μου τα current στο μαγαζί.
Είναι 53vm μέχρι στιγμής εκ των οποίων
6 server
Microsoft SQL Server
Domain Controller και DNS Server
File Server
Web Server
ERP Server
MIS Production Server
8 vm για διάφορες λειτουργίες Backbone
PiHole
Untangle Master
Untangle Secondary
Freepbx
Vcenter
Vrealize
VSRS
UNMS
33 VM Τερματικά για τους χρήστες (μαζί και τα 2 δικά μου)
Τα βασικά VM είναι Windows 10 με 4GB ram και 96GB δίσκο, υπάρχουν κάποιοι με παραπάνω ανάγκες και τους δίνω παραπάνω ζουμί.
Τα υπόλοιπα που μένουν μέχρι τα 53 είναι κυρίως πειράματα δικά μου.
Τώρα το Current Esxi Hardware είναι 2 rack με τα εξής
2 x DL380G9 με CPU E5-2660 v3 @ 2.60GHz και 128GB DDR4 2133
3 x DL380G7 με 2 x Intel(R) Xeon(R) CPU X5670 @ 2.93GHz
1 x Dell PowerEdge R420 με 2 x Intel(R) Xeon(R) CPU E5-2430 και 144GB Ram
1 x DL380G6 με 2 x CPU E5520 @ 2.27GHz
1 x CustomPC με Gigabyte Aurus Pro X570 και Ryzen 3700x με 128GB DDR4 (Εκτός Rack στο γραφείο μου)
Οι δίσκοι είναι πάνω σε συστοιχία της HP MSA2042 που το έχω με 2 έξτρα Enclosures 3.5".
Σύνολο δίσκων είναι
10 x Samsung PM1633a 960GB Sas SSD (raid10) (Performance Tier)(Non HP τους πήρα μόνος μου από Γερμανία)
8 x Seagate ST3600057SS 600GB 15000RPM SAS HDD (Raid10) (Standard Tier)
4 x Seagate ST3000NM0023 3TB 7200RPM SAS HDD (Raid10) (Archive Tier)
4 x SEAGATE ST4000NM0295 4TB 7200RPM SAS HDD (Raid10) (Το έχω μόνο για Backup)
Πάνω σε αυτούς τους δίσκους βρίσκονται τα πάντα και πετάει. Συνήθως το 90% τις κίνησης είναι πάνω στους SSD
Ακόμα και το Boot των esxi είναι partition 16GB πάνω στη συστοιχία. Η διασύνδεση των PC με τη συστοιχία γίνεται με ένα HP Brocade 8GB FC Switch και κάθε Server έχει μέσα του μια HP 82Q 2x8GB Fc ή μία HP81Q 1x8gb FCκάρτα
Τώρα γιατί γίνεται όλο το πανηγύρι ? γιατί μετά από άπειρα χρόνια και με όσα διάβαζα για τους Ryzen, είπα και εγώ να πάρω έναν... βασικά το δικό μου του σπιτιού με τον 3600 το είχα στο μαγαζί από τον Σεπτέμβριο πέρυσι και έπαιζα μέχρι τα Χριστούγεννα.
Το θέμα είναι ένα.. ότι VM πετάξω επάνω στον Ryzen πετάει... η διαφορά είναι ειλικρινά πολύ μεγάλη και ακόμα και το DL380G9 δεν μπορεί να το πιάσει σε ταχύτητα. Έβαλα τα βαριά VM στη δουλειά πάνω του που ήταν κυρίως 3-4 σοβαρές θέσεις εργασίας και δεν καταλάβαινε τίποτα οπότε και η απόφαση να προχωρήσω σε αλλαγές.
Για να καταλάβετε τη διαφορά κόστους επίσης... από HP θες για ένα DL380G10 με σοβαρή CPU Intel® Xeon® Gold γύρω στα 6000€ και σε DELL γύρω στα 5000€ με 64GB Ram και χωρίς δίσκους. Τα DL380 G9 τα είχα πάρει με τις μίνιμουμ CPU που μπορούσαν να μου τα πουλήσουν και είχαμε δώσει το 2017 γύρω στα 3000€ το καθένα. Τις CPU που έχω πάνω σε αυτά πλέον, με αρετή και τόλμη τις πήρα από EBAY πέρυσι και πήραν τα πάνω τους.There's no substitute for experience
CorollaClub
-
27-08-20, 11:31 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #11
Δεκτό αυτό αν και μου κάνει εντύπωση. Δηλαδή έριξες όπως λες extra ζουμί σε cpu από τους servers και πάλι ο ryzen πήγαινε καλύτερα;; Πραγματικά ενδιαφέρον. Φαντάζομαι το Ryzen το είχες κουμπωμένο με τα οπτικά στο brocade->msa οπότε τα δεδομένα που έβλεπες ήταν συγκρίσιμα. Δεν έκανες δηλαδή migrate τα vm τοπικά. Σίγουρα δεν μπουκώνει κάπου το traffic;;;
Κάποτε ένας συνεργάτης μου είχε αλλάξει το schedule των backup βάζοντάς τα πρωί... κατάλαβες τι έγινε...
Απλά το σκεπτικό μου είναι πως οι ευκολίες που θα χάσεις για redundancy και monitoring αν πας σε τέτοιου είδους "home" λύσεις. Ειδικά η dell, σε αντίθεση με την hpe, έχει άριστη υποστήριξη σε αναβαθμίσεις drivers - firmware. Συν τα διπλά hotplug power supplies, idrac, lifecycle controller, open manage, εξατομικευμένο customized esxi image. Το passthrough δουλεύει στο ryzen;; Δεν θα ήθελα να χάσω τέτοια καλούδια.
Τέσπα, δίνω δύο links για online tools της dell που ίσως σε κάποιους να φανούν χρήσιμα.
Ένα on line configurator για R640, μπορείς να το κάνεις για όποιον server θέλεις
και το Dell Enterprise Infrastructure Planning Tool
-
27-08-20, 12:02 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #12
Ναι το ryzen είναι με τις 2 κάρτες HP κανονικά επάνω και δουλεύει και το bypass ρολόι αλλά θέλει περίεργη ρύθμιση για την nvidia σπίτι από esxi 6.7 και πάνω αλλά τα κατάφερα.
Θεουλης ο φίλος με τα backup μέσα στη μέρα. Backup κάνω στους 4x4tb στη συστοιχία στις 2 το πρωί. Μετά αυτό αντιγράφεται σε 2x6tb σε άλλο σημείο του εργοστασίου και μετά φεύγει πρώτα σε server στη Γερμανία νοικιασμένο και τέλος έρχεται και σπίτι μου, εξου και το γαϊδούρι που έφτιαξα για το σπίτι με ryzen. Μέσα στη μέρα γίνεται η ιντερνετική κίνηση που δεν με επηρεάζει γιατί είναι upload μόνο.
Είναι απίστευτο το full licence του veeam, το έβαλα σε trial και έκλαψα... Κάνει παπάδες για να κερδίσεις traffic στα offsite backup και ψήνω το αφεντικό μου να το πάρουμε.
Τις δουλειές του μαγαζιού τις κάνω backup με acronis 11 και εκεί χρειάζομαι αναβάθμιση γιατί είναι παλιό πια.
Στο ryzen της δουλειάς έχω πάνω και nvme pcieX4 τον 1tb aorus, είχε μεγαλύτερο throughput φυσικά από τη συστοιχία αλλά καμία σχέση στην πίεση.There's no substitute for experience
CorollaClub
-
27-08-20, 12:14 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #13
-
27-08-20, 12:54 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #14
Είσαι πολύ σωστός αλλά όπως είπα θέλω mhz. Έχω κάνει απίστευτο research και ενώ τα τέρατα τα intel gold και τα epyc πετάνε, η διαφορά μιας cpu στα 2.3-2.6ghz με μιας στα 4-4.5ghz στην πραγματικότητα και το τι νοιώθει ο χρήστης σε ένα vm είναι πάρα πολύ μεγάλη. Ένας epic μου φτάνει για όλο το μαγαζί γιατί ναι μεν είναι πολλά τα vm αλλά μαξ 5-10 vm να κάνουν cpu peek κάθε δεδομένη χρονική στιγμή.
Υπάρχουν πολλές συζητήσεις στο ίντερνετ σε μεγάλα φόρα για το θέμα και όλοι εντέλει συγκλίνουν στο ίδιο. Επίσης ένας epic ειναι overkill σε όλα τα άλλα του... Τρελά pci lanes που δεν τα χρειάζομαι, δεν έχω δίσκους επάνω κλπ.
Θα δω και τα supermicro να πω την αλήθεια απλά με έχει κουράσει η HP σε αυτά που χρεώνει... Καταλαβαίνω το quality inspection αλλά παραπαει.
Να καταλάβεις το msa2042 το πήραμε το 2017 και έκανε 8200€ με tiering licence χωρίς deduplication(μεγα λαθος μου, επρεπε να πιεσω να χωσουμε το 30αρι για 3par) και είχε μόνο 2 δίσκους ssd 400gb επάνω. Αυτό αντικατέστησε το παλιό msap2000g3 FC που είχα και το p2000 με το έξτρα enclosure του έγιναν 2 dumb enclosures για το msa2042. Όταν ρώτησα την hp μετά για 1tb ssd μου είπαν 1500€ ο ένας !!!!!!, Ήθελα τουλάχιστον 4 οπότε αφού διάβασα έψαξα κλπ βρήκα τι δίσκος είναι πραγματικά ο δίσκος της Hp και πήρα το ρίσκο και παραγγειλα από Γερμανία τους samsung στα 300€ ο ένας.
Τους είχα δοκιμαστικά επάνω πάνω από 3 μήνες και εντέλει τους έβαλα στην παραγωγή και πετάνε. Μετά πήρα άλλους 6 και έχω πλέον 10.
Είναι μεγάλη κουβέντα αλλά στην Ελλάδα χρεώνουν πολλά και δίνουν λίγα. Δες απλά τιμές από την HP ή Dell shop Αμερικής και σύγκρινε με Ελλάδα, κλάμα.There's no substitute for experience
CorollaClub
-
27-08-20, 13:00 Απάντηση: Σύνθεση για ESXI Servers στη δουλειά. #15
Καλά ναι οι τιμές τους μερικές φορές είναι το λιγότερο παράλογες για κάποια πράγματα.
Bookmarks