Σελ. 5 από 8 ΠρώτηΠρώτη ... 34567 ... ΤελευταίαΤελευταία
Εμφάνιση 61-75 από 120
  1. #61
    Εγγραφή
    27-05-2006
    Περιοχή
    Άγιοι Ανάργυροι
    Ηλικία
    52
    Μηνύματα
    12.701
    Downloads
    20
    Uploads
    1
    Τύπος
    VDSL2
    Ταχύτητα
    100/10 - 600/120
    ISP
    Cosmote VDSL - 5G
    DSLAM
    ΟΤΕ - Ν. ΦΙΛΑΔΕΛΦΕΙΑ
    Router
    UntangleVM on esxi
    Ενημερωτικά μετά από τόσο καιρό απλά ενημερώνω πως το vSan το έστειλα. Ήταν πολλά τα λεφτά "Άρη" χωρίς τελικά να δίνει το κάτι παραπάνω από ταχύτητα.

    Έγδυσα τα Epyc Supermicro από δίσκους και Optane και τα άφησα απλά να εξηπηρετούν VM.

    Εντέλει έφτιαξα ένα 2ο Truenas για να εξηπηρετήσω τα VM του μαγαζιού μέσω NFS4.1 (δεν το θέλω το iScsi αν και ίσως θα ήταν ένα 5-10% ταχύτερο γιατί αν για οποιοδήποτε λόγο έκανε ένα κιχ το truenas οι 8 esxi δεν θα έκαναν ποτέ reconnect. Με το NFS μέχρι και reboot κάνω το truenas όπου παγώνουν τα VM για 1 λεπτό γιατί παθαίνουν κοκομπλόκο που χάνουν τους δίσκους τους αλλά στα καπάκια επανέρχονται χωρίς καν restart)

    Έφτιαξα λοιπόν αυτό το Supermicro

    SuperServer 2028U-E1CNRT+
    Στο οποίο έβαλα

    2 x Xeon 2660v3
    256GB Ecc Ram (8 x 32GB@2133mhz)
    3 x LSI SAS 9300-8i που συνδέθηκε ο καθένας σε 2 από τις 6 φύσες Sas3 του backplane.
    Στο Backplane συνδέθηκαν σχεδόν όλοι οι δίσκοι Sas SSD
    8 x 2TB Sas3 Samsung PM1643a
    4 x 1TB Sas3 Samsung PM1643a

    Επίσης του έβαλα 2 κάρτες
    AOC-SLG3-2M2
    όπου με bifurcation ενεργό, πήραν πάνω τους 4 Optane 4801x 200GB

    Ακόμα έβαλα

    1 x HPE P822 External Raid Controller σε HBA Mode που συνδέθηκε πάνω σε 2 εξωτερικά P2000G3 sas enclosures που το ένα έχει πάνω 4 χ 3ΤΒ HP 7.2K mdl και το άλλο 8 χ 600GB 15k HP Sas HDD (δεν τους έχω κάνει κάτι και μάλλον ούτε πρόκειται)
    και τέλος έβαλα μια HP 560SFP+ Ethernet.
    Σύνολο το μηχάνημα είχε 4 x 10GB και με LACP συνδέθηκε στο HP 5820x Switch.

    Max Speed σε read και write έχω δει μέχρι 3200mb/sec

    Έκανα 2 Pool , το 1ο με τους 8x2TB SSD με 4 Mirror Vdev (ωφέλιμος χώρος 8TB), 2 x 1 TB SSD σε Stripe για Read Cache (l2arc) και τους 4 Optane σε raid10 (έχουν μέσα τους μόνο το 20GB για ZIL/Slog και άλλα 40GB για DDU Tables) με ενεργό το Deduplication και Compression όπου κερδίζω συνολικά γύρω στο 2:1 και άλλο 1 pool με τους 4 x 3TB HDD με 2 Mirror Vdev, συν 2 x Special Mirror Vdev με τους 4 x 1TB SSd με ρύθμιση στο pool και special block size κάτω 32k να γράφεται στους SSD.
    To 1o Pool πήρε τα VM και το 2ο Pool πήρε τα Data του μαγαζιού.

    Το πράγμα πετάει ειλικρινά και απορώ με τον εαυτό μου που παιδευόμουν τόσο καιρό με το vsan. Δεν λέω πως το vSan είναι κακό.. είναι φάση Set & Forget αν το στήσεις καλά, αλλά πρώτον είναι πανάκριβο αλλά κυρίως με χαλάει που δεν έχω έπιλογή να ρυθμίσω τίποτα όπως πχ το σημαντικότερο για μένα πόση μνήμα να τρώει από το κάθε Node για Ram Caching κλπ

    Δοκίμασα και το Replication που έχει το truenas οπότε έβαλα να στέλνει το Truenas2 με τα VM στο 1ο Truenas που είναι με τα Backup και λειτουργεί εντυπωσιακά καλά.
    Τέλος έστησα επιτέλους και ένα Grafana για στατιστικά κλπ και μπορώ να ηρεμήσω σιγά σιγά...

    Πατήστε στην εικόνα για να τη δείτε σε μεγέθυνση. 

Όνομα:  Truenas.jpg 
Εμφανίσεις:  58 
Μέγεθος:  426,3 KB 
ID: 229209
    There's no substitute for experience
    CorollaClub

  2. #62
    Εγγραφή
    12-06-2011
    Μηνύματα
    7.579
    Downloads
    4
    Uploads
    0
    Τύπος
    FTTH
    Ταχύτητα
    500/50 + 250/80
    ISP
    Ote/Vodafone
    Router
    Pf plus/nokia - mu5001 5G
    Αφου το ξέρεις οτι δεν θα ηρεμήσεις ποτέ...Το γραφεις για να το πιστέψεις?

  3. #63
    Εγγραφή
    27-05-2006
    Περιοχή
    Άγιοι Ανάργυροι
    Ηλικία
    52
    Μηνύματα
    12.701
    Downloads
    20
    Uploads
    1
    Τύπος
    VDSL2
    Ταχύτητα
    100/10 - 600/120
    ISP
    Cosmote VDSL - 5G
    DSLAM
    ΟΤΕ - Ν. ΦΙΛΑΔΕΛΦΕΙΑ
    Router
    UntangleVM on esxi
    Παράθεση Αρχικό μήνυμα από netblues Εμφάνιση μηνυμάτων
    Αφου το ξέρεις οτι δεν θα ηρεμήσεις ποτέ...Το γραφεις για να το πιστέψεις?
    Πρέπει, αλλιώς θα με χωρίσει η γυναίκα μου lol.
    There's no substitute for experience
    CorollaClub

  4. #64
    Εγγραφή
    12-06-2011
    Μηνύματα
    7.579
    Downloads
    4
    Uploads
    0
    Τύπος
    FTTH
    Ταχύτητα
    500/50 + 250/80
    ISP
    Ote/Vodafone
    Router
    Pf plus/nokia - mu5001 5G
    Θες να πεις οτι δεν εχει γινει ηδη? Απλα δεν το ξερεις.

    Σοβαρα τωρα, ολα αυτα αναγκαστικα γινονται after hours... και τα copy θελουν χρονο. Ποσο αντεχεις τις δοκιμες??

  5. #65
    Εγγραφή
    27-05-2006
    Περιοχή
    Άγιοι Ανάργυροι
    Ηλικία
    52
    Μηνύματα
    12.701
    Downloads
    20
    Uploads
    1
    Τύπος
    VDSL2
    Ταχύτητα
    100/10 - 600/120
    ISP
    Cosmote VDSL - 5G
    DSLAM
    ΟΤΕ - Ν. ΦΙΛΑΔΕΛΦΕΙΑ
    Router
    UntangleVM on esxi
    Παράθεση Αρχικό μήνυμα από netblues Εμφάνιση μηνυμάτων
    Θες να πεις οτι δεν εχει γινει ηδη? Απλα δεν το ξερεις.

    Σοβαρα τωρα, ολα αυτα αναγκαστικα γινονται after hours... και τα copy θελουν χρονο. Ποσο αντεχεις τις δοκιμες??
    Μπορεί να έχεις δίκιο τι να πω. Εκτός της δουλειάς τρώω κάνα 3ωρο standard κάθε βράδυ σε διάβασμα κυρίως.
    Το θέμα ήταν με το hardware που είχα στα χέρια μου να βρω την πιο γρήγορη λύση και να έχει και ασφάλεια. Με τις δοκιμές που έκανα το πιο γρήγορο με επιλογές στο config ήταν το starwind vsan αλλά με κέρδισε το τσάμπα Truenas (πλάκα πλάκα απίστευτο το ότι είναι τσάμπα όταν τo qnap και γενικά όλα τα σύγχρονα τέτοια συστήματα όλα στηρίζονται στο zfs με δικό τους custom έξτρα κώδικα). Με το σύστημα όπως είμαι τώρα, το μόνο που φρενάρει είναι το δίκτυο που θα το κάνω μετά το καλοκαίρι 40-100gbit μεταξύ των truenas και των esxi server. Έχω και πολύ δουλειά ακόμα στο να είναι optimised, είναι πάρα πολλές οι ρυθμίσεις για να λέει κάποιος πως το έχει με το θέμα.

    Αυτό είναι το αλάτι της ζωής μου φίλε (μετά το γιο μου βέβαια) και αν το σταματήσω πέθανα και το ξέρει η γυναίκα μου.

  6. #66
    Εγγραφή
    12-06-2011
    Μηνύματα
    7.579
    Downloads
    4
    Uploads
    0
    Τύπος
    FTTH
    Ταχύτητα
    500/50 + 250/80
    ISP
    Ote/Vodafone
    Router
    Pf plus/nokia - mu5001 5G
    Αδερφή έχει?

  7. #67
    Εγγραφή
    27-05-2006
    Περιοχή
    Άγιοι Ανάργυροι
    Ηλικία
    52
    Μηνύματα
    12.701
    Downloads
    20
    Uploads
    1
    Τύπος
    VDSL2
    Ταχύτητα
    100/10 - 600/120
    ISP
    Cosmote VDSL - 5G
    DSLAM
    ΟΤΕ - Ν. ΦΙΛΑΔΕΛΦΕΙΑ
    Router
    UntangleVM on esxi
    Παράθεση Αρχικό μήνυμα από netblues Εμφάνιση μηνυμάτων
    Αδερφή έχει?
    Έχει ναι, ελεύθερη και με ανοσία αγέλης έτοιμη.
    There's no substitute for experience
    CorollaClub

  8. #68
    Εγγραφή
    12-06-2011
    Μηνύματα
    7.579
    Downloads
    4
    Uploads
    0
    Τύπος
    FTTH
    Ταχύτητα
    500/50 + 250/80
    ISP
    Ote/Vodafone
    Router
    Pf plus/nokia - mu5001 5G
    Τυχερε !!!!

  9. #69
    Εγγραφή
    06-07-2007
    Περιοχή
    Πετρούπολη
    Ηλικία
    45
    Μηνύματα
    1.827
    Downloads
    9
    Uploads
    0
    Τύπος
    VDSL2
    Ταχύτητα
    109990/10990
    ISP
    Cosmote
    DSLAM
    ΟΤΕ - ΠΕΤΡΟΥΠΟΛΗ
    Path Level
    Fastpath
    Παράθεση Αρχικό μήνυμα από BlueChris Εμφάνιση μηνυμάτων
    Εντέλει έφτιαξα ένα 2ο Truenas για να εξηπηρετήσω τα VM του μαγαζιού μέσω NFS4.1 (δεν το θέλω το iScsi αν και ίσως θα ήταν ένα 5-10% ταχύτερο γιατί αν για οποιοδήποτε λόγο έκανε ένα κιχ το truenas οι 8 esxi δεν θα έκαναν ποτέ reconnect. Με το NFS μέχρι και reboot κάνω το truenas όπου παγώνουν τα VM για 1 λεπτό γιατί παθαίνουν κοκομπλόκο που χάνουν τους δίσκους τους αλλά στα καπάκια επανέρχονται χωρίς καν restart)
    Επειδή είχα μια συζήτηση σήμερα στη δουλειά περί pros and cons nfs vs iscsi. Έπεσα στο search σε κάποια ενδιαφέροντα πραγματάκια και είπα να τα ποστάρω για να υπάρχουν...
    Testing NFS vs iSCSI performance μάλλον είναι πολύ παραπάνω από 5-10%

    vSphere Storage

    Storage Protocol Comparison White Paper παλιό, δεν ισχύουν όλα, αλλά παίρνεις μια ιδέα

    Σίγουρα η όποια απόφαση απαιτεί σκέψη. Θα κάνω τεστ για να τσεκάρω το reconnect που λες...

  10. #70
    Εγγραφή
    06-07-2007
    Περιοχή
    Πετρούπολη
    Ηλικία
    45
    Μηνύματα
    1.827
    Downloads
    9
    Uploads
    0
    Τύπος
    VDSL2
    Ταχύτητα
    109990/10990
    ISP
    Cosmote
    DSLAM
    ΟΤΕ - ΠΕΤΡΟΥΠΟΛΗ
    Path Level
    Fastpath
    Chris είχες πολύ δίκιο τελικά με το reconnect...


  11. #71
    Εγγραφή
    27-05-2006
    Περιοχή
    Άγιοι Ανάργυροι
    Ηλικία
    52
    Μηνύματα
    12.701
    Downloads
    20
    Uploads
    1
    Τύπος
    VDSL2
    Ταχύτητα
    100/10 - 600/120
    ISP
    Cosmote VDSL - 5G
    DSLAM
    ΟΤΕ - Ν. ΦΙΛΑΔΕΛΦΕΙΑ
    Router
    UntangleVM on esxi
    Παράθεση Αρχικό μήνυμα από EnDLess Εμφάνιση μηνυμάτων
    Chris είχες πολύ δίκιο τελικά με το reconnect...

    Ε ναι... έριξα κλάμα σπίτι με τα disconnect του iScsi... οπότε όπως είπα στη δουλειά δοκίμασα το NFS και τέλος.

    Πλέον στη δουλειά τα 8 σέρβερ με τις 2 x 10GB το καθένα που έχω είναι με διπλό vlan στο NFS με 2πλή IP με NFS4.1 version που κάνει κάτι σαν multipath και πετάει.

    - - - Updated - - -

    Σχετικό/άσχετο , αλλά αν κανείς θέλει να κάνει AIO μηχάνημα με esxi και nfs όπου το 1ο VM που έχει επάνω του τους δίσκους, επιστρέφει πίσω στον ESXI με NFS χώρο για άλλα VM, να το πει να βοηθήσω γιατί είχα δοκιμάσει τα πάντα και το σέρβερ μου σπίτι κάνει ακριβώς αυτό με windows server 2019 (δοκίμασα και truenas αλλά το 2019 είχα καταλήξει στα windows).
    There's no substitute for experience
    CorollaClub

  12. #72
    Εγγραφή
    27-05-2006
    Περιοχή
    Άγιοι Ανάργυροι
    Ηλικία
    52
    Μηνύματα
    12.701
    Downloads
    20
    Uploads
    1
    Τύπος
    VDSL2
    Ταχύτητα
    100/10 - 600/120
    ISP
    Cosmote VDSL - 5G
    DSLAM
    ΟΤΕ - Ν. ΦΙΛΑΔΕΛΦΕΙΑ
    Router
    UntangleVM on esxi
    Παιδιά έχω ένα θέμα αν έχει κανείς καμία ιδέα...

    Ένας από τους 4 νέους Supermicro, χτες αφού τους έκλεισα, όταν τους άναψα μετά αφού ήρθε το ρεύμα, βγάζει αυτό το κουφό μήνυμα και μένει εκεί.

    Πατήστε στην εικόνα για να τη δείτε σε μεγέθυνση. 

Όνομα:  Sev.jpg 
Εμφανίσεις:  28 
Μέγεθος:  57,0 KB 
ID: 234367

    Από ότι καταλαβαίνω, αφορά το security που έχουν οι Epyc2 και μπορείς να το εκμεταλλευτείς σε όποια VM θέλεις που λέγεται SEV. Επίσημα η VMWare το έβγαλε από την έκδοση 7.01... εγώ είμαι full updated σε 7.0.3

    Η ίδια η VMWare λέει αυτά και εννοείται πως δεν έχω χρησιμοποιήσει το SEV σε κάποιο VM μου.

    Από εκεί και πέρα στο BIOS η μόνες επιλογές που έχω που αφορά SEV είναι

    Αυτή
    Πατήστε στην εικόνα για να τη δείτε σε μεγέθυνση. 

Όνομα:  Sev2.jpg 
Εμφανίσεις:  10 
Μέγεθος:  126,2 KB 
ID: 234368

    και αυτή που στο Manual παίρνει αριθμό αλλά μαξιμουμ από ότι διάβασα από την VMWare πάει στο 16.
    Πατήστε στην εικόνα για να τη δείτε σε μεγέθυνση. 

Όνομα:  Sev3.jpg 
Εμφανίσεις:  6 
Μέγεθος:  105,1 KB 
ID: 234369

    Off δεν έχει.. οπότε ότι και να διαλέξω πάλι κολλάει στο boot.

    Η υποψία μου είναι πως ίσως έχει χτυπήσει κάτι στην εγκατάσταση του esxi... οι 4 σέρβερ αυτοί έχουν πάνω τους Satadom 32GB της Supermicro που θεωρητικά δεν σπάνε δεν χαλάνε αλλά ποτέ δεν ξέρεις.... θα προσπαθήσω αύριο να πάω από το μαγαζί να ξηλώσω το Satadom να το βάλω στο pc μου να δω τι παίζει.
    Προσωρινά το μηχάνημα αυτό το πέταξα από το cluster οπότε μπορώ να κάνω ότι θέλω αλλά είναι πολύ κουφό πρόβλημα...Η πλάκα είναι πως αν ψάξεις για αυτό το μήνυμα λάθους.. δεν υπάρχει καμία μα καμία πληροφορία πουθενά στο ίντερνετ αλλά ίσως κάποιο γατόνι εδώ μέσα μου βρει κάτι..

    Ευχαριστώ.
    There's no substitute for experience
    CorollaClub

  13. #73
    Εγγραφή
    20-07-2008
    Περιοχή
    Πετρούπολη
    Ηλικία
    43
    Μηνύματα
    5.740
    Downloads
    12
    Uploads
    0
    Τύπος
    VDSL2
    Ταχύτητα
    220/22
    ISP
    VF + NOVA
    SNR / Attn
    15,8(dB) / 0(dB)
    Path Level
    Interleaved
    και οι 4 ειναι με ιδια specs ? αλλα μονο στον εναν στο κανει ?
    The gr81 .

  14. #74
    Εγγραφή
    31-10-2003
    Περιοχή
    Αθήνα
    Μηνύματα
    13.322
    Downloads
    5
    Uploads
    0
    Άνοιξες ticket στη vmware?

  15. #75
    Εγγραφή
    27-05-2006
    Περιοχή
    Άγιοι Ανάργυροι
    Ηλικία
    52
    Μηνύματα
    12.701
    Downloads
    20
    Uploads
    1
    Τύπος
    VDSL2
    Ταχύτητα
    100/10 - 600/120
    ISP
    Cosmote VDSL - 5G
    DSLAM
    ΟΤΕ - Ν. ΦΙΛΑΔΕΛΦΕΙΑ
    Router
    UntangleVM on esxi
    Παράθεση Αρχικό μήνυμα από griniaris Εμφάνιση μηνυμάτων
    και οι 4 ειναι με ιδια specs ? αλλα μονο στον εναν στο κανει ?
    Ναι ακριβώς ίδια.

    Παράθεση Αρχικό μήνυμα από ariadgr Εμφάνιση μηνυμάτων
    Άνοιξες ticket στη vmware?
    Θα ανοίξω σε λίγο, απλά το έψαχνα πρώτα μόνος μου

    Είμαι 99% σίγουρος πως έχει χτυπήσει το boot... άλλο ένα Satadom μου την έχει ξανακάνει άλλη μια φορά και είχε χτυπήσει αρχείο που απλά το πάτησα μέσα του και όλα καλά μετά...(το πήρα από άλλο ίδιο σέρβερ).

    Αυτό θα κάνω αύριο βασικά.. θα κλείσω αυτό και άλλο ένα από τα ίδια, θα πάρω τα 2 satadom στο χέρι και θα δω τι παίζει.
    Ίσως και με ένα update από πάνω να ισιώσει.. ποιο εύκολο μου φαίνεται αυτό πλάκα πλάκα μιας που το έχω βγάλει off το μηχάνημα.
    There's no substitute for experience
    CorollaClub

Σελ. 5 από 8 ΠρώτηΠρώτη ... 34567 ... ΤελευταίαΤελευταία

Bookmarks

Bookmarks

Δικαιώματα - Επιλογές

  • Δεν μπορείτε να δημοσιεύσετε νέα θέματα
  • Δεν μπορείτε να δημοσιεύσετε νέα μηνύματα
  • Δεν μπορείτε να αναρτήσετε συνημμένα
  • Δεν μπορείτε να επεξεργαστείτε τα μηνύματα σας
  •  
  • Τα BB code είναι σε λειτουργία
  • Τα Smilies είναι σε λειτουργία
  • Το [IMG] είναι σε λειτουργία
  • Το [VIDEO] είναι σε λειτουργία
  • Το HTML είναι εκτός λειτουργίας