Νέα εγκατάσταση proxmox

[ChriZ]

Καλησπέρα σε όλους!
Ξεκινήσαμε μια συζήτηση στο θέμα του homelab, αλλά ο συνονόματος BlueChris πρότεινε να ανοίξω νέο θέμα και μάλλον έχει δίκιο..
Οπότε αναφέρω στα γρήγορα το μηχανάκι και θα παραθέσω τα 2-3 ποστ που έγιναν στο άλλο θέμα για να συνεχίσουμε όποιος θέλει να βοηθήσει εδώ..

Λοιπόν το εν λόγω μηχανάκι αγοράστηκε για να αντικαταστήσει το υπάρχον appliance που έχω για το firewall επειδή ο επεξεργαστής του δε σηκώνει QoS στην 500άρα (Atom C2558)
Το νεοαποκτηθέν λοιπόν, έχει Ιντελ Ν100, 4 i226 2.5Gbit κάρτες δικτύου, 2 nvme δίσκους και 16GB Ram.
Επειδή το Sophos XG που χρησιμοποιώ όμως, δεν υποστηρίζει (τουλάχιστον ακόμα) τις i226, είπα να πάω σε proxmox και επι τη ευκαιρία να σηκώσω και κανα 2 VM ακόμα (π.χ. ένα tiny linux για NUT) και ένα pihole..
Αυτά τα γενικά.. παραθέτω πιο κάτω την αρχή της συζήτησης...

Αρχική ερώτηση
Και ξεκινάμε τις ερωτήσεις για το proxmox καθώς ασχολήθηκα καμιά ώρα μαζί του:
Ενεργοποίησα το non production repository και έκανα full update (παρεμπιπτόντως το popup κάθε φορά που μπαίνεις είναι εκνευριστικό... :mad:)
Από τις 4 κάρτες δικτύου (βασικά βλέπει για κάποιο λόγο 5 το PVE, αλλά αυτές που έχει είναι 4.. ΕΤΗ0 - ΕΤΗ3). Η enp1s0 δεν υπάρχει (κανα header θα είναι ή δεν ξέρω τι)
Οι φυσικές κάρτες ΕΤΗ0-3 είναι enp2s0 - enp5s0 (χάθηκα λίγο στην αρχή να βγάλω άκρη :lol: )
Επειδή χρειάζομαι 2 WAN τουλάχιστον, έφτιαξα δύο bridge. Το πρώτο με όνομα WAN1 και member την enp2s0 και το δεύτερο με όνομα WAN2 και member την enp3s0
Τις άλλες δύο κάρτες δικτύου τις έκανα ένα άλλο bridge με όνομα LAN..
Στο VM του firewall λοιπόν θα του δώσω από μία virtual κάρτα σε κάθε bridge (σκεφτόμουν για λόγους συμβατότητας e1000e..)
Μέχρι εδώ παρατηρείτε καμιά τρανταχτή πατάτα;
Επίσης, τον KC3000 τον έκανα μόνο του ZFS, αλλά μιας και είναι μόνος του μπας και να τον κάνω LVM thin (μη ζορίζεται - θεωρητικά - και περισσότερο λόγω ZFS; )[/QUOTE]



Απάντηση από BlueChris


Από τις 4 κάρτες δικτύου (βασικά βλέπει για κάποιο λόγο 5 το PVE, αλλά αυτές που έχει είναι 4.. ΕΤΗ0 - ΕΤΗ3). Η enp1s0 δεν υπάρχει (κανα header θα είναι ή δεν ξέρω τι)
Αν έχει κάτι τύπου iLO ή αν έχεις πάνω κάποιο USB4 hub που βγάζει ethernet, αυτό είναι.



Στο VM του firewall λοιπόν θα του δώσω από μία virtual κάρτα σε κάθε bridge (σκεφτόμουν για λόγους συμβατότητας e1000e..)
Με virtio έχω εγώ τα πάντα σε ότι αφορά κάρτες δικτύου και αυτό λένε και όλοι. Με e1000 εγκλωβίζεσαι στο gigabit.



Επίσης, τον KC3000 τον έκανα μόνο του ZFS, αλλά μιας και είναι μόνος του μπας και να τον κάνω LVM thin (μη ζορίζεται - θεωρητικά - και περισσότερο λόγω ZFS; )
καλύτερα ZFS, αν αύριο μεθαύριο σηκώσεις 2ο proxmox και θες replication & HA το κάνεις εύκολα. Έτσι είμαι και εγώ. Ο δίσκος με τα VM είναι με το default ονομα rpool και μετά έφτιαξα στο Datacenter ένα zfs με όνομα ZFSCluster όπου πήρε το default rpool και τέλος. Στο επόμενο μηχάνημα έκανα το ίδιο και τα ΗΑ και replication λειτουργούν χωρίς πρόβλημα.



Απάντηση από εμένα


Αρχικό μήνυμα από BlueChris
Αν έχει κάτι τύπου iLO ή αν έχεις πάνω κάποιο USB4 hub που βγάζει ethernet, αυτό είναι.
Μπα δεν έχω τίποτα πάνω και για management δεν είδα κάτι (βέβαια δεν το εξέτασα και εξονυχιστικά)



Αρχικό μήνυμα από BlueChris
Με virtio έχω εγώ τα πάντα σε ότι αφορά κάρτες δικτύου και αυτό λένε και όλοι. Με e1000 εγκλωβίζεσαι στο gigabit.
Σωστό αυτό.. Σκεφτόμουν e1000e για τις WAN βασικά και virtio για τη LAN, αλλά μάλλον όλες virtio θα τις κάνω..

Αρχικό μήνυμα από BlueChris
καλύτερα ZFS, αν αύριο μεθαύριο σηκώσεις 2ο proxmox και θες replication & HA το κάνεις εύκολα. Έτσι είμαι και εγώ. Ο δίσκος με τα VM είναι με το default ονομα rpool και μετά έφτιαξα στο Datacenter ένα zfs με όνομα ZFSCluster όπου πήρε το default rpool και τέλος. Στο επόμενο μηχάνημα έκανα το ίδιο και τα ΗΑ και replication λειτουργούν χωρίς πρόβλημα.
Τον boot δισκο τον έκανε LVM-thin στην εγκατάσταση πάντως. (δε θυμάμαι να είδα επιλογή για ZFS). To δεύτερο ΟΚ μπορώ να τον κάνω ότι θέλω..
Βέβαια δε με κόβω να το προχωράω τόσο που να φτάσω σε cluster, αλλά ποτέ δεν ξέρεις


Και τέλος..

Αρχικό μήνυμα από ChriZ
Τον boot δισκο τον έκανε LVM-thin στην εγκατάσταση πάντως. (δε θυμάμαι να είδα επιλογή για ZFS). To δεύτερο ΟΚ μπορώ να τον κάνω ότι θέλω..
Βέβαια δε με κόβω να το προχωράω τόσο που να φτάσω σε cluster, αλλά ποτέ δεν ξέρεις
Κάπου στον installer το λέει, αλλά πολύ σωστά το έκανες έτσι... φτιάξε και ένα ISO folder στον boot να έχεις όλα τα iso σου των εγκαταστάσεων. Εγώ μόνο στο Nuc που έχει έναν και μοναδικό δίσκο μέσα του.. αναγκάστηκα να κάνω ZFS το boot για να έχω εκεί replication με το MS-01 σε περίπτωση ανάγκης να τρέξω VM σε αυτό. Με LVM-Thin έχεις και λιγότερες εγγραφές από ότι λένε στον boot δίσκο.. αυτά που έλεγα ποιο πριν δλδ.

Οπότε συνεχίζουμε εδώ.. Όποιος θέλει λεει απόψεις/βοήθειες :)

- - - Updated - - -

Ρε παιδιά, επειδή δεν ξέρω τι έχει γίνει με τις τελευταίες αλλαγές στο proxmox..
ova για να κάνεις import έχει κάποια αυτοματοποιημένη διαδικασία πλέον ή θέλει μέσω cli;

[BlueChris]

Ρε παιδιά, επειδή δεν ξέρω τι έχει γίνει με τις τελευταίες αλλαγές στο proxmox..
ova για να κάνεις import έχει κάποια αυτοματοποιημένη διαδικασία πλέον ή θέλει μέσω cli;

Νόμιζα πως στο απάντησα στο άλλο νήμα.
https://www.proxmox.com/en/services/videos/proxmox-virtual-environment/proxmox-ve-import-wizard-for-vmware

- - - Updated - - -

Επίσης πλέον, μπορείς να βάλεις κάπου και το veeam b&r την free έκδοση, όχι μόνο για backup του proxmox αλλά αφού προσθέσεις και το esxi σου και τον proxmox σου, κάνεις backup οποίο vm θες από τον esxi και restore στον proxmox.

[ChriZ]

Ναι, αυτή τη διαδικασία την ξέρω. Εγώ αυτό που θέλω είναι να κανω import ένα ova που κατέβασα από το ίντερνετ.
Και απ' ότι είδα μέσω cli γίνεται μόνο με την εντολή qm..
Και κάτι ακόμα (σε έπρηξα..)
Αν πάω σε ένα VM και του κάνω add hard disk, σαν format μου δίνει κλειδωμένο μόνο QEMU.. Είδα ότι υπάρχει η δυνατότητα και για raw ή/και vmdk, αλλά δεν κατάλαβα υπό ποιες πρϋποθέσεις στη δίνει αυτή τη δυνατότητα.. :oops:

- - - Updated - - -



Επίσης πλέον, μπορείς να βάλεις κάπου και το veeam b&r την free έκδοση, όχι μόνο για backup του proxmox αλλά αφού προσθέσεις και το esxi σου και τον proxmox σου, κάνεις backup οποίο vm θες από τον esxi και restore στον proxmox.

Στην έκδοση 12 το πρόσθεσαν αυτό ε; (έχω την 11)

[BlueChris]

Ναι, αυτή τη διαδικασία την ξέρω. Εγώ αυτό που θέλω είναι να κανω import ένα ova που κατέβασα από το ίντερνετ.
Και απ' ότι είδα μέσω cli γίνεται μόνο με την εντολή qm..
Και κάτι ακόμα (σε έπρηξα..)
Αν πάω σε ένα VM και του κάνω add hard disk, σαν format μου δίνει κλειδωμένο μόνο QEMU.. Είδα ότι υπάρχει η δυνατότητα και για raw ή/και vmdk, αλλά δεν κατάλαβα υπό ποιες πρϋποθέσεις στη δίνει αυτή τη δυνατότητα.. :oops:

- - - Updated - - -



Στην έκδοση 12 το πρόσθεσαν αυτό ε; (έχω την 11)
Μόνο με qemu παίζουμε, τα άλλα είναι για λόγους συμβατότητας εκεί, παίζουν αλλά μακρυά και αγαπημένοι. Το ίδιο ισχύει και για τον vmxnet3 τον driver που υπάρχει στον proxmox.

Ναι θες την τελευταία έκδοση veeam αλλά θα σου κάνει όλες τις μετατροπές αυτόματα στο restore.

[ChriZ]

Θενκς ρε φίλε..
Αύριο πάλι τώρα... :p

[badweed]

επειδη καινουριος με proxmox , σε εμβρυακο σταδιο , να ρωτησω κατι , μπορεις να εχεις καποιο διαχειριστη qemu των windows για remote διαχειρηση του qemu του poxmox;

[riddle3]

Για το popup πήγαινε στον Θεό tteck με τα scripts του και τρέξε το proxmox after install script (κάπως έτσι).
Ένα από τα μαντζουνια που κάνει είναι να απενεργοποιήσει και το web ui lag.

Για να βάλεις zfs στο root partition πρέπει κατά την εγκατάσταση να πατήσεις advanced και να διαλέξεις raidz0 με μόνο 1 δίσκο.
Είναι λίγο counter intuitive αλλά οκ. Προσοχή πώς ονομάζεις το pool γιατί είναι αναγκαία συνθήκη αν θες να κάνεις cluster στο μέλλον.

[ChriZ]

Για το popup πήγαινε στον Θεό tteck με τα scripts του και τρέξε το proxmox after install script (κάπως έτσι).
Ένα από τα μαντζουνια που κάνει είναι να απενεργοποιήσει και το web ui lag.

Για να βάλεις zfs στο root partition πρέπει κατά την εγκατάσταση να πατήσεις advanced και να διαλέξεις raidz0 με μόνο 1 δίσκο.
Είναι λίγο counter intuitive αλλά οκ. Προσοχή πώς ονομάζεις το pool γιατί είναι αναγκαία συνθήκη αν θες να κάνεις cluster στο μέλλον.

Thanks!
Για το zfs του boot drive δεν μου πήγε το μυαλό καθόλου γιατί αρχικα είχα μόνο ένα δίσκο..
Τώρα είναι πολύ αργά, πρέπει να το στήσω από την αρχή.
Βέβαια ακόμα σε lab φάση είμαι, όποτε μάλλον θα το κάνω

[BlueChris]

Thanks!
Για το zfs του boot drive δεν μου πήγε το μυαλό καθόλου γιατί αρχικα είχα μόνο ένα δίσκο..
Τώρα είναι πολύ αργά, πρέπει να το στήσω από την αρχή.
Βέβαια ακόμα σε lab φάση είμαι, όποτε μάλλον θα το κάνω

Μα από ότι κατάλαβα, τα VM θα τα βάλεις σε άλλο δίσκο, οπότε είσαι μια χαρά έτσι, κάνεις ZFS τον δίσκο με τα VM.

- - - Updated - - -


επειδη καινουριος με proxmox , σε εμβρυακο σταδιο , να ρωτησω κατι , μπορεις να εχεις καποιο διαχειριστη qemu των windows για remote διαχειρηση του qemu του poxmox;

Αν κατάλαβα καλά, θες έναν χρήστη να ελέγχει συγκεκριμένα VM, σωστά? αν ναι, αυτό γίνεται. Κάνεις Group στο Datacenter, μετά φτιάχνεις χρήστη επίσης εκεί που του δηλώνεις σε ποιο Group ανήκει και τέλος δηλώνεις τα VM που θες σε αυτό το Group.

[ChriZ]

Μα από ότι κατάλαβα, τα VM θα τα βάλεις σε άλλο δίσκο, οπότε είσαι μια χαρά έτσι, κάνεις ZFS τον δίσκο με τα VM.

Xε, αμα είναι έτσι τότε μια χαρά!
Και ότι ξεκίναγα να φλασάρω με το proxmox πάλι ένα usb.. (παρεμπιπτόντως με ventoy δεν γίνεται με τίποτα εγκατάσταση, δεν ξέρω αν το έχει δοκιμάσει κανείς σας, εγώ με τις εκδόσεις 8 τουλάχιστον που δοκίμασα, έφαγα πόρτα και στα 2. Κάτι έβγαζε ότι δε βρίσκει valid iso αν θυμάμαι καλά)

- - - Updated - - -

E λοιπόν ή κάτι δεν καταλαβαίνω σωστά, ή η λογική του proxmox είναι κουλή...
Θέλω να φτιάξω ένα χώρο που να είναι εκεί όλοι οι δίσκοι. Δε βρίσκω κάποια επιλογή αντίστοιχη του datastore.
Μιας και ο data δισκος μου είναι σε ZFS θέλω να φτιάξω ένα folder και εκεί να είναι τα VM. Και κατ' επέκταση, το κάθε VM να είναι στο δικό του folder.
Μόνο από CLI γίνεται αυτό;

[BlueChris]

E λοιπόν ή κάτι δεν καταλαβαίνω σωστά, ή η λογική του proxmox είναι κουλή...
Θέλω να φτιάξω ένα χώρο που να είναι εκεί όλοι οι δίσκοι. Δε βρίσκω κάποια επιλογή αντίστοιχη του datastore.
Μιας και ο data δισκος μου είναι σε ZFS θέλω να φτιάξω ένα folder και εκεί να είναι τα VM. Και κατ' επέκταση, το κάθε VM να είναι στο δικό του folder.
Μόνο από CLI γίνεται αυτό;

Καταρχήν για τα VM θεωρώ ότι έφτιαξες το ZFS Pool στον server, πήγες μετά στο Datacenter να φτιάξεις ένα ZFS με το όνομα που θες, όπου εκεί δηλώνεις το όνομα, σε ποιο ZFSPool θα μπουν τα VM/Container.
Το directory που ζητάς, ακόμα και να του πεις να μπει στο path /ZFSpool/MyDir (αυτό που έκανες πριν στο Datacenter), δεν το κάνουμε γιατί πάνω στο ZFS πας και του δημιουργείς ένα directory με τελείως άλλο filesystem οπότε έχουμε Overhead και μετατροπές που δεν το κάνουμε ποτέ. Επίσης χάνεις ότι γρήγορο κάνει το ZFS όσο αφορά snapshot κλπ

Με λίγα λόγια δεν παίζει έτσι το ZFS... αν θες ένα Dir για τα ISO , κάντο, θα είναι μικρό και δεν μας νοιάζει αλλά όχι για τα VM
Στον esxi δηλαδή, έχεις ικανότητα να κάνεις folder σε ένα datastore και να του λες να πάνε τα VM εκεί? και ποιο το νόημα αυτού? το ZFS είναι block storage, καμία σχέση με το VMFS ή NTFS κλπ.

[badweed]

Αν κατάλαβα καλά, θες έναν χρήστη να ελέγχει συγκεκριμένα VM, σωστά? αν ναι, αυτό γίνεται. Κάνεις Group στο Datacenter, μετά φτιάχνεις χρήστη επίσης εκεί που του δηλώνεις σε ποιο Group ανήκει και τέλος δηλώνεις τα VM που θες σε αυτό το Group.

ελεγα μηπως συνδεεται καποιος vm manager οπως του qemu για windows , απομακρυσμενα και γινεται κονσολα μονο του virtualization του proxmox ,στα windows .
θα μου πεις τι το θελεις αφου εχεις το web interface και το αντιχστοιχο command /shell ...


αυτο που περιγραφεις εσυ φαινεται πιο χρησιμη πληροφορια

[ChriZ]

Λοιπόν παιδιά έκατσα λιγο και ασχολήθηκα χτες το απόγευμα με αυτό το project, καθώς και λίγο σήμερα το πρωί......
... και αποφάσισα ότι you can't teach an old dog new tricks, ειδικά άμα ο σκύλος δεν έχει και ιδιαίτερη όρεξη..
Καλό χρυσό το proxmox, αλλά έχει διαφορετική λογική από τον esxi και δεν έχω τη διάθεση να χρησιμοποιώ δύο διαφορετικούς hypervisor με δύο διαφορετικές λογικές.
Οπότε σκέφτηκα ότι έχω τις εξής 2 επιλογές:
1. Να προχωρήσω αυτό το proxmox και στη συνέχεια να γυρίσω σε proxmox και το βασικό homeserver
2. Να παραμείνει ο βασικός homeserver ως έχει και αυτό το project να το γυρίσω σε esxi..

Όπως ήταν -σχετικά- λογικό, κέρδισε η επιλογή 2 που έχει τη λιγότερη ταλαιπωρία, γιατί όπως προείπα, δεν έχω ούτε το χρόνο, αλλά ούτε και ιδιαίτερη όρεξη να μετατρέψω το βασικό και να κάτσω να μάθω τον proxmox.

To πρόβλημα βέβαια παρέμεινε ότι στον 7άρη τον esxi δεν έχει drivers για τις i226v.
Έ, τελικά έφαγα κανα 20λεπτο, κατέβασα τους community drivers για αυτές τις κάρτες και έφτιαξα ένα customized iso. Έκανα με αυτό εγκατάσταση και παίζουν όλα κανονικά...
Έφτιαξα τα απαραίτητα vswitch και port groups στον esxi, σήκωσα και το Sophos XG με 2 WAN και μια LAN πάνω του και όλα ΟΚ..
Δεν θα πάει ακόμα σε production αντικαθιστώντας το main firewall appliance που έχω, από το άλλο Σ/Κ το κόβω να βρίσκω τον απαραίτητο χρόνο ...

Αυτά!
Ευελπιστώ ότι δεν σας ζάλισα πολύ με τα του proxmox (είχα όντως αρχικά τη διάθεση να παίξω μαζί του, αλλά... )

Over and out... :closed:

[BlueChris]

Λοιπόν παιδιά έκατσα λιγο και ασχολήθηκα χτες το απόγευμα με αυτό το project, καθώς και λίγο σήμερα το πρωί......
... και αποφάσισα ότι you can't teach an old dog new tricks, ειδικά άμα ο σκύλος δεν έχει και ιδιαίτερη όρεξη..
Καλό χρυσό το proxmox, αλλά έχει διαφορετική λογική από τον esxi και δεν έχω τη διάθεση να χρησιμοποιώ δύο διαφορετικούς hypervisor με δύο διαφορετικές λογικές.
Οπότε σκέφτηκα ότι έχω τις εξής 2 επιλογές:
1. Να προχωρήσω αυτό το proxmox και στη συνέχεια να γυρίσω σε proxmox και το βασικό homeserver
2. Να παραμείνει ο βασικός homeserver ως έχει και αυτό το project να το γυρίσω σε esxi..

Όπως ήταν -σχετικά- λογικό, κέρδισε η επιλογή 2 που έχει τη λιγότερη ταλαιπωρία, γιατί όπως προείπα, δεν έχω ούτε το χρόνο, αλλά ούτε και ιδιαίτερη όρεξη να μετατρέψω το βασικό και να κάτσω να μάθω τον proxmox.

To πρόβλημα βέβαια παρέμεινε ότι στον 7άρη τον esxi δεν έχει drivers για τις i226v.
Έ, τελικά έφαγα κανα 20λεπτο, κατέβασα τους community drivers για αυτές τις κάρτες και έφτιαξα ένα customized iso. Έκανα με αυτό εγκατάσταση και παίζουν όλα κανονικά...
Έφτιαξα τα απαραίτητα vswitch και port groups στον esxi, σήκωσα και το Sophos XG με 2 WAN και μια LAN πάνω του και όλα ΟΚ..
Δεν θα πάει ακόμα σε production αντικαθιστώντας το main firewall appliance που έχω, από το άλλο Σ/Κ το κόβω να βρίσκω τον απαραίτητο χρόνο ...

Αυτά!
Ευελπιστώ ότι δεν σας ζάλισα πολύ με τα του proxmox (είχα όντως αρχικά τη διάθεση να παίξω μαζί του, αλλά... )

Over and out... :closed:

:facepalm: κουρτίνα 1 λέμεεεε... lol σε καταλαβαίνω...

[riddle3]

Over and out... :closed:

O free esxi δεν πάει για απόσυρση για τους home/smb users ?
Καταλαβαίνω το εμπόδιο της νέας λύσης αλλά ίσως θα ήταν καλύτερο να επιμείνεις ώστε να έχεις κάτι πιο supported στο μέλλον.

[BlueChris]

O free esxi δεν πάει για απόσυρση για τους home/smb users ?
Καταλαβαίνω το εμπόδιο της νέας λύσης αλλά ίσως θα ήταν καλύτερο να επιμείνεις ώστε να έχεις κάτι πιο supported στο μέλλον.

Ναι αλλά αν πας τώρα και θες free licence. Όταν βγει η 9 έκδοση δεν ξέρω αν τις 8 θα λειτουργούν.
Αν είσαι με 1 server είναι απλά τα πράγματα, αν κοιτάς όπως εγώ να γυρίσεις επαγγελματικά προς proxmox είναι πολύ δουλειά. Ήδη έχω ξεκινήσει στη δουλειά να πλαναρω για 8 server , 2 cluster με distributed switches και HA failover ποιος είναι ο πιο γρήγορος τρόπος.
Επίσης πλέον μου αρέσει και ο PBS. Δουλεύει αξιοπρεπεστατα τόσους μήνες σπίτι, έχω κάνει άπειρα restore χωρίς θέμα, τον κάνω sync σε 2ο PBS στη δουλειά και ο Proxmox κάνει και κάτι που ΔΕΝ το κάνει ο esxi με καμία Παναγία που είναι snapshot και backup σε VM που έχει pci passthrough devices. Αυτό για μένα είναι game changer γιατί τόσο καιρό ο μόνος τρόπος να κάνω backup τέτοιο VM είναι μόνο με εγκατάσταση veeam στο ίδιο το vm.
Η μόνη δυσκολία μου είναι τα vlan και η κεντρική διαχείριση και για αυτό κοιτάω τους τρόπους που έχει ο proxmox για αυτό. Αποκλείεται να φτιάξω 30 vlan με το χέρι σε 8 servers.