Homelab - το υπολογιστικό και δικτυακό οικοσύστημα του σπιτιού μας

[BlueChris]

Στην ίδια σχεδόν φάση - δυστυχώς - με τα dockers είμαι κι εγώ.
Αν και χρησιμοποιώ διάφορα dockers ήδη, είναι κάποια που δεν τα θεωρώ και ιδιαίτερα κρίσιμα.
Για παράδειγμα έχω το unifi controller σε ένα windows server.
Το σωστό θα ήταν να το βάλω σε ένα docker, αλλά είμαι σε φάση βαριέμαι/διστάζω 50/50..

Όχι αυτό κάντο... αν όχι σε docker βάλτο σε κάποιο linux καθαρό... είναι τα ζα μου αργά στα windows το συγκεκριμένο και βγάζει προβλήματα. Έτσι ήμουν και εγώ παλιά στο μαγαζί πριν πάρω το UDMP και όλο στην ταλαιπωρία ήμουν. Οκ είχα voucher κλπ, δεν ήταν απλή εγκατάσταση.

[ChriZ]

Ούτε κι εγώ δεν θυμάμαι πόσα χρόνια το έχω. Παλιά ο σέρβερ ήταν windows 2012 και έστησα ένα νέο VM 2016 ελέω EOL των 2012 και μετέφερα εκεί την εγκατάσταση
Μέχρι στιγμής δεν είχα ποτέ προβλήματα. Λίγο είχα παιδευτεί όταν άλλαξε η java, αλλά χάρη στα snapshots βρήκα τελικά τη σωστη σειρά για τη διαδικασία και όλα ΟΚ
Γι' αυτό και δεν το τσιγκλάω ...

[peragialos]

Πολύ ενδιαφέρον το θέμα. Μερικοί έχετε υποδομές που δεν έχει το 80% των ελληνικών ΜΜΕ! Διάβασα όλες τις σελίδες και θα κάνω επανάληψη πριν μπω και γω στο παιχνίδι.

[teodor_ch]

Aaaaa άρα δεν θα μπορέσω να μπω, δεν το δοκιμάζω καν γιατί είναι μέσα η Scorpios Security μόνιμα.... thx

Με docker είναι 5 λεπτά δουλειά να το δοκιμάσεις.
Δε ξέρω αν η σύνδεση του scorpios είναι με τον ίδιο τρόπο.
Εφόσον είναι αυτοί συνδεδεμένοι τότε δε θα μπορεί να μπεί το pai.

Έχω την εντύπωση ότι αυτοί συνδέονται διαφορετικά. Άλλο το IP reporting και άλλη σύνδεση του PAI.



Connection methods · ParadoxAlarmInterface/pai Wiki · GitHub

For IP150 firmware versions: < 4.x and >= 4.40.004
WARNING: When PAI will be connected to your IP150 module you will not be able to use Insite Gold. Only one connection at a time is supported by IP150 modules. There are some exceptions from this rule but details are unknown.

[BlueChris]

Πολύ ενδιαφέρον το θέμα. Μερικοί έχετε υποδομές που δεν έχει το 80% των ελληνικών ΜΜΕ! Διάβασα όλες τις σελίδες και θα κάνω επανάληψη πριν μπω και γω στο παιχνίδι.

Κοίτα μην νομίζεις. Όλο το θέμα είναι το virtualize είτε με hypervisor είτε με dockers κλπ. Αν μπεις σε αυτό το παιχνίδι τότε σου ανοίγει ένας κόσμος λειτουργιών και πειραμάτων. Χρόνος χρειάζεται πολύς βέβαια , ειδικά στην αρχή να ξεπεράσεις τα παιδικά θέματα.. μετά ισιώνεις αλλά καθημερινά μαθαίνεις γιατί αυτά εξελίσσονται κάθε λεπτό που περνάει. Εγώ τελευταία χαζεύω τα Kubernetes που είναι τζετ αλλά πρέπει να έχεις εφαρμογή που να είναι έτσι.

[riddle3]

Μηπως να το μετονομαζαμε σε serve_The_adslgr_home ?

Οχι τιποτε αλλο, αλλα το home δεν ειναι lab. Ετσι και δεν δουλευουν τα services υπαρχει θεμα με το waf (wife acceptance factor) αλλα και την γενικοτερη οικογενειακη ειρήνη.
Επισης ως γνωστον, το σπιτακι του σκύλου διαθέτει remote kvm προς αποκατάσταση των προβλημάτων και επιστροφη στο σαλόνι.

ΥΓ Redundancy δεν βλεπω. Πως επιβιώνετε?

Αν δεν κάνεις αλλαγές στο production ασχολείσαι πραγματικά με IT ? :P

Όσο για το redundancy, υπάρχει ένα er605 φλασαρισμένο με το ίδιο config, αλλάζω 2 καλώδια και ξανά έχουν internet σε 30sec.
Τα υπόλοιπα δεν είναι mission critical(πάντα για το σπίτι μιλάμε).

[minas]

Αν δεν κάνεις αλλαγές στο production ασχολείσαι πραγματικά με IT ? :P

Όσο για το redundancy, υπάρχει ένα er605 φλασαρισμένο με το ίδιο config, αλλάζω 2 καλώδια και ξανά έχουν internet σε 30sec.
Τα υπόλοιπα δεν είναι mission critical(πάντα για το σπίτι μιλάμε).

Everyone has a testing environment.
Some are lucky enough to also have a separate environment for production

[EnDLess]

Εγώ προσωπικά και το λέω ειλικρινά ποτέ δεν ασχολήθηκε με dockers, lcs κλπ... δεν ξέρω γιατί τα φοβάμαι. Πάντα όταν θέλω κάτι βάζω απλά ένα debian/ubuntu και το σηκώνω καθαρό εκεί. Ναι το overhead είναι μεγάλο αλλά έχω το κεφάλι μου ήσυχο.

Ένα γρήγορο copy paste από το history του centos...

    1  sudo yum install -y yum-utils
    2  sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
    3  sudo yum install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
    4  sudo systemctl start docker
    5  sudo systemctl enable docker
    6  sudo systemctl status docker
    8  sudo docker volume create portainer_data
    9  sudo docker run -d -p 8000:8000 -p 9443:9443 --name portainer --restart=always -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/data portainer/portainer-ee:latest
   13  sudo docker run -d --name watchtower -v /var/run/docker.sock:/var/run/docker.sock containrrr/watchtower
   14  sudo docker run -d -p 1688:1688 --restart=always --name vlmcsd mikolatero/vlmcsd
   26  docker volume create vaultwarden
   28  chmod go-rwx /var/lib/docker/volumes/vaultwarden
   30  docker pull vaultwarden/server:latest
   31  docker run -d --name vaultwarden -v vaultwarden:/data -e WEBSOCKET_ENABLED=true -p 127.0.0.1:8080:80 -p 127.0.0.1:3012:3012 --restart on-failure vaultwarden/server:latest

Το portainer είναι για την διαχείριση των dockers.
To watchtower είναι για να γίνονται update αυτόματα τα images. Πρόσθεσε στα env

WATCHTOWER_SCHEDULE 0 0 0 * * 0

για να κάνει check κάθε Κυριακή στις 0:00.
Για την γραμμή 14 δεν θα πω κάτι...
To vaultwarden για να παίξει θέλει certificate το οποίο έκδωσα μέσα από το pfsense και μετά πέρασα στα 3 pc που έχω + κινητά το trust.

Αν χρειαστεί κάποια πόρτα άνοιγμα στο centos τότε παίξτε με

179  firewall-cmd --list-all
  180  firewall-cmd --add-port=8096/tcp
  181  firewall-cmd --list-all
  182  firewall-cmd --reload

Μπορεί να χρειαστεί και το service restart...

[BlueChris]

Οκ, σήμερα ήταν η ώρα του Γιάννη Βαλαώρα οπότε ασχολήθηκα λίγο με το Proxmox.

Δεν έκανα εγκατάσταση σε bare metal γιατί δεν είχε νόημα στη δουλειά, απλά σήκωσα nested το τελευταίο proxmox πάνω σε ένα Epyc.
Του έδωσα 64gb μνήμη, 16 πυρήνες και 1tb χώρο. Όλα καλά μπήκε πολύ εύκολα. Έφτιαξα Directorys κλπ και ρύθμισα γενικά ότι καταλάβαινα.
Από εκεί και πέρα, ανέβασα ένα iso 23H2, έφτιαξα VM και έκανα και εγκατάσταση... μια χαρά.. αλλά παλεcψα να του βάλω το QEMU Guest Agent χωρίς μεγάλη επιτυχία στην αρχή. Έκανα enable στο VM το setting του QEMU, εγκατέστησα και το virtio-win-gt-x64.msi και με τα πολλά βλέπω και το IP του πλέον.

Τι έχω παρατηρήσει μέχρι τώρα σε σύγκριση πάντα με VMWare...
1. Είναι σχεδόν ισάξιο με έναν απλό esxi αλλά παιδικό σε σχέση με το vcenter.
2. Δεν μου άρεσε που όταν έβαλα τους drivers στο VM για να παίρνει ενημέρωση το proxmox, με τίποτα δεν έπαιρνε IP το vm μετά... ήθελε reboot όλο το proxmox, δεν κατάλαβα γιατί.
3. Το snapshot που έχει αργεί πολύ.. για 10gb που ήταν ο χώρος που έτρωγε το vm, έκανε 1 λεπτό.. ενώ σε esxi είσαι κλικ και τέλος. Εδώ μπορεί να φταίει το ότι έκανα directrory με thin provision στο proxmox και εκεί έχω το VM... δεν ξέρω. Από την άλλη το remove του snapshot ήταν ένα κλικ. Αυτό μου δείχνει πως δεν λειτουργεί όπως η VMWare που λες snapshot και εκείνη τη στιγμή αρχίζει και καταγράφει τις αλλαγές που γίνονται για όσο καιρό υπάρχει αυτό σε σχέση με το live σύστημα. Όταν πεις στον esxi , remove snapshot, τότε περνάει ότι έχει γίνει από την ώρα της δημιουργίας του μέχρι εκείνη τη στιγμή στον current δίσκο. Είναι διαφορετικοί τρόποι... δεν ξέρω ποιο μου αρέσει περισσότερο, ίσως της vmware γιατί δεν ξεχνάω snapshots ποτέ. Αν κάποιος πετάει ένα snapshot για backup και στηρίζεται σε αυτά ΟΚ ίσως είναι καλύτερα ο τρόπος του proxmox αλλά δεν αλλάζει το γεγονός πως για το proxmox snapshot είναι ένα ολόκληρο αντίγραφο του πρωτότυπου δίσκου.
4. Πέρασα vLan από το βασικό bridge και το vm πήρε και ip αλλά στην αρχή δεν το έβλεπα και έπρεπε να πάω στον esxi που έχει nested το proxmox να πειράξω το Promiscuous mode σε enabled αλλιώς υπάρχει θέμα.

Δεν προλαβαίνω σήμερα αλλά αύριο θα βάλω και τον Proxmox Backup Server να δω πως πάει στα backup αν και από ότι είδα το proxmox δεν είναι για live περιβάλλοντα όπως εγώ στη δουλειά.. ίσως με ΗΑ δεν ξέρω γιατί το VM πάγωσε για λίγα sec στην αρχή του snapshot.. αυτό σημαίνει πως το πρόγραμμα της Singular που χρησιμοποιούμε εδώ πχ στη δουλειά το οποίο δεν δέχεται κιχ από διακοπή δικτύου, με το πάγωμα όλοι οι χρήστες θα χάσουν το connection με τη βάση και θα πρέπει να το τρέξει πάλι κλπ και end task κλπ κλπ... Μπορεί να υπάρχουν ρυθμίσεις που να βελτιώνουν αυτή τη φάση αλλά δεν ασχολήθηκα παρακάτω...θα το κάνω όμως γιατί είναι σοβαρό.

Ερώτηση,... αυτό το Spice που έχει το proxmox. το έχει δοκιμάσει κανείς?

Tα ToDo μου λοιπόν για το proxmox είναι

1. Ceph (απλά θα σηκώσω άλλα 2 proxmox τουλάχιστον nested σε άλλους epyc να κάνω cluster να δω τι ψάρια πιάνει σε vmotion κλπ που λέει ότι κάνει)
2. Backup Server (από ότι διάβασα, τον στήνεις και μετά του δίνεις χώρο οπουδήποτε οπότε θα του δώσω με iscsi από το Backup truenas μου)
3. LXC Containers
4. Spice

και ότι άλλο χρειαστεί....

[pzoupis]

Καλησπέρα,

ξεκίνησα και εγώ πριν από λίγο καιρό να στήνω το δικό μου homelab. Αρχικά ξεκινήσα με ένα raspberry pi αλλά τώρα θα το αντικαταστήσω με ένα Dell Optiplex micro με i5.
Ήδη τρέχει proxmox και μόλις το μάθω καλύτερα θα κάνω το migration.
Το χρειάζομαι για να τρέχω pihole, vaultwarden, immich, nextcloud, *arr apps, qbittorrent και jellyfin.
Στη συνέχεια θέλω να δοκιμάσω και TrueNAS και μετά να παίξω είτε με cluster για HA είτε με proxmox backup.

[riddle3]

3. Το snapshot που έχει αργεί πολύ.. για 10gb που ήταν ο χώρος που έτρωγε το vm, έκανε 1 λεπτό.. ενώ σε esxi είσαι κλικ και τέλος. Εδώ μπορεί να φταίει το ότι έκανα directrory με thin provision στο proxmox και εκεί έχω το VM... δεν ξέρω. Από την άλλη το remove του snapshot ήταν ένα κλικ. Αυτό μου δείχνει πως δεν λειτουργεί όπως η VMWare που λες snapshot και εκείνη τη στιγμή αρχίζει και καταγράφει τις αλλαγές που γίνονται για όσο καιρό υπάρχει αυτό σε σχέση με το live σύστημα. Όταν πεις στον esxi , remove snapshot, τότε περνάει ότι έχει γίνει από την ώρα της δημιουργίας του μέχρι εκείνη τη στιγμή στον current δίσκο. Είναι διαφορετικοί τρόποι... δεν ξέρω ποιο μου αρέσει περισσότερο, ίσως της vmware γιατί δεν ξεχνάω snapshots ποτέ. Αν κάποιος πετάει ένα snapshot για backup και στηρίζεται σε αυτά ΟΚ ίσως είναι καλύτερα ο τρόπος του proxmox αλλά δεν αλλάζει το γεγονός πως για το proxmox snapshot είναι ένα ολόκληρο αντίγραφο του πρωτότυπου δίσκου.
...
1. Ceph (απλά θα σηκώσω άλλα 2 proxmox τουλάχιστον nested σε άλλους epyc να κάνω cluster να δω τι ψάρια πιάνει σε vmotion κλπ που λέει ότι κάνει)

Για τα snapshots κάτι σου πάει λάθος. Έβαλες να κρατήσει και τη ram?
Εδώ ένα snapshot σε 12GB vdisk

To συγκεκριμένο VM ζει σε lvm-thin partition σε ext4.
Επίσης και το backup στηρίζεται σε snapshots, το δημιουργεί, βγάζει τα αρχεία από το snapshot σε zst και το διαγράφει μόλις τελειώσει.
Προσωπικά μου αρέσει καλύτερα ο τρόπος του proxmox, αλλά τι εννοείς ότι δεν ξεχνάς snap ποτέ στο vmware? Στο proxmox έχει ολόκληρο tab με όλα τα snapshots του VM/container σου.

Για το ceph δεν έχω πολυ εντρυφήσει, αλλά από ότι λένε θέλει πολλές συσκευές και πολύ μα πολύ δίκτυο. Δηλαδή με 3-4 δεν θα δεις κάτι super wow.
Βέβαια δεν είναι και πολύ εύκολο να βρεις και πάνω από 10 proxmox servers με 10+gbit networking αλλά λέμε τώρα.
Αναμένουμε εντυπώσεις από αυτό.

[BlueChris]

Για τα snapshots κάτι σου πάει λάθος. Έβαλες να κρατήσει και τη ram?
Εδώ ένα snapshot σε 12GB vdisk

To συγκεκριμένο VM ζει σε lvm-thin partition σε ext4.
Επίσης και το backup στηρίζεται σε snapshots, το δημιουργεί, βγάζει τα αρχεία από το snapshot σε zst και το διαγράφει μόλις τελειώσει.
Προσωπικά μου αρέσει καλύτερα ο τρόπος του proxmox, αλλά τι εννοείς ότι δεν ξεχνάς snap ποτέ στο vmware? Στο proxmox έχει ολόκληρο tab με όλα τα snapshots του VM/container σου.

Για το ceph δεν έχω πολυ εντρυφήσει, αλλά από ότι λένε θέλει πολλές συσκευές και πολύ μα πολύ δίκτυο. Δηλαδή με 3-4 δεν θα δεις κάτι super wow.
Βέβαια δεν είναι και πολύ εύκολο να βρεις και πάνω από 10 proxmox servers με 10+gbit networking αλλά λέμε τώρα.
Αναμένουμε εντυπώσεις από αυτό.

Μάλλον έχεις δίκιο ναι, είχα τα default settings.

Σήμερα έστησα από το πρωί το PBS (Proxmox backup server). Vm φυσικά και αυτό όπου το έδωσα χώρο από to Truenas Backup Server μου μέσω NFS.. δεν το είχα ξανακάνει σε linux αλλά ήταν εύκολο μέσω mount και μετά μόνιμη δήλωση στο fstab οπότε να ξανασυνδέεται στο reboot.

Έκανα λοιπόν backup το Windows 11 που είχα φτιάξει και έκανε 1 λεπτάκι να το στείλει ο proxmox στο PBS που σώνει εντέλει στο truenas.. μια χαρά για 11-12gb windows
Τώρα το επόμενο είναι να κάνω duplicate to 1o proxmox σε άλλα 2 και να κάνω CEPH και HA...

Ακόμα εντομεταξύ δεν έχω βρει τρόπο ένα VM στο proxmox από το GUI να γίνει move ο δίσκος του από ένα datastore σε άλλο... δεν το κάνει αυτό?

- - - Updated - - -

αλλά τι εννοείς ότι δεν ξεχνάς snap ποτέ στο vmware? Στο proxmox έχει ολόκληρο tab με όλα τα snapshots του VM/container σου

Ναι στο Proxmox δεν ενοχλεί καθόλου αλλά δεν είναι καλό να αφήνεις Snapshot στο VMWare γιατί όπως εξήγησα δουλεύει ανάποδα από το proxmox. Ένα snapshot στον esxi είναι μηδενικό. Από την ώρα που το κάνεις και μετά, καταγράφονται οι αλλαγές οπότε αυτό βοηθάει ΟΛΑ τα backup προγράμματα που κάνουν differential backup γιατί κάνουν backup τις αλλαγές από τον πρωτότυπο δίσκο ή το προηγούμενο snapshot. Έτσι λειτουργεί το VEEAM και πετάει κυριολεκτικά.. δλδ 60 VM καθημερινά με τις παναγιάς τα μάτια μέσα, γίνονται backup σε κάποια λεπτά. Αν όμως αφήσεις ένα snapshot στον esxi για πολύ καιρό, τότε οι αλλαγές είναι πάρα πολλές και μόλις πεις στον esxi σβήστο, τότε και μόνο τότε τρώει πολύ χρόνο για να ενώσει το δίσκο με τις αλλαγές του/των snapshot.

Το snapshot του proxmox λειτουργεί τελείως ανάποδα λοιπόν γιατί ΔΕΝ ξεκινάει από το 0.. αλλά αντιγράφει όλο το δίσκο σαν κλώνο που ΟΚ το κάνει γρήγορα αλλά μετά δεν υπάρχει εύκολος τρόπος για differential backup. Η χαρά μου εδώ είναι τώρα πως αφού είπε η VEEAM πως ασχολούμαστε με το Proxmox και γενικά με άλλες λύσεις, ίσως συνεργαστούν με την proxmox και αλλάξει αυτός ο τρόπος snapshot ή τουλάχιστον να σου δίνει επιλογή για το αν θα είναι κανονικό ή ανάποδο.

[ChriZ]

Να είναι ανάποδο χλωμό το κόβω, γιατί θα πρέπει να αλλάξει η λογική των snapshot στο proxmox. (Eκτός και αν αποφασισουν να το κάνουν λόγω ότι θα αρχίσουν - αν αρχίσουν - συνεργασία για να υποστηριχτεί το proxmox από το veeam)
Γιατί και το veeam, όπως είπες, τη λογική του esxi ακολουθεί... ξεκινάει το job παίρνει snapshot και παίρνει το backup με βάση αυτό το snapshot

[georgios29]

Ακόμα εντομεταξύ δεν έχω βρει τρόπο ένα VM στο proxmox από το GUI να γίνει move ο δίσκος του από ένα datastore σε άλλο... δεν το κάνει αυτό?

Αν θυμάμαι καλά, δεν γίνεται από το menu του VM όπως σε esxi, αλλά επιλέγεις το VM -> Hardware -> επιλέγεις το δίσκο και πάνω έχει μια επιλογή Disk actions που έχει επιλογες για Move Storage, resize, κλπ.

[hellrider]

Αν θυμάμαι καλά, δεν γίνεται από το menu του VM όπως σε esxi, αλλά επιλέγεις το VM -> Hardware -> επιλέγεις το δίσκο και πάνω έχει μια επιλογή Disk actions που έχει επιλογες για Move Storage, resize, κλπ.

Ναι ακριβως ετσι γινετε.
Το απογευμα θα γραψω και εγω το setup μου.