[Remote Network Monitoring] "TR-069" bot

[finos]

Καλησπέρα ,
Εδώ κι αρκετό καιρό βρήκα τη ανάγκη να έχω ενημερώσεις/ ειδοποιήσεις για τη κατάσταση της VDSL μου όσο είμαι εκτός του πατρικού μου . Αυτό γιατί και έχω home server με διάφορες υπηρεσίες (από e-book libraries σε password managers μέχρι και Network Attached Storage), έχοντας πρόσβαση σε αυτές με μια VPN σύνδεση . Αλλά και καθώς μετά από «παράπονα» των χρηστών του τοπικού δικτιού «δεν έχουμε internet/ έπεσε το Wi-Fi » ενώ πολύ απλά μπορεί να … ήταν το DNS (it’s always DNS ) …

Επιλέχθηκε η πλατφόρμα Discord για τη εύκολη πρόσβαση που μας δίνει στο API της για bots (με έτοιμες βιβλιοθήκες για Python όπως η NextCord που χρησιμοποιήσαμε ) καθώς και γιατί τo χρησιμοποιούμε για τη καθημερινή μας επικοινωνία.
Ξεκινήσαμε το development υποστηρίζοντας μόνο τα rooted technicolor TG789 & DGA413x (θεωρώ πως και αλλά CPE της technicolor θα δουλέψουν αν υπάρχουν τα κατάλληλα credentials για login από SSH , καθώς δεδομένα περνούμε με τη εντολή xdslctl ).Προχωρήσαμε στην υποστήριξη του ZTE ZXHN H267A , με έναν (κάπως) ανορθόδοξο τρόπο , με scraping του web Interface του και reverse engineering τις διαδικασίες του login, μη έχοντας άλλη επιλογή και για να το κάνουμε resource friendly. Έχουμε αναφορές πως λειτουργεί ως έχει και για το άλλο μοντέλο ZTE, το H288A. Στα σχέδια μας είναι να υποστηρίζουμε και αλλά routers , ξεκινώντας από το ZTE h1600 και το openWRT , με όσα routers έχουν το κατάλληλο dsl chipset
Για την αποθήκευση των δεδομένων αρχικά χρησιμοποιήσαμε Round Robin Database (RRD), και έπειτα από αυτήν δημιουργήσαμε τα γραφήματα που στέλνει το bot στο discord ως εικόνα. Αργότερα χρησιμοποιήσαμε την influxDB και ένα script που την κάνει update (λεπτομέρειες παρακάτω), για να έχουμε καλύτερο data visualisation χρησιμοποιώντας το grafana. Και οι δύο βάσεις δεδομένων ενημερώνονται κάθε 10 λεπτά.

Ένα 2ο Script , «μιλάει» με το discord ως bot, κατόπιν του αντίστοιχου αιτήματος το bot μας στέλνει ένα report από τα στατιστικά της γραμμής


ακούει για εντολές «reboot» (προς το παρόν supported μόνο σε technicolor , χρήσιμο σε περίπτωση που το CPE έχει κολλήσει, έχει μεγαλώσει κατά πολύ ο αριθμός των FEC/CRC σφαλμάτων κτλ. ). Ενημερώνει με pings (μηνύματα το discord Που έρχονται με υψηλή προτεραιότητα), καθώς και αν η xDSL σύνδεση «έπεσε»


( προφανώς για αυτό είναι απαραίτητο να υπάρχει μια 2η σύνδεση με το Internet, εγώ είχα στη διάθεση μου μια απλή adsl , αλλά και μια σύνδεση τύπου NB-IOT με sim card Και ένα 4g modem θα ήταν κάτι παραπάνω από ικανή να το υποστηρίξει , καθώς τα δεδομένα που αποστέλλονται είναι πολύ λίγά και μια Public ip δε είναι απαραίτητη ).

Το Setup μου απαρτίζεται και από ένα Pfsense appliance ως router/Firewall . Αυτό βγάζει τη PPP Κλήση , διαχειρίζεται το DDNS και είναι ο VPN server .

Με τις IPv4 να τελειώνουν , οι ISP υλοποιούν διαφορά tricks όπως το CGNAT αυτό εμένα μου κάνει τη ζωή δύσκολη καθώς δε μπορώ να ανοίξω πόρτες προς τα έξω.
Ένα ακόμη Bot , ποιο απλό αυτή τη φορά , αναλαμβάνει το monitoring του PFSense, μας ενημερώνει με pings για το αν βρει CGnat και σε περίπτωση που το DDNS αποτύχει , μας ενημερώνει για τη WAN IP που έχει κάθε στιγμή το WAN interface , καθώς και σε αλλαγές αυτής .



Εδώ βλέπετε ένα screenshot από το dashboard του Grafana . μας δείχνει plots Με τις Sync & Attainable Speeds , τα FEC και CRC errors καθώς και το SNR και το Power . Στο Attenuation up , είχαμε ένα θέμα καθώς το ίδιο το Modem , με τη εντολή xdslctl μας επέστρεφε 0. Δεν είναι δικό μας σφάλμα, πράγματι επιστρέφει τόσο.


Όλα τα scrips τρεχουν ειτε ως Services πανω σε Debian ειτε σε docker container .

Οδηγίες για τη υλοποίηση όλων αυτών εχουμε ή τις ετοιμάζουμε και θα Εχουμε στις επόμενες ημέρες στο GitHub repo .

Special thanks στον TheTonk, τον developer του Project που ανέλαβε και τη ανάπτυξη του python κώδικα
(εγώ ανέλαβα το Networking / DevOps κομμάτι του project)

GitHub repo : https://github.com/finos2/TR069-Bot

[vat]

Ωραία η δουλειά σας, αλλά γιατί δεν προτιμάτε ένα exporter για prometheus ή influxdb? Με αυτόν τον τρόπο ο κάθε ένας μπορεί να κανονίσει τα δικά του notifications κ.λπ

[finos]

Ενα χρονο μετα τη παρουσίαση του project αυτού σας φέρνω τη καινούρια βελτιωμένη έκδοση του.

Ας δουμε τι αλλαξε..


1.Ενημέρωση της Βάσης δεδομένων InfuxDB στη V2
το project ξεκίνησε με τη V1 της InfluxDB , οπου υποστήριζε InfluxQL.
Οι mainteners της βάσης σταμάτησαν να τη υποστηρίζουν και επρεπε να μεταφερθούμε σε V2 και σε Flux syntax.
Αυτό διορθώνει και το πρόβλημα του @vat οπου ηθελε notifications . Πλεον μεσα απο τη V2 μπορει να γινει τετοια ρύθμιση
2. Καινούριος Grafana Dashboard με τις απαραίτητες βελτιώσεις και τροποποιήσεις για τη flux καθως κι διορθωσεις σε bugs και
ελαττώματα που ήρθαν στη επιφάνεια τον 1 αυτο χρονο χρήσης
3. προστέθηκαν κι αλλα μοντέλα στη βιβλιοθήκη modem.py , εκτος απο τα technicolor και το h267a με τα οπαία ξεκινήσαμε , προστέθηκαν κι αλλα 3 μοντέλα
- To openWRT Που σας ειχα υποσχεθεί στο 1ο Post
- Το Η1600 του Οτε , μετα απο αιτημα του @riddle3
- Τα Draytek 2765 Series VDSL2 modems (και πιθανότατα όπως ειδα στο CLI reference των Draytek θα δουλεύει κι με αλλα μοντέλα)
- more to come
4. Αναβάθμιση του PFsenseBot και σε καινούριο API καθως το προηγουμενο ηταν πολυ περιορισμενο . Πλεον εχουμε προσβαση για get/set σε καθε παραμετρο του firewall
(αν και εχω υλοποιήσει μονο τα bare minimum αυτα που χρειαζόμουν Και οι ιδέες ειναι παντα ευπρόσδεκτες )



Αναμένουμε τα σχολια , τις παρατηρήσεις σας και τις ιδεες σας.

[vat]

Το μόνο που μένει είναι ένα docker container

[finos]

Το μόνο που μένει είναι ένα docker container

κάποιος () δε ανέβασε το "installation on docker " στο wiki ...
Θα τελειώσω απο εξεταστική και θα το περιποιηθώ ...

Spoiler:

Να το περιποιηθώ και με ... nut integration ... για να μπορούμε να ρίχνουμε κι απο κανενα βλέφαρο και στα UPS μας