MODULUS απόψεις

[CyberCr33p]

Update 14:15: "ΘA ΘEΛAME NA ΣAΣ ENHMEPΩΣOYME OTI O EKTIMΩMENOΣ XPONOΣ AΠOKATAΣTAΣHΣ EINAI ΣTIΣ 15:00. ZHTOYME ΣYΓΓNΩMH ΓIA THN ANAΣTATΩΣH. ΘA EΠANEΛΘOYME ME NEOTEPH ENHMEPΩΣH."

[daras]

Όλο και ποιο κάτω πάει ο χρόνος αποκατάστασης. Άντε να δούμε.

Βρήκαν ώρα και μέρα, Να γίνει και καμία διακοπή από ΔΕΗ να δέσει το πράγμα να τα κλείσουμε όλα να πάμε παραλία

Ε μα!

[bytelord]

φαίνεται να έχει αποκατασταθεί στις 14:57.

[chros]

Εγώ δεν έχω ούτε εισερχόμενες ούτε εξερχόμενες ακόμα

[bytelord]

Εγώ δεν έχω ούτε εισερχόμενες ούτε εξερχόμενες ακόμα

Δες το registration.

[tmltd]

στο τηλεφωνικό κέντρο στην εταιρεία σε 2 trunk έχω registration κανονικά πριν από λίγο αλλά ούτε εισερχόμενες ή εξερχόμενες ακόμα

[Papados]

φαίνεται να έχει αποκατασταθεί στις 14:57.

Εδω δεν δουλευει τιποτα ακόμα.

[chros]

Register κανονικά, εξερχόμενες μάλλον κανονικά, εισερχόμενες όχι.

[Papados]

Εφτιαξε. Κανονικα και εισερχόμενες και εξερχόμενες.

Καλό θα ήταν να υπήρχε και μια πληροφόρηση για το τι έγινε.

[CyberCr33p]

Το έστειλαν με e-mail:

Την Πέμπτη 29/07/21 αντιμετωπίσαμε πολύ σοβαρό πρόβλημα στις υποδομές μας και πιο συγκεκριμένα στο cluster των βάσεων δεδομένων με αποτέλεσμα τη γενικότερη αδυναμία εξυπηρέτησης κλήσεων (εισερχόμενων και εξερχόμενων). Δυστυχώς, η διαδικασία μετάπτωσης σε έτερο cluster το οποίο αποτελεί replication του πρώτου (διάταξη active-passive) απέτυχε. Αυτό είχε ως αποτέλεσμα την προσπάθεια επίλυσης του προβλήματος απευθείας στα παραγωγικά συστήματα των βάσεων σε συνεργασία με τον vendor (MariaDB Enterprise) που μας υποστηρίζει. Το πρόβλημα αντιμετωπίστηκε και τα συστήματα μας επανήλθαν μετά από περίπου 2 ώρες και 30 λεπτά.

Έπειτα της αποκατάστασης, έγινε περαιτέρω διερεύνηση των αιτίων του προβλήματος και πιθανών τρόπων αντιμετώπισης του. Με βάση τα ευρήματα που βρέθηκαν, δημιουργήθηκε ένα πλάνο για την οριστική αντιμετώπιση του εν λόγω προβλήματος.

Δυστυχώς, σήμερα Τρίτη 03/08/21 και χωρίς να έχουμε προλάβει να εφαρμόσουμε τις διορθώσεις που απαιτούνταν και να θέσουμε εκ νέου σε λειτουργία τη διαδικασία μετάπτωσης στο passive σύστημα, αντιμετωπίσαμε εκ νέου το ίδιο πρόβλημα, με αποτέλεσμα και πάλι τη γενικότερη αδυναμία εξυπηρέτησης κλήσεων (εισερχόμενων και εξερχόμενων) για περισσότερο από 4 ώρες.
Το πρόβλημα αντιμετωπίστηκε το ταχύτερο δυνατό, αναπτύσσοντας και θέτοντας σε λειτουργία ένα νέο σύστημα βάσεων δεδομένων προκειμένου να επιτύχουμε αποκατάσταση και επαναφορά των κατ' ελάχιστο δεδομένων που απαιτούνται για την απρόσκοπτη δρομολόγηση των κλήσεων.

Αντιλαμβανόμαστε ότι τέτοιας φύσεως προβλήματα δημιουργούν αμφιβολίες για την αξιόπιστη και δίχως προβλήματα παροχή της υπηρεσίας. Από πλευράς μας, θα θέλαμε να σας διαβεβαιώσουμε ότι πρώτο μας μέλημα είναι η απρόσκοπτη λειτουργία της υπηρεσίας, αντιλαμβανόμενοι πόσο σημαντική είναι η παροχή τηλεπικοινωνιακών υπηρεσιών σε όλους τους συνδρομητές μας. Γι' αυτό το λόγο άλλωστε υπάρχουν συμβόλαια με τους vendors για το σύνολο του εξοπλισμού και του λογισμικού που χρησιμοποιούμε και παρουσία σε δύο datacenters στην Ελλάδα (Lamda Hellix & TI Sparkle).

Έχουμε ήδη προγραμματίσει το Σάββατο 14/08/21, σε συνεργασία με τον κατασκευαστή που μας υποστηρίζει την πλήρη αντικατάσταση του εν λόγω συστήματος. Προκειμένου να αντιμετωπιστεί προσωρινά το πρόβλημα μέχρι τότε, έχει προγραμματιστεί σήμερα και αύριο να τεθούν σε εφαρμογή προληπτικές ενέργειες.

Δεδομένου ότι και τα δύο προβλήματα ξεπέρασαν σε διάρκεια τις 2 ώρες και 15 λεπτά, η modulus θα προβεί στην εφαρμογή του άρθρου 9.1 της υπογραφείσας μεταξύ μας σύμβασης παροχής υπηρεσιών και κατ' επέκταση θα προχωρήσει σε πίστωση του τμήματος των καταβαλλόμενων ετήσιων παγίων, που αντιστοιχούν προς τη χρονική περίοδο των δύο διακοπών, το οποίο θα αποτυπωθεί στον λογαριασμό του Αυγούστου.

Και πάλι, θα θέλαμε να ζητήσουμε συγνώμη για αδυναμία παροχής των υπηρεσιών, ελπίζοντας ότι στο εγγύς μέλλον θα μπορέσουμε και πάλι να ανταποκριθούμε πλήρως στις προσδοκίες σας.

[BlueChris]

Να χέσω τη MariaDB και την SofiaDB.. έλεος με αυτές τις τσιπιές σε μεγάλες εταιρείες που θέλουν και fault tolerance με αυτά τα πράγματα.

[Nikiforos]

Καλησπερα, σε εμενα παντως κανενα προβλημα και δεν μου ηρθε και κανενα email. Εκτος αν εγινε κατι σε στιγμη που δεν μιλαγαμε και δεν μας πηραν και δεν το καταλαβαμε φυσικα.

[Kapnos]

Να χέσω τη MariaDB και την SofiaDB.. έλεος με αυτές τις τσιπιές σε μεγάλες εταιρείες που θέλουν και fault tolerance με αυτά τα πράγματα.

Μια χαρά fault tolerance έχει το Μαράκι, και primary/slave και active standby κλπ κλπ. Όλα ξεκινούν από το config και το settup, αν δεν ξέρουν οι κύριοι πώς να το κάνουν είναι άλλο θέμα.

[BlueChris]

Μια χαρά fault tolerance έχει το Μαράκι, και primary/slave και active standby κλπ κλπ. Όλα ξεκινούν από το config και το settup, αν δεν ξέρουν οι κύριοι πώς να το κάνουν είναι άλλο θέμα.

Δεν το ήξερα και το έψαξα και έχεις δίκιο. Σε όλα τα πράγματα η υλοποίηση είναι το θέμα.

[jap]

Μπήκα στο thread να δω τι έπαιξε, αφού πήρα το email ως πρώην συνδρομητής τους. Από τη μια θετικότατη η λεπτομερέστατη (στο βαθμό που απευθύνεται σε μη τεχνικούς) ενημέρωση για το τι συνέβη. Από την άλλη, δεν μπορώ να κρίνω αν αντιμετώπισαν σωστά την όλη κατάσταση. Θα συμφωνήσω με το προηγούμενο post του bytelord:

Το πιο πιθανό είναι να έχουν αυξήσει τη πελατιακή τους βάση αρκετά με αποτέλεσμα το impact να είναι μεγαλύτερο. Φαίνεται ότι δεν έχουν failover υποδομή γιατί όποτε έχουν θέμα επηρεάζεται όλη η υποδομή τους, τηλεφωνία, my.modulus.gr κλπ.
Όταν ανεβαίνεις κατηγορία επενδύεις και πιο πολλά στην υποδομή σου. Είναι 2η ημέρα, έχει περάσει την ώρα και το μονο που ξέρουμε είναι ότι "μηχανικοί μάχονται στα χαρακώματα".