Κρίσιμα ερευνητικά δεδομένα 77TB, χάθηκαν από το Πανεπιστήμιο του Κιότο, από κακή αναβάθμιση του HP supercomputer

[nnn]

Το Πανεπιστήμιο του Κιότο έχασε ένα τεράστιο όγκο 77 TB κρίσιμων ερευνητικών δεδομένων από τον υπερυπολογιστή του, επειδή η Hewlett Packard Enterprise (HPE) εξέδωσε μια ενημερωμένη έκδοση λογισμικού που προκάλεσε δυσλειτουργία ενός σεναρίου και διαγραφή των δεδομένων αντιγράφων ασφαλείας. Ως αποτέλεσμα, μέρες εργασίας χάθηκαν και ένα σημαντικό μέρος των δεδομένων που σβήστηκαν χάθηκε για πάντα.

Το Πανεπιστήμιο του Κιότο έχασε περίπου 34 εκατομμύρια αρχεία από 14 ερευνητικές ομάδες που δημιουργήθηκαν από τις 14 έως τις 16 Δεκεμβρίου, σύμφωνα με το The Stack. Το GizChina ανέφερε ότι το πανεπιστήμιο δεν μπόρεσε να αποκαταστήσει τα δεδομένα από τέσσερις ομάδες μέσω αντιγράφων ασφαλείας και ως εκ τούτου χάνονται για πάντα. Αρχικά, οι ειδικοί από το Κιότο πίστευαν ότι το πανεπιστήμιο έχασε έως και 100TB, αλλά αποδείχθηκε ότι το όριο της καταστροφής ήταν 77TB δεδομένων.

Η HPE προώθησε μια ενημερωμένη έκδοση που προκάλεσε δυσλειτουργία ενός script που διαγράφει αρχεία καταγραφής άνω των δέκα ημερών. Ωστόσο, αντί να διαγράψει τα παλιά αρχεία καταγραφής που ήταν αποθηκευμένα μαζί με τα αντίγραφα ασφαλείας σε ένα σύστημα αποθήκευσης μεγάλης χωρητικότητας, αντί γι' αυτό έσβησε όλα τα αρχεία από το αντίγραφο ασφαλείας, διαγράφοντας 77TB κρίσιμων ερευνητικών δεδομένων.

Η HPE παραδέχθηκε ότι η ενημέρωση λογισμικού της προκάλεσε το πρόβλημα και ανέλαβε 100% την ευθύνη.

"Από τις 17:32 της 14ης Δεκεμβρίου 2021 έως τις 12:43 της 16ης Δεκεμβρίου 2021, λόγω ελαττώματος στο πρόγραμμα που δημιουργεί αντίγραφα ασφαλείας του αποθηκευτικού χώρου του συστήματος υπερυπολογιστή (κατασκευασμένο από την ιαπωνική Hewlett Packard), το σύστημα υπερυπολογιστή [παρουσίασε βλάβη]", αναφέρεται σε δήλωση της HPE που μεταφράστηκε από την Google. "Ως αποτέλεσμα, συνέβη ένα ατύχημα κατά το οποίο ορισμένα δεδομένα του αποθηκευτικού χώρου υψηλής χωρητικότητας (/LARGE0) διαγράφηκαν ακούσια. [...] Το αρχείο καταγραφής αντιγράφων ασφαλείας του παρελθόντος που ήταν αρχικά περιττό λόγω προβλήματος στην απρόσεκτη τροποποίηση του προγράμματος και της διαδικασίας εφαρμογής του κατά την επισκευή της λειτουργίας του προγράμματος αντιγράφων ασφαλείας από την ιαπωνική Hewlett Packard, τον προμηθευτή του συστήματος υπερυπολογιστών. Η διαδικασία διαγραφής αρχείων δυσλειτουργούσε ως διαδικασία διαγραφής αρχείων κάτω από τον κατάλογο /LARGE0".

Η ομάδα ανέστειλε τη διαδικασία δημιουργίας αντιγράφων ασφαλείας στον υπερυπολογιστή. Παρόλα αυτά, το Πανεπιστήμιο του Κιότο σκοπεύει να επαναλάβει τη διαδικασία δημιουργίας αντιγράφων ασφαλείας μέχρι το τέλος Ιανουαρίου, αφού διορθώσει το πρόβλημα του λογισμικού και του σεναρίου και λάβει μέτρα για την αποφυγή επανάληψης.

Translated with www.DeepL.com/Translator (free version)

Πηγή : Tom's Hardware

[tsigarid]

Χρησιμοποιώ supercomputer, και ένα τέτοιο σενάριο είναι doom's day

Κρίμα τα παιδιά που χάσανε δεδομένα από διδακτορικά και εργασίες και θα πρέπει να επαναλάβουν τις προσομοιώσεις...

[konig]

HOPE AND PRAY

[Φιλόσοφος_Στ@ρχίδας]

Δεν λέω, είναι πολλά τα data, αλλά μήπως το scriptακι έκανε πρώτα delete και μετά backup;

[BlueChris]

Από τις 17:32 της 14ης Δεκεμβρίου 2021 έως τις 12:43 της 16ης Δεκεμβρίου 2021

14 ομάδες σε 4 ημέρες δημιούργησαν 77TB DATA!!!!!!!!!!!!!!! νταξ δεν υπάρχει...όλα βίντεο ήταν?

[megahead13]

14 ομάδες σε 4 ημέρες δημιούργησαν 77TB DATA!!!!!!!!!!!!!!! νταξ δεν υπάρχει...όλα βίντεο ήταν?

Καλά αυτό δεν είναι τίποτα. Αν τα 77ΤΒ σε 4 ημέρες σου φαίνονται πολλά, έλα σε μας να δεις οι engineering ομάδες στην Αμερική να δεις πόσα TB δεδομένων δημιουργούν με τα simulations που τρέχουν στον HPC cluster.

[tsigarid]

14 ομάδες σε 4 ημέρες δημιούργησαν 77TB DATA!!!!!!!!!!!!!!! νταξ δεν υπάρχει...όλα βίντεο ήταν?

Στις καλές μέρες μου εγώ δημιουργώ 1-2ΤΒ/μέρα, δεν είναι παράλογο νούμερο, και καμία σχέση με video.

[tiatrou]

14 ομάδες σε 4 ημέρες δημιούργησαν 77TB DATA!!!!!!!!!!!!!!! νταξ δεν υπάρχει...όλα βίντεο ήταν?

Μάλλον δεν ξέρεις πως λειτουργεί η έρευνα. Τρέχουν προσομοιώσεις, που διαρκούν πολλές ώρες ή και μέρες και στη συνέχεια αποθηκεύουν προσωρινά ή μόνιμα τα αποτελέσματα, από τα οποία εξάγουν τα τελικά συμπεράσματα.

[GreekStatistic]

Λιγο ασχετο αλλα γενικα ακομα μηχανικους δισκους στις "φαρμες" εχουν για αποθηκευση η εχουν γυρισει σε ssd?

[Hetfield]

14 ομάδες σε 4 ημέρες δημιούργησαν 77TB DATA!!!!!!!!!!!!!!! νταξ δεν υπάρχει...όλα βίντεο ήταν?

Για υπερυπολογιστες και λιγο ειναι.
Η τεραστια επεξεργαστικη ισχυς ενος υπερυπολογιστη επεξεργαζεται δεδομενα σε μεγαλη κλιμακα - αυτα καπου πρεπει να αποθηκευτουν (προσωρινα/μονιμα).

[BlueChris]

thx παιδιά, κατάλαβα...

[tsigarid]

Λιγο ασχετο αλλα γενικα ακομα μηχανικους δισκους στις "φαρμες" εχουν για αποθηκευση η εχουν γυρισει σε ssd?

Δεν νομίζω να υπάρχει κοινή στρατηγική, λογικά ανάλογα με τα λεφτά του καθενός. Οι φυσικοί δίσκοι δεν είναι το κύριο μέλημά τους σε supercomputers, οι επεξεργαστική ισχύς είναι που μετράει κυρίως.

[georgemv]

Με σωστή μελέτη μπορείς με ένα μείγμα HDD/SDD να φτάσεις το 99% της απόδοσης καθαρά SSD λύσης.
Δύσκολα να έχεις dataset που θα απαιτεί 100% SSD σε τέτοια μεγέθη.

[ipo]

Το ζήτημα της ακούσιας διαγραφής αρχείων και backup είναι πολύ σοβαρό, αλλά σε πρώτη ανάγνωση νομίζω ότι οι συνέπειες δεν μου φαίνονται τόσο μεγάλες. Χαθήκαν 2 ημέρες εργασίας 14 ομάδων. Ερευνητικά δεδομένα είναι, θα αφιερώσουν οι 14 ομάδες επιπλέον 2 ημέρες και θα τα επαναδημιουργήσουν.

Αν υπήρχε κάτι πολύ ευαίσθητο, θα υπήρχε και offline backup.

[badweed]

δεν μπορουν να τα επαναφερουν τα δεδομενα ;