Ομαδική προσπάθεια για την ανάλυση δεδομένων σχετικά με την επιδημία Covid-19 σε πολλαπλά επίπεδα

[objecto]

Χαιρετισμούς σε όλο το φόρουμ.

Ξεκινάω το thread για brainstorming σχετικά με την συγκέντρωση ετερογενών datasets και την δημιουργία ενός διαδραστικού report για την ανάλυση της επιδημίας.
Αυτό σημαίνει οτι ιδανικά θα μπορούμε από απλές απεικονίσεις των δεδομένων να γίνει σύνδεση με τις οικονομικές επιπτώσεις, εξάπλωση, σύστημα υγείας και πολλά άλλα αρκεί να υπάρχουν τα δεδομένα και η έμπνευση.

Δυστυχώς για κάποιους οι γνώσεις μου περιορίζονται στην οικογένεια microsoft που όμως έχει ένα απο τα καλύτερα BI εργαλεία (αν όχι το καλύτερο αυτή την στιγμή) το οποίο είναι εντελώς free όσον αφορά για δεδομένα τα οποία θα γίνουν published δημοσίως και δεν αποσκοπούν σε κέρδος.
Περιμένω ιδέες προτάσεις, προσεγγίσεις και όσοι έχετε εμπειρία σε στατιστική θεωρία ή ακόμα και data analytics και ML με Python ή R θα είστε ιδιαίτερα πολύτιμοι.

[stel67]

Εγώ μπορώ να συνεισφέρω ένα xls με τα αναλυτικά στοιχεία των ανακοινώσεων του EOΔΥ. Links για τα στοιχεία που δημοσιεύει ο ECDC το IHME και αρκετά δημογραφικά στοιχεία που έχω μαζέψει από εδώ κι από εκεί. Θα προτιμούσα να δουλεύαμε με κάτι open source και nosql (πχ mongo db) αν και το RDBMS το κατέχω πολύ καλύτερα, για να μάθω κάτι καινούργιο.
Για το front end κομμάτι, δεν έχω άποψη. Μπορώ να βοηθήσω με python, αν και το φορτε μου είναι η C.
Που σκέφτεσαι να γίνει host ?

[objecto]

Κοίτα να δεις, στο power bi μπορώ να έχω σαν datasources ακόμα και tsv ή csv, xls/xlsx ή ακόμα και PDF που βρίσκονται σε google drive ή κάποιου τέτοιου είδους κοινό χώρο. Επίσης οποιαδήποτε open source db της αρεσκείας σου.
Στην συνέχεια με το free, power bi desktop γίνεται το ETL, μοντελοποίηση, calculations και "διαστάσεις" και ανεβαίνει στην Vertipaq. Εκεί γίνεται ισχυρή συμπίεση για να σου δώσω να καταλάβεις 250GB ERP γίνεται μερικές εκατοντάδες MB. Τέλος πάντων αν σε ενδιαφέρει να σου δώσω να διαβάσεις πως δουλεύει η vertipaq.
To UI είναι πάλι (κάπου μέσα στο Azure) μαζί με την vertipaq στον ίδιο χώρο και έχει μια τέτοια μορφή... Όλα αυτα free...

https://community.powerbi.com/t5/Dat...t/td-p/1193474

[stel67]

Δείξε λίγη κατανόηση. Με πιάνει αναφυλαξία βλέποντας το λογότυπο του Azure. Θα προτιμούσα κάτι ουδέτερο που θα μπορούσε ανά πάσα στιγμή να μεταφερθεί σε κάποιο άλλο περιβάλλον. Λοιπόν, εγώ ευχαρίστως να συνεισφέρω αυτά που έγραψα πιο πάνω. Μπορώ λοιπόν να σου ετοιμάσω το data κομμάτι. Θα αναλάβεις το presentation ?

[objecto]

Μην πήξεις να κάνεις προετοιμασία αν δεν θες. Και τα datasources να μου βρεις μου είναι υπεραρκετό. Δεν μπορείς να φανταστείς τι μπελάς είναι.
Πχ Eurostat, ειναι να πυροβολιέσαι... πλέον έχω βγάλει άκρη αλλά στην αρχή εγκεφαλικό.

[stel67]

https://www.ecdc.europa.eu/en/public...ases-worldwide
https://www.ecdc.europa.eu/en/public...vid-19-testing
http://www.healthdata.org/covid/data-downloads

[objecto]

https://www.ecdc.europa.eu/en/public...ases-worldwide
https://www.ecdc.europa.eu/en/public...vid-19-testing
http://www.healthdata.org/covid/data-downloads

Thanks θα τα κοιτάξω και σου λέω.

[gcf]

Εδώ είναι η σελίδα του ΥΠΑΙΘ με την ημερήσια ενημέρωση για τα κλειστά σχολεία.
Δεν εμφανίζει ιστορικότητα, ίσως με διάβασμα και τροποποίηση των scripts πίσω της μπορεί να τραβήξει κανείς instances για το παρελθόν αν και είναι longs hot.
https://covid19-schools.cti.gr/info.html

[objecto]

Εδώ είναι η σελίδα του ΥΠΑΙΘ με την ημερήσια ενημέρωση για τα κλειστά σχολεία.
Δεν εμφανίζει ιστορικότητα, ίσως με διάβασμα και τροποποίηση των scripts πίσω της μπορεί να τραβήξει κανείς instances για το παρελθόν αν και είναι longs hot.
https://covid19-schools.cti.gr/info.html

Μπράβο παιδιά. Το 2ο δυστυχώς το "Από" το έχει μόνο μέσα στις σημειώσεις και δεν ξερω αν θα καταφέρω να το τραβήξω γιατί θα μου ήταν πολύ χρήσιμο να αντιπαραβάλω την πορεία της επιδημίας με την στιγμή της απόφασης και να βγάλω συμπεράσματα.

[badweed]

Μπράβο παιδιά. Το 2ο δυστυχώς το "Από" το έχει μόνο μέσα στις σημειώσεις και δεν ξερω αν θα καταφέρω να το τραβήξω γιατί θα μου ήταν πολύ χρήσιμο να αντιπαραβάλω την πορεία της επιδημίας με την στιγμή της απόφασης και να βγάλω συμπεράσματα.

το "απο" (μαζι με το εως ) ειναι ενα string 22 με 23 χαρακτηρες στο τελος του πεδιου , οπου ο προηγουμενος χαρακτηρας ειναι το κλεισιμο παρενθεσης ΄)'
θα μπορουσε δηλαδη να προσεγγιστει ετσι .

και το "από" ή και το "εώς και" θα μπορουσε να αποτελει κλειδι για την απομονωση της ημερομηνιας , για το εως φτανει να παρεις 5 χαρακτηρες απο το δεξι μερος του πεδιου "παρατηρησεις"
βλεπω οτι εχουν διαφορετικο χρωμα , αυτα που δεν εχουν καταχωρησεις σε αυτο το πεδιο(απο το οτι ειναι αδειο το πεδιο , πρεπει να προκυπτει το χρωμα)


εδω το table ειναι πιο αυτουσιο
https://covid19-schools.cti.gr/table.html
και εχει download για xlsx και json

[objecto]

το "απο" (μαζι με το εως ) ειναι ενα string 22 με 23 χαρακτηρες στο τελος του πεδιου , οπου ο προηγουμενος χαρακτηρας ειναι το κλεισιμο παρενθεσης ΄)'
θα μπορουσε δηλαδη να προσεγγιστει ετσι .

και το "από" ή και το "εώς και" θα μπορουσε να αποτελει κλειδι για την απομονωση της ημερομηνιας , για το εως φτανει να παρεις 5 χαρακτηρες απο το δεξι μερος του πεδιου "παρατηρησεις"
βλεπω οτι εχουν διαφορετικο χρωμα , αυτα που δεν εχουν καταχωρησεις σε αυτο το πεδιο(απο το οτι ειναι αδειο το πεδιο , πρεπει να προκυπτει το χρωμα)


εδω το table ειναι πιο αυτουσιο
https://covid19-schools.cti.gr/table.html
και εχει download για xlsx και json

Μια ματιά που έριξα όλα ξεκινάνε με , από dd/mm/yy , αν και μερικά έχουν πολλαπλό. Οπότε μάλλον θα έχω και περιπτώσεις 1 to many και θα πέρνω το min απο αυτά. Αρκεί να μου το απομονώσει σωστά. Αλλιώς θα πρέπει να πέσει python εκει. Οκ.

- - - Updated - - -

Πόσο μαμάτος είμαι, τέλειο το έκανα.

Spoiler:

Έχει πάνω κουμπάκι εξαγωγή σε XLS και είχε έτοιμο το απο...

[Eruyome(MMXGN)]

Καλησπέρα,

Δεν θα ταν καλύτερο το νήμα να ναι στο τομέα του προγραμματισμού;

Μπορώ να συνεισφέρω αν χρειαστεί scraping (πχ tweets), ανάλυση φυσική γλώσσας, τέτχια πράγματα. Κατέω Python, R, και ML εργαλεία.

Objecto δεν θα θελες να φτιάξεις ένα Github με όλα αυτά;

[objecto]

Καλησπέρα,

Δεν θα ταν καλύτερο το νήμα να ναι στο τομέα του προγραμματισμού;

Μπορώ να συνεισφέρω αν χρειαστεί scraping (πχ tweets), ανάλυση φυσική γλώσσας, τέτχια πράγματα. Κατέω Python, R, και ML εργαλεία.

Objecto δεν θα θελες να φτιάξεις ένα Github με όλα αυτά;

Ισως καλό να ήταν εκεί έχεις δίκιο, ας το μεταφέρει κάποιος Admin αν θέλει.

Αυτό που λες ειναι πολύ χρήσιμο αν μπορούσαμε να πάρουμε και sentiments απο fb ή άλλα αντίστοιχα classifications από φυσικό γραπτό λόγο στα social.
Αν νομίζεις οτι μπορείς να φτιάξεις ένα χρήσιμο dataset και να δούμε πως μπορούμε να βρούμε correlations στην συνέχεια.
Μια χαρούλα μπράβο.

Ναι πιθανότατα ενα github project θα γίνει.

[Eruyome(MMXGN)]

Ισως καλό να ήταν εκεί έχεις δίκιο, ας το μεταφέρει κάποιος Admin αν θέλει.

Αυτό που λες ειναι πολύ χρήσιμο αν μπορούσαμε να πάρουμε και sentiments απο fb ή άλλα αντίστοιχα classifications από φυσικό γραπτό λόγο στα social.
Αν νομίζεις οτι μπορείς να φτιάξεις ένα χρήσιμο dataset και να δούμε πως μπορούμε να βρούμε correlations στην συνέχεια.
Μια χαρούλα μπράβο.

Ναι πιθανότατα ενα github project θα γίνει.

Υπάρχει αυτό: https://developer.twitter.com/en/doc...tream/overview μπορείς να βγάλεις τα tweets ανα γλώσσα αλλα δίνουν access μονο σε εγκεκριμένους researchers οπότε θα το κρατήσω αν προχωρήσει.

Ζητάνε συγκεκριμένο πλάνο το πως θα τα χρησιμοποιήσω και πρέπει να περάσει review. Οπότε το κρατάω στην άκρη. Για facebook δεν νομίζω να υπάρχει κάτι αντίστοιχο.

Εναλλακτικά, θα μπορούσαμε να κάνουμε scrape γνωστές σελίδες με ScraPy, θα ενδιέφερε κάτι τέτοιο σε κάτι;

[objecto]

Υπάρχει αυτό: https://developer.twitter.com/en/doc...tream/overview μπορείς να βγάλεις τα tweets ανα γλώσσα αλλα δίνουν access μονο σε εγκεκριμένους researchers οπότε θα το κρατήσω αν προχωρήσει.

Ζητάνε συγκεκριμένο πλάνο το πως θα τα χρησιμοποιήσω και πρέπει να περάσει review. Οπότε το κρατάω στην άκρη. Για facebook δεν νομίζω να υπάρχει κάτι αντίστοιχο.

Εναλλακτικά, θα μπορούσαμε να κάνουμε scrape γνωστές σελίδες με ScraPy, θα ενδιέφερε κάτι τέτοιο σε κάτι;

Δεν το ξέρω το συγκεκριμένο, οπότε αν νομίζεις οτι θα χρησιμεύσει το κοιτάμε, δεν χάνουμε τίποτα.
Εχεις χρησιμοποιήσει το θρυλικο GPT-3? Μπορείς να πάρεις πχ pretrained models και να τα χρησιμοποιήσεις σε κείμενο μέσω Python?