Ομαδική προσπάθεια για την ανάλυση δεδομένων σχετικά με την επιδημία Covid-19 σε πολλαπλά επίπεδα

[Eruyome(MMXGN)]

Δεν το ξέρω το συγκεκριμένο, οπότε αν νομίζεις οτι θα χρησιμεύσει το κοιτάμε, δεν χάνουμε τίποτα.
Εχεις χρησιμοποιήσει το θρυλικο GPT-3? Μπορείς να πάρεις πχ pretrained models και να τα χρησιμοποιήσεις σε κείμενο μέσω Python?

ScraPy κάνει scrape σελίδες για να έχεις απλό κείμενο απο HTML πχ. Το θέμα είναι θα σε ενδιέφερε να έχεις το κείμενο απο γνωστές σελιδες; Δεν ξέρω τι δεδομένα μπορείς να πάρεις απο εκεί, παρα μόνο να χεις ένα ευρετήριο κλπ.

Το GPT-3 με τίποτα, το inference του είναι απαγορευτικό, δεν μιλάμε καν για training και είναι μόνο σε αγγλικό corpus. Access στο API δεν εχω δίνανε σε συγκεκριμένα άτομα μόνο.

Υπάρχει το GreekBert (https://huggingface.co/nlpaueb/bert-...eek-uncased-v1) που μπορείς να το χρησιμοποιήσεις, αλλα το θέμα είναι πάντα τι θέλεις να κάνεις με αυτό.

Πχ κάτι που θα με ενδιέφερε ίσως είναι μια σελίδα: Ποιος είπε τι, περι της πανδημίας με παραπομπές για να μπορείς να καταφεύγεις γρήγορα. Άλλου είδους ανάλυση πχ, πότε και που ανακοινώθηκαν πόσα κρούσματα στα διάφορα site (για verification με τις επίσημες πηγές).

[gcf]

Πολύ καλή δουλειά βλέπω να γίνεται, μπράβο παιδιά.

[objecto]

Πολύ καλή δουλειά βλέπω να γίνεται, μπράβο παιδιά.

Κάτσε ρε συ τίποτα δεν κάναμε ακόμα, στην θεωρία είμαστε

- - - Updated - - -

είναι μόνο σε αγγλικό corpus

Ναι δυστυχώς αυτό είναι έτσι... οπότε άκυρο, όσο για το inference όλα τα μοντέλα έχουν αρκετό μπλέξιμο πως θα ταιριάξουν τελικά μέσα στο workflow, ευτυχώς εδώ θα κάνουμε μόνο με data που είναι ενσωματωμένα με την "μηχανή" ETL, modeling και απεικόνισής τους, οπότε αν βρεθεί η λογική σχέση τους (ένα key όλο και όλο) ολα θα γίνουν enchanced με τα αποτελέσματα του ML και θα ομογενοποιηθούν. Στην τελική αυτό θα γίνει προς το τέλος και αν τελικά γίνει.

[Eruyome(MMXGN)]

Κάτσε ρε συ τίποτα δεν κάναμε ακόμα, στην θεωρία είμαστε

- - - Updated - - -



Ναι δυστυχώς αυτό είναι έτσι... οπότε άκυρο, όσο για το inference όλα τα μοντέλα έχουν αρκετό μπλέξιμο πως θα ταιριάξουν τελικά μέσα στο workflow, ευτυχώς εδώ θα κάνουμε μόνο με data που είναι ενσωματωμένα με την "μηχανή" ETL, modeling και απεικόνισής τους, οπότε αν βρεθεί η λογική σχέση τους (ένα key όλο και όλο) ολα θα γίνουν enchanced με τα αποτελέσματα του ML και θα ομογενοποιηθούν. Στην τελική αυτό θα γίνει προς το τέλος και αν τελικά γίνει.

Δεν έχω αντίρρηση στο χρησιμοποιηθεί, πολλά μπορούν να γίνουν απλά επειδή το καθένα θέλει το σχδιασμό του και έχει κάποιες διαδικασίες πρέπει να αποφασιστεί απο πριν τι θέλουμε να γίνει.

Τι είναι ETL;

Μπορείς να δώσεις μια εικόνα των εργαλείων σου; Πχ screenshots ή με δικά σου λόγια τι μπορείς να κάνεις; Σαν παραδείγματα ενός use case που χεις δουλέψει.

Πχ εγώ (shameless self promotion) έχω φτιάξει ένα εργαλείο που θα μπορούσα να το προσαρμόσω στα ελληνικά αν χρειαστεί μιας και είναι rule-based και δεν χρειάζεται extra annotations:

https://github.com/mmxgn/spacy-claus...implementation

Αυτό που κάνει είναι σου αναλύει σύνθετες προτάσεις στα αγγλικά σε πιο απλές προτάσεις με το πολύ ένα ρήμα και επιτρέπει τον σχεδιασμό κανόνων σε prolog για εξαγωγή συμπερασμάτων. Πχ :

A cat, hearing that the birds in a certain aviary were ailing dressed himself up as a physician,
and, taking his cane and a bag of instruments becoming his profession, went to call on them.

Σου δίνει:

['The birds were ailing.']
['A cat dressed himself as a physician.', 'A cat dressed himself.']
['A cat took his cane.', 'A cat took a bag.']
['A cat became his profession.']
['A cat went.']
['A cat called on them.']

Αλλα πριν κάτσω να το ξαναφτιάξω για ελληνικά, θα θελα να δω αν αξίζει κάτι τέτοιο.

Ή πχ σε prolog:

:-use_module('claucy_pl.py').

query(claucy('Albert Einstein, a scientist of the 20th century, died in Princeton in 1955.',Predicate,Arg1,Arg2)).

Με αποτέλεσμα

     claucy('Albert Einstein, a scientist of the 20th century, died in Princeton in 1955.',died,Albert Einstein,in 1955):       1         
claucy('Albert Einstein, a scientist of the 20th century, died in Princeton in 1955.',died,Albert Einstein,in Princeton):       1         
   claucy('Albert Einstein, a scientist of the 20th century, died in Princeton in 1955.',is,Albert Einstein,a scientist):       1

Όποιος μετά ξέρει prolog πχ μπορεί να το χρησιμοποιήσει να κάνει επερωτήσεις στο σύστημα (ή αντίστοιχα μέσω WebUI)
Έχω και άλλα αντίστοιχα projects στο github repo μου. Όποιος θέλει ρίχνει μια ματιά.

[objecto]

Τι είναι ETL

Η εξαγωγή δεδομένων και διαμόρφωσή τους πριν χρησιμοποιηθούν
.

Μπορείς να δώσεις μια εικόνα των εργαλείων σου

Το reporting θα γίνει με Power BI (https://powerbi.microsoft.com/en-us/), ενώ ιδανικά τα datasets σε 2η φάση αν αυτό μπορεί να καταστει δυνατό και ειναι αναγκαίο θα περάσουν και απο κώδικα python για classifications, predictions κτλ.
Στο τελευταίο είμαι σχετικά φρέσκος στο πεδίο ML οπότε δεν θα το παίξω expert. Η έκδοση public domain reports είναι free και τρέχουν σε Azure tenant.
Αν χρειαστεί (με δικά μου έξοδα) ίσως να περάσουν (τα data) και απο ML εργαλεία στο Azure( https://azure.microsoft.com/en-us/se...hine-learning/).

Μια ιδέα πως είναι η πλατφόρμα...
https://app.powerbi.com/view?r=eyJrI...YxNCIsImMiOjZ9

[Eruyome(MMXGN)]

Η εξαγωγή δεδομένων και διαμόρφωσή τους πριν χρησιμοποιηθούν

Το Data Wrangling εννοείς; Θα ήταν πολύ χρήσιμο να πεις τι σημαίνουν τα αρχικά επίσης.

Το reporting θα γίνει με Power BI (https://powerbi.microsoft.com/en-us/), ενώ ιδανικά τα datasets σε 2η φάση αν αυτό μπορεί να καταστει δυνατό και ειναι αναγκαίο θα περάσουν και απο κώδικα python για classifications, predictions κτλ.
Στο τελευταίο είμαι σχετικά φρέσκος στο πεδίο ML οπότε δεν θα το παίξω expert. Η έκδοση public domain reports είναι free και τρέχουν σε Azure tenant.
Αν χρειαστεί (με δικά μου έξοδα) ίσως να περάσουν (τα data) και απο ML εργαλεία στο Azure( https://azure.microsoft.com/en-us/se...hine-learning/).

Ναι ήθελα να δω πως γίνεται αυτή η διαδικασία μέσω της πλατφόρμας. Γράφεις δικό σου κώδικα Javascript, υπάρχουν έτοιμα γραφήματα που επιλέγεις τα CSV σου πχ ή έχει κάποιο interface με μετασχηματισμούς κλπ σαν το Orange3 (πολύ ωραίο datavis εργαλείο, που τρέχει locally);

Μια ιδέα πως είναι η πλατφόρμα...
https://app.powerbi.com/view?r=eyJrI...YxNCIsImMiOjZ9

Μάλιστα, ενδιαφέρον, φαντάζομαι έχει και απλούς πίνακες για text αυτό ε; Υπάρχει κάπου κάποιο demo με όλων των λογιών visualisations που μπορείς να κάνεις; (Άκυρο, έχει Watch Demo στη σελίδα του).

Το λέω γιατί ενώ γνωρίζω θεωρία και είμαι αρκετά δυνατός στο ML κομμάτι, αρκετές φορές βλέπω να ζητάνε PowerBI και θέλω να δω αν αξίζει

[MitsakosGR]

Το PowerBI είναι για data visualization, δεν είναι για ML. Απλά υποστηρίζει πολλά datasources και μπορεί να βγάλει πολλά και διαφορετικά διαγράμματα και dashboards από όλα μαζί. Το Orange δεν το γνωρίζω, αλλά είναι σαν το tableau, αν το ξέρεις.

Αν ξέρεις ML τότε πολύ εύκολα μπορείς να το μάθεις και να βγάζεις ωραία dashboard (σαν του @objecto).

[objecto]

Θα ήταν πολύ χρήσιμο να πεις τι σημαίνουν τα αρχικά επίσης

Extract Transform (and) Load

Γράφεις δικό σου κώδικα Javascript

Αν θες να κάνεις δικά σου visual elements ναι. Οχι όμως απαράιτητα. Για τα ETL η γλώσσα λέγεται M query και για την ανάλυση DAX (Data Analysis Expressions).
Επίσης μπορείς να φιλοξενήσεις (αλλά όχι δυναμικά, δλδ δεν μιλάνε τα visual elements του ενος με το αλλο) και Python Libraries όπως (Matplotlib, Seaborn).

υπάρχουν έτοιμα γραφήματα που επιλέγεις τα CSV σου πχ ή έχει κάποιο interface με μετασχηματισμούς

Ναι υπάρχει και μέσω UI και υποστηρίζει και dataflows αλλά όλα καταλήγουν στην ουσία να γράφουν M Query αλλά όχι τόσο advanced με graphs όπως στο Orange3 (το οποίο μου άνοιξες την όρεξη να δω).
Όμως μέσω συνεργασίας με Azure μπορείς να έχεις απίθανα εργαλεια όπως το Databricks.

Το λέω γιατί ενώ γνωρίζω θεωρία και είμαι αρκετά δυνατός στο ML κομμάτι

Τέλεια. Εγω αν και στον κώδικα είμαι αρκετά έμπειρος μου λείπει το μαθηματικό κομμάτι , οπότε ναι μεν παίζω με scikit-learn αλλά μου λείπει το υπόβαθρο για hard core καταστάσεις. (Τώρα έχω ξεκινήσει το fast.ai, μήπως βγάλω άκρη σιγά σιγά)

Για να το πω λίγο λαϊκά τα data analytics είναι BI on steroids, οπότε το PowerBI είναι για απεικόνιση πιο business παρά για επιστημονική έρευνα. Όμως θα μπορούσε να αποτελέσει καλό εργαλείο για απεικόνιση ενός επεξεργασμένου dataset με ML.

- - - Updated - - -

Το PowerBI είναι για data visualization

Και κάτι παραπάνω αν μου επιτρέπεις λόγω οτι έχει και μια δική του γλώσσα DAX, αλλά σε καμία περίπτωση δεν είναι κατι αντιστοιχο με τον κόσμο του ML/AI

[Eruyome(MMXGN)]

Το PowerBI είναι για data visualization, δεν είναι για ML. Απλά υποστηρίζει πολλά datasources και μπορεί να βγάλει πολλά και διαφορετικά διαγράμματα και dashboards από όλα μαζί. Το Orange δεν το γνωρίζω, αλλά είναι σαν το tableau, αν το ξέρεις.

Αν ξέρεις ML τότε πολύ εύκολα μπορείς να το μάθεις και να βγάζεις ωραία dashboard (σαν του @objecto).

Ακουστά το χω και το Tableau.

Το Orange3 μου αρέσει γιατί είναι πολύ απλό, γρήγορο, παραμετροποιήσιμο, και ενσωματωμένο στο python οικοσύστημα (εγκατάσταση με pip install python). Αλλα δεν υποστηρίζει τα real time analytics απο SQL queries πχ των άλλων δύο (αν και υποστηρίζει SQL queries, δεν είναι real time). Επίσης έχει πάρα πολλά bugs.

Γενικά reports προτιμάω να κάνω σε notebooks με pandas και matplotlib/seaborn αλλα είναι αλλο το scope, γνωρίζω.

- - - Updated - - -

Extract Transform (and) Load

Thanks

Τέλεια. Εγω αν και στον κώδικα είμαι αρκετά έμπειρος μου λείπει το μαθηματικό κομμάτι , οπότε ναι μεν παίζω με scikit-learn αλλά μου λείπει το υπόβαθρο για hard core καταστάσεις. (Τώρα έχω ξεκινήσει το fast.ai, μήπως βγάλω άκρη σιγά σιγά)

Αυτό που χω καταλάβει με το ML είναι οτι ίσως καλύτερα είναι να ξεκινάς από ένα domain που σε ενδιαφέρει πρώτα ωστε να μάθεις λίγο τι παιζει επ αυτού (πχ εγώ κάνω ήχο και φυσική γλώσσα) και μετά να βλέπεις πως ένα ML toolkit δουλεύει. Πχ για NLP υπάρχουν toolkits όπως Spacy, Flair, και Huggingface που αναλαμβάνουν το boilerplate μόνα τους. Αντίστοιχα Essentia/Librosa για ήχο. Καλή τύχη με το fast.ai! Δεν έχω ασχοληθεί αλλα έχω ακούσει οτι είναι πολύ δυνατό.

Για να το πω λίγο λαϊκά τα data analytics είναι BI on steroids, οπότε το PowerBI είναι για απεικόνιση πιο business παρά για επιστημονική έρευνα. Όμως θα μπορούσε να αποτελέσει καλό εργαλείο για απεικόνιση ενός επεξεργασμένου dataset με ML.
- - - Updated - - -

Κατάλαβα, κάτι τέτοιο κατάλαβα απο τα βίντεο που είδα.

[objecto]

Καλή τύχη με το fast.ai!

Επειδή είδα οτι είσαι και υποψήφιος PhD (ειδικότητα; ) το fast.ai είναι στηριγμένο στο: Deep Learning for Coders with Fastai and PyTorch: AI Applications Without a PhD

- - - Updated - - -

@Eruyome(MMXGN) κοίτα να δεις τώρα που αρχίζει να πλησιάζει και orange

https://powerbi.microsoft.com/fr-fr/...n-power-query/

[Eruyome(MMXGN)]

Επειδή είδα οτι είσαι και υποψήφιος PhD (ειδικότητα; ) το fast.ai είναι στηριγμένο στο: Deep Learning for Coders with Fastai and PyTorch: AI Applications Without a PhD

Ναι, δεν είμαι ουσιαστικά, μόνο θεωρητικά ακόμα γιατί δεν έχω πάρει χαρτί (εχω κάνει defend). Computer Science είναι το χαρτί, ειδίκευση σε ML με Audio+NLP για δημιουργικές εφαρμογές (Το PhD ήταν σε Ραδιοφωνικό Δράμα).
Είναι πολύ ενδιαφέροντα αυτά τα εργαλεία, ακόμα και για όσους ασχολούνται με έρευνα, δεν θες πάντα να ξεκινάς να γράφεις τα πάντα απο την αρχή, πολλές φορές θες έτοιμο boilerplate (που είναι αυτό που κάνει το FastAI). Πλέον ML βιβλιοθήκες μπαίνουν στην φαρέτρα προγραμματιστών όπως μπαίνει πχ μια γλώσσα προγραμματισμού.

- - - Updated - - -

@Eruyome(MMXGN) κοίτα να δεις τώρα που αρχίζει να πλησιάζει και orange

https://powerbi.microsoft.com/fr-fr/...n-power-query/

[tsigarid]

Έχετε κοιτάξει τι υπάρχει ήδη σε UI; Για παράδειγμα: https://91-divoc.com/pages/covid-visualization/

[objecto]

Έχετε κοιτάξει τι υπάρχει ήδη σε UI; Για παράδειγμα: https://91-divoc.com/pages/covid-visualization/

Πολλά υπάρχουν ναι. Άλλο ένα δεν θα χαλάσει κανέναν. Η συμμετοχή είναι απολύτως προαιρετική.

[netblues]

Μιας και συζητατε για data sources, υπάρχει κάπου πληροφόρηση απο τα ληξιαρχεία σχετικά με τον αριθμό των γεννήσεων και θανάτων σε κάτι καλύτερο απο ετήσια βάση?

[MitsakosGR]

Σε εβδομαδιαία σου κάνει;
https://www.statistics.gr/el/statist...cation/SPO09/-

Το βρήκα από το EU Data Portal, αλλά σε πάει στην ΕΛΣΤΑΤ
https://www.europeandataportal.eu/da...BD%CE%B1%CF%84