Έχει σχέση ο προγραμματισμός με την μηχανική μάθηση και την εξόρυξη δεδομένων;

[TakisTak]

Καλησπέρα,

Είμαι πτυχιούχος του τμήματος Φυσικής του Πανεπιστημίου Αθηνών. Ενδιαφέρομαι να ξεκινήσω μεταπτυχιακό από τον Σεπτέμβρη του 2020 και έχω μια κλίση προς τον προγραμματισμό σκεπτόμενος φυσικά και το μέλλον. Παρόλα αυτά κοιτάζοντας μεταπτυχιακά, είδα πως υπάρχουν αρκετά προγράμματα σχετικά με την μηχανική μάθηση, την εξόρυξη δεδομένων και την τεχνητή νοημοσύνη. Το ερώτημα μου είναι αν έχει κάποια σχέση ο προγραμματισμός με την μηχανική μάθηση, την εξόρυξη δεδομένων και την τεχνητή νοημοσύνη; Διαβάζω τα προγράμματα σπουδών των συγκεκριμένων μεταπτυχιακών και η αλήθεια είναι πως δεν βλέπω να ασχολούνται πολύ με γλώσσες προγραμματισμού και γι αυτό έχω μπερδευτεί λίγο. Σας ευχαριστώ πολύ.

[badweed]

εγω θα περιμενα οτι το data mining , θα εχει να εχει να κανει με συνολα και υποσυνολα , με στατιστικη , με πιθανοτητες ,κατι τετοιο .δηλαδη κυριως μαθηματικα .
οχι τοσο με προγραμματισμο .
οτι η διατυπωση θα ειναι σε προγραμματιστικο επιπεδο ναι , αλλα μοιαζει χαμηλοτερο .

δεν εχω πανεπιστημιακη εκπαιδευση και ετσι δεν ξερω .

[MitsakosGR]

Ο προγραμματισμός είναι εργαλείο για αυτές τις δουλειές. Δεν είναι απαραίτητο να ξέρεις αλλά η γνώση του (σε απλά επίπεδα) είναι υπερβολικά βοηθητική, κυρίως για εργασίες.

Αν δεν θέλεις να γράψεις δικά σου εργαλεία τότε απλά θα χρειαστείς τις βασικές γνώσεις για να μπορέσεις να τα χρησιμοποιήσεις. Τις περισσότερες φορές με απλές γνώσεις μπορείς να παρακολουθήσεις πολύ εύκολα το μάθημα και να κάνεις σχετικά εύκολα τις εργασίες. Θα παιδευτείς λίγο στην αρχή μέχρι να βρεις πώς ξεκινάς να γράψεις αλλά μετά δεν είναι δύσκολο.

[Eruyome(MMXGN)]

Εξαρτάται με τι θες να ασχοληθείς μετά.

Αν θες να κάνεις ανάλυση δεδομένων πχ για μια εταιρία, να γράφεις reports κλπ ως data scientist τότε πρέπει να ξέρεις ελάχιστο προγραμματισμό (R/Python/Matlab/Julia) ωστε να κάνεις σωστή ανάλυση/χρήσιμα visualisations κλπ και καλή χρήση στατιστικής και μηχανικής μάθησης. Επίσης γενικά ζητάνε να ξέρεις να χειρίζεσαι distributed συστήματα δεδομένων (Apache Hadoop, Spark κλπ).

Απο την άλλη υπάρχει η μεριά του engineer (machine learning engineer) ο οποίος χρειάζεται να ξέρει προγραμματισμό σε αρκετά μεγάλο βαθμό (ίσως όσο ένας κλασσικός software engineer) καθώς είναι αυτός που αναλαμβάνει να κατασκευάσει και να κάνει deploy τόσο μοντέλα πχ μηχανικής μάθησης, να ασχοληθεί με continuous integration, γράφει tests κλπ ανάλογα με τις εκάστοτε ανάγκες. Αντίστοιχα μπορεί να χρειαστεί να σκεφτεί και να κατασκευάσει τρόπους ωστε να γίνεται μια "έξυπνη" συλλογή των δεδομένων και εκπαίδευση των μοντέλων (πχ online στον browser vs στο cloud, σε embedded συστήματα, με ελάχιστο latency κλπ). Όλα γίνουνται απο τον ίδιο σε συνεργασία με data scientists και πιο παραδοσιακούς software engineers σε production γλώσσες όπως Python/C++/Javscript/Java.

Σε άλλη μεριά υπάρχουν οι research scientists/engineers που ασχολούνται πιο πολύ ερευνητικά και πρέπει να ξέρουν αρκετό προγραμματισμό ώστε να μπορούν να κάνουν την δουλειά τους (πχ να υλοποιήσουν και να τεστάρουν μεθόδους) αλλα δεν ασχολούνται τόσο με το τελικό προϊόν. Αυτοί συνήθως αρκούνται στο να γράφουν technical reports/research papers και prototyping αλλα δεν είναι απαραίτητο.

Αυτά δεν είναι απαραίτητα ίδια πανού και συνήθως παντού υπάρχει ένα overlap μεταξύ των τριών. Όλοι ξέρουν λίγο απο όλα. Γενικά όμως ο προγραμματισμός είναι απαραίτητος σε ότι και να κάνεις.

[TakisTak]

εγω θα περιμενα οτι το data mining , θα εχει να εχει να κανει με συνολα και υποσυνολα , με στατιστικη , με πιθανοτητες ,κατι τετοιο .δηλαδη κυριως μαθηματικα .
οχι τοσο με προγραμματισμο .
οτι η διατυπωση θα ειναι σε προγραμματιστικο επιπεδο ναι , αλλα μοιαζει χαμηλοτερο .

δεν εχω πανεπιστημιακη εκπαιδευση και ετσι δεν ξερω .

Ναι κατάλαβα. Ευχαριστώ πάρα πολύ.

- - - Updated - - -

- - - Updated - - -

Ο προγραμματισμός είναι εργαλείο για αυτές τις δουλειές. Δεν είναι απαραίτητο να ξέρεις αλλά η γνώση του (σε απλά επίπεδα) είναι υπερβολικά βοηθητική, κυρίως για εργασίες.

Αν δεν θέλεις να γράψεις δικά σου εργαλεία τότε απλά θα χρειαστείς τις βασικές γνώσεις για να μπορέσεις να τα χρησιμοποιήσεις. Τις περισσότερες φορές με απλές γνώσεις μπορείς να παρακολουθήσεις πολύ εύκολα το μάθημα και να κάνεις σχετικά εύκολα τις εργασίες. Θα παιδευτείς λίγο στην αρχή μέχρι να βρεις πώς ξεκινάς να γράψεις αλλά μετά δεν είναι δύσκολο.

Επομένως, μέσα από τον προγραμματισμό εισχωρώ στα πεδία της τεχνητής νοημοσύνης και της μηχανικής μάθησης απ ότι κατάλαβα έτσι;

- - - Updated - - -

Εξαρτάται με τι θες να ασχοληθείς μετά.

Αν θες να κάνεις ανάλυση δεδομένων πχ για μια εταιρία, να γράφεις reports κλπ ως data scientist τότε πρέπει να ξέρεις ελάχιστο προγραμματισμό (R/Python/Matlab/Julia) ωστε να κάνεις σωστή ανάλυση/χρήσιμα visualisations κλπ και καλή χρήση στατιστικής και μηχανικής μάθησης. Επίσης γενικά ζητάνε να ξέρεις να χειρίζεσαι distributed συστήματα δεδομένων (Apache Hadoop, Spark κλπ).

Απο την άλλη υπάρχει η μεριά του engineer (machine learning engineer) ο οποίος χρειάζεται να ξέρει προγραμματισμό σε αρκετά μεγάλο βαθμό (ίσως όσο ένας κλασσικός software engineer) καθώς είναι αυτός που αναλαμβάνει να κατασκευάσει και να κάνει deploy τόσο μοντέλα πχ μηχανικής μάθησης, να ασχοληθεί με continuous integration, γράφει tests κλπ ανάλογα με τις εκάστοτε ανάγκες. Αντίστοιχα μπορεί να χρειαστεί να σκεφτεί και να κατασκευάσει τρόπους ωστε να γίνεται μια "έξυπνη" συλλογή των δεδομένων και εκπαίδευση των μοντέλων (πχ online στον browser vs στο cloud, σε embedded συστήματα, με ελάχιστο latency κλπ). Όλα γίνουνται απο τον ίδιο σε συνεργασία με data scientists και πιο παραδοσιακούς software engineers σε production γλώσσες όπως Python/C++/Javscript/Java.

Σε άλλη μεριά υπάρχουν οι research scientists/engineers που ασχολούνται πιο πολύ ερευνητικά και πρέπει να ξέρουν αρκετό προγραμματισμό ώστε να μπορούν να κάνουν την δουλειά τους (πχ να υλοποιήσουν και να τεστάρουν μεθόδους) αλλα δεν ασχολούνται τόσο με το τελικό προϊόν. Αυτοί συνήθως αρκούνται στο να γράφουν technical reports/research papers και prototyping αλλα δεν είναι απαραίτητο.

Αυτά δεν είναι απαραίτητα ίδια πανού και συνήθως παντού υπάρχει ένα overlap μεταξύ των τριών. Όλοι ξέρουν λίγο απο όλα. Γενικά όμως ο προγραμματισμός είναι απαραίτητος σε ότι και να κάνεις.

Η αλήθεια είναι πως με ενδιαφέρει πολύ το κομμάτι που περιέχει προγραμματισμό στο μεγαλύτερο ποσοστό του, επομένως αποκλείω την προοπτική της ανάλυσης δεδομένων που μου παρουσιάσατε. Προέρχομαι όμως, από ένα τμήμα (Φυσικό Αθήνας) που χρησιμοποιήσαμε προγραμματισμό σε συγκεκριμένα πεδία και κακά τα ψέματα έχω ελάχιστες γνώσεις από τον χώρο του προγραμματισμού. Αυτό που σίγουρα γνωρίζω είναι πως με ενδιαφέρει, όπως προείπα, το κομμάτι της συγγραφής κώδικα. Σε ένα μεταπτυχιακό με εστίαση στη μηχανική μάθηση και την εξόρυξη δεδομένων θα ικανοποιήσω αυτή μου την επιθυμία πιστεύετε;

[Eruyome(MMXGN)]

Η αλήθεια είναι πως με ενδιαφέρει πολύ το κομμάτι που περιέχει προγραμματισμό στο μεγαλύτερο ποσοστό του, επομένως αποκλείω την προοπτική της ανάλυσης δεδομένων που μου παρουσιάσατε. Προέρχομαι όμως, από ένα τμήμα (Φυσικό Αθήνας) που χρησιμοποιήσαμε προγραμματισμό σε συγκεκριμένα πεδία και κακά τα ψέματα έχω ελάχιστες γνώσεις από τον χώρο του προγραμματισμού. Αυτό που σίγουρα γνωρίζω είναι πως με ενδιαφέρει, όπως προείπα, το κομμάτι της συγγραφής κώδικα. Σε ένα μεταπτυχιακό με εστίαση στη μηχανική μάθηση και την εξόρυξη δεδομένων θα ικανοποιήσω αυτή μου την επιθυμία πιστεύετε;

Γράψιμο κώδικα μπορείς να έχεις αρκετό και στην περίπτωση της ανάλυσης δεδομένων. Στο bold κομμάτι ναι, σίγουρα. Απλα να ξέρεις οτι σε πανεπιστημιακό επίπεδο συνήθως δίνεται έμφαση στη θεωρία. Τα δεδομένα που θα παίρνεις στα projects συνήθως θα είναι καθαρά (που συνεπάγεται λιγότερος κώδικας για το στρώσιμο τους) και συνήθως θα πρέπει να ασχοληθείς προγραμματιστικά μόνο για να υλοποιήσεις κάτι που βρίσκεται στη θεωρία ή κάποια τεχνική σε κάποιο ερευνητικό άρθρο σε επίπεδο της επίδειξης, όχι πχ με το πως θα το κάνεις να δουλέψει στον πραγματικό κόσμο.

[MitsakosGR]

Όπως το καταλαβαίνω θέλεις να ασχοληθείς πιο πολύ με το κομμάτι του data engineering παρά με τη μηχανική μάθηση, εξόρυξη δεδομένων κτλ.

Όπως είπε και ο Eruyome(MMXGN) υπάρχουν οι Data Engineer και οι Data Scientists.
- Οι Scientists είναι αυτοί που βγάζουν τις θεωρίες και τα μαθηματικά μοντέλα για να λύσουν ένα πρόβλημα. Δεν χρειάζεται να ξέρουν αρκετό προγραμματισμό παρά μόνο τα βασικά του τομέα τους (πχ R/Matlab κτλ) για να κάνουν κυρίως proof of concept και να βγάζουν κάποια συμπεράσματα.
- Οι Engineers είναι αυτοί που παίρνουν τις θεωρίες-μοντέλα, οργανώνουν τα δεδομένα και τα εφαρμόζουν στην πράξη. Αυτοί χρειάζεται να καταλαβαίνουν τη θεωρία (σε κάποιο βασικό επίπεδο) και να ξέρουν αρκετά καλά τα συστήματα στα οποία τρέχουν τα μοντέλα (λειτουργικά, πλατφόρμες κτλ) και πολύ καλό προγραμματισμό ώστε να μπορούν να τα εφαρμόσουν.

Το αν θα σε καλύψει κάποιο μεταπτυχιακό εξαρτάται πάρα πολύ από την ύλη του και τα μαθήματά του! Άλλα είναι επικεντρωμένα στη θεωρία και άλλα έχουν και λίγο engineering μέσα.

Αν δεν έχεις καλό background σε προγραμματισμό και συστήματα αποθήκευσης και επεξεργασίας δεδομένων καλό θα ήταν να κάνεις πρώτα κάτι αντίστοιχο και μετά να πας σε data science. Στο data science μπορεί να χρησιμοποιούν (πχ) python αλλά δεν θα στην διδάξουν κιόλας. Θα θεωρήσουν ή ότι θα τη μάθεις μόνος σου ή θα σου δείξουν τα πολύ βασικά για να κάνεις αυτό που πρέπει για το μάθημα.

[Eruyome(MMXGN)]

Πιστεύω οτι ο προγραμματισμός που πιθανότατα έκανε ο φίλος σε επίπεδο φυσικού (fortran/matlab ή οτιδήποτε απαιτεί προγραμματισμό με χρήση διανυσμάτων) είναι υπερ αρκετός για να ασχοληθείς με το data science κομμάτι. Με ένα μάθημα τύπου Udemy σε Python είναι ready-to-go.

Edit: Βρήκα αυτό που τα συνοψίζει αρκετά καλά: https://www.oreilly.com/radar/data-e...ta-scientists/ (απλά να ξέρεις οτι δεν είναι παντού το ίδιο απαραίτητα)

[MitsakosGR]

Πιστεύω οτι ο προγραμματισμός που πιθανότατα έκανε ο φίλος σε επίπεδο φυσικού (fortran/matlab ή οτιδήποτε απαιτεί προγραμματισμό με χρήση διανυσμάτων) είναι υπερ αρκετός για να ασχοληθείς με το data science κομμάτι. Με ένα μάθημα τύπου Udemy σε Python είναι ready-to-go.

Edit: Βρήκα αυτό που τα συνοψίζει αρκετά καλά: https://www.oreilly.com/radar/data-e...ta-scientists/ (απλά να ξέρεις οτι δεν είναι παντού το ίδιο απαραίτητα)

Συμφωνώ ότι με αυτόν τον τρόπο θα καλύψει εύκολα τα μαθήματα ενός μεταπτυχιακού, όχι όμως το ακόλουθο καμμάτι:

Η αλήθεια είναι πως με ενδιαφέρει πολύ το κομμάτι που περιέχει προγραμματισμό στο μεγαλύτερο ποσοστό του, επομένως αποκλείω την προοπτική της ανάλυσης δεδομένων που μου παρουσιάσατε. Προέρχομαι όμως, από ένα τμήμα (Φυσικό Αθήνας) που χρησιμοποιήσαμε προγραμματισμό σε συγκεκριμένα πεδία και κακά τα ψέματα έχω ελάχιστες γνώσεις από τον χώρο του προγραμματισμού. Αυτό που σίγουρα γνωρίζω είναι πως με ενδιαφέρει, όπως προείπα, το κομμάτι της συγγραφής κώδικα. Σε ένα μεταπτυχιακό με εστίαση στη μηχανική μάθηση και την εξόρυξη δεδομένων θα ικανοποιήσω αυτή μου την επιθυμία πιστεύετε;

[Eruyome(MMXGN)]

Συμφωνώ ότι με αυτόν τον τρόπο θα καλύψει εύκολα τα μαθήματα ενός μεταπτυχιακού, όχι όμως το ακόλουθο καμμάτι:

Νόμιζα οτι μιλούσες για Data Science. Και σε αυτό θα τον καλύψει πάντως. O καθαρισμός, η οργάνωση και το σωστό visualisation απαιτούν αρκετά δημιουργικό προγραμματισμό. Απλά μπορεί να τα κάνει όλα και spaggheti code σε ένα jupyter notebook και ίσως να μην χρειαστεί να δουλέψει με τίποτα πιο "προγραμματιστικό" απο το να χειρίζεται pandas dataframes και matplotlib. Ακόμα δηλαδή και στην περίπτωση που θες να πας engineer, μαθαίνεις το engineering που χρειάζεσαι με κάποιο MOOC ή κάνοντας μόνος σου κάποιο project (όπως δηλαδή και στην πλειοψηφία των engineers, δεν υπάρχει απο όσο γνωρίζω μεταπτυχιακό πρόγραμμα που σε βγάζει ML engineer, πρέπει να ασχοληθείς μόνος σου μετέπειτα).