Το νήμα του Gentoo, version 1.0

[imitheos]

Εύχομαι να πετύχει η σταδιακή υιοθέτηση της rust, αλλιώς μας βλέπω να μένουμε με 5 webkit forks, με διαφορετικές και συναρπαστικές vulns το καθένα :P
Μετά την δουλειά που έγινε στον Servo, ήταν μοιραίο ότι θα βλέπαμε να περνούν τμήματά του στον firefox - είναι μάλλον μονόδρομος αν θέλει να παραμείνει ανταγωνιστικός.
Το πρόβλημα με το bootstrapping νομίζω ότι οφείλεται στην γρήγορη εξέλιξη της γλώσσας, αλλά και στο γεγονός ότι προσπαθούν να γράψουν αρκετά τμήματα του στην ίδια την rust (ο compiler βασίζεται σε llvm που είναι γραμμένη σε C++). Η σταδιακή υιοθέτηση θα μας ξενίσει, αλλά ελπίζω να μας αποζημιώσει το αποτέλεσμα (στον servo έχουν πετύχει απίστευτα πράγματα...).

Δεν έχω ασχοληθεί καθόλου με rust. Διαβάζω πολύ καλά λόγια και όλοι λένε ότι έχει καταπληκτικές δυνατότητες και αν είναι έτσι μακάρι να πετύχει (αν και είμαι λίγο καχύποπτος όταν πολλοί πέφτουν με τα μούτρα και επαινούν κάτι μήπως απογοητευτούμε στο τέλος) όπως φυσικά και η go που ανέφερε ο mrsaccess.

Αυτό που δεν μου αρέσει είναι ότι σταδιακά έχουν γίνει αναγκαίες πάρα πολλές γλώσσες. Θυμάμαι παλαιότερα έστηνες ένα μηχάνημα και έβαζες μόνο c compiler (για desktop ούτε καν αυτόν δεν χρειαζόσουν). Κάποιος sysadmin θα έβαζε και perl για να αυτοματοποιεί εύκολα εργασίες που έκανε. Έστηνες ένα server και είχες 50 προγράμματα σύνολο.

Τώρα θα βάλεις python γιατί την θέλει το system-config-printer για τον εκτυπωτή σου και άλλα προγράμματα. Θα βάλεις ruby γιατί μερικά προγράμματα χρησιμοποιούν το rake σαν build system. Και πάει λέγοντας. Και τι σε πειράζει που θα τις έχεις θα μου πεις ? Rant δεινοσαύρου που νοσταλγεί παλαιές εποχές

[mrsaccess]

Python, haskell, ruby, perl, javascript, γενικά όλες οι interpreted είναι εφιάλτης για το system maintenance —αν και η perl έχει τα λιγότερα issues ως τώρα.

Όλες έρχονται με τους δικούς τους package managers, θέλουν τα rebuild τους και χρησιμοποιούν *πολλές* external libraries. Ειδικά javascript, οι devs είναι τόσο #reducted# που αν μια συνάρτηση είναι πάνω από 3 γραμμές, ψάχνουν εξωτερική βιβλιοθήκη για να την αντικαταστήσουν.
Εν τω μεταξύ είναι της μόδας τελευταία οι js εφαρμογές. Μόλις βλέπω στις οδηγίες npm, φεύγω όπως ο Βιν Ντίζελ στο fast and furious (σούζα με αυτοκίνητο ).

Στο gentoo, λόγω source, τα πράγματα είναι ακόμη πιο δύσκολα. Έχω pandoc που απαιτεί haskell. Πιο συχνά κάνω rebuild όλο το dev-haskell/* παρά χρησιμοποιώ το pandoc.

Καλά, για ruby και rails δεν συζητώ, τα έχω πει και στους δημιουργούς του gitlab (που λατρεύω κατά τα άλλα).

[pmav99]

Εντελώς πληροφοριακά, σε python τι θέματα αντιμετωπίζετε;

Εν γένει, εκτός και αν σε ενδιαφέρει να ασχοληθείς με dev, νομίζω ότι το best practise είναι να μην αγγίζεις τον package manager της (pip) και απλά να βάζεις τα πακέτα με python setup.py install κτλ στο system installation της python (πχ /usr/lib/python). Κάθε φορά που βγαίνει νέo major release έκδοση της Python (πχ από 3.5 σε 3.6· και μόνο σε Python 3, η 2 δεν θα ξαναβγάλει major έκδοση) όλα τα πακέτα θα θέλουν ξανα-κτίσιμο αλλά αυτό συμβαίνει κάθε 1.5-2 χρόνια περίπου. Και εννοείται ότι δεν είσαι και υποχρεωμένος να ανεβείς έκδοση αν δες θέλεις.

[GoofyX]

Η αλήθεια είναι ότι κάθε γλώσσα έχει τα δικά της τερτίπια.

@pmav99 Με τον τρόπο που λες, θα χαλάσεις το σύστημά σου έτσι (Gentoo) αναφορικά για την Python. Ο καλύτερος ίσως τρόπος δεν είναι να δημιουργείς ένα virtual environment και να εγκαθιστάς εκεί μέσα ό,τι χρειάζεσαι; Κάτι σαν ένα container ένα πράμα.

[cca]

Η αλήθεια είναι ότι κάθε γλώσσα έχει τα δικά της τερτίπια.

@pmav99 Με τον τρόπο που λες, θα χαλάσεις το σύστημά σου έτσι (Gentoo) αναφορικά για την Python. Ο καλύτερος ίσως τρόπος δεν είναι να δημιουργείς ένα virtual environment και να εγκαθιστάς εκεί μέσα ό,τι χρειάζεσαι; Κάτι σαν ένα container ένα πράμα.

Κατά εκεί πάει η δουλειά, πολύ δημοφιλές το docker βλέπω για τέτοιες δουλειές.

[pmav99]

Αυτό που σου περιγράφω είναι αυτό που κάνει το arch. Και από εμπειρία σου λέω ότι δεν έχει σπασίματα. Βέβαια εκεί έχει maintainers και testing repos.

Ο καλύτερος ίσως τρόπος δεν είναι να δημιουργείς ένα virtual environment και να εγκαθιστάς εκεί μέσα ό,τι χρειάζεσαι; Κάτι σαν ένα container ένα πράμα.

Αν κάνεις dev, σίγουρα ναι. Το πρόβλημα με τη χρήση του pip είναι είναι ότι βάζοντας ένα πακέτο μπορεί να αναβαθμιστεί και κάποιο από τα υπάρχοντα πακέτα με αποτέλεσμα να σπάσει κάποιο 3ο πακέτο. Το pip δεν θα σε προστάτεψει από conflicting dependencies. Αν πάλι φτιάξεις ένα virtualenv για κάθε πακέτο θα δαπανήσεις πάρα πολύ χώρο εκτός και αν κάτσεις να κάνεις symbolic links για το καθε venv. Και πάλι δεν νομίζω ότι το maintenance είναι λιγότερο. Μάλλον το αντίθετο. Αν αυτό κάνεις, ίσως να αξίζει να ρίξεις ένα μάτι στο pipsi: https://github.com/mitsuhiko/pipsi

Το docker είναι σίγουρα μια πολύ καλή και σταθερή λύση, αλλά και εκεί ο χώρος δεν θα είναι λίγος (100ΜΒ είναι η python:alpine) και το maintenance θα είναι σίγουρα περισσότερο.

Εξαρτάται πάντα από τις ανάγκες σου.

[mrsaccess]

Εντελώς πληροφοριακά, σε python τι θέματα αντιμετωπίζετε;

Εν γένει, εκτός και αν σε ενδιαφέρει να ασχοληθείς με dev, νομίζω ότι το best practise είναι να μην αγγίζεις τον package manager της (pip) και απλά να βάζεις τα πακέτα με python setup.py install κτλ στο system installation της python (πχ /usr/lib/python). Κάθε φορά που βγαίνει νέo major release έκδοση της Python (πχ από 3.5 σε 3.6 και μόνο σε Python 3, η 2 δεν θα ξαναβγάλει major έκδοση) όλα τα πακέτα θα θέλουν ξανα-κτίσιμο αλλά αυτό συμβαίνει κάθε 1.5-2 χρόνια περίπου. Και εννοείται ότι δεν είσαι και υποχρεωμένος να ανεβείς έκδοση αν δες θέλεις.

Στο gentoo έχουμε multiple python versions και όλο βγαίνουν καινούργιες. Κάποια πακέτα θέλουν συγκεκριμένη έκδοση. Το upgrade από 3.3 σε 3.4 πχ είναι εφιάλτης και πουθενά δεν έχω βρει ένα καλό documentation (το αλλάζω use flags και κάνω compile, δεν λειτουργεί). Προφανώς το να βάζεις πακέτα εκτός package manager (της διανομής) είναι συνταγή για καταστροφή, αφού κάποια θα έχουν και compiled components, τα οποία στα system upgrades μπορεί να σπάσουν (λόγω dynamic linking σε system libs).
Το πρόβλημα δεν είναι να χτίσουμε μια στο τόσο 1000 πακέτα, το πρόβλημα είναι όταν χτυπά ο package manager με τα #reducted#-dependencies της python και τα single python targets και τα κανονικά targets κλπ.

Το άλλο πρόβλημα είναι θέλεις να βάλεις ένα python app που δεν υπάρχει στο gentoo και έχει 1002 dependencies τα οποία επίσης δεν υπάρχουν στο portage και πρέπει να τα βάλεις στο σύστημα για να τα δει η python.

- - - Updated - - -

Το docker είναι great και υποστηρίζεται όμορφα στο gentoo, εκτός και αν έχεις hardened βέβαια, που από την άλλη χθες ανακοίνωσαν από το grsec πως σταματάνε τα free patches ( ).
Imo όμως δεν είναι ο καλύτερος τρόπος να μοιράζεις εφαρμογές σε απλούς χρήστες. Είναι τέλειο για preview και πειραματισμούς. Θέλεις να δεις την influxdb; Ναι, πέτα ένα docker και σε μερικά sec είσαι up and running. Θέλεις όμως να την εγκαταστήσεις; Μην το κάνεις με docker. Έχει use cases προφανώς όπου το docker μπορεί να χρησιμοποιηθεί για να μοιράζεις πακέτα (συντηρώ μερικά images) αλλά όχι στο desktop imo ή, πιο σωστά, για συγκεκριμένες κατηγορίες εφαρμογών.

[pmav99]

Το άλλο πρόβλημα είναι θέλεις να βάλεις ένα python app που δεν υπάρχει στο gentoo και έχει 1002 dependencies τα οποία επίσης δεν υπάρχουν στο portage και πρέπει να τα βάλεις στο σύστημα για να τα δει η python.

Σε αυτό σίγουρα βοηθάει το virtualenv/pipsi.

αν πρόκειται για μία εφαρμογή χωρίς ιδιαίτερα dependencies (πx ntfy, pew, friendly-find), δεν υπάρχει πακέτο και δεν θες να φτιάξεις ένα μόνος σου, τότε μια άλλη λύση είναι να χρησιμοποιήσεις

pip install --user <package-name>

το οποίο θα εγκαταστήσει το πακέτο στο $HOME/.local/lib/pythonx.y/site-packages/
και τα binaries στο $HOME/.local/bin/

έτσι δεν αγγίζεις την system python και γλυτώνεις τα virtualenvs κτλ.

[imitheos]

Χαζή ερώτηση: Αυτά τα pip, gem, κτλ είναι σαν το cpan της perl ?

Τι γαμάτο εργαλείο αυτό το cpan. Γενικά η perl ήταν 100 χρόνια μπροστά από την εποχή της. (Όχι φυσικά ότι python, ruby δεν είναι καλές).

[pmav99]

Το αντίστοιχο του cpan είναι το pypi στην python και το rubygems στην Ruby
To pip είναι ο package manager της python και σου επιτρέπει να εγκαθιστάς πακέτα από το pypi αλλά και από git/hg/svn repositories. Το αντίστοιχο πρόγραμμα σε ruby ονομάζεται bundler

[imitheos]

Μια και μιλάμε για γλώσσες, σας έβγαλε σήμερα νέα έκδοση ruby ?

Μου πέρασε σε νέο slot ruby 2.2.6 και κράτησε και την 2.1.9. Επέλεξα με το eselect την 2.2 και μετά έσβησα την 2.1 αλλά την ξαναφέρνουν κάποια προγράμματα. Έτσι πρέπει να γίνει, να έχουμε δύο εκδόσεις ruby όπως στις python ?

[mrsaccess]

Το αντίστοιχο του cpan είναι το pypi στην python και το rubygems στην Ruby
To pip είναι ο package manager της python και σου επιτρέπει να εγκαθιστάς πακέτα από το pypi αλλά και από git/hg/svn repositories. Το αντίστοιχο πρόγραμμα σε ruby ονομάζεται bundler

Μια και μιλάμε για γλώσσες, σας έβγαλε σήμερα νέα έκδοση ruby ?

Μου πέρασε σε νέο slot ruby 2.2.6 και κράτησε και την 2.1.9. Επέλεξα με το eselect την 2.2 και μετά έσβησα την 2.1 αλλά την ξαναφέρνουν κάποια προγράμματα. Έτσι πρέπει να γίνει, να έχουμε δύο εκδόσεις ruby όπως στις python ?

I rest my case!

Πολλοί package managers που λειτουργούν εκτός του portage (exhibit quote A), προβλήματα στα upgrades των interpreted εφαρμογών (exhibit quote B).

[GoofyX]

Άσχετο με το Gentoo. Έχει παρατηρήσεις κανείς την απελπιστικά αργή λειτουργία του swapoff; Σε ένα Debian server στη δουλειά που είχε καμιά ~300MB swap ενεργό, πήγα να τον κάνω reboot και είχε κολλήσει εκεί. Μετά κατάλαβα ότι το θέμα ήταν το swapoff. Τόσο αργή, που σε τέτοιες περιπτώσεις, σε αναγκάζει να το κάνεις με το χέρι πριν το reboot, προκειμένου να μην έχεις μεγάλο downtime στο server. Με το htop μπορείς να δεις την μείωση της μνήμης του swap (έβγαινε περίπου 1MB/sec, οπότε υπολογίστε περίπου για 300MB ενεργό swap πόσο θέλει...) μέχρι να φτάσει το 0 προκειμένου να απενεργοποιηθεί το swap εντελώς και να κάνεις το reboot με το χέρι.

[imitheos]

Άσχετο με το Gentoo. Έχει παρατηρήσεις κανείς την απελπιστικά αργή λειτουργία του swapoff; Σε ένα Debian server στη δουλειά που είχε καμιά ~300MB swap ενεργό, πήγα να τον κάνω reboot και είχε κολλήσει εκεί. Μετά κατάλαβα ότι το θέμα ήταν το swapoff. Τόσο αργή, που σε τέτοιες περιπτώσεις, σε αναγκάζει να το κάνεις με το χέρι πριν το reboot, προκειμένου να μην έχεις μεγάλο downtime στο server. Με το htop μπορείς να δεις την μείωση της μνήμης του swap (έβγαινε περίπου 1MB/sec, οπότε υπολογίστε περίπου για 300MB ενεργό swap πόσο θέλει...) μέχρι να φτάσει το 0 προκειμένου να απενεργοποιηθεί το swap εντελώς και να κάνεις το reboot με το χέρι.

Το swapoff κάνει κάτι άλλο από το να κάνει απλά reclaim όλες τις pages και να τις γράφει στο σκληρό ? Αν όχι, τότε λογικά δεν είναι το swapoff αυτό καθεαυτό αυτό που αργεί αλλά το γράψιμο στον δίσκο. Ένας μέσος δίσκος 7200 από αυτούς που έχουμε στα pc μας μπορεί μεν να αναφέρει 120MB/sec αλλά αυτό είναι μόνο στην αρχή του που γράφει στην μεγαλύτερη επιφάνεια του δίσκου και μόνο για συνεχόμενα δεδομένα. Αν τα δεδομένα του swap δεν είναι από ένα πρόγραμμα αλλά πρέπει να γραφτούν σε πολλές περιοχές, τότε για κάθε τομέα θα πρέπει να γίνει seek για να γραφτεί στην κατάλληλη θέση.

Αν θεωρήσουμε ότι έχεις 5ms seek τότε θα έχουμε 512B / 5ms ~= 100KB/sec. Φυσικά δεν πάει ακριβώς έτσι γιατί παίζουν πολλές παράμετροι εκτός από το seek, γιατί στον swap θα έχεις pages των 4KB και όχι 512B, γιατί δεν θα είναι και εντελώς random εγγραφές σε όλη την επιφάνεια, κτλ οπότε πρακτικά θα πιάνεις το 1MB/sec που βλέπεις.

Σαν λογική μου φαίνεται σωστό αυτό που έγραψα αλλά μπορεί να είναι εντελώς λάθος. Είναι χρόνια που δεν χρησιμοποιώ swap (και όταν είχα swap κατάτμηση ζήτημα να είχε 1% χρήση μια φορά το μήνα και άμα) οπότε δεν έχω ασχοληθεί καθόλου με το πως δουλεύει το swap. Περίμενε να ακούσεις από κάποιον πιο γνώστη.

Update: Στο link των kernelnewbies που έδωσες στο νήμα για τον 4.11 πυρήνα, έχει μια αναφορά σε βελτίωση της υλοποίησης του swap ώστε να μπορεί να χρησιμοποιηθεί σε SSD. Δεν το διάβασα αλλά έχε το στο νου σου όταν περάσεις στον 4.11 πυρήνα να κάνεις μια δοκιμή μήπως φτιάξει η αργοπορία.

[petran_18]

Δοκίμασε κανείς τον εφτάρη GCC;