Το νήμα του Gentoo, version 1.0

[alfaeffe]

Σίγουρα ήταν από αυτό (το downgrade) και όχι από προηγούμενο πακέτο; Σε εμένα δεν ζήτησε να γίνει rebuild κάτι.

Εκανα downgrade το xz-utils:

Calculating dependencies... done!
Dependency resolution took 8.98 s (backtrack: 1/20).

[ebuild     UD ] app-arch/xz-utils-5.4.2::gentoo [5.4.6-r1::gentoo] USE="extra-filters nls -doc -pgo -static-libs* -verify-sig" ABI_X86="(64) -32* (-x32)" 2734 KiB

Total: 1 package (1 downgrade), Size of downloads: 2734 KiB

και μετα μου εβγαλε αυτα για rebuilds, φανταζομαι οτι χρησιμοποιουν τη xz-utils:

[ebuild   R    ] app-arch/xz-utils-5.4.2::gentoo  USE="extra-filters nls static-libs -doc -pgo -verify-sig" ABI_X86="32 (64) (-x32)" 0 KiB
[ebuild   R    ] dev-lang/python-3.11.8_p1:3.11::gentoo  USE="ensurepip gdbm ncurses readline sqlite ssl -bluetooth -build -debug -examples -libedit -pgo -test -tk -valgrind -verify-sig" 0 KiB
[ebuild   R    ] dev-libs/libxml2-2.12.6:2::gentoo  USE="ftp icu lzma python readline -debug -examples -static-libs -test" ABI_X86="32 (64) (-x32)" PYTHON_TARGETS="python3_11 -python3_10 -python3_12" 0 KiB
[ebuild   R    ] app-arch/zstd-1.5.6:0/1::gentoo  USE="lzma static-libs zlib -lz4 -test" ABI_X86="32 (64) (-x32)" 0 KiB
[ebuild   R    ] sys-apps/kmod-32-r1::gentoo  USE="lzma (split-usr) (tools) zlib zstd -debug -doc -pkcs7 -static-libs" 0 KiB
[ebuild   R    ] dev-libs/elfutils-0.191::gentoo  USE="bzip2 lzma nls static-libs utils zstd -debuginfod -test -verify-sig" ABI_X86="(64) -32 (-x32)" 0 KiB
[ebuild   R    ] media-libs/tiff-4.6.0:0/6::gentoo  USE="cxx jpeg lzma zlib zstd -jbig -static-libs -test -verify-sig -webp" ABI_X86="32 (64) (-x32)" 0 KiB
[ebuild   R    ] sys-apps/file-5.45-r4::gentoo  USE="bzip2 lzma seccomp zlib zstd -lzip -python -static-libs -verify-sig" ABI_X86="(64) -32 (-x32)" PYTHON_TARGETS="python3_11 -python3_10" 0 KiB
[ebuild   R    ] dev-lang/python-3.12.2_p1:3.12::gentoo  USE="ensurepip gdbm ncurses readline sqlite ssl -bluetooth -build -debug -examples -libedit -pgo -test -tk -valgrind -verify-sig" 0 KiB
[ebuild   R    ] dev-libs/boost-1.84.0-r3:0/1.84.0::gentoo  USE="bzip2 context icu lzma nls stacktrace zlib zstd -debug -doc -mpi -numpy -python -tools" ABI_X86="(64) -32 (-x32)" PYTHON_TARGETS="python3_11 -python3_10 -python3_12" 0 KiB
[ebuild   R    ] dev-lang/python-3.10.14:3.10::gentoo  USE="ensurepip gdbm ncurses readline sqlite ssl -bluetooth -build -debug -examples -libedit -pgo -test -tk -valgrind -verify-sig" 0 KiB
[ebuild   R    ] dev-libs/libxmlb-0.3.14:0/2::gentoo  USE="zstd -doc -introspection -stemmer -test" 0 KiB
[ebuild   R    ] dev-libs/botan-3.2.0-r2:3/3.2::gentoo  USE="bzip2 lzma zlib -boost -doc -python -sqlite -static-libs -test -tools -verify-sig" CPU_FLAGS_X86="aes avx2 popcnt rdrand sse2 sse4_1 sse4_2 ssse3 -sha" PYTHON_TARGETS="python3_11 -python3_10 -python3_12" 0 KiB
[ebuild   R    ] app-arch/libarchive-3.7.2-r2:0/13::gentoo  USE="acl bzip2 e2fsprogs iconv lzma xattr zstd -blake2 -expat -lz4 -lzo -nettle -static-libs -test -verify-sig" ABI_X86="(64) -32 (-x32)" 0 KiB
[ebuild   R    ] media-libs/raptor-2.0.15-r8:2::gentoo  USE="curl -debug -json -static-libs" ABI_X86="(64) -32 (-x32)" 0 KiB
[ebuild   R    ] dev-db/mariadb-10.11.7:10.11/18::gentoo  USE="backup pam perl server xml -bindist -columnstore -cracklib -debug -extraengine -galera -innodb-lz4 -innodb-lzo -innodb-snappy -jdbc -jemalloc -kerberos -latin1 -mroonga -numa -odbc -oqgraph -profiling -rocksdb -s3 (-selinux) -sphinx -sst-mariabackup -sst-rsync -static -systemd -systemtap -tcmalloc -test -yassl" 0 KiB
[ebuild   R    ] dev-debug/gdb-14.2::gentoo  USE="cet lzma nls python server xml zstd -debuginfod -guile -multitarget -sim -source-highlight -test -vanilla -xxhash" PYTHON_SINGLE_TARGET="python3_11 -python3_10 -python3_12" 0 KiB
[ebuild   R    ] sys-boot/grub-2.12-r2:2/2.12-r2::gentoo  USE="fonts nls sdl themes truetype -device-mapper -doc -efiemu -libzfs -mount (-test) -verify-sig" GRUB_PLATFORMS="efi-64 pc -coreboot -efi-32 -emu -ieee1275 (-loongson) -multiboot -qemu (-qemu-mips) -uboot -xen -xen-32 -xen-pvh" 0 KiB
[ebuild   R    ] media-libs/imlib2-1.11.0::gentoo  USE="X bzip2 filters gif jpeg lzma mp3 png shm svg text tiff webp zlib -apidoc -debug -eps -heif -jpeg2k -jpegxl -packing -static-libs" ABI_X86="(64) -32 (-x32)" CPU_FLAGS_X86="sse2 (-mmx)" 0 KiB
[ebuild   R    ] media-gfx/imagemagick-7.1.1.25:0/7.1.1-18::gentoo  USE="X bzip2 cxx fontconfig jpeg lcms lzma openmp pango png svg tiff truetype xml zlib -corefonts -djvu -fftw -fpx -graphviz -hardened -hdri -heif -jbig -jpeg2k -jpegxl -lqr -opencl -openexr -perl -postscript -q8 -q32 -raw -static-libs -test -webp -wmf -zip" 0 KiB
[ebuild   R    ] sys-apps/fwupd-1.9.14::gentoo  USE="archive bash-completion bluetooth elogind gusb lzma (policykit) sqlite -amdgpu -amt -cbor -fastboot -flashrom -gnutls -gtk-doc -introspection -logitech -minimal -modemmanager -nvme -spi -synaptics -systemd -test -test-full -tpm -uefi" PYTHON_SINGLE_TARGET="python3_11 -python3_10 -python3_12" 0 KiB
[ebuild   R    ] kde-frameworks/karchive-5.115.0:5/5.115::gentoo  USE="zstd -debug -doc -test" 0 KiB
[ebuild   R    ] kde-apps/akonadi-23.08.5:5::gentoo  USE="kaccounts mysql xml -debug -designer -doc -postgres -sqlite -test -tools" 0 KiB
[ebuild   R    ] media-video/ffmpeg-6.1.1-r5:0/58.60.60::gentoo  USE="X alsa bzip2 dav1d encode fontconfig gnutls gpl iconv lcms lzma mp3 network opengl opus pic postproc pulseaudio sdl svg threads truetype vdpau vorbis vulkan x264 xvid zlib -amf -amr -amrenc (-appkit) -bluray -bs2b -cdio -chromaprint -chromium -codec2 -cpudetection -cuda -debug -doc -fdk -flite -frei0r -fribidi -gcrypt -glslang -gme -gmp -gsm -hardcoded-tables -iec61883 -ieee1394 -jack -jpeg2k -jpegxl -kvazaar -ladspa -libaom -libaribb24 -libass -libcaca -libdrm -libilbc -libplacebo -librtmp -libsoxr -libtesseract -libv4l -libxml2 -lv2 (-mipsdspr1) (-mipsdspr2) (-mipsfpu) -modplug -nvenc -openal -opencl -openh264 -openssl -oss -qsv -rav1e -rubberband -samba -shaderc -snappy -sndio -soc -speex -srt -ssh -static-libs -svt-av1 -test -theora -twolame -v4l -vaapi -verify-sig -vidstab -vmaf -vpx -webp -x265 -zeromq -zimg -zvbi" ABI_X86="(64) -32 (-x32)" CPU_FLAGS_X86="aes avx avx2 fma3 mmx mmxext sse sse2 sse3 sse4_1 sse4_2 ssse3 -3dnow -3dnowext -fma4 -xop" FFTOOLS="aviocat cws2fws ffescape ffeval ffhash fourcc2pixfmt graph2dot ismindex pktdumper qt-faststart sidxindex trasher" 0 KiB

Total: 24 packages (24 reinstalls), Size of downloads: 0 KiB

Χθες μαλλον προλαβα το μασκαρισμα της 5.6.1 αλλα οχι το ενδιαμεσο μασκαρισμα της 5.4.6-r1, γι'αυτο και το downgrade μου απο 5.4.6 σε 5.4.2.

[GoofyX]

Εν τω μεταξύ αυτός ο τύπος έχει κάνει commits και σε άλλα project, πχ. στο libarchive που υπάρχει και στο Gentoo.

https://bugs.gentoo.org/928146

[NicM1]

[ebuild     UD ] app-arch/xz-utils-5.4.2::gentoo [5.4.6-r1::gentoo] USE="extra-filters nls -doc -pgo -static-libs -verify-sig" 2734 KiB

Total: 1 package (1 downgrade), Size of downloads: 2734 KiB

Δεν έχει άλλα εμπλεκόμενα πακέτα.

[alfaeffe]

[ebuild     UD ] app-arch/xz-utils-5.4.2::gentoo [5.4.6-r1::gentoo] USE="extra-filters nls -doc -pgo -static-libs -verify-sig" 2734 KiB

Total: 1 package (1 downgrade), Size of downloads: 2734 KiB

Δεν έχει άλλα εμπλεκόμενα πακέτα.

Προφανώς, φαίνεται εξάλλου αυτό.

[imitheos]

Φυσικά το περιστατικό είναι πολύ ακραίο και δεν είναι κάτι που γίνεται κάθε μέρα, αλλά να ακόμη ένα επιχείρημα για τις USE σημαίες του Gentoo. Πόσες φορές έχουμε ακούσει κάποιον να λέει κάτι του στυλ "και τι θα κερδίσω εγώ να κλείσω κάποια use flags;".

Το SSH, χωρίς να έχει πρόβλημα ασφάλειας το ίδιο, αποκτά τρύπα για τον μόνο λόγο ότι κάποια εξάρτησή του έγινε link με την liblzma. Δεν ξέρω αν το πρόβλημα παύει να υπάρχει με την χρήση του as-needed (άλλο ένα πράγμα που χρησιμοποιούσε για χρόνια το gentoo και κορόιδευαν άλλες διανομές και τώρα το χρησιμοποιούν όλες).

[GoofyX]

Τι ακριβώς κάνει το as-needed...;

--as-needed
--no-as-needed
This option affects ELF DT_NEEDED tags for dynamic libraries mentioned on the command
line after the --as-needed option. Normally the linker will add a DT_NEEDED tag for
each dynamic library mentioned on the command line, regardless of whether the library
is actually needed or not. --as-needed causes a DT_NEEDED tag to only be emitted for
a library that at that point in the link satisfies a non-weak undefined symbol
reference from a regular object file or, if the library is not found in the DT_NEEDED
lists of other needed libraries, a non-weak undefined symbol reference from another
needed dynamic library. Object files or libraries appearing on the command line after
the library in question do not affect whether the library is seen as needed. This is
similar to the rules for extraction of object files from archives. --no-as-needed
restores the default behaviour.

Note: On Linux based systems the --as-needed option also has an affect on the
behaviour of the --rpath and --rpath-link options. See the description of
--rpath-link for more details.

Ανάθεμα να κατάλαβα Χριστό...

[imitheos]

Τι ακριβώς κάνει το as-needed...;

Ανάθεμα να κατάλαβα Χριστό...

Η πιο εύκολη (αλλά ανακριβής) εξήγηση είναι ότι η libfoo έχει κάποιες συναρτήσεις που χρησιμοποιούν την libbar οπότε γίνεται link με την libbar. Εσύ έχεις ένα πρόγραμμα που χρησιμοποιεί μια συνάρτηση της libfoo (η οποία συνάρτηση δεν χρειάζεται την libbar). Όταν γίνει link το πρόγραμμά σου, θα γίνει link με την libfoo και επειδή ο linker βλέπει ότι η libfoo χρειάζεται την libbar, θα γίνει το πρόγραμμά σου link και με εκείνη άσχετα αν δεν την χρειάζεται. Στη συντριπτική πλειοψηφία των περιπτώσεων αυτό έχει ως αποτέλεσμα απλά το πρόγραμμά σου να αργεί παραπάνω να ξεκινήσει και να χρειάζεται λίγη παραπάνω μνήμη (ο linker πρέπει να ψάξει στο filesystem την libbar και να την φορτώσει σε κάποια περιοχή μνήμης). Στη συγκεκριμένη περίπτωση, η liblzma (να κατάλαβα καλά) έβλεπε πώς λεγόταν η process και αν λεγόταν sshd έτρεχε malicious κώδικα. Αν δεν γινόταν link με τον sshd (επειδή αυτός δεν την χρειαζόταν), τότε δεν θα μπορούσε να δουλέψει.

Spoiler:

Παρακάτω είναι ένα πολύ γρήγορο παράδειγμα. _Δεν_ είναι καλό παράδειγμα γιατί δείχνει την πιο ακραία κατάσταση που δεν χρησιμοποιείς καμμία συνάρτηση της βιβλιοθήκης απλά είναι το πιο γρήγορο που μπορούσα να γράψω. Βαριόμουν να σκεφτώ να κάνω χρήση μιας συνάρτησης.

% cat tmp.c 
#include <stdio.h>

int main(void)
{
	puts("Hello");
	return 0;
}
% gcc -Wall -O2 -o a1 -Wl,--no-as-needed -lgtk-x11-2.0 tmp.c 
% gcc -Wall -O2 -o a2 -Wl,--as-needed -lgtk-x11-2.0 tmp.c

Ενώ έχω ένα απλό cli πρόγραμμα που δεν χρησιμοποιεί γραφικά widgets, το κάνω link με την gtk-x11 (ακραίο παράδειγμα. κανονικά δεν θα γινόταν αυτό για αυτό κάνω link χειροκίνητα την βιβλιοθήκη)

% ldd a1
	linux-vdso.so.1 (0x00007ffd2466f000)
	libgtk-x11-2.0.so.0 => /lib64/libgtk-x11-2.0.so.0 (0x00007a9193600000)
	libc.so.6 => /lib64/libc.so.6 (0x00007a9193200000)
	libgdk-x11-2.0.so.0 => /lib64/libgdk-x11-2.0.so.0 (0x00007a9193b9b000)
	libgmodule-2.0.so.0 => /lib64/libgmodule-2.0.so.0 (0x00007a9193b92000)
	libpangocairo-1.0.so.0 => /lib64/libpangocairo-1.0.so.0 (0x00007a9193b82000)
	libX11.so.6 => /lib64/libX11.so.6 (0x00007a91934ba000)
	libXfixes.so.3 => /lib64/libXfixes.so.3 (0x00007a9193b7a000)
	libatk-1.0.so.0 => /lib64/libatk-1.0.so.0 (0x00007a9193b51000)
	libcairo.so.2 => /lib64/libcairo.so.2 (0x00007a91930c9000)
	libgdk_pixbuf-2.0.so.0 => /lib64/libgdk_pixbuf-2.0.so.0 (0x00007a9193b22000)
	libgio-2.0.so.0 => /lib64/libgio-2.0.so.0 (0x00007a9192edb000)
	libglib-2.0.so.0 => /lib64/libglib-2.0.so.0 (0x00007a9192d90000)
	libgobject-2.0.so.0 => /lib64/libgobject-2.0.so.0 (0x00007a9193abe000)
	libpangoft2-1.0.so.0 => /lib64/libpangoft2-1.0.so.0 (0x00007a9193aa5000)
	libpango-1.0.so.0 => /lib64/libpango-1.0.so.0 (0x00007a9193450000)
	libfontconfig.so.1 => /lib64/libfontconfig.so.1 (0x00007a9192d41000)
	libm.so.6 => /lib64/libm.so.6 (0x00007a9192c5a000)
	/lib64/ld-linux-x86-64.so.2 (0x00007a9193c71000)
	libXrender.so.1 => /lib64/libXrender.so.1 (0x00007a9193a96000)
	libXinerama.so.1 => /lib64/libXinerama.so.1 (0x00007a9193a91000)
	libXi.so.6 => /lib64/libXi.so.6 (0x00007a9193a7d000)
	libXrandr.so.2 => /lib64/libXrandr.so.2 (0x00007a9193a6e000)
	libXcursor.so.1 => /lib64/libXcursor.so.1 (0x00007a9193a61000)
	libXcomposite.so.1 => /lib64/libXcomposite.so.1 (0x00007a919344b000)
	libXdamage.so.1 => /lib64/libXdamage.so.1 (0x00007a9193446000)
	libXext.so.6 => /lib64/libXext.so.6 (0x00007a9193431000)
	libharfbuzz.so.0 => /lib64/libharfbuzz.so.0 (0x00007a9192b4c000)
	libxcb.so.1 => /lib64/libxcb.so.1 (0x00007a9193405000)
	libz.so.1 => /lib64/libz.so.1 (0x00007a9192b32000)
	libpng16.so.16 => /lib64/libpng16.so.16 (0x00007a9192ae9000)
	libfreetype.so.6 => /lib64/libfreetype.so.6 (0x00007a9192a2b000)
	libxcb-render.so.0 => /lib64/libxcb-render.so.0 (0x00007a9192a1c000)
	libxcb-shm.so.0 => /lib64/libxcb-shm.so.0 (0x00007a9192a17000)
	libpixman-1.so.0 => /lib64/libpixman-1.so.0 (0x00007a919299f000)
	libjpeg.so.8 => /lib64/libjpeg.so.8 (0x00007a91928d9000)
	libmount.so.1 => /lib64/libmount.so.1 (0x00007a919288d000)
	libselinux.so.1 => /lib64/libselinux.so.1 (0x00007a919285d000)
	libpcre2-8.so.0 => /lib64/libpcre2-8.so.0 (0x00007a91927b1000)
	libffi.so.8 => /lib64/libffi.so.8 (0x00007a91927a6000)
	libfribidi.so.0 => /lib64/libfribidi.so.0 (0x00007a9192786000)
	libthai.so.0 => /lib64/libthai.so.0 (0x00007a919277a000)
	libexpat.so.1 => /lib64/libexpat.so.1 (0x00007a919274c000)
	libgraphite2.so.3 => /lib64/libgraphite2.so.3 (0x00007a919272b000)
	libXau.so.6 => /lib64/libXau.so.6 (0x00007a9192726000)
	libbz2.so.1 => /lib64/libbz2.so.1 (0x00007a919270d000)
	libbrotlidec.so.1 => /lib64/libbrotlidec.so.1 (0x00007a91926ff000)
	libblkid.so.1 => /lib64/libblkid.so.1 (0x00007a91926c2000)
	libdatrie.so.1 => /lib64/libdatrie.so.1 (0x00007a91926b9000)
	libbrotlicommon.so.1 => /lib64/libbrotlicommon.so.1 (0x00007a9192696000)
% ldd a2
	linux-vdso.so.1 (0x00007ffed7bee000)
	libc.so.6 => /lib64/libc.so.6 (0x000073fd73000000)
	/lib64/ld-linux-x86-64.so.2 (0x000073fd73408000)

Όπως βλέπεις, στην 1η περίπτωση έγιναν link όλες οι βιβλιοθήκες που χρειάζεται η libgtk-x11-2.0 άσχετα αν το πρόγραμμά σου δεν τις χρειαζόταν. Στην 2η περίπτωση, ο linker ψάχνει να βρει τι symbols χρειάζεσαι και θα εισάγει μόνο τις βιβλιοθήκες που χρειάζονται. Στην συγκεκριμένη περίπτωση δεν εισήγαγε καμμία, ούτε καν την libgtk-x11-2.0 που του είπα ρητά εγώ. Φυσικά το as-needed δουλεύει καλύτερα όσο πιο πολλές βιβλιοθήκες του λειτουργικού είναι χτισμένες με αυτό.

[GoofyX]

Ευχαριστώ για την εξήγηση!

Οκ πες για το Gentoo, δεν υπάρχει περίπτωση και άλλες διανομές να χρησιμοποιούν το --as-needed στο linker για τα binaries τους;

[imitheos]

Ευχαριστώ για την εξήγηση!

Οκ πες για το Gentoo, δεν υπάρχει περίπτωση και άλλες διανομές να χρησιμοποιούν το --as-needed στο linker για τα binaries τους;

Έχω χρόνια να το παρακολουθήσω αλλά κατά καιρούς υπήρχαν συζητήσεις σε διανομές (τουλάχιστον fedora , opensuse) για ενεργοποίηση hardened επιλογών. Μια για το stack-protector μια για το FORTIFY_SOURCE μια για το ένα μια για το άλλο. Υποθέτω πως σήμερα όλες οι major διανομές χρησιμοποιούν όλες τις hardened επιλογές.

[famous-walker]

Οι του debian stable επηρεαζονται;

[GoofyX]

Οι του debian stable επηρεαζονται;

Αυτή τη φορά δικαιώνονται αυτοί που λένε ότι οι παλιές εκδόσεις είναι σταθερές.

Αλλά περίπτωση όμως.

[famous-walker]

Αυτή τη φορά δικαιώνονται αυτοί που λένε ότι οι παλιές εκδόσεις είναι σταθερές.

Αλλά περίπτωση όμως.

Εννοειται. Παντα κατι χανεις κατι κερδιζεις. Ισως η λυση ειναι πολλα layers.

[GoofyX]

Για το συγκεκριμένο λογισμικό ήταν 2 άνθρωποι μόνο που υποτίθεται ο αρχικός εμπιστεύτηκε τον δεύτερο και του έδωσε commit access. Είναι μια σημαντική βιβλιοθήκη που ουσιαστικά την δούλευαν (εννοώντας τον κώδικα) 2, άντε 3-4 άνθρωποι, από τους οποίους ο δεύτερος καταχράστηκε το δικαίωμα και φύτεψε κακόβουλο κώδικα. Σε τόσο σημαντικά κομμάτια λογισμικού θέλεις πολλούς ανθρώπους και πραγματική εμπιστοσύνη. Τι να πω...

- - - Updated - - -

Άσχετο: το verify-sif flag το έχετε;

euse -i verify-sig
global use flags (searching: verify-sig)
************************************************************
[- ] verify-sig - Verify upstream signatures on distfiles

local use flags (searching: verify-sig)
************************************************************
no matching entries found

[NicM1]

Project:Council/AI policy

- - - Updated - - -

Έχω μεγάλη καθυστέρηση στο κατέβασμα των πακέτων, συνέβη και σε εσάς ;

- - - Updated - - -

 6900K ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,. 19% 1.74K 13d11h
  6950K .......... .......... .......... .......... .......... 19% 32.0K 4h42m
  7000K .......... .......... .......

[Gentoo]

Project:Council/AI policy

- - - Updated - - -

Έχω μεγάλη καθυστέρηση στο κατέβασμα των πακέτων, συνέβη και σε εσάς ;

- - - Updated - - -

 6900K ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,. 19% 1.74K 13d11h
  6950K .......... .......... .......... .......... .......... 19% 32.0K 4h42m
  7000K .......... .......... .......

Δοκίμασες άλλο mirror?

Μπορείς να τσεκαρεις και το state των sync mirrors:
https://mirrorstats.gentoo.org/rsync/