Καθοδόν προς την τεχνολογική μοναδικότητα

[mzaf]

tesla A.I.
https://gizmodo.com/tesla-motorcycle...ton-1851428850

[ChriZ]

Το βασικό πρόβλημα με αυτούς εκεί είναι η μ@λ@κία που κουβαλάνε στο κεφάλι τους και οχι τα αυτοκίνητα...

[Yonko]

https://www.techspot.com/news/102701...abilities.html

Their findings revealed that GPT-4 was able to exploit 87 percent of the tested vulnerabilities, whereas other models, including GPT-3.5, had a success rate of zero percent.

Το paper μιλάει για one-day, όχι zero-day. Έχει τεράστια διαφορά.

[giorgosts]

Το paper μιλάει για one-day, όχι zero-day. Έχει τεράστια διαφορά.

Παίρνει την ανακοίνωση και φτιάχνει πετυχημένο εκτελέσιμο. What more you need?

[Yonko]

Παίρνει την ανακοίνωση και φτιάχνει πετυχημένο εκτελέσιμο. What more you need?

Είναι απίστευτο το που έχουμε φτάσει, το ξέρω. Αλλά το άρθρο μιλάει για zero-day, ενώ το paper για one-day. Η διαφορά είναι τάξης μεγέθους. Σκέψου ένα AI που κοιτάζει το codebase και εντοπίζει zero-day. Κάτι τέτοιο μου ακούγεται το άγιο δισκοπότηρο της ασφάλειας, και δε νομίζω πως είμαστε κοντά.

[NeK]

Είναι απίστευτο το που έχουμε φτάσει, το ξέρω. Αλλά το άρθρο μιλάει για zero-day, ενώ το paper για one-day. Η διαφορά είναι τάξης μεγέθους. Σκέψου ένα AI που κοιτάζει το codebase και εντοπίζει zero-day. Κάτι τέτοιο μου ακούγεται το άγιο δισκοπότηρο της ασφάλειας, και δε νομίζω πως είμαστε κοντά.

Ναι, δεν εντοπίζει άγνωστα νέα vulnerabilities, όπως πονηρά αφήνει να εννοηθεί το άρθρο. Αντιθέτως, για ήδη γνωστά vulnerabilities (CVE), ακολουθεί τις οδηγίες που έχουν για το πως να τα κάνεις exploit. Αυτό κάνανε οι "ερευνητές" του paper, βάλανε το chatGPT να δοκιμάσει να κάνει exploit κάποια γνωστά vulnerabilities με υπάρχοντα CVEs που έχουν οδηγίες για το πως να το κάνει κανείς. Δηλαδή, η είδηση εδώ είναι ότι μπορεί αντί να ακολουθήσει κάποιος τις οδηγίες ενός CVE για να κάνει ένα επιτυχημένο exploit, να βάλει το chatGPT να το κάνει αυτό, αυτοματοποιημένα.

Δεν ξέρω τι το καινούριο φέρνει αυτή η τακτική, έτσι και αλλιώς το exploit ήταν γνωστό και το έκανε όποιος ήθελε και δεν βαριόταν. Απλά ίσως κάνει κάποια script kiddies πιο επιτυχημένα σε αυτό και να το κάνουνε en masse. Είναι αυτό όμως κάτι που θα πρεπε να μας φοβίζει ή να μας εκπλήσσει;

[MNP-10]

Είναι απίστευτο το που έχουμε φτάσει, το ξέρω. Αλλά το άρθρο μιλάει για zero-day, ενώ το paper για one-day. Η διαφορά είναι τάξης μεγέθους. Σκέψου ένα AI που κοιτάζει το codebase και εντοπίζει zero-day. Κάτι τέτοιο μου ακούγεται το άγιο δισκοπότηρο της ασφάλειας, και δε νομίζω πως είμαστε κοντά.

Παιζει να μαστε πιο κοντα απ'οσο νομιζουμε.

https://arxiv.org/html/2404.08144v2

"Importantly, we show that GPT-4 achieves a 87% success rate but every other LLM we test (GPT-3.5, 8 open-source models) and open-source vulnerability scanners achieve a 0% success rate on our benchmark. Without the CVE description, GPT-4’s success rate drops to 7%, showing that our agent is much more capable of exploiting vulnerabilities than finding vulnerabilities."
...
"5.3 Removing CVE Descriptions

We then modified our agent to not include the CVE description. This task is now substantially more difficult, requiring both finding the vulnerability and then actually exploiting it. "


Αυτο το 7% θα πρεπε να ναι μηδεν. Κανει exploit vulnerabilities χωρις να ξερει τι ειναι το vulnerability και πως γινεται exploit. Αν βαλεις το πιθανο αριθμο απο τρυπες που μπορει να υπαρχουν παντου και που μπορεις να το εκμεταλλευτεις με ενα ποσοστο ακομα και ...1%, αν βαλεις το chatgpt 4.0 να κανει exploit σε φαση brute force (δλδ το ψαρωσεις με fake security advisory οτι υπαρχει ενα δηθεν υπαρκτο vulnerability σε καποιο site/app/library/οτιδηποτε που πρεπει να το κανεις exploit) ολο και κατι θα βρει (και θα φτιαξει και exploit!) που δεν υπαρχει ουτε ως ...0-day. Αυτο ισως ειναι πιο ανησυχητικο απ'το οτι μπορει να γραφει exploits on the fly.

Για τα exploits: Μεγαλο ποσοστο της υφισταμενης ασφαλειας που υπαρχει σημερα ειναι επειδη ελαχιστοι ξερουν / μπορουν / εχουν το χρονο, να κατσουν να ασχοληθουν με workable exploits ακομα και οταν υπαρχουν τρυπες. Ακομα και σε bugs του hardware που θελει αντικατασταση ή firmware update προσπαθουν να καθησυχασουν τον κοσμο οτι εεε, καλα τωρα, ολο αυτο ειναι πολυ τραβηγμενο για να το κανει καποιος... Αυτο παει περιπατο αν απλα ζητας απ'το chatgpt 4 να το κανει για σενα αυτοματοποιημενα. Αυτο δεν εχει κοπο περα απ'το να φτιαξεις το καταλληλο prompt για να κανεις bypass τα ethics του.

Στο τελος γραφει:

We have disclosed our findings to OpenAI prior to publication. They have explicitly requested that we do not release our prompts to the broader public, so we will only make the prompts available upon request. Furthermore, many papers in advanced ML models and work in cybersecurity do not release the specific details for ethical reasons (such as the NeurIPS 2020 best paper (Brown et al., 2020)). Thus, we believe that withholding the specific details of our prompts are in line with best practices.

Ε ρε γλεντια...

Εντωμεταξυ μ'αρεσει που κανουν το διαχωρισμο για open source και closed source οτι ασχοληθηκαν μονο με open source, ενω στην ουσια αυτο δε θα παιζει κανενα ρολο στο μελλον. Για ενα εξελιγμενο language model το να διαβαζει την assembly θα βγαζει παρoμοιο νοημα με το να διαβαζει τη C ή τη javascript αφου θα μπορει να συναγει τι ακριβως κανει ενα προγραμμα με βαση τα input/output και τα ενδιαμεσα σταδια επεξεργασιας δεδομενων - ενω θα εχει εκπαιδευτει και στο να "διαβαζει" τυχον performance optimizations που γινονται απ'τους compilers και που θα το εκαναν throw off στο να βγαλει "λογικη" σε καποια πραγματα που σε επιπεδο assembly ισως δε βγαζουν νοημα σε σχεση με τη C. Αν εχει γινει train στο οτι πληθωρα binaries εχουν συγκεκριμενες αποκλισεις σε σχεση με τα sources, θα φιλτραρει και θα βλεπει "διαφανα" τα performance optimizations / rearrangements κτλ που γινονται και θα επικεντρωνεται στην ουσια. Ισως απ'το binary να δινει αντιστροφα ενα καλυτερο, πολυ καλυτερα γραμμενο και σχολιασμενο C file.

Θυμαμαι καπου early-mid 90s για να hackαρω/crackαρω εφαρμογες και games που ηθελαν passwords εμπαινα στο norton hexedit και εκει που ειχε τον κωδικο απλα εβαζα 00 00 00 00 00 00 κτλ. Οταν μετα η εφαρμογη μου ζηταγε το password απλα παταγα enter και επαιζε. Αυτο δουλευε ακομα και με random passes, πχ θυμαμαι στο x-wing και το tie-fighter της lucasarts το pass ηταν rotating αλλα αντικαθιστωντας τη μεταβλητη με 00 00 00 00 παλι επαιζε με ενα απλο enter. Επειδη καναμε κοντρες με κατι φιλους για το ποιος θα σπασει περισσοτερα, ή φτιαχναμε password apps και καναμε challenge ο ενας να σπασει του αλλουνου, ο πιο σιγουρος τροπος για να τους κανω throw off και να μη μπορουν να βρουν ακρη στο binary ηταν να κανω use το PKLite που ηταν ουσιαστικα zippαρισμα σε .EXE αρχεια ωστε να ειναι συμπιεσμενα αλλα και εκτελεσιμα ταυτοχρονα. Απλα ο αλλος δεν εβγαζε ακρη μεσα απ'τη συμπιεση. Ισως κατι αντιστοιχο να κανε throw off και το chatgpt (για 1-2 iterations, ως delay, μετα θα εβλεπε διαφανα μεσα και απ'το compression) γιατι το γεγονος οτι το binary ειναι binary μπορει να ειναι αποτρεπτικο για τη πλειοψηφια των ανθρωπων σιγουρα ομως δε θα ειναι για ενα εξελιγμενο language model. Πρακτικα καταργει το closed source... Απο μια αποψη και το open source καταργει ("licensing") αφου μπορεις να βαλεις μια open source εφαρμογη να στη ξαναγραψει ωστε να μη φαινονται οι ομοιοτητες στον κωδικα και ετσι να κανεις bypass τα rights held. Οι regulators θα χουν πολυ δουλεια

[NeK]

Κάτσε γιατί θα τρελαθούμε τελείως. Το paper αυτό λέει ότι το chatGPT βρήκε πως να κάνει exploit ένα vulnerability σε κάποιο πρόγραμμα, χωρίς τις οδηγίες (description); Δηλαδή, μόνο από τον... τίτλο;

Ας πουμε για παράδειγμα έναν υποθετικό CVE τίτλο: "vulnerability in Oracle Database". Θέλουν να μας πουν ότι το chatGPT διάβασε τον τίτλο αυτόν και ξαφνικά πέταξε κώδικα που το κάνει exploit;

Αυτό είναι απλώς αδύνατον. Βασικά είναι γελοίο. Κάτι άλλο μάλλον θα εννοούν.

[Zus]

Description. Κάποια description είναι πολύ μεγάλα. Περιέχουν αρκετές λέξεις κλειδιά.

[NeK]

Description. Κάποια description είναι πολύ μεγάλα. Περιέχουν αρκετές λέξεις κλειδιά.

Ναι αλλά εδώ ισχυρίζονται ότι έφτιαξε το exploit χωρίς το description. Πως;

[Zus]

In this work, we show that LLM agents can autonomously exploit one-day vulnerabilities in real-world systems. To show this, we collected a dataset of 15 one-day vulnerabilities that include ones categorized as critical severity in the CVE description. When given the CVE description, GPT-4 is capable of exploiting 87% of these vulnerabilities compared to 0% for every other model we test (GPT-3.5, open-source LLMs) and open-source vulnerability scanners (ZAP and Metasploit). Fortunately, our GPT-4 agent requires the CVE description for high performance: without the description, GPT-4 can exploit only 7% of the vulnerabilities. Our findings raise questions around the widespread deployment of highly capable LLM agents.

Το αντίθετο.

Και λογικά το description δεν είναι το μικρό που φαίνεται στο πινακάκι.

Δηλαδή αυτό

Container escape via an internal file descriptior leak

λογικά είναι αυτό

runc is a CLI tool for spawning and running containers on Linux according to the OCI specification. In runc 1.1.11 and earlier, due to an internal file descriptor leak, an attacker could cause a newly-spawned container process (from runc exec) to have a working directory in the host filesystem namespace, allowing for a container escape by giving access to the host filesystem ("attack 2"). The same attack could be used by a malicious image to allow a container process to gain access to the host filesystem through runc run ("attack 1"). Variants of attacks 1 and 2 could be also be used to overwrite semi-arbitrary host binaries, allowing for complete container escapes ("attack 3a" and "attack 3b"). runc 1.1.12 includes patches for this issue.

[tsigarid]

Το αντίθετο.

Και λογικά το description δεν είναι το μικρό που φαίνεται στο πινακάκι.

Δηλαδή αυτό



λογικά είναι αυτό

Συγγνώμη, αλλά αν διαβάσει "runc 1.1.12 includes patches for this issue" ασφαλώς και θα περίμενε κάποιος να ξέρει τι να κάνει

[Zus]

Συγγνώμη, αλλά αν διαβάσει "runc 1.1.12 includes patches for this issue" ασφαλώς και θα περίμενε κάποιος να ξέρει τι να κάνει

Αυτό έγραψα ότι το description έχει πολύ συγκεκριμένη και χρήσιμη πληροφορία μέσα του.

Όπως συγκεκριμένη έκδοση πχ.

[MNP-10]

Κάτσε γιατί θα τρελαθούμε τελείως. Το paper αυτό λέει ότι το chatGPT βρήκε πως να κάνει exploit ένα vulnerability σε κάποιο πρόγραμμα, χωρίς τις οδηγίες (description); Δηλαδή, μόνο από τον... τίτλο;

Ας πουμε για παράδειγμα έναν υποθετικό CVE τίτλο: "vulnerability in Oracle Database". Θέλουν να μας πουν ότι το chatGPT διάβασε τον τίτλο αυτόν και ξαφνικά πέταξε κώδικα που το κάνει exploit;

Αυτό είναι απλώς αδύνατον. Βασικά είναι γελοίο. Κάτι άλλο μάλλον θα εννοούν.

"We then modified our agent to not include the CVE description. This task is now substantially more difficult, requiring both finding the vulnerability and then actually exploiting it."

Το θεμα ειναι οτι δεν εχουμε το prompt. Αλλα οτι τη βρηκε, τη βρηκε. Το θεμα ειναι αν του δωσανε κανα hint στο prompt, σε στυλ το συγκεκριμενο εχει μια τρυπα μεσω buffer, βρες τη και γραψε ενα exploit. Αλλα ακομα και ετσι αυτο δινει αμεσως τη δυνατοτητα για brute forcing στην ευρεση vulnerabilities... αλλαζεις απλα τα prompt και ζητας απ'το gpt να βρει υποτιθεμενα flaws και αυτο τα βρισκει. Εστω και 1% να βρει εισαι happy.

Πχ φτιαχνεις 500 διαφορετικα prompts του στυλ

"Στο chrome βγηκε ενα vulnerability που εχει να κανει με τους buffers και επιτρεπει remote execution, βρες το και γραψε usable exploit"
"Στο chrome βγηκε ενα vulnerability που εχει να κανει με τους buffers και επιτρεπει priviledge escalation, βρες το και γραψε usable exploit"
"Στο chrome βγηκε ενα vulnerability που εχει να κανει με off by 1 που οδηγει σε overflow και επιτρεπει remote execution, βρες το και γραψε usable exploit""
"Στο chrome βγηκε ενα vulnerability που εχει να κανει με off by 1 που οδηγει σε overflow και επιτρεπει priviledge escalation, βρες το και γραψε usable exploit"
"Στο chrome βγηκε ενα vulnerability που εχει να κανει με input συγκεκριμενης ακολουθιας κωδικα που επιτρεπει priviledge escalation, βρες το και γραψε usable exploit"
"Στο chrome βγηκε ενα vulnerability που εχει να κανει με input συγκεκριμενης ακολουθιας κωδικα που επιτρεπει remote execution, βρες το και γραψε usable exploit"
"Στο chrome βγηκε ενα vulnerability που εχει να κανει με μεταβλητες που δε μηδενιζονται και κανουν leak κρισιμα data, βρες το και γραψε usable exploit"
...
...και οτι βρει, βρηκε. Μια χαρα

- - - Updated - - -

Το αντίθετο.

Και λογικά το description δεν είναι το μικρό που φαίνεται στο πινακάκι.

Δηλαδή αυτό

λογικά είναι αυτό

Το θεμα ειναι οτι εσυ μπορεις να φτιαξεις μια λιστα με πιθανα προβληματα οπως το "Container escape via an internal file descriptior leak" που ειναι ο τιτλος, τα οποια απλα δεν υπαρχουν, αλλα να ψαρωσεις το chatgpt οτι υπαρχουν ωστε αυτο να παει μετα να το ψαξει και αν βρει τιποτα να κανει το exploit. Αν η λιστα σου ειναι μεγαλη η πιθανοτητα να βρεις τετοια προβληματα αυξανεται δραματικα. Αν μπορει με το title να φτιαξει exploit (!) στο 7% των περιπτωσεων αυτο ειναι πολυ μεγαλο ποσοστο.

[Yonko]

Εστω και 1% να βρει εισαι happy.

Ναι, αλλά είναι τάξης μεγέθους η διαφορά να τα τσεκάρει μόνο του και να βρίσκει το πρόβλημα σε σχέση με το να του δίνεις hints κι αυτό από απομνημόνευση να ξέρει τι πρέπει να κάνει. Σε 0-day, τα hint θέλεις, δε θέλεις κάποιος να σου υλοποιήσει τα hints σε γλώσσα C/C++ κλπ.

- - - Updated - - -

και οτι βρει, βρηκε. Μια χαρα

Τουλάχιστον στο ChatGPT, άμα του πεις πως υπάρχει θέμα εδώ εδώ κι εδώ, και ψέμα να είναι, μάλλον θα σου παράξει μια "λύση". Οπότε μπάζει το πράμα.