Καθοδόν προς την τεχνολογική μοναδικότητα

[MNP-10]

Ναι, αλλά είναι τάξης μεγέθους η διαφορά να τα τσεκάρει μόνο του και να βρίσκει το πρόβλημα σε σχέση με το να του δίνεις hints κι αυτό από απομνημόνευση να ξέρει τι πρέπει να κάνει. Σε 0-day, τα hint θέλεις, δε θέλεις κάποιος να σου υλοποιήσει τα hints σε γλώσσα C/C++ κλπ.

Το θεμα ειναι οτι για ενα language model το να διαβαζει κειμενο ή C ειναι σχεδον ...το ιδιο πραγμα.

Το μυαλο του ερευνητη ειναι blown away οταν ζηταει απ'το gpt πχ να βρει λαθη στη λογικη του κωδικα που μπορει να οδηγουσαν σε exploit αλλα ειναι σα να ζητας απο ενα φιλολογο να σου βρει λαθη στη δομη / λογικη ενος κειμενου... για μας ειναι δυσκολο και μας εντυπωσιαζει γιατι το μυαλο floodαρει ειδικα οταν διαβαζει κωδικα που εχουν γραψει τριτα ατομα, για το chatgpt ομως δεν ειναι τοσο δυσκολο.

Θεωρητικα, αν εχω καταλαβει καλα, με ενα generic request "βρες πιθανα λαθη στη λογικη ή τη συνταξη του κωδικα που θα μπορουσαν να οδηγησουν σε exploit" θα πρεπε να σου βγαζει εκατονταδες bugs που ειναι exploitable - αλλα αυτο δε γινεται γιατι το καθε request πρεπει να εχει computational cap στο ποσα resources κανει allocate. Οπότε εσυ πρεπει να κανεις workaround και να δωσεις πιο συγκεκριμενο prompt για να ψαξει πιο συγκεκριμενα... αν δεν ειχε το computational cap θα το ρωταγες απλα να σου βρει ολα τα πιθανα vulnerabilities, αυτο θα εκανε ενα exhaustive search με οτι προβληματικο pattern γνωριζει και θα εβρισκε τις πιθανες τρυπες. Αυτο εντωμεταξυ ειναι ρυθμισιμο. Δλδ ενας υπερυπολογιστης που μπορει να τρεχει το chatgpt για λογαριασμο της microsoft πχ μπορει να μην εχει τετοια caps και αρα με ενα τετοιο request να βρισκει τα παντα. Αντιστοιχα για την NSA.

Τουλάχιστον στο ChatGPT, άμα του πεις πως υπάρχει θέμα εδώ εδώ κι εδώ, και ψέμα να είναι, μάλλον θα σου παράξει μια "λύση". Οπότε μπάζει το πράμα.

Αν το βαζεις να φτιαξει exploit και να τεσταρει το exploit (αυτοματοποιημενο testing δλδ), νομιζω οτι θα εχεις μονο actual positives και οχι false. Αυτοι δε μιλανε απλα με το chat, το εχουν συνδεσει με interface εργαλειων για να κανει τα tasks πιο αυτοματοποιημενα. Οπότε οσο αυξανεις το επιπεδο αυτοματισμου για να μπορεις να ζητησεις end-goal και οχι απλα μια ατακα που θα σε ικανοποιησει, η μετρηση της επιτυχιας του γινεται με βαση την επιτευξη του end goal.

[Yonko]

Πάντως είναι καλή ιδέα για έρευνα αυτή. Κάποιος επίτηδες φτιάχνει πολλά 0-day σε διαφορετικά πρότζεκτς, δίνει στο GPT ένα σύνολο από πρότζεκτς (κάποια με 0-day, κάποια χωρίς) και του ζητάει να βρει προβλήματα. Άραγε το πιο εξελιγμένο που έχουμε αυτή τη στιγμή θα τα βρει; Και με τι ποσοστά επιτυχίας;

[MNP-10]

https://twitter.com/AndrewYNg/status...97666702233815

Today, we mostly use LLMs in zero-shot mode, prompting a model to generate final output token by token without revising its work. This is akin to asking someone to compose an essay from start to finish, typing straight through with no backspacing allowed, and expecting a high-quality result. Despite the difficulty, LLMs do amazingly well at this task!

With an agentic workflow, however, we can ask the LLM to iterate over a document many times. For example, it might take a sequence of steps such as:
- Plan an outline.
- Decide what, if any, web searches are needed to gather more information.
- Write a first draft.
- Read over the first draft to spot unjustified arguments or extraneous information.
- Revise the draft taking into account any weaknesses spotted.
- And so on.

This iterative process is critical for most human writers to write good text. With AI, such an iterative workflow yields much better results than writing in a single pass.
...
GPT-3.5 (zero shot) was 48.1% correct. GPT-4 (zero shot) does better at 67.0%. However, the improvement from GPT-3.5 to GPT-4 is dwarfed by incorporating an iterative agent workflow. Indeed, wrapped in an agent loop, GPT-3.5 achieves up to 95.1%.

Υποθετω οτι το "wrapped in an agent loop" ειναι equivalent με το να το ταϊζεις και χειροκινητα prompts, σπαζοντας ενα προβλημα σε πολλα κομματια και κανοντας το iterate prompt by prompt.

- - - Updated - - -

Στο χωρο του open source AI βλεπω οτι παιζουν παρα πολλα tweaks για να μειωθουν hardware requirements αλλα και για να αυξηθουν οι ικανοτητες των μοντελων. Αυτα που γινονται σε open source θεωρω οτι ειναι πολυ περισσοτερα σε σχεση με αυτα που βλεπουμε απο microsoft/openAI, google, meta, κτλ... δλδ η εξελιξη στο open field φαινεται να ειναι πιο γρηγορη απ'τις μεγαλοεταιριες... ομως αυτο ειναι σχεδον αδυνατο αμα βαλουμε το τι resources εχουν οι τελευταιες, συν οτι μπορουν να δουν και να κανουν incorporate αυτα που οι αλλοι κανουν σε open source φαση. Δε γινεται να βγαινει ο "καθε καραμητρος" / μεσος AI-researcher, να βαζει tweaks σε καποια ανοιχτα μοντελα και μετα να benchαρει το tweaked μοντελο του και να κανει outperform για πλακα τα top κλειστα μοντελα...

Αρα συναγεται οτι σε επιπεδο big corps το τρεναρουν, πιθανως εναρμονισμενα (μην ανταγωνιζεται ο ενας τον αλλο και βγαζουν νεα μοντελα καθε μηνα), ωστε να παρεχουν νεες δυνατοτητες με το σταγονομετρο. Αυτη τη στιγμη θεωρω πιο πιθανο απο ποτε οτι σε κλειστο κυκλο πρεπει να εχουν ΑΙ που ειναι τουλαχιστον 3-5 χρονια μπροστα.