Ο Elon Musk λέει ότι το μοντέλο Grok 3 θα χρειαστεί 100.000 GPUs Nvidia H100 για να εκπαιδευτεί

[deniSun]

Ο Elon Musk, διευθύνων σύμβουλος της Tesla και ιδρυτής της xAI, έκανε μερικές τολμηρές προβλέψεις σχετικά με την ανάπτυξη της τεχνητής γενικής νοημοσύνης (Artificial General Intelligence - AGI) και συζήτησε τις προκλήσεις που αντιμετωπίζει ο κλάδος της τεχνητής νοημοσύνης. Προβλέπει ότι η AGI θα μπορούσε να ξεπεράσει την ανθρώπινη νοημοσύνη ήδη από το επόμενο έτος ή μέχρι το 2026, αλλά ότι θα χρειαστεί ένας ακραίος αριθμός επεξεργαστών για την εκπαίδευσή της, ο οποίος με τη σειρά του απαιτεί τεράστιες ποσότητες ηλεκτρικής ενέργειας, αναφέρει το Reuters.

Το εγχείρημα του Μασκ, η xAI, εκπαιδεύει επί του παρόντος τη δεύτερη έκδοση της λειτουργίας μεγάλης γλώσσας Grok και αναμένει να ολοκληρώσει την επόμενη φάση εκπαίδευσης μέχρι τον Μάιο. Η εκπαίδευση του μοντέλου Grok της έκδοσης 2 απαιτούσε έως και 20.000 GPUs Nvidia H100 και ο Musk προβλέπει ότι οι μελλοντικές επαναλήψεις θα απαιτούν ακόμη μεγαλύτερους πόρους, με το μοντέλο Grok 3 να χρειάζεται περίπου 100.000 τσιπ Nvidia H100 για να εκπαιδευτεί.

Η πρόοδος της τεχνολογίας AI, σύμφωνα με τον Musk, παρεμποδίζεται σήμερα από δύο βασικούς παράγοντες: την έλλειψη προσφοράς σε προηγμένους επεξεργαστές -όπως οι H100 της Nvidia, καθώς δεν είναι εύκολο να βρεις γρήγορα 100.000 από αυτούς- και τη διαθεσιμότητα της ηλεκτρικής ενέργειας.

Η GPU H100 της Nvidia καταναλώνει περίπου 700W όταν χρησιμοποιείται πλήρως, και έτσι 100.000 GPU για φορτία εργασίας AI και HPC θα μπορούσαν να καταναλώσουν 70 μεγαβάτ ισχύος. Δεδομένου ότι αυτές οι GPU χρειάζονται διακομιστές και ψύξη για να λειτουργήσουν, είναι ασφαλές να πούμε ότι ένα κέντρο δεδομένων με 100.000 επεξεργαστές Nvidia H100 θα καταναλώνει περίπου 100 μεγαβάτ ενέργειας. Αυτό είναι συγκρίσιμο με την κατανάλωση ενέργειας μιας μικρής πόλης.

Ο Musk τόνισε ότι ενώ η προμήθεια υπολογιστικών GPU αποτελούσε σημαντικό εμπόδιο μέχρι στιγμής, η προμήθεια ηλεκτρικής ενέργειας θα γίνει όλο και πιο κρίσιμη μέσα στα επόμενα ένα ή δύο χρόνια. Αυτός ο διπλός περιορισμός υπογραμμίζει τις προκλήσεις της κλιμάκωσης των τεχνολογιών τεχνητής νοημοσύνης για την κάλυψη των αυξανόμενων υπολογιστικών απαιτήσεων.

Παρά τις προκλήσεις, οι εξελίξεις στις αρχιτεκτονικές υπολογιστών και μνήμης θα επιτρέψουν την εκπαίδευση όλο και πιο μαζικών μεγάλων γλωσσικών μοντέλων (LLM) τα επόμενα χρόνια. Η Nvidia αποκάλυψε την Blackwell B200 στο GTC 2024, μια αρχιτεκτονική και πλατφόρμα GPU που έχει σχεδιαστεί για να κλιμακώνεται σε LLM με τρισεκατομμύρια παραμέτρους. Αυτό θα διαδραματίσει κρίσιμο ρόλο στην ανάπτυξη της AGI.

Στην πραγματικότητα, ο Musk πιστεύει ότι μια τεχνητή νοημοσύνη πιο έξυπνη από τον πιο έξυπνο άνθρωπο θα εμφανιστεί μέσα στα επόμενα ένα ή δύο χρόνια. "Αν ορίσετε την AGI ως εξυπνότερη από τον εξυπνότερο άνθρωπο, νομίζω ότι αυτό θα γίνει πιθανότατα το επόμενο έτος, εντός δύο ετών", δήλωσε ο Musk σε συνέντευξή του στο X Spaces. Αυτό σημαίνει ότι είναι προφανώς καιρός να πάμε να δούμε ξανά τον Εξολοθρευτή και να ελπίζουμε ότι οι μελλοντικοί άρχοντες της AGI θα είναι καλύτεροι από τον Skynet.

πηγή via DeepL

[newbye]

Σύγχρονοι μεγάλοι πυρηνικοί αντιδραστήρες μπορούν να παράγουν έως και 1600 MW. Υπάρχουν και μικρότεροι πυρηνικοί αντιδραστήρες, γνωστοί ως SMRs που παράγουν 10-300 MW. Υπερκαλύπτονται οι ενεργειακές δαπάνες με το παραπάνω.

[tsigarid]

Πρώτη φορά ακούω τον όρο AGI.

[newbye]

Πρώτη φορά ακούω τον όρο AGI.

Artificial General Intelligence

[tsigarid]

Artificial General Intelligence

Ναι, ευχαριστώ, το λέει και το αρχικό άρθρο, δεν είμαι τόσο χαζός

[giorgosts]

Έκαψε τον εγκέφαλό του από το πολύ ρεύμα φαίνεται.

[deniSun]

Πρώτη φορά ακούω τον όρο AGI.

Να σου πω την αλήθεια... ούτε εγώ θυμάμαι να τον έχω συναντήσει ξανά.

[fadasma]

Να ο λόγος που έχει ακριβύνει το ρεύμα.

[Pixel 57]

Να σου πω την αλήθεια... ούτε εγώ θυμάμαι να τον έχω συναντήσει ξανά.

Ο όρος βγήκε λίγο μετά την εμφάνιση του chatGPT. Όλοι μίλαγαν για ΑΙ οπότε έπρεπε κάπως να γίνει η διάκριση με το πραγματικό ΑΙ.

[Sebu]

Ο ιδιος παντως σε ενα βιντεο με τον Τζο Ρογκαν ελεγε οτι με ενα ηλιακο παρκο διαστασεων 100 Χ 100 μιλιων, που εχει λεει πολλες τετοιες κενες εκτασεις στις ΗΠΑ και φυσικα χρηση μπαταριων, θα μπορουσε να τροφοδοτηθει αποκλειστικα απο αυτο ενεργειακα οι ΗΠΑ χωρις χρηση αλλων μεσων, καυσιμων, αντιδραστηρων, εργοστασιων ηλεκτρικης ενεργειας κτλ.
Αληθεια ψεμματα δεν γνωριζω.

Αρα αν πιστευει οτι τη λυση για τσαμπα 24/7 ενεργεια την εχει (αρκει να αγορασει την εκταση και να βρει τις μπαταριες) τοτε δεν πιστευω οτι τον απασχολει πως θα τροφοδοτησει με ενεργεια ενα τετοιο σουπερ υπολογιστη εκπαιδευσης της ΑΙ.

[deniSun]

Μετά σου λένε να σβήνεις τα φώτα για να μην καταστρέψεις τον πλανήτη.

[vagdsl]

Δεν είναι τόσο απαγορευτικά τα μεγέθη κατανάλωσης.
Θα χρειαστεί ένα δικό του Υποσταθμό στο δίκτυο Υψηλής Τάσης, όπως συνήθως συμβαίνει με τα datacenters.

(Ο μεγαλύτερος και πιο κρίσιμος καταναλωτής στην Ελλάδα, η Αλουμίνιο, καταναλώνει σταθερά 24/7 περί τα 300 MW)

[MNP-10]

Μπορει να θελει 1εκ gpu για να το κανει στο 1/10 του χρονου των 100.000 gpu...
Μπορει να θελει και 10.000 gpu για να το κανει στο 10πλασιο του χρονου των 100.000 gpu...

Ουσιαστικα το θεμα ειναι σε ποσο χρονο θελει να το εκπαιδευσει το οποιο μετα οριζει τα specs σε υπολογιστικους πορους. Η εκπαιδευση του ΑΙ πρακτικα δε "χρειαζεται" fixαρισμενο αριθμο GPU.

[petasis]

Από το τι πιστεύει/διαδίδει ο Μασκ, μέχρι το τι θα γίνει πραγματικά, το χάος.

[Sebu]

Δεν είναι τόσο απαγορευτικά τα μεγέθη κατανάλωσης.
Θα χρειαστεί ένα δικό του Υποσταθμό στο δίκτυο Υψηλής Τάσης, όπως συνήθως συμβαίνει με τα datacenters.

(Ο μεγαλύτερος και πιο κρίσιμος καταναλωτής στην Ελλάδα, η Αλουμίνιο, καταναλώνει σταθερά 24/7 περί τα 300 MW)

Και μας ειχε βαλει επι δεκαετιες μεσα, γιατι επαιρνε με ειδικη συμφωνια (πολιτικη πιεση) το ρευμα απο τη ΔΕΗ σχεδον τσαμπα.
Τωρα βεβαια που ο Εβανζελ ως σωστος ολιγαρχης εχει και δικη του παροχη και αρμεγει και απο εκει τον κοσμο, τροφοδοτει τον εαυτο του φιλικα.