Το ChatGPT κατέστη δυνατό χάρη σε δεκάδες χιλιάδες GPU της Nvidia, τις οποίες η Microsoft αναβαθμίζει τώρα

**nnn** · 14-03-23, 13:16

Πατήστε στην εικόνα για να τη δείτε σε μεγέθυνση.

Όνομα: hopper-h100-grace-hopper-2c50-l.jpg
Εμφανίσεις: 266
Μέγεθος: 48,0 KB
ID: 246714

Μια νέα έκθεση αποκάλυψε τον τεράστιο αριθμό GPUs της Nvidia που χρησιμοποιεί η Microsoft και τις καινοτομίες που χρειάστηκε για να τις οργανώσει ώστε να βοηθήσει το OpenAI να εκπαιδεύσει το ChatGPT. Η είδηση έρχεται την ώρα που η Microsoft ανακοινώνει μια σημαντική αναβάθμιση του υπερυπολογιστή AI για την προώθηση της εγχώριας πρωτοβουλίας της για τη γεννητική τεχνητή νοημοσύνη.

Σύμφωνα με το Bloomberg, το OpenAI εκπαίδευσε το ChatGPT σε έναν υπερυπολογιστή που κατασκεύασε η Microsoft από δεκάδες χιλιάδες GPU A100 της Nvidia. Η Microsoft ανακοίνωσε μια νέα συστοιχία που χρησιμοποιεί τις νεότερες GPU H100 της Nvidia αυτή την εβδομάδα.

Η πρόκληση που αντιμετωπίζουν οι εταιρείες ξεκίνησε το 2019, αφού η Microsoft επένδυσε 1 δισεκατομμύριο δολάρια στην OpenAI, ενώ συμφώνησε να κατασκευάσει έναν υπερυπολογιστή τεχνητής νοημοσύνης για την startup. Ωστόσο, η Microsoft δεν διέθετε το υλικό εντός της εταιρείας για αυτό που χρειαζόταν η OpenAI.

Αφού απέκτησε τα τσιπ της Nvidia, η Microsoft έπρεπε να επανεξετάσει τον τρόπο με τον οποίο κανόνιζε έναν τόσο τεράστιο αριθμό GPU για να αποφύγει την υπερθέρμανση και τις διακοπές ρεύματος. Η εταιρεία δεν θα πει ακριβώς πόσο κόστισε το εγχείρημα, αλλά ο εκτελεστικός αντιπρόεδρος Scott Guthrie τοποθετεί τον αριθμό πάνω από αρκετές εκατοντάδες εκατομμύρια δολάρια.

Η ταυτόχρονη λειτουργία όλων των A100 ανάγκασε το Redmond να σκεφτεί πώς τις τοποθέτησε και τα τροφοδοτικά τους. Έπρεπε επίσης να αναπτύξει νέο λογισμικό για να αυξήσει την αποδοτικότητα, να διασφαλίσει ότι ο εξοπλισμός δικτύωσης θα μπορούσε να αντέξει τεράστιο όγκο δεδομένων, να σχεδιάσει νέους δίσκους καλωδίων που θα μπορούσε να κατασκευάσει ανεξάρτητα και να χρησιμοποιήσει πολλαπλές μεθόδους ψύξης. Ανάλογα με το μεταβαλλόμενο κλίμα, οι τεχνικές ψύξης περιλάμβαναν ψήξη με εξαέρωση, ψύκτες και εξωτερικό αέρα.

Μετά την αρχική επιτυχία του ChatGPT, η Microsoft και ορισμένοι από τους ανταγωνιστές της άρχισαν να εργάζονται πάνω σε παράλληλα μοντέλα τεχνητής νοημοσύνης για μηχανές αναζήτησης και άλλες εφαρμογές. Για να επιταχύνει τη γεννητική AI, η εταιρεία παρουσίασε το ND H100 v5 VM, μια εικονική μηχανή που μπορεί να χρησιμοποιήσει από οκτώ έως και χιλιάδες GPU Nvidia H100.

Οι H100 συνδέονται μέσω του NVSwitch και του NVLink 4.0 με εύρος ζώνης διχοτόμησης 3,6TB/s μεταξύ καθεμιάς από τις 8 τοπικές GPU εντός κάθε εικονικής μηχανής. Κάθε GPU διαθέτει εύρος ζώνης 400 Gb/s μέσω συνδέσεων Nvidia Quantum-2 CX7 InfiniBand και PCIe5 64GB/s. Κάθε εικονική μηχανή διαχειρίζεται 3,2Tb/s μέσω ενός δικτύου fat-tree χωρίς μπλοκαρίσματα. Το νέο σύστημα της Microsoft διαθέτει επίσης επεξεργαστές Intel Xeon 4ης γενιάς και μνήμη RAM DDR5 16 καναλιών 4800 MHz.

Η Microsoft σχεδιάζει να χρησιμοποιήσει το VM ND H100 v5 για τη νέα μηχανή αναζήτησης Bing με τεχνητή νοημοσύνη, το πρόγραμμα περιήγησης στο διαδίκτυο Edge και το Microsoft Dynamics 365.

Translated with www.DeepL.com/Translator (free version)

Πηγή : Techspot

**deniSun** · 14-03-23, 14:19

Πόσο να τους έρχεται το ρεύμα άραγε;

sdikr · 14-03-23, 14:37

ουφφ! έχουμε καιρό μέχρι να το κάνουν με ένα τσιπ μόνο

**Iris07** · 14-03-23, 14:45

Να δω πότε θα γίνει η εξέργεση των μηχανών!

**zeronero** · 14-03-23, 14:46

Εάν ρωτήσεις το ChatGPT για το ενεργειακό του αποτύπωμα τί θα απαντήσει;

I dunno, but Windows Update is now carbon aware

**deniSun** · 14-03-23, 17:59

Και ύστερα σου λένε... σβήνουμε τα φώτα για τον πλανήτη.

**ZaNteR** · 15-03-23, 21:43

ωχ βλεπω να υπαρχει ελειψη σε GPU παλι λογω AI training....

**takisapog** · 16-03-23, 21:27

Γιατί σε nvidia gpu κι όχι με τις δικές της; Δεν μπορούσε η intel να βάλει κάποια custom τσιπάκια στις δικές της gpu, ειδικά γι' αυτόν τον σκοπό;

**deniSun** · 16-03-23, 21:30

Η nvidia έχει ξεφύγει πολύ σε gpgpu.

**ThReSh** · 16-03-23, 21:44

Αρχικό μήνυμα από takisapog

Γιατί σε nvidia gpu κι όχι με τις δικές της; Δεν μπορούσε η intel να βάλει κάποια custom τσιπάκια στις δικές της gpu, ειδικά γι' αυτόν τον σκοπό;

Έχει δικές της η Microsoft?

Επιπλέον πιο πιθανό είναι να χρησιμοποιεί AMD Epyc στους servers της, παρά Intel Xeon.

**Pixel 57** · 17-03-23, 18:41

Αρχικό μήνυμα από ThReSh

Έχει δικές της η Microsoft?

Επιπλέον πιο πιθανό είναι να χρησιμοποιεί AMD Epyc στους servers της, παρά Intel Xeon.

Για την intel μιλάει η οποία έχει GPU (Xeon phi παλιότερα, arc τώρα). Η nvidia έχει καλύτερη θέση σε αυτό τον τομέα στο datacenter πάντως.

**ThReSh** · 17-03-23, 19:20

Αρχικό μήνυμα από Pixel 57

Για την intel μιλάει η οποία έχει GPU

Η είδηση όμως αναφέρει μόνο Microsoft και Nvidia, που κολλάει η Intel στο "δικές της" ?

**Pixel 57** · 17-03-23, 23:45

Αρχικό μήνυμα από ThReSh

Η είδηση όμως αναφέρει μόνο Microsoft και Nvidia, που κολλάει η Intel στο "δικές της" ?

Το μήνυμα που έκανες quote μιλάει για την intel. Για ποιό λόγο ρώτα αυτόν που το έγραψε.

**ThReSh** · 17-03-23, 23:53

Αρχικό μήνυμα από Pixel 57

Το μήνυμα που έκανες quote μιλάει για την intel. Για ποιό λόγο ρώτα αυτόν που το έγραψε.

Αυτόν ρώτησα κι απάντησες εσύ. Γιατί σου φαίνεται παράξενο να ρωτάω τώρα εσένα?

Θέμα: Το ChatGPT κατέστη δυνατό χάρη σε δεκάδες χιλιάδες GPU της Nvidia, τις οποίες η Microsoft αναβαθμίζει τώρα

Tags για αυτό το Θέμα

Bookmarks

Bookmarks

Δικαιώματα - Επιλογές