Ακόμα και όταν οι παγκόσμιοι ηγέτες κρούουν τον κώδωνα του κινδύνου για τις επιπτώσεις της τεχνητής νοημοσύνης στον πόλεμο, η νεοσύστατη εταιρεία Cerebras ενώνει τις δυνάμεις της με την Aleph Alpha για την ανάπτυξη κυρίαρχων μοντέλων για τις γερμανικές ένοπλες δυνάμεις.

Στο πλαίσιο της πολυετούς συμφωνίας, η Cerebras ανακοίνωσε ότι η Aleph Alpha είναι η πρώτη εταιρεία στην Ευρώπη που θα αναπτύξει τους υπερυπολογιστές της CS-3 AI. Τα συστήματα αυτά θα στεγαστούν προφανώς στο alpha ONE - το κέντρο δεδομένων AI της Aleph στο GovTech Campus στο Βερολίνο. Μέχρι στιγμής, τα συστήματα της Cerebras έχουν αναπτυχθεί σε μεγάλο βαθμό στις ΗΠΑ.

"Επιλέξαμε την Cerebras λόγω της παγκόσμιας κλάσης εμπειρογνωμοσύνης AI και της απαράμιλλης τεχνολογίας waferscale που μας επιτρέπει να εκπαιδεύουμε μοντέλων AI τελευταίας τεχνολογίας με υψηλή απόδοση", δήλωσε ο CEO της Aleph Alpha, Jonas Andrulis, σε δήλωσή του.

Αν και η Cerebras ανταγωνίζεται άμεσα την Nvidia στον χώρο της εκπαίδευσης AI -δεν ενδιαφέρεται για το inferencing και έχει συνδεθεί με την Qualcomm για αυτόν τον λόγο- τα τσιπ της έχουν μικρή ομοιότητα με τις GPU της ομάδας green.

Τα εξαρτήματα τρίτης γενιάς της Cerebras, που ανακοινώθηκαν τον Μάρτιο, έχουν μέγεθος 46.225 mm2 (περίπου 71,6 ίντσες2) και διαθέτουν 4 τρισεκατομμύρια τρανζίστορ που τροφοδοτούν 900.000 πυρήνες. Αντί για την δαπανηρή μνήμη υψηλού εύρους ζώνης που συναντάται στους περισσότερους επιταχυντές AI, το τσιπ βασίζεται σε μια τεράστια δεξαμενή SRAM 44 GB που είναι χαραγμένη ακριβώς μέσα στο εξάρτημα μεγέθους δείπνου.

Συλλογικά, κάθε τσιπ είναι ικανό να παράγει 125 petaFLOPS απίστευτα αραιών επιδόσεων FP16. Η Cerebras ισχυρίζεται βελτίωση κατά 8 φορές σε αυτό το τμήμα.

Πέρα από το γεγονός ότι τα συστήματα CS-3 της Cerebras θα παρέχουν την απαραίτητη υπολογιστική ισχύ για την Aleph Alpha για την εκπαίδευση κυρίαρχων μοντέλων για τον γερμανικό στρατό, η ανακοίνωση δεν περιείχε πολλές λεπτομέρειες σχετικά με τον τρόπο με τον οποίο θα μπορούσαν να χρησιμοποιηθούν.

Σε κάθε περίπτωση, η συμφωνία έρχεται μόλις λίγες εβδομάδες αφότου πολλοί παγκόσμιοι ηγέτες και ο μεγιστάνας της αγοράς Warren Buffett έκαναν συγκρίσεις μεταξύ της τεχνητής νοημοσύνης και της ατομικής βόμβας.

Σε μια πιο φωτεινή σημείωση, η Cerebras αποκάλυψε την Τετάρτη τις πρόσφατες επιτυχίες της στην ανάπτυξη αραιών μοντέλων που μπορούν να επωφεληθούν από τη μοναδική αρχιτεκτονική υπολογιστών της.

Σε συνεργασία με την νεοφυή εταιρεία AI Neural Magic, η Cerebras ισχυρίζεται ότι έχει αναπτύξει μια νέα προσέγγιση για τη συρρίκνωση των μοντέλων έως και κατά 70 τοις εκατό - την οποία αποκαλεί sparse fine-tuning.

Αυτή η μείωση του μεγέθους του μοντέλου έχει μια σειρά από οφέλη, όπως μειωμένες απαιτήσεις υπολογισμού και αποτυπώματα μνήμης. Επειδή οι επιταχυντές της Cerebras σε κλίμακα waferscale είναι βελτιστοποιημένοι για μισή ακρίβεια (FP/BF16), κάθε δισεκατομμύριο παράμετροι καταναλώνουν δύο gigabytes μνήμης. Ως εκ τούτου, τα μεγαλύτερα μοντέλα πρέπει να κατανέμονται σε πολλαπλούς επιταχυντές - όπως ακριβώς βλέπετε στα συστήματα GPU.

Κλαδεύοντας τα μη απαραίτητα βάρη του μοντέλου, μπορείτε να μειώσετε το μέγεθος του μοντέλου - το οποίο συχνά έχει το πλεονέκτημα της βελτίωσης της απόδοσης, καθώς αυτά τα μικρότερα μοντέλα ασκούν λιγότερη πίεση στα υποσυστήματα μνήμης.

Για να είμαστε σαφείς, η έννοια του κλαδέματος των βαρών δεν είναι καινούργια και δεν είναι άψογη. Ενώ το κλάδεμα μπορεί να βοηθήσει στη μείωση του μεγέθους του μοντέλου, μπορεί επίσης να υποβαθμίσει την ακρίβεια.

Η προσέγγιση της Cerebras και της Neural Magic για την αραιή τελειοποίηση προσθέτει δύο επιπλέον βήματα για την αποκατάσταση της ακρίβειας στα προ-κλαδεμένα επίπεδα και λειτουργεί κάπως έτσι.

Πρώτον, γίνεται ένα μονοσήμαντο πέρασμα κλαδέματος σε ένα πυκνό μοντέλο, όπως το Llama. Αυτό αφαιρεί περίπου το 50 % των βαρών του μοντέλου, συρρικνώνοντάς το σημαντικά. Δεύτερον, αυτό το κλαδεμένο μοντέλο προ-εκπαιδεύεται χρησιμοποιώντας το σύνολο δεδομένων SlimPajama της Cerebras για να ανακτήσει τη χαμένη ακρίβεια.

Τέλος, το μοντέλο τελειοποιείται σε σύνολα δεδομένων ειδικών εφαρμογών για κοινές εργασίες, όπως chatbots ή γεννήτριες κώδικα. Σύμφωνα με την Cerebras, αυτή η προσέγγιση τριών σταδίων αποδίδει τα LLM με το ίδιο επίπεδο ακρίβειας, ενώ είναι έως και 70 τοις εκατό μικρότερα.

Ενώ η εστίαση της Cerebras είναι κατανοητό ότι εστιάζεται στην τεχνητή νοημοσύνη, αυτό δεν σημαίνει ότι τα τσιπ της δεν είναι χρήσιμα για πιο παραδοσιακούς φόρτους εργασίας HPC.

Σε συνεργασία με τα Εθνικά Εργαστήρια Sandia, Lawrence Livermore και Los Alamos του Υπουργείου Ενέργειας, η κατασκευάστρια εταιρεία τσιπ ισχυρίζεται ότι ήταν σε θέση να εκτελέσει προσομοιώσεις μορίων σε ατομική κλίμακα σε επίπεδο χιλιοστών του δευτερολέπτου. Αυτό τον καθιστά 179 φορές ταχύτερο από τον Frontier, τον ταχύτερο δημόσια γνωστό υπερυπολογιστή στο Top500.

"Αυτή η εργασία αλλάζει το τοπίο για το τι είναι εφικτό με προσομοιώσεις μοριακής δυναμικής", καυχήθηκε σε δήλωσή του ο Michael James, επικεφαλής αρχιτέκτονας του Cerebras. "Προσομοιώσεις που θα έπαιρναν ένα χρόνο σε έναν παραδοσιακό υπερυπολογιστή μπορούν τώρα να ολοκληρωθούν σε μόλις δύο ημέρες".

Σύμφωνα με την Cerebras, τα αποτελέσματα αυτά επιτεύχθηκαν με την αντιστοίχιση μεμονωμένων ατόμων στους περισσότερους από 800.000 πυρήνες του παλαιότερου WSE-2. Επειδή όλοι αυτοί οι πυρήνες περιέχονται σε ένα μόνο πλακίδιο, είναι σε θέση να επικοινωνούν μεταξύ τους πολύ πιο αποτελεσματικά. Σύμφωνα με την Cerebras, αυτό επέτρεψε στο σύστημα να προσομοιώσει 270.000 χρονικά βήματα το δευτερόλεπτο για κάθε ένα από αυτά τα άτομα.

Για τον ερευνητή της Sandia, Siva Rajamanickam, τα αποτελέσματα αποτελούν σημαντικό ορόσημο στην αποστολή της Εθνικής Υπηρεσίας Πυρηνικής Ασφάλειας να αυξήσει την απόδοση των κρίσιμων συστημάτων της κατά 40 φορές. "Τα αποτελέσματα αυτά ανοίγουν νέες ευκαιρίες για την έρευνα υλικών και τις επιστημονικές ανακαλύψεις πέρα από αυτό που οραματιζόμασταν", ενθουσιάστηκε σε δήλωσή του.

πηγή via DeepL