Μια μικρή εξήγηση

Οι GPU (κάρτες γραφικών) έχουν περιορισμούς μνήμης όταν αντιμετωπίζουν τις απαιτήσεις των εφαρμογών AI και HPC. Υπάρχουν τρόποι να ξεπεραστεί αυτό το σημείο συμφόρησης, αλλά οι λύσεις μπορεί να είναι ακριβές. Τώρα, μια νέα εταιρεία με έδρα στο Daejeon της Νότιας Κορέας, έχει αναπτύξει μια νέα προσέγγιση: τη χρήση μνήμης συνδεδεμένης με PCIe για την επέκταση της χωρητικότητας. Η ανάπτυξη αυτής της λύσης απαιτούσε άλματα σε πολλούς τεχνολογικούς κρίκους και υπάρχουν ακόμη προκλήσεις μπροστά.

Στην πράξη

Οι απαιτήσεις μνήμης που προκύπτουν από προηγμένα σύνολα δεδομένων για εφαρμογές AI και HPC συχνά κατακλύζουν τη μνήμη που είναι ενσωματωμένη σε μια GPU. Η επέκταση αυτής της μνήμης συνήθως σήμαινε την εγκατάσταση ακριβής μνήμης υψηλού εύρους ζώνης(BANDWIDTH), η οποία συχνά εισάγει αλλαγές στην υπάρχουσα αρχιτεκτονική ή λογισμικό GPU.

Μια λύση σε αυτό το σημείο συμφόρησης προσφέρεται από την Panmnesia, μια εταιρεία που υποστηρίζεται από το ερευνητικό ινστιτούτο KAIST της Νότιας Κορέας, το οποίο έχει εισαγάγει αυτή τη νέα τεχνολογία που επιτρέπει στις GPU να έχουν πρόσβαση στη μνήμη του συστήματος απευθείας μέσω μιας διεπαφής Compute Express Link (CXL). Ουσιαστικά, επιτρέπει στις GPU να χρησιμοποιούν τη μνήμη συστήματος ως επέκταση της δικής τους μνήμης.

CXL

CXL GPU Image, αυτή η συνδεδεμένη με PCIe μνήμη έχει διψήφιο χρόνο καθυστέρησης νανοδευτερόλεπτου που είναι σημαντικά ταχύτερος από τους παραδοσιακούς SSD,αναφέρει η εταιρεία.

Το CXL είναι ένα πρωτόκολλο που λειτουργεί πάνω από μια σύνδεση PCIe, αλλά η τεχνολογία πρέπει να αναγνωρίζεται από ένα ASIC και το υποσύστημά του. Με άλλα λόγια, δεν μπορεί κανείς απλώς να προσθέσει έναν ελεγκτή CXL στη στοίβα τεχνολογίας, καθώς δεν υπάρχει λογικό διάστρωση CXL και υποσυστήματα που υποστηρίζουν τερματικά σημεία DRAM ή/και SSD στις GPU.

Επίσης, η κρυφή μνήμη των GPU και τα υποσυστήματα μνήμης δεν αναγνωρίζουν καμία επέκταση εκτός από την ενοποιημένη εικονική μνήμη (UVM), η οποία δεν είναι αρκετά γρήγορη για AI ή HPC. Σε δοκιμές από την Panmnesia, το UVM είχε τη χειρότερη απόδοση μεταξύ όλων των ελεγμένων πυρήνων GPU. Το CXL, ωστόσο, παρείχε άμεση πρόσβαση σε εκτεταμένο χώρο αποθήκευσης μέσω οδηγιών φόρτωσης/αποθήκευσης, εξαλείφοντας τα προβλήματα που παρεμποδίζουν το UVM, όπως τα γενικά έξοδα από την παρέμβαση χρόνου εκτέλεσης κεντρικού υπολογιστή κατά τη διάρκεια σφαλμάτων σελίδας και τη μεταφορά δεδομένων σε επίπεδο σελίδας.

Η Panmnesia ανέπτυξε μια σειρά επιπέδων υλικού που υποστηρίζουν όλα τα βασικά πρωτόκολλα CXL, τοποθετώντας τα σε έναν ενοποιημένο ελεγκτή.

Το σύμπλεγμα ελεγκτών συμβατό με το CXL 3.1 διαθέτει πολλαπλές θύρες που υποστηρίζουν εξωτερική μνήμη μέσω PCIe και μια γέφυρα κεντρικού υπολογιστή με αποκωδικοποιητή μνήμης συσκευής που διαχειρίζεται ο κεντρικός υπολογιστής που συνδέεται με το δίαυλο συστήματος της GPU και διαχειρίζεται τη μνήμη του συστήματος.

Δεν είναι στο χέρι τους

Υπάρχουν προκλήσεις που αντιμετωπίζει η Panmnesia, μια μεγάλη είναι ότι η AMD και η Nvidia πρέπει να προσθέσουν υποστήριξη CXL στις GPU τους. Είναι πιθανό οι παίκτες του κλάδου να αποφασίσουν ότι τους αρέσει η προσέγγιση της χρήσης συνδεδεμένης με PCIe μνήμης για GPU και να συνεχίσουν να αναπτύσσουν τη δική τους τεχνολογία.

Το άρθρο CXL Φανταστική τεχνολογία στις Κάρτες Γραφικών εμφανίστηκε πρώτα στο i-diadiktio.

Η ULTRARAM είναι μη μεταβλητή σαν την flash μνήμη, με απόδοση όμως που αναμένεται να ξεπεράσει αυτή της DRAM.

Τεχνικές Λεπτομέρειες

Η τεχνολογία της ULTRARAM είναι κατηγορίας floating gate που μοιάζει με flash. Ωστόσο, σε αντίθεση με τη flash, ή οποία χρησιμοποιεί ένα φράγμα οξειδίου υψηλής αντίστασης για να διατηρήσει το φορτίο στην floating gate, η ULTRARAM χρησιμοποιεί ατομικά λεπτά στρώματα InAs/AlSb για να δημιουργήσει μια δομή περιορισμού φορτίου συντονισμού σήραγγας τριπλού φραγμού (TBRT). Το TBRT αλλάζει μεταξύ μιας κατάστασης υψηλής αντίστασης σε μια κατάσταση υψηλής αγωγιμότητας (ξεκλείδωμα) με εφαρμογή μόλις 2,5 V σε όλη τη στοίβα πύλης (πρόγραμμα/διαγραφή). Αυτός ο μηχανισμός είναι που δίνει στην ULTRARAM τις αξιοσημείωτες ιδιότητές της.

Ενεργειακή Απόδοση

Οι παράγοντες που καθορίζουν την ενεργειακή απόδοση ποικίλλουν ευρέως για διαφορετικές τεχνολογίες μνήμης. Για παράδειγμα, πολλές αναδυόμενες μνήμες λειτουργούν δημιουργώντας/σπάζοντας διατομικούς δεσμούς ή με εναλλαγή ατομικών μαγνητικών ροπών. Αυτές οι διαδικασίες είναι ενεργοβόρες, με αποτέλεσμα υψηλές ενέργειες προγράμματος/διαγραφής. Οι μνήμες που βασίζονται στο φορτίο, όπως το flash και DRAM, είναι ανώτερες από αυτή την άποψη, καθώς χειρίζονται ηλεκτρόνια και όχι άτομα, κάτι που απαιτεί λιγότερη ενέργεια. Ωστόσο, υπάρχει ακόμα περιθώριο για ακόμη μεγαλύτερη αποτελεσματικότητα!

Λειτουργική Απόδοση

Με το συνδυασμό χαμηλής χωρητικότητας και προγράμματος/διαγραφής χαμηλής τάσης, η ULTRARAM έχει ενέργεια μεταγωγής ανά μονάδα επιφάνειας που είναι 100 φορές χαμηλότερη από τη DRAM, 1.000 φορές χαμηλότερη από την flash μνήμη και πάνω από 10.000 φορές χαμηλότερη από άλλες αναδυόμενες μνήμες. Τα διαπιστευτήρια εξαιρετικά χαμηλής ενέργειας της ULTRARAM ενισχύονται περαιτέρω από τη μη καταστροφική ανάγνωση και τη μη μεταβλητότητά της, γεγονός που αφαιρεί την ανάγκη για ανανέωση.

Μια μνήμη είναι μη πτητική εάν είναι σε θέση να διατηρεί δεδομένα όταν δεν τροφοδοτείται, απαιτώντας μια ισχυρή λογική κατάσταση που είναι δύσκολο να αλλάξει, π.χ. λάμψη. Αντίθετα, μια γρήγορη μνήμη απαιτεί φαινομενικά η λογική κατάσταση να είναι εύθραυστη ώστε να μπορεί να αλλάξει γρήγορα και εύκολα, π.χ. DRAM. Επομένως, μια μνήμη που είναι γρήγορη και μη πτητική απαιτεί φαινομενικά αντιφατικές φυσικές ιδιότητες και έχει από καιρό απορριφθεί ως ανέφικτη.

Το άρθρο UltraRam εμφανίστηκε πρώτα στο i-diadiktio.