​Στην εποχή των Μεγάλων Γλωσσικών Μοντέλων (LLMs), ακούμε συχνά για το πόσο έξυπνο είναι το AI. Όμως, το AI έχει ένα βασικό πρόβλημα: ξεχνάει. Ή μάλλον, γνωρίζει μόνο όσα περιλαμβάνονται στην εκπαίδευσή του ή όσα χωράνε στο παράθυρο της συνομιλίας σας.

​Εδώ έρχονται τα Vector Stores (Διανυσματικές Βάσεις Δεδομένων), η τεχνολογία που επιτρέπει στο AI να αποκτά πρόσβαση σε τεράστιους όγκους πληροφοριών σε κλάσματα δευτερολέπτου.

Στην αριστερή πλευρά βλέπουμε έγγραφα (κείμενο). Ένα βέλος δείχνει προς ένα κεντρικό “μηχανισμό” (το Embedding Model), ο οποίος μετατρέπει το κείμενο σε μια σειρά αριθμών (διανύσματα). Στη δεξιά πλευρά, αυτοί οι αριθμοί αποθηκεύονται σε μια βάση δεδομένων που μοιάζει με ψηφιακό κύβο

​Τι είναι το Vector Store

​Σε αντίθεση με τις παραδοσιακές βάσεις δεδομένων (SQL) που αποθηκεύουν πληροφορίες σε γραμμές και στήλες, ένα Vector Store αποθηκεύει δεδομένα ως μαθηματικά διανύσματα (vectors) σε έναν πολυδιάστατο χώρο.

​Όταν εισάγουμε ένα κείμενο, μια εικόνα ή έναν ήχο, αυτό μετατρέπεται μέσω ενός μοντέλου Embedding σε μια σειρά αριθμών. Αυτοί οι αριθμοί αντιπροσωπεύουν το νόημα του περιεχομένου και όχι απλά τις λέξεις.

​Πώς λειτουργεί η «Σημασιολογική Αναζήτηση»

​Φανταστείτε ότι ψάχνετε σε μια βάση δεδομένων τη λέξη «αυτοκίνητο».

​Παραδοσιακή βάση: Θα σας δείξει μόνο αποτελέσματα που περιέχουν ακριβώς τη λέξη «αυτοκίνητο».

Ένας μεγεθυντικός φακός (που αντιπροσωπεύει την αναζήτηση) εστιάζει σε έναν ψηφιακό χάρτη. Αντί για λέξεις, ο χάρτης δείχνει “νοηματικά” συμπλέγματα. Ο φακός βρίσκει έννοιες που είναι κοντά μεταξύ τους (π.χ. “Αυτοκίνητο”, “Όχημα”, “Μεταφορά”), ακόμα κι αν είναι διαφορετικές λέξεις, επειδή τα διανύσματά τους είναι κοντινά στον ψηφιακό χώρο.

​Vector Store: Θα καταλάβει ότι το «όχημα», η «κούρσα» ή το «αμάξι» έχουν παρόμοιο νόημα και θα σας τα επιστρέψει, ακόμα κι αν η λέξη «αυτοκίνητο» δεν υπάρχει πουθενά!

​Γιατί είναι απαραίτητα στο AI

​Τα Vector Stores είναι η καρδιά των συστημάτων RAG (Retrieval-Augmented Generation). Επιτρέπουν σε ένα μοντέλο (π.χ. GPT-4) να:

​Ανακτά σχετικά έγγραφα από τη βάση δεδομένων σας.

Βλέπουμε μια ολοκληρωμένη ροή. Ένας χρήστης κάνει μια ερώτηση. Η ερώτηση πηγαίνει στο Vector Store (τον “Ψηφιακό Κύβο” που είδαμε στην Image 1). Το Vector Store επιστρέφει σχετικά έγγραφα. Αυτά τα έγγραφα, μαζί με την αρχική ερώτηση, τροφοδοτούνται στο Γλωσσικό Μοντέλο (LLM), το οποίο τελικά παράγει μια τελική, ακριβή απάντηση.

​Διαβάζει αυτά τα έγγραφα «on the fly».

​Απαντά με βάση τις δικές σας πληροφορίες, μειώνοντας τις πιθανότητες «ψευδαισθήσεων» (hallucinations).

​Τα βασικά βήματα της διαδικασίας

​Η χρήση ενός Vector Store ακολουθεί συνήθως αυτή τη ροή:

​Chunking: Σπάμε τα μεγάλα κείμενα σε μικρότερα κομμάτια.

​Embedding: Μετατρέπουμε κάθε κομμάτι σε διάνυσμα (Vector).

​Indexing: Αποθηκεύουμε τα διανύσματα στη βάση δεδομένων.

​Querying: Όταν ο χρήστης κάνει μια ερώτηση, μετατρέπεται και αυτή σε διάνυσμα και το σύστημα βρίσκει τα «κοντινότερα» διανύσματα στη βάση.

​Δημοφιλή Εργαλεία Vector Stores

​Αν σκοπεύετε να χτίσετε μια εφαρμογή AI, υπάρχουν αρκετές επιλογές:

Συμπέρασμα

​Τα Vector Stores δεν είναι απλά μια αποθήκη δεδομένων· είναι ο τρόπος με τον οποίο γεφυρώνουμε το χάσμα ανάμεσα στην στατική γνώση ενός μοντέλου AI και στα δυναμικά, ιδιωτικά δεδομένα μιας επιχείρησης. Χωρίς αυτά, το AI θα παρέμενε ένας ευφυής συνομιλητής χωρίς πρόσβαση στην πραγματική πληροφορία.

Το άρθρο Vector Stores εμφανίστηκε πρώτα στο i-diadiktio.

Η μελέτη, που δημοσιεύθηκε στο Nature Communications, πραγματοποιήθηκε σε συνεργασία με ομάδες του Πανεπιστημίου του Έξετερ, της Ινδίας, της Ελβετίας, της Σιγκαπούρης και των ΗΠΑ.

Ιστορία

Οι σκληροί δίσκοι εμφανίστηκαν για πρώτη φορά στη δεκαετία του 1950. Η χρήση τους όμως σαν συσκευές αποθήκευσης σε προσωπικούς υπολογιστές απογειώθηκε τα μέσα της δεκαετίας του 1980. Έχουν γίνει όλο και μικρότεροι σε μέγεθος και πυκνότεροι όσον αφορά τον αριθμό των αποθηκευμένων byte. Ενώ οι μονάδες στερεάς κατάστασης(SSD) είναι δημοφιλείς για φορητές συσκευές, οι σκληροί δίσκοι(HDD) συνεχίζουν να χρησιμοποιούνται για την αποθήκευση αρχείων σε επιτραπέζιους υπολογιστές, κυρίως λόγω του ευνοϊκού κόστους παραγωγής και αγοράς.

Λειτουργία

Οι σκληροί δίσκοι περιέχουν δύο βασικά συστατικά: δίσκους περιστροφής και κεφαλή εγγραφής. Τα δεδομένα γράφονται στους δίσκους χρησιμοποιώντας μαγνητική κεφαλή, η οποία κινείται γρήγορα πάνω τους καθώς περιστρέφονται. Ο χώρος μεταξύ κεφαλής και δίσκου μειώνεται συνεχώς για να επιτρέψει υψηλότερες πυκνότητες.

Επί του παρόντος, οι επικαλύψεις με βάση τον άνθρακα (COCs) – στρώματα που χρησιμοποιούνται για την προστασία των δίσκων από μηχανικές ζημιές και διάβρωση – καταλαμβάνουν ένα σημαντικό μέρος αυτής της απόστασης. Η πυκνότητα δεδομένων των σκληρών δίσκων τετραπλασιάστηκε από το 1990 και το πάχος COC μειώθηκε από 12,5 nm σε περίπου 3 nm. Το οποίο αντιστοιχεί σε ένα terabyte ανά τετραγωνική ίντσα. Τώρα, το γραφένιο επέτρεψε στους ερευνητές να το αυξήσουν κατά δέκα φορές.

Γραφένιο στην Πράξη

Οι ερευνητές του Cambridge αντικατέστησαν τα εμπορικά COC(carbon-based overcoats) με ένα έως τέσσερα στρώματα γραφενίου. Πέρα από την ασυναγώνιστη λεπτότητά του, το γραφένιο πληρεί όλες τις ιδανικές ιδιότητες μιας επικάλυψής HDD. Αυτές είναι προστασία από τη διάβρωση, χαμηλή τριβή, αντοχή στη φθορά, σκληρότητα, συμβατότητα με λιπαντικά και την ομαλότητα της επιφάνειας.

Οι επιστήμονες του Cambridge μετέφεραν το γραφένιο σε σκληρούς δίσκους από σίδηρο-πλατίνα ως μαγνητικό στρώμα εγγραφής. Κατόπιν δοκίμασαν τη μαγνητική εγγραφή με υποβοήθηση θερμότητας (HAMR). Μια νέα τεχνολογία που επιτρέπει την αύξηση της πυκνότητας αποθήκευσης θερμαίνοντας το στρώμα εγγραφής σε υψηλές θερμοκρασίες. Οι τρέχουσες COC(carbon-based overcoats) δεν αποδίδουν σε αυτές τις υψηλές θερμοκρασίες, αλλά το γραφένιο μπορεί. Έτσι, το γραφένιο, σε συνδυασμό με το HAMR, μπορεί να ξεπεράσει τους τρέχοντες σκληρούς δίσκους. Παρέχοντας μια άνευ προηγουμένου πυκνότητα δεδομένων, μεγαλύτερη από 10 terabyte ανά τετραγωνική ίντσα.

Ο καθηγητής Andrea C. Ferrari, Διευθυντής του Cambridge Graphene Center, δήλωσε: «Αυτή η εργασία παρουσιάζει τις εξαιρετικές μηχανικές ιδιότητες, αντίσταση στη διάβρωση και τη φθορά του γραφενίου για μαγνητικά μέσα εξαιρετικά υψηλής πυκνότητας αποθήκευσης. Λαμβάνοντας υπόψη ότι το 2020, παρήχθη περίπου 1 δισεκατομμύριο terabytes για σκληρούς δίσκους, αυτά τα αποτελέσματα δείχνουν μια διαδρομή για μαζική εφαρμογή γραφενίου σε τεχνολογίες αιχμής.»

Το άρθρο 10 Φορές Περισσότερος Χώρος στου Σκληρούς Δίσκους με Γραφένιο εμφανίστηκε πρώτα στο i-diadiktio.