Φίλτρα μεταδεδομένων RAG για chatbots τεχνητής νοημοσύνης: Διαχωρισμός γλώσσας, έκδοσης και πρόσβασης

Ένα chatbot AI μπορεί να βρει αποσπάσματα κειμένου που είναι σημασιολογικά πολύ παρόμοια και παρόλα αυτά να προετοιμάσει τη λάθος απάντηση: τις αγγλικές οδηγίες αντί για τις ελληνικές, τη τεκμηρίωση της προηγούμενης έκδοσης αντί για την τρέχουσα ή εσωτερικές υποδείξεις για έναν επισκέπτη χωρίς δικαιώματα. Η κατάταξη (ranking) δεν είναι απαραίτητα κακή σε αυτή την περίπτωση. Το εύρος αναζήτησης ήταν εσφαλμένο.

Τα φίλτρα μεταδεδομένων RAG λύνουν ακριβώς αυτό το πρόβλημα. Περιορίζουν πριν ή κατά τη διάρκεια της αναζήτησης ποια έγγραφα και chunks μπορούν να ληφθούν υπόψη ως πλαίσιο (context). Στη συνέχεια, η σχετικότητα απαντά στο ερώτημα «Τι ταιριάζει καλύτερα ως προς το περιεχόμενο;». Το φίλτρο όμως απαντά πρώτα στο «Τι επιτρέπεται και τι πρέπει να ληφθεί υπόψη σε αυτή τη συγκεκριμένη περίπτωση;».

Γιατί η ομοιότητα από μόνη της δεν αποτελεί αξιόπιστο εύρος (scope)

Η διανυσματική και η υβριδική αναζήτηση ταξινομούν το περιεχόμενο με βάση τη γλωσσική ή σημασιολογική εγγύτητα. Ένα εγχειρίδιο για την έκδοση προϊόντος 4 μπορεί να είναι ιδιαίτερα παρόμοιο με μια ερώτηση σχετικά με την έκδοση 5. Ένας τιμοκατάλογος για μια άλλη αγορά μπορεί να περιέχει τα ίδια ονόματα προϊόντων. Και ένα εσωτερικό έγγραφο υποστήριξης μπορεί να δώσει μια πιο ακριβή απάντηση από τις δημόσιες συχνές ερωτήσεις (FAQ), παρόλο που δεν θα έπρεπε ποτέ να εμφανιστεί σε μια δημόσια συνομιλία.

Γι' αυτόν τον λόγο, ο μηχανισμός ανάκτησης (retriever) θα πρέπει να διαχωρίζει δύο أنواع προϋποθέσεων:

• Αυστηρά όρια όπως ο μισθωτής (tenant), ο ρόλος, η κατάσταση δημοσίευσης ή το επιτρεπόμενο εύρος δεδομένων. Σε περίπτωση άγνωστης τιμής, η αναζήτηση πρέπει να παραμένει κλειστή.
• Εξειδικευμένα κριτήρια επιλογής όπως η γλώσσα, η οικογένεια προϊόντων, η έκδοση, η περιοχή ή η περίοδος ισχύος. Αυξάνουν την ακρίβεια και αποτρέπουν αντιφατικό πλαίσιο (context).

Η τρέχουσα επισκόπηση OWASP για εφαρμογές LLM κατατάσσει ρητά τους κινδύνους διανυσμάτων και embeddings στα όρια εμπιστοσύνης (trust boundaries) μιας εφαρμογής AI. Αυτή είναι μια σημαντική οπτική γωνία: Ένας έλεγχος αυθεντικοποίησης (Auth-Check) πριν από τη συνομιλία δεν αρκεί εάν η επακόλουθη αναζήτηση ομοιότητας εκτελείται σε έναν πολύ ευρύ δείκτη.

Ένα σχήμα μεταδεδομένων που αντέχει στην καθημερινή χρήση

Τα καλά φίλτρα δεν ξεκινάνε με ένα μεγάλο query, αλλά με λίγα κανονικά πεδία (canonical fields). Για πολλά chatbots ιστοσελίδων, αρκούν έξι ομάδες:

• Γλώσσα και αγορά: όπως locale και market, με αυστηρά καθορισμένες τιμές αντί για ελεύθερο κείμενο.
• Προϊόν και έκδοση: σταθερό ID προϊόντος, εύρος εκδόσεων και προαιρετικά πλατφόρμα ή πακέτο συνδρομής.
• Ισχύς: κατάσταση έγκρισης, ισχύει από, ισχύει έως και μια μοναδική έκδοση πηγής.
• Κοινό-στόχος: δημόσιο, πελάτης, συνεργάτης ή εσωτερική ομάδα – διαχωρισμένο από τον πραγματικό έλεγχο ρόλων.
• Εύρος πρόσβασης: μισθωτής (tenant), ομάδα ή principal, αποκλειστικά από επαληθευμένο πλαίσιο διακομιστή (server context).
• Προέλευση: ID πηγής, URL, τύπος εγγράφου και υπεύθυνος τομέας περιεχομένου για ιχνηλασιμότητα.

Τα μεταδεδομένα ανήκουν στο επίπεδο στο οποίο γίνεται η αναζήτηση. Εάν ένα έγγραφο χωρίζεται σε chunks, τα κρίσιμα πεδία scope πρέπει να μεταφέρονται αξιόπιστα σε κάθε chunk. Διαφορετικά, ένα έγγραφο μπορεί να έχει ταξινομηθεί σωστά, ενώ μεμονωμένα αποτελέσματα αναζήτησης χάνουν αυτή την ταξινόμηση. Η τεκμηρίωση του OpenAI για το File Search δείχνει, για παράδειγμα, πώς χρησιμοποιούνται τα ιδιοκτήτες αρχείων για το φιλτράρισμα μεταδεδομένων. Η τεκμηρίωση αναφοράς του Amazon Bedrock περιγράφει τελεστές σύγκρισης, λιστών και εύρους για την ίδια βασική ιδέα.

Μην αφήνετε ποτέ το γλωσσικό μοντέλο να εξουσιοδοτεί τα φίλτρα

Ένα μοντέλο μπορεί να εξαγάγει ενδείξεις όπως η γλώσσα ή η αναφορά σε κάποιο προϊόν από την ερώτηση. Ωστόσο, δεν επιτρέπεται να αποφασίζει σε ποιον μισθωτή (tenant) ανήκει ένα άτομο ή τι ρόλο κατέχει. Αυτές οι τιμές πρέπει να προέρχονται από τη συνεδρία (session), το σύστημα ταυτοποίησης και τους κανόνες επιχειρηματικής λογικής στην πλευρά του διακομιστή (server-side). Επίσης, μια συμβολοσειρά φίλτρου που δημιουργείται από το μοντέλο δεν πρέπει να διαβιβάζεται ανεξέλεγκτα στην υπηρεσία αναζήτησης.

Μια στιβαρή διαδικασία μοιάζει ως εξής:

1. Ο διακομιστής αυθεντικοποιεί το αίτημα και προσδιορίζει το επιτρεπόμενο εύρος δεδομένων.
2. Ντετερμινιστικοί κανόνες ορίζουν αυστηρά πεδία όπως ο μισθωτής (tenant), ο ρόλος και η κατάσταση δημοσίευσης.
3. Τα αναγνωρισμένα χαρακτηριστικά όπως η γλώσσα ή το προϊόν επαληθεύονται έναντι των επιτρεπόμενων τιμών.
4. Ο retriever εκτελεί μόνο μια τυποποιημένη, παραμετροποιημένη δομή φίλτρου.
5. Η εφαρμογή ελέγχει εκ νέου τις επιστρεφόμενες πηγές για το αναμενόμενο scope.
6. Σε περίπτωση ελλείποντος ή αντιφατικού πλαισίου (context), το chatbot ζητά διευκρινίσεις ή επιστρέφει μια ασφαλή εναλλακτική απάντηση (fallback).

Η τεκμηρίωση της Microsoft για τα Security Filters κάνει μια χρήσιμη διάκριση: Ένας principal στο φίλτρο είναι αρχικά απλώς μια τιμή. Η αυθεντικοποίηση και η εξουσιοδότηση πρέπει να πραγματοποιούνται αξιόπιστα εκτός της έκφρασης αναζήτησης. Για πύλες πελατών (customer portals), το άρθρο μας σχετικά με τον διαχωρισμό δημόσιου και αυθεντικοποιημένου chatbot AI εμβαθύνει σε αυτό το όριο.

Προ-φιλτράρισμα (Pre-filter) ή Μετά-φιλτράρισμα (Post-filter);

Η θέση του φίλτρου επηρεάζει την ποιότητα και τον χρόνο εκτέλεσης. Το προ-φιλτράρισμα περιορίζει τους υποψηφίους ήδη κατά τη διάρκεια της διανυσματικής αναζήτησης. Το μετά-φιλτράρισμα αναζητά αρχικά ευρύτερα και στη συνέχεια αφαιρεί τα μη επιτρεπτά αποτελέσματα. Σύμφωνα με την τεκμηρίωση του Azure για τα διανυσματικά φίλτρα, το post-filtering μπορεί να παραλείψει κατάλληλα αποτελέσματα σε επιλεκτικά φίλτρα και μικρό k. Το pre-filtering ευνοεί την ανάκληση (recall) στο επιτρεπόμενο υποσύνολο, αλλά μπορεί να προκαλέσει μεγαλύτερο υπολογιστικό κόστος σε πολύ στενά φίλτρα.

Για αυστηρά όρια πρόσβασης, το μοτίβο «πρώτα ευρεία αναζήτηση, μετά απόκρυψη» δεν είναι κατάλληλο. Το εξουσιοδοτημένο scope θα πρέπει να επιβάλλεται εντός του ερωτήματος αναζήτησης. Για καθαρά λειτουργικά φίλτρα, μια ομάδα μπορεί να μετρήσει τις παραλλαγές pre- και post-filtering. Εδώ δεν μετράει μόνο ο μέσος χρόνος απόκρισης, αλλά και το πόσο συχνά λείπει ένα υπάρχον, επιτρεπόμενο αποτέλεσμα λόγω της επιλεγμένης σειράς.

Τα φίλτρα δεν αντικαθιστούν την κατάταξη (ranking). Εντός του επιτρεπόμενου σώματος κειμένων, η υβριδική αναζήτηση και το reranking μπορούν να συνεχίσουν να δίνουν προτεραιότητα στις καλύτερες πηγές. Η σειρά λοιπόν είναι: Καθορισμός scope, ανάκτηση υποψηφίων, αξιολόγηση σχετικότητας, έλεγχος πηγών, δημιουργία απάντησης.

Τέσσερις τυπικές περιπτώσεις φιλτραρίσματος

Γλώσσα με συνειδητή εναλλακτική λύση (fallback)

Για μια ερώτηση στα ελληνικά, η πρώτη ανάκτηση θα πρέπει να επιλέγει εγκεκριμένο περιεχόμενο στα ελληνικά. Εάν δεν υπάρχει κανένα αποτέλεσμα, η εφαρμογή δεν πρέπει να αναμειγνύει σιωπηρά πολλές γλώσσες. Μια ρητή δεύτερη διαδρομή μπορεί να ανατρέξει σε μια εγκεκριμένη βασική γλώσσα και να επισημάνει αυτή τη συνθήκη στην απάντηση. Μια Locale-QA για πολυγλωσσικές βάσεις γνώσεων ελέγχει επιπλέον εάν οι παραλλαγές είναι πραγματικά ισοδύναμες ως προς το περιεχόμενο.

Έκδοση προϊόντος και χρονική ισχύς

Μια πηγή δεν θα πρέπει να φαίνεται επίκαιρη μόνο και μόνο επειδή σαρώθηκε (crawled) πρόσφατα. Καθοριστικής σημασίας είναι η τεχνική έκδοση και η έγκριση. Επισημάνετε το περιεχόμενο με σταθερό ID προϊόντος, εύρος εκδόσεων, valid_from, valid_until και κατάσταση (status). Σε περίπτωση επικαλυπτόμενων εγκρίσεων, το pipeline πρέπει να αναφέρει μια διένεξη αντί να τοποθετεί και τα δύο κείμενα στο ίδιο prompt. Το πώς αλληλεπιδρούν η συχνότητα σάρωσης και η συντήρηση των πηγών περιγράφεται στον οδηγό για την ενημερότητα της βάσης γνώσεων του AI chatbot.

Μισθωτής (tenant) και ρόλος

Σε περίπτωση κοινού δείκτη (shared index), κάθε ανάκτηση πρέπει να περιέχει τον προσδιορισμένο από τον διακομιστή μισθωτή και τα έγκυρα principals. Τα ελλείποντα μεταδεδομένα ACL σημαίνουν «μη ανακτήσιμο», όχι «δημόσιο». Μετά από αλλαγή ρόλου ή αφαίρεση δικαιώματος, μια δοκιμή πρέπει να δείχνει ότι οι παλιές συνεδρίες δεν λαμβάνουν πλέον chunks που επιτρέπονταν προηγουμένως.

Δημόσια υποστήριξη και εσωτερική οδηγία εργασίας

Μια εσωτερική οδηγία κλιμάκωσης μπορεί να ταιριάζει απόλυτα από τεχνική άποψη με μια ερώτηση πελάτη. Αυτό δεν τη καθιστά επιτρεπόμενη πηγή. Διαχωρίστε το scope δημοσίευσης και τον τύπο εγγράφου. Επισημάνετε το μη εγκεκριμένο περιεχόμενο ως αποκλεισμένο από προεπιλογή. Ένα δημόσιο bot θα πρέπει σε περίπτωση αμφιβολίας να μεταβαίνει σε μια διαδρομή επικοινωνίας ή μεταβίβασης σε εκπρόσωπο (handoff), αντί να προσπαθεί να μαντέψει εσωτερικές λεπτομέρειες.

Τα πιο συχνά σφάλματα υλοποίησης

• Ταξινομία ελεύθερου κειμένου: Τιμές όπως el, EL και el-GR σχηματίζουν ακούσια τρεις διαφορετικές ομάδες.
• Default-open (Προεπιλογή ανοιχτού τύπου): Chunks χωρίς ρόλο, κατάσταση ή μισθωτή καταλήγουν σε κάθε εύρος αναζήτησης.
• Εσφαλμένη λογική Boolean: Ένα OR μεταξύ μισθωτή και γλώσσας ουσιαστικά καταργεί το αυστηρό όριο.
• Απόκλιση εγγράφου-chunk (Document-Chunk-Drift): Κατά την εκ νέου ευρετηρίαση, τα νέα μεταδεδομένα δεν μεταφέρονται σε όλα τα chunks.
• Μόνο θετικές δοκιμές: Η ομάδα ελέγχει αν εμφανίζεται ένα επιτρεπόμενο έγγραφο, αλλά όχι αν ένα παρόμοιο απαγορευμένο έγγραφο απουσιάζει με ασφάλεια.
• Κενά αποτελέσματα ως πρόβλημα μοντέλου: Ένα στενό φίλτρο δεν επιστρέφει τίποτα και η εφαρμογή αφήνει το μοντέλο να συνεχίσει να απαντά χωρίς πηγές.

Διασφάλιση Ποιότητας (QA) φίλτρων: Δοκιμή ορίων και όχι μόνο αποτελεσμάτων

Ένα χρήσιμο σετ δοκιμών περιέχει για κάθε αναμενόμενη απάντηση τουλάχιστον έναν κοντινό αντίθετο υποψήφιο: λάθος γλώσσα, παλιά έκδοση, ληγμένη έγκριση, άλλος μισθωτής ή εσωτερικό κοινό-στόχος. Έτσι, η δοκιμή δείχνει εάν το φίλτρο διαχωρίζει πραγματικά και δεν τοποθετεί απλώς τυχαία το σωστό αποτέλεσμα στην κορυφή.

Σημαντικοί δείκτες είναι το ποσοστό παραβίασης scope, η ανάκληση (recall) στο επιτρεπόμενο υποσύνολο, το ποσοστό κενών ανακτήσεων, ο αριθμός άγνωστων τιμών μεταδεδομένων, η καθυστέρηση (latency) φίλτρου στο 95ο εκατοστημόριο καθώς και το ποσοστό εναλλακτικών λύσεων (fallbacks) και διευκρινιστικών ερωτήσεων. Για περιορισμένο περιεχόμενο, το ανεκτό ποσοστό παραβίασης scope πρέπει να είναι μηδέν. Το NIST AI RMF Core συνιστά τη δοκιμή των συστημάτων AI πριν από τη χρήση και τακτικά κατά τη λειτουργία, καθώς και την τεκμηρίωση των ορίων ασφαλείας, αξιοπιστίας και πλαισίου (context).

Για το σκοπό αυτό, μην καταγράφετε περιττό περιεχόμενο ή πλήρεις ερωτήσεις χρηστών. Συνήθως αρκούν η έκδοση φίλτρου, το αφηρημένο scope, ο αριθμός υποψηφίων, τα επιλεγμένα ID πηγών, ο λόγος απόρριψης και το αποτέλεσμα του μετά-ελέγχου (post-check). Με αυτόν τον τρόπο παραμένει δυνατή η αντιμετώπιση προβλημάτων χωρίς τη δημιουργία δεύτερης διαρροής δεδομένων στο σύστημα παρατηρησιμότητας (observability system).

Πρακτική λίστα ελέγχου πριν από την κυκλοφορία (rollout)

1. Τεκμηριώστε τα κανονικά πεδία μεταδεδομένων, τους τύπους δεδομένων, τις επιτρεπόμενες τιμές και τους ιδιοκτήτες.
2. Διαχωρίστε τα αυστηρά όρια πρόσβασης από τα εξειδικευμένα πεδία επιλογής.
3. Αντιμετωπίστε τις ελλείπουσες τιμές που σχετίζονται με την ασφάλεια αυστηρά ως μη επιτρεπόμενες.
4. Δημιουργήστε φίλτρα από επαληθευμένο πλαίσιο διακομιστή (server context) και παραμετροποιήστε τις εισόδους.
5. Διαβάστε δειγματοληπτικά τα μεταδεδομένα μετά την εισαγωγή (ingestion) και το τεμαχισμό (chunking).
6. Δοκιμάστε θετικές, αρνητικές, οριακές περιπτώσεις καθώς και περιπτώσεις ανάκλησης δικαιωμάτων έναντι του πραγματικού δείκτη.
7. Μετρήστε τη συμπεριφορά pre-/post-filtering με ρεαλιστικό k και επιλεκτικά scopes.
8. Οδηγήστε τα κενά αποτελέσματα σε διευκρινιστική ερώτηση, ασφαλή εναλλακτική απάντηση (fallback) ή μεταβίβαση σε άνθρωπο (Human Handoff).
9. Διατηρήστε εκδόσεις (versioning) για τις αλλαγές φίλτρων και αναπτύξτε τες μαζί με δοκιμές παλινδρόμησης ανάκτησης (retrieval regression tests).

Τα φίλτρα μεταδεδομένων RAG είναι επομένως κάτι παραπάνω από ένα χαρακτηριστικό ευκολίας της αναζήτησης. Είναι ο σύνδεσμος μεταξύ μοντέλου περιεχομένου, ταυτότητας, ενημερότητας και ποιότητας ανάκτησης. Όποιος καθορίζει πρώτα το scope ντετερμινιστικά, δίνει στην κατάταξη και στο γλωσσικό μοντέλο μια μικρότερη, καθαρότερη και επαληθεύσιμη βάση εργασίας.

Επόμενο βήμα: Επιλέξτε μια πραγματική ερώτηση υποστήριξης και δημιουργήστε πέντε σχεδόν κατάλληλες αντίθετες πηγές από λάθος γλώσσα, έκδοση και δικαιώματα. Μόνο όταν καμία από αυτές δεν υπερβαίνει το επιτρεπόμενο scope ανάκτησης, το φίλτρο θα πρέπει να περάσει στην παραγωγική ροή συνομιλίας.

Πηγές

• OpenAI: File Search και Metadata Filtering
• Microsoft: Φίλτρα σε διανυσματικά ερωτήματα
• Microsoft: Security Filter Pattern
• Amazon Bedrock: RetrievalFilter API
• NIST: AI Risk Management Framework Core
• OWASP: GenAI LLM Top 10 2026