Hybrid Search και Reranking για AI Chatbots: Καλύτερα αποτελέσματα RAG

Τα chatbots ιστότοπων σπάνια αποτυγχάνουν επειδή η βάση γνώσης δεν περιέχει καθόλου πληροφορίες. Συχνότερα, το βήμα ανάκτησης (retrieval) δεν εντοπίζει το απόσπασμα που ταιριάζει στην ερώτηση και στο συγκεκριμένο πλαίσιο. Οι επισκέπτες χρησιμοποιούν ονόματα προϊόντων, μηνύματα σφάλματος και κωδικούς προϊόντων, αλλά διατυπώνουν επίσης ελεύθερα τις απορίες τους: «Γιατί το chatbot δείχνει λάθος πρόγραμμα;» ή «Μπορώ να αλλάξω μια παραγγελία που έχει ήδη αποσταλεί;» Για αυτό το μείγμα, ούτε η αμιγής αναζήτηση βάσει λέξεων-κλειδιών ούτε η αμιγής διανυσματική αναζήτηση αρκούν ως καθολική λύση. Η υβριδική αναζήτηση (Hybrid Search) συνδυάζει και τα δύο σήματα, ώστε ένα RAG chatbot να τροφοδοτείται με πιο αξιόπιστες πηγές στο πλαίσιο απάντησής του.

Η αναζήτηση λέξεων-κλειδιών και η διανυσματική αναζήτηση εξυπηρετούν διαφορετικούς σκοπούς

Η αναζήτηση βάσει λέξεων-κλειδιών είναι ισχυρή όταν οι λέξεις πρέπει να εμφανίζονται με ακρίβεια. Αυτό ισχύει για αριθμούς παραγγελίας, ονομασίες προϊόντων, συγκεκριμένα μηνύματα σφαλμάτων, ονόματα συμβάσεων ή μια έκδοση όπως «2.4». Μπορεί να δείξει με σαφήνεια γιατί ένα έγγραφο ταιριάζει: Η αναζητούμενη λέξη βρίσκεται στον τίτλο, σε μια επικεφαλίδα ή στο απόσπασμα. Η αδυναμία της εμφανίζεται στην καθημερινή γλώσσα, στα συνώνυμα και στις ατελείς διατυπώσεις. Μια ερώτηση επισκέπτη για «αντίγραφο τιμολογίου» ενδέχεται να μην βρει μια σελίδα που αναφέρει μόνο «λήψη παραστατικού».

Η διανυσματική αναζήτηση (Vector Search) καλύπτει αυτό το κενό. Αναπαριστά την ερώτηση και το περιεχόμενο ως σημασιολογική εγγύτητα και ως εκ τούτου μπορεί να βρει παρόμοια αιτήματα, παρόλο που λείπουν οι ίδιοι όροι. Αυτό βοηθά σε φυσικά διατυπωμένες ερωτήσεις υποστήριξης, πολυγλωσσικές παραλλαγές και διαφορετικές ονομασίες για την ίδια διαδικασία. Ωστόσο, η σημασιολογική εγγύτητα από μόνη της δεν αποτελεί εγγύηση: Ένα απόσπασμα μπορεί να είναι παρόμοιο θεματικά, αλλά να αφορά διαφορετική έκδοση προϊόντος, άλλη αγορά ή έναν καταργημένο κανόνα. Για αυτόν ακριβώς τον λόγο, ο έλεγχος του πλαισίου ανήκει στη διοχέτευση ανάκτησης (retrieval pipeline) και όχι εκ των υστέρων στο γλωσσικό μοντέλο.

Γιατί η υβριδική αναζήτηση είναι μια λογική αφετηρία

Η Microsoft περιγράφει την υβριδική αναζήτηση ως ένα κοινό αμφίδρομο αίτημα που αποτελείται από μέρος πλήρους κειμένου και διανυσματικό μέρος. Και τα δύο ερωτήματα εκτελούνται παράλληλα και οι λίστες αποτελεσμάτων τους συγχωνεύονται στη συνέχεια. Αυτό είναι ελκυστικό για εταιρικούς ιστότοπους, επειδή διατηρούνται οι ακριβείς όροι και ταυτόχρονα γίνονται προσβάσιμα σχετικά, καλά διατυπωμένα περιεχόμενα. Ένα chatbot δεν χρειάζεται να βάζει τους επισκέπτες να επιλέξουν ανάμεσα σε μια «τεχνική» και μια «σημασιολογική» αναζήτηση. Η επιλογή πραγματοποιείται στο παρασκήνιο και μπορεί να ελεγχθεί για όλες τις ερωτήσεις με την ίδια διαδικασία ποιότητας.

Η υβριδική αναζήτηση βελτιώνει το σύνολο των υποψηφίων αποτελεσμάτων· δεν παράγει αντικειμενική αλήθεια. Το chatbot επιτρέπεται να χρησιμοποιεί μόνο περιεχόμενο που έχει εγκριθεί για τη συγκεκριμένη περίπτωση. Δημόσιες ιστοσελίδες, εσωτερικά προσχέδια και προστατευμένα δεδομένα πελατών δεν ανήκουν σε ένα κοινό, ανεξέλεγκτο πλαίσιο. Εξίσου σημαντική είναι η σαφής συμπεριφορά όταν δεν υπάρχει διαθέσιμη κατάλληλη πηγή: Μια διευκρινιστική ερώτηση, ένας σύνδεσμος στη σελίδα επικοινωνίας ή η μεταβίβαση σε εκπρόσωπο (Human Handoff) είναι πιο ασφαλή από μια φυσικά διατυπωμένη εικασία.

Κατανοώντας το RRF: Συγχώνευση κατατάξεων

Οι βαθμολογίες (scores) από την αναζήτηση πλήρους κειμένου και τη διανυσματική αναζήτηση έχουν διαφορετικές σημασίες και κλίμακες. Η απευθείας πρόσθεσή τους ή ο ορισμός ενός σταθερού ορίου συχνά οδηγεί σε ασταθή αποτελέσματα. Το Reciprocal Rank Fusion, εν συντομία RRF, εργάζεται επομένως με τη θέση ενός εγγράφου σε κάθε قائمة κατάταξης. Ένα έγγραφο που εμφανίζεται ψηλά και στις δύο λίστες λαμβάνει ένα ισχυρό συνδυασμένο σήμα. Ένα έγγραφο που είναι ορατό μόνο σε μία λίστα μπορεί επίσης να ληφθεί υπόψη, αλλά χωρίς να εκτοπίζει αυτόματα όλα τα άλλα.

Το RRF δεν είναι μια μαγική προεπιλεγμένη τιμή ούτε υποκατάστατο για εξειδικευμένους δοκιμαστικούς ελέγχους. Το πόσοι υποψήφιοι από κάθε αναζήτηση φτάνουν στη συγχώνευση, ποια φίλτρα εφαρμόζονται εκ των προτέρων και πότε ένα αποτέλεσμα θεωρείται γενικά αξιοποιήσιμο, εξαρτάται από το περιεχόμενο και το ρίσκο. Για συχνές ερωτήσεις προϊόντων, ένα μικρό, εστιασμένο παράθυρο μπορεί να έχει νόημα. Για σύνθετες οδηγίες ή διαγνώσεις σφαλμάτων, ενδέχεται να απαιτούνται περισσότεροι υποψήφιοι. Το κρίσιμο είναι να συγκρίνετε την αλλαγή με πραγματικές ερωτήσεις έναντι ενός συνόλου δοκιμών (test set), αντί να υιοθετείτε μια καθολική παράμετρο από ένα τυχαίο παράδειγμα.

Το σημασιολογικό Reranking ως δεύτερο, περιορισμένο στάδιο

Μετά από μια καλή προεπιλογή, ένας μηχανισμός επανακατάταξης (Reranker) μπορεί να αξιολογήσει εκ νέου το στενότερο σύνολο υποψηφίων σε σχέση με ολόκληρη την ερώτηση. Η Microsoft κατατάσσει τη σημασιολογική αξιολόγηση (semantic ranking) ως δευτερεύουσα κατάταξη πάνω από μια ήδη προκαταρκτικά καταταγμένη λίστα αποτελεσμάτων. Αντίστοιχα, το Amazon Bedrock περιγράφει το Reranking ως αξιολόγηση εγγράφων κειμένου ως προς τη σχετικότητά τους με το αίτημα. Αυτό το δεύτερο στάδιο είναι κατάλληλο για ερωτήσεις με πολλαπλές προϋποθέσεις: για παράδειγμα, αν είναι δυνατή η αλλαγή προγράμματος αφού η παραγγελία έχει ήδη αποσταλεί και υπάρχει ένας συγκεκριμένος τύπος συμβολαίου.

Το Reranking θα πρέπει να περιορίζεται εσκεμμένα. Προσθέτει επιπλέον καθυστέρηση (latency) και, ανάλογα με την υπηρεσία, μπορεί να συνεπάγεται κόστος. Επομένως, μην τροφοδοτείτε ολόκληρη τη βάση γνώσης σε έναν Reranker, παρά μόνο τα κορυφαία αποτελέσματα που έχουν ήδη φιλτραριστεί και συγχωνευθεί. Ορίστε ένα όριο χρόνου (time budget) και μια εναλλακτική διαδικασία (fallback). Εάν το όριο χρόνου ξεπεραστεί, το chatbot μπορεί, για παράδειγμα, να εμφανίσει την πιο αξιόπιστη λίστα πηγών, να ζητήσει διευκρίνιση ή να μεταφέρει τη συνομιλία σε μια ομάδα υποστήριξης. Ένας Reranker δεν διορθώνει παρωχημένα, ελλιπή ή μη εγκεκριμένα περιεχόμενα.

Τα φίλτρα μεταδεδομένων προστατεύουν το πλαίσιο

Τα μεταδεδομένα συχνά καθορίζουν την ποιότητα της απάντησης περισσότερο από μια επιπλέον επιλογή μοντέλου. Διατηρείτε για κάθε πηγή τουλάχιστον τη γλώσσα, το προϊόν ή την υπηρεσία, την έκδοση, την αγορά, το κοινό-στόχο και την ισχύ, εφόσον τα στοιχεία αυτά είναι σχετικά με τη χρήση. Ένα φίλτρο για τη σωστή οντότητα ή περιοχή δικαιωμάτων πρέπει να εφαρμόζεται πριν από την έξοδο των αποτελεσμάτων. Στον δημόσιο ιστότοπο, ένα chatbot μπορεί να ανακτήσει μόνο δημόσιο περιεχόμενο· για μια περιοχή με σύνδεση χρήστη ισχύουν επιπλέον επαληθεύσιμα δικαιώματα πρόσβασης.

Ο χρόνος είναι επίσης ζήτημα μεταδεδομένων. Οι τιμοκατάλογοι, οι όροι παράδοσης και οι οδηγίες θα πρέπει να φέρουν σαφή ημερομηνία ενημέρωσης ή ελεγχόμενη κατάσταση ισχύος. Εάν η πηγή δεν είναι πλέον αξιόπιστη, πρέπει να αφαιρεθεί από το ευρετήριο ή να μεταφερθεί σε μια ξεχωριστή διαδρομή ελέγχου. Τα φίλτρα πρέπει να αποτυπώνουν κατανοητές απαιτήσεις για τους επισκέπτες και όχι να χειραγωγούν μυστικά τη σειρά κατάταξης. Επομένως, τεκμηριώστε ποια φίλτρα ισχύουν για κάθε κατηγορία ερωτήσεων και πώς μια ομάδα επαληθεύει τις αλλαγές.

Μια συγκεκριμένη διοχέτευση από το ερώτημα έως το πλαίσιο

1. Κανονικοποίηση ερώτησης: Αναγνωρίστε τη γλώσσα και το προφανές πλαίσιο, χωρίς να αποθηκεύετε ή να τροποποιείτε απολύτως απαραίτητα προσωπικά δεδομένα.
2. Έλεγχος πρόσβασης και μεταδεδομένων: Καθορίστε πριν από την ανάκτηση ποιες πηγές επιτρέπονται για το προϊόν, την αγορά, τον ρόλο και τη فترة ισχύος.
3. Παράλληλη ανάκτηση: Εκτελέστε αναζήτηση πλήρους κειμένου και διανυσματική αναζήτηση στο ίδιο επιτρεπόμενο σύνολο πηγών.
4. Συγχώνευση κατατάξεων: Συνδυάστε τις λίστες με RRF και διατηρήστε τα σήματα προέλευσης για κάθε υποψήφιο για λόγους αποσφαλμάτωσης (debugging).
5. Περιορισμένο Reranking: Εκτελέστε αξιολόγηση σχετικότητας μόνο στο μικρό κορυφαίο σύνολο αποτελεσμάτων και μετρήστε την καθυστέρηση.
6. Διασφάλιση πλαισίου: Ελέγξτε για διπλότυπα, κατάσταση πηγών και κατάλληλο μέγεθος πριν σταλούν τα αποσπάσματα στο μοντέλο απάντησης.
7. Απάντηση με όρια: Τεκμηριώστε τις πηγές, επισημάνετε την αβεβαιότητα και χρησιμοποιήστε ασφαλή μεταβίβαση όταν απαιτείται.

Πρακτικό παράδειγμα: Κατάσταση αποστολής και αλλαγή προγράμματος

Ας υποθέσουμε ότι ένας επισκέπτης ρωτά: «Μπορώ να αλλάξω το πρόγραμμά μου παρόλο που το δέμα βρίσκεται 이미 καθ' οδόν;» Η αναζήτηση λέξεων-κλειδιών ενδέχεται να βρει μια σελίδα για την «αλλαγή προγράμματος» και ένα άρθρο υποστήριξης με τη φράση «δέμα καθ' οδόν». Η διανυσματική αναζήτηση βρίσκει έναν οδηγό που περιγράφει τη διαδικασία ως αλλαγή μετά την αποστολή. Το RRF φέρνει στην κορυφή έγγραφα που συνδυάζουν και τις δύο πτυχές. Στη συνέχεια, ένας Reranker μπορεί να ελέγξει αν το σχετικό απόσπασμα περιέχει πράγματι τον συνδυασμό αλλαγής προγράμματος και αποστολής.

Πριν δώσετε απάντηση, φιλτράρετε με βάση την επηρεαζόμενη αγορά, τη γραμμή προϊόντων και την τρέχουσα κατάσταση ισχύος. Εάν οι πηγές είναι αντικρουόμενες ή λείπουν απαραίτητες λεπτομέρειες, το chatbot δεν θα πρέπει να βγάζει συμπεράσματα από παρόμοιες περιπτώσεις. Μπορεί να αναφέρει με διαφάνεια ποια προϋπόθεση παραμένει εκκρεμής και να κατευθύνει τον επισκέπτη σε μια κατάλληλη, επαληθευμένη επιλογή επικοινωνίας. Έτσι, η συνομιλία παραμένει χρήσιμη χωρίς να επινοείται μια ακάλυπτη δέσμευση.

Περιπτώσεις μηδενικών αποτελεσμάτων και αποσφαλμάτωση βαθμολογίας

Ένα μηδενικό αποτέλεσμα (No-result) είναι συχνά ένδειξη κενού γνώσης και όχι ελαττωματικής αναζήτησης. Επομένως, διακρίνετε τουλάχιστον τέσσερις περιπτώσεις: Δεν υπάρχει επιτρεπόμενη πηγή, υπάρχουν πηγές αλλά κανένα επαρκώς σχετικό αποτέλεσμα, η ερώτηση είναι διφορούμενη ή ένα τεχνικό σφάλμα εμποδίζει την ανάκτηση. Κάθε περίπτωση χρειάζεται τη δική της, κατανοητή αντίδραση. Η φράση «Δεν βρίσκω αξιόπιστη απάντηση στις εγκεκριμένες πληροφορίες γι' αυτό» είναι πιο ειλικρινής από μια γενική πρόταση χωρίς επόμενο βήμα.

Για την αποσφαλμάτωση, οι τελικές βαθμολογίες από μόνες τους δεν αρκούν. Για κάθε δοκιμαστική ερώτηση, οι ομάδες θα πρέπει να είναι σε θέση να δουν ποια φίλτρα εφαρμόστηκαν, ποια έγγραφα προήλθαν από την αναζήτηση λέξεων-κλειδιών και τη διανυσματική αναζήτηση, πώς συγχωνεύτηκαν και αν το Reranking άλλαξε τη σειρά. Αποθηκεύστε μόνο τα δεδομένα που είναι απαραίτητα για την ποιότητα και επεξεργασμένα με φειδώ. Αναζητήστε μοτίβα: Λείπουν συγκεκριμένα συνώνυμα; Μια παλιά πηγή επικαλύπτει νέο περιεχόμενο; Ξεφεύγει μια τοπική προσαρμογή (locale) από τη λογική των μεταδεδομένων; Μόνο η συγκεκριμένη αιτία καθορίζει αν πρέπει να αλλαχθεί το Chunking, τα μεταδεδομένα, η συντήρηση των πηγών ή η κατάταξη.

Σύνολο δοκιμών, μετρήσεις και προϋπολογισμός κόστους

Ένα μικρό Golden Set με 30 έως 50 ρεαλιστικές ερωτήσεις είναι μια καλή αφετηρία. Ορίστε για κάθε ερώτηση τις αναμενόμενες πηγές, τις μη επιτρεπτές πηγές και την επιθυμητή αντίδραση σε περίπτωση έλλειψης γνώσης. Μετρήστε ξεχωριστά αν μια σωστή πηγή βρίσκεται μεταξύ των υποψηφίων, αν κατατάσσεται αρκετά ψηλά και αν η τελική απάντηση χρησιμοποιεί μόνο τεκμηριωμένες πληροφορίες. Προσθέστε εσκεμμένα τυπογραφικά λάθη, ακριβείς όρους, φυσικές διατυπώσεις, πολυγλωσσικότητα και κρίσιμες αρνητικές περιπτώσεις.

Αλλάζετε μόνο μία μεταβλητή ανά δοκιμαστική εκτέλεση: ένα φίλτρο, τον αριθμό των υποψηφίων, το βάθος του Reranking ή τη δομή των chunks. Σημειώστε επίσης τον χρόνο απόκρισης και τον αριθμό των εξωτερικών κλήσεων μοντέλου. Μια υψηλότερη τιμή σχετικότητας μπορεί να είναι άχρηστη εάν η απάντηση καθυστερεί πολύ ή εάν το κόστος για συχνές τυπικές ερωτήσεις αυξάνεται. Επομένως, ορίστε έναν προϋπολογισμό καθυστέρησης και κόστους ανά κατηγορία ερωτήσεων. Οι γρήγορες, καλά τεκμηριωμένες τυπικές απαντήσεις και οι συντηρητικές μεταβιβάσεις είναι πιο πολύτιμες για πολλούς ιστότοπους από μια ανώτατα σύνθετη κατάταξη.

Συνήθη σφάλματα κατά την εφαρμογή

• Άμεση σύγκριση ακατέργαστων βαθμολογιών λέξεων-κλειδιών και διανυσμάτων, παρόλο που οι κλίμακές τους δεν είναι ίδιες.
• Ευρετηρίαση προσχεδίων, παλιών τιμοκαταλόγων ή προστατευμένου περιεχομένου χωρίς φίλτρα κατάστασης και δικαιωμάτων.
• Εφαρμογή του Reranking σε υπερβολικά πολλούς υποψηφίους, με αποτέλεσμα την απώλεια ελέγχου της καθυστέρησης και του κόστους.
• Αντιμετώπιση μιας επίδειξης (demo) με λίγες καλές ερωτήσεις ως επαρκή απόδειξη ποιότητας.
• Δημιουργία μιας πιθανής απάντησης όταν λείπει η πηγή, αντί για πρόβλεψη αβεβαιότητας, διευκρινιστικής ερώτησης ή μεταβίβασης σε εκπρόσωπο.
• Έλλειψη διαχείρισης εκδόσεων (versioning) στις αλλαγές πηγών, Chunking και κατάταξης, με αποτέλεσμα την αδυναμία μεταγενέστερης αιτιολόγησής τους.

Λίστα ελέγχου εφαρμογής

• Καθορισμός επιτρεπόμενων πηγών και ορίων δικαιωμάτων πριν από την ευρετηρίαση.
• Διατήρηση μεταδεδομένων για τη γλώσσα, το προϊόν, την έκδοση, την αγορά και την ισχύ.
• Παράλληλη ανάκτηση πλήρους κειμένου και διανυσματικής αναζήτησης, με μεταγενέστερη συγχώνευση μέσω RRF.
• Χρήση Reranking μόνο για ένα μικρό, επιτρεπόμενο σύνολο υποψηφίων.
• Αξιολόγηση συνδέσμων πηγών, απαντήσεων μηδενικών αποτελεσμάτων και μεταβίβασης σε εκπρόσωπο στο σύνολο δοκιμών.
• Μέτρηση καθυστέρησης, κόστους και κρίσιμων λανθασμένων απαντήσεων ανά αλλαγή.

Συμπεράσματα

Η υβριδική αναζήτηση είναι μια στιβαρή αφετηρία για chatbots ιστότοπων με ποικίλες μορφές ερωτήσεων. Η αναζήτηση λέξεων-κλειδιών διατηρεί τα ακριβή σήματα, η διανυσματική αναζήτηση καλύπτει παρόμοια αιτήματα, το RRF συνδέει τις λίστες κατάταξής τους και ένας περιορισμένος Reranker μπορεί να βελτιώσει τη στενότερη επιλογή. Ωστόσο, η βιώσιμη αύξηση της ποιότητας προέρχεται από προσεγμένες πηγές, κατάλληλα μεταδεδομένα, κατανοητές δοκιμές και μια λογική απάντησης που αποκαλύπτει τα όριά της. Έτσι, η ανάκτηση γίνεται επαληθεύσιμη αντί για απλώς τεχνικά εντυπωσιακή.

Πηγές και περαιτέρω παραπομπές

• Microsoft Learn: Hybrid Search
• Microsoft Learn: Σχετικότητα και RRF στην υβριδική αναζήτηση
• Microsoft Learn: Semantic Ranking
• Amazon Bedrock: Reranking
• ChatReact: RAG-Chunking για AI Chatbots
• ChatReact: Δοκιμή ποιότητας απαντήσεων με Golden Set
• ChatReact: Διατήρηση βάσης γνώσης ενημερωμένης