RAG-Chunking για AI Chatbots: Σωστή κατάτμηση περιεχομένου

Ένα chatbot ιστότοπου μπορεί να απαντήσει αξιόπιστα μόνο εάν βρίσκει το κατάλληλο περιεχόμενο τη σωστή στιγμή. Εδώ ακριβώς παίζει καθοριστικό ρόλο το RAG-Chunking: Μακροσκελείς σελίδες, εγχειρίδια και κείμενα βοήθειας χωρίζονται σε μικρότερες μονάδες τις οποίες μπορεί να ανακτήσει στοχευμένα ένα σύστημα αναζήτησης. Τα πολύ μεγάλα τμήματα περιέχουν πολλές δευτερεύουσες πληροφορίες. Τα πολύ μικρά τμήματα χάνουν το πλαίσιο (context). Επομένως, μια καλή κατάτμηση δεν ακολουθεί τυφλά έναν αριθμό, αλλά τη δομή, τη σημασία και τη μεταγενέστερη χρήση του περιεχομένου.

Αυτός ο οδηγός απευθύνεται σε ομάδες ιστότοπων, υποστήριξης και περιεχομένου. Εξηγεί πώς να διαχωρίζετε το περιεχόμενο σημασιολογικά, να διατηρείτε μεταδεδομένα, να μειώνετε τις επικαλύψεις και να ελέγχετε με ρεαλιστικές ερωτήσεις αναζήτησης αν η επιλεγμένη στρατηγική λειτουργεί. Η προσέγγιση είναι ανεξάρτητη από παρόχους και μπορεί να εφαρμοστεί τόσο στην κλασική διανυσματική αναζήτηση όσο και σε υβριδικές μεθόδους ανάκτησης (retrieval).

Γιατί το RAG-Chunking διαμορφώνει την ποιότητα των απαντήσεων

Στο Retrieval-Augmented Generation, το σύστημα αναζητά πρώτα τα σχετικα δομικά στοιχεία γνώσης και στη συνέχεια τα μεταβιβάζει στο γλωσσικό μοντέλο. Έτσι, τα όρια των chunks καθορίζουν τι μπορεί να βρεθεί συνολικά και να χρησιμοποιηθεί ως πλαίσιο. Εάν ένας όρος τιμολόγησης διαχωριστεί από την εξαίρεσή του, μια τυπικά ορθή αναζήτηση μπορεί παρ' όλα αυτά να παρέχει μια ελλιπή βάση. Εάν, από την άλλη πλευρά, ένα chunk περιέχει ολόκληρη τη σελίδα ενός προϊόντος με πλοήγηση, παραλλαγές και υποσέλιδο, το κρίσιμο πέρασμα ανταγωνίζεται με πολύ «θόρυβο».

Το chunking επηρεάζει ταυτόχρονα πολλές διαστάσεις ποιότητας:

• Δυνατότητα εντοπισμού: Ταιριάζει η ζητούμενη πληροφορία καθαρά σε μια συμπαγή μονάδα;
• Συνάφεια (Context): Παραμένουν μαζί η επικεφαλίδα, η επεξήγηση, ο περιορισμός και το παράδειγμα;
• Ακρίβεια: Περιέχει το αποτέλεσμα όσο το δυνατόν λιγότερες άσχετες πληροφορίες;
• Ιχνηλασιμότητα: Μπορεί το απόσπασμα να αντιστοιχιστεί σε έγκυρη πηγή, γλώσσα και έκδοση;

Η Microsoft περιγράφει σταθερές, μεταβλητές και σημασιολογικές μεθόδους και τονίζει ότι οι επικεφαλίδες καθώς και άλλα σήματα διάταξης μπορούν να χρησιμοποιηθούν για τη δημιουργία νοηματικών ορίων. Η AWS διακρίνει επίσης στρατηγικές σταθερού μεγέθους, ιεραρχικές και σημασιολογικές. Το κοινό πρακτικό δίδαγμα: Η τεχνική κατάτμηση θα πρέπει να ακολουθεί τη νοηματική δομή του περιεχομένου, όπου αυτή υπάρχει αξιόπιστα.

Ξεκινήστε με σημασιολογικές ενότητες αντί για αυθαίρετα κοψίματα

Ένα καλό σημείο εκκίνησης είναι η υπάρχουσα δομή της σελίδας. Οι επικεφαλίδες H2 και H3, οι παράγραφοι, οι λίστες, οι ερωτήσεις FAQ, οι πίνακες και οι σαφώς οριοθετημένες σημειώσεις φέρουν ήδη νόημα. Μια ενότητα σχετικά με τις προθεσμίες επιστροφής δεν θα πρέπει να τελειώνει στη μέση μιας πρότασης ή ανάμεσα στον κανόνα και την εξαίρεση. Μια ερώτηση FAQ ανήκει στο ίδιο chunk μαζί με την απάντησή της. Σε έναν οδηγό, τα βήματα ενεργειών, οι προϋποθέσεις και οι προειδοποιήσεις θα πρέπει κατά το δυνατόν να παραμένουν μαζί.

Μια πρακτική λογική οριοθέτησης

1. Χωρίστε πρώτα στις επικεφαλίδες εγγράφου, σελίδας και στις κύριες επικεφαλίδες.
2. Ελέγξτε αν μια ενότητα διαπραγματεύεται ακριβώς ένα κατανοητό κύριο θέμα.
3. Διασπάστε μόνο τις ενότητες που είναι πολύ μεγάλες για το retrieval ή το πλαίσιο του μοντέλου.
4. Συγχωνεύστε πολύ μικρά αποσπάσματα με μια κατάλληλη γειτονική ενότητα.
5. Προσαρτήστε την επικεφαλίδα και τη διαδρομή δομής ως πλαίσιο σε κάθε τμήμα.

Με καθαρό HTML ή Markdown, αυτή η μέθοδος αυτοματοποιείται εύκολα. Τα μη δομημένα PDF, οι μη ομοιόμορφες εξαγωγές και τα σαρωμένα έγγραφα συχνά απαιτούν προηγούμενη αναγνώριση διάταξης ή κειμένου. Ελέγξτε ιδιαίτερα τους πίνακες, τις στήλες, τις κεφαλίδες και τις αλλαγές σελίδας: Όσα εμφανίζονται οπτικά το ένα δίπλα στο άλλο, ενδέχεται να καταλήξουν με λανθασμένη σειρά κατά την ανάγνωση.

Αντιμετωπίστε το μέγεθος των chunks ως τιμή δοκιμής, όχι ως δόγμα

Δεν υπάρχει universal ιδανικό μέγεθος chunk. Η Microsoft αναφέρει τα 512 tokens με 25 τοις εκατό επικάλυψη ως πιθανό σημείο εκκίνησης για ορισμένα σενάρια, αλλά επισημαίνει ότι η βέλτιστη ρύθμιση εξαρτάται από το περιεχόμενο και το μοντέλο. Η AWS τεκμηριώνει επίσης παραμετροποιήσιμα μεγέθη και επικαλύψεις. Τέτοιες τιμές είναι χρήσιμες αρχικές υποθέσεις – όχι απόδειξη ποιότητας.

Οι σύντομες απαντήσεις FAQ συχνά λειτουργούν ως αυτόνομες μονάδες. Οι λεπτομερείς οδηγίες διαδικασιών απαιτούν περισσότερο πλαίσιο. Νομικά ή συμβατικά κείμενα δεν πρέπει να διασπούν τον κανόνα, το πεδίο εφαρμογής και την εξαίρεση. Οι συγκρίσεις προϊόντων, από την άλλη πλευρά, μπορούν να έχουν νόημα ανά γραμμή ή ενότητα, εφόσον παρέχονται οι επικεφαλίδες των στηλών και η αναφορά στο προϊόν.

Πώς να αναγνωρίσετε πολύ μεγάλα ή πολύ μικρά chunks

Ένα chunk είναι συνήθως πολύ μεγάλο όταν αναμιγνύονται σε αυτό πολλαπλές προθέσεις αναζήτησης, η σχετική πρόταση εξαφανίζεται ανάμεσα στην πλοήγηση και τις δευτερεύουσες πληροφορίες ή πολλά αποτελέσματα επιστρέφουν το ίδιο εκτενές τμήμα. Είναι πολύ μικρό όταν οι αντωνυμίες δεν έχουν πλέον σημείο αναφοράς, λείπουν οι επικεφαλίδες, οι προϋποθέσεις διαχωρίζονται από τις δηλώσεις ή απαιτούνται πολλαπλά αποσπάσματα για να γίνει κατανοητή μια απλή ερώτηση.

Συγκρίνετε επομένως τουλάχιστον δύο ή τρεις παραλλαγές με το ίδιο σετ ερωτήσεων. Αλλάξτε μόνο μία παράμετρο κάθε φορά, όπως το μέγεθος-στόχο ή τη λογική των ορίων. Έτσι καθίσταται σαφές τι βελτιώνει πραγματικά την ποιότητα των αποτελεσμάτων και την τεκμηρίωση των απαντήσεων.

Η επικάλυψη προστατεύει το πλαίσιο – αλλά δημιουργεί και διπλότυπα

Μια μικρή επικάλυψη (overlap) μπορεί να αποτρέψει την απώλεια μιας κρίσιμης πρότασης ακριβώς πάνω στο όριο ενός chunk. Είναι ιδιαίτερα χρήσιμη όταν η τεχνική κατάτμηση βάσει μήκους είναι αναπόφευκτη. Ωστόσο, η υπερβολική επικάλυψη έχει παρενέργειες: Σχεδόν πανομοιότυπα αποτελέσματα καταλαμβάνουν πολλαπλές θέσεις στην αναζήτηση, αυξάνουν τον όγκο του πλαισίου και μπορούν να κυριαρχήσουν τεχνητά σε μια δήλωση.

Γι' αυτό χρησιμοποιήστε την επικάλυψη στοχευμένα. Σε ενότητες που βασίζονται στη δομή, συχνά αρκεί η συμπερίληψη της επικεφαλίδας, της διαδρομής δομής και μιας σύντομης μετάβασης. Σε εκτενέστερα κείμενα συνεχούς ροής, ένα μικρό ποσοστό της προηγούμενης ενότητας μπορεί να είναι χρήσιμο. Στη συνέχεια, μετρήστε εάν διαφορετικές σχετικές πηγές παραμένουν στα κορυφαία αποτελέσματα ή εκτοπίζονται από διπλότυπα.

Τα μεταδεδομένα καθιστούν ένα chunk λειτουργικά ασφαλές

Το απλό κείμενο σπάνια αρκεί για μια παραγωγική βάση γνώσεων. Κάθε chunk θα πρέπει να διατηρεί την προέλευση και το πεδίο εφαρμογής του. Η AWS περιγράφει τα μεταδεδομένα ως τη βάση για φιλτράρισμα κατά το ερώτημα. Σε μια βάση γνώσεων ιστότοπου, τα ακόλουθα πεδία είναι ιδιαίτερα χρήσιμα:

• κανονική URL πηγής (canonical URL) και τίτλος σελίδας,
• διαδρομή επικεφαλίδων εντός της σελίδας,
• γλώσσα ή locale,
• τύπος περιεχομένου όπως FAQ, οδηγός, πολιτική ή λεπτομέρειες προϊόντος,
• ημερομηνία δημοσίευσης ή τροποποίησης,
• προϊόν, περιοχή ή κοινό-στόχος, εφόσον είναι σχετικό,
• κατάσταση πρόσβασης και έγκρισης για μη δημόσιο περιεχόμενο.

Με αυτόν τον τρόπο είναι δυνατό, για παράδειγμα, να αναζητηθεί μόνο το ελληνικό, εγκεκριμένο περιεχόμενο υποστήριξης. Επιπλέον, η πηγή μπορεί να συνδεθεί στην απάντηση και να υποβληθεί σε εκ νέου επεξεργασία κατά τη διάρκεια μιας μελλοντικής ενημέρωσης. Για το πώς μπορείτε να διασφαλίσετε συστηματικά την επικαιρότητα, δείτε τον οδηγό Διατήρηση της βάσης γνώσεων του AI Chatbot ενημερωμένης.

Αφαιρέστε τα επαναλαμβανόμενα στοιχεία (boilerplate) και τα διπλότυπα πριν από τη ευρετηρίαση

Η πλοήγηση, οι ειδοποιήσεις cookie, τα επαναλαμβανόμενα πλαίσια επικοινωνίας και τα καθολικά υποσέλιδα δεν ανήκουν σε κάθε chunk. Διαφορετικά δημιουργούνται εκατοντάδες σχεδόν πανομοιότυπες εγγραφές που μπορούν να εκτοπίσουν το πραγματικό περιεχόμενο. Αφαιρέστε τα επαναλαμβανόμενα στοιχεία σελίδας πριν από την κατάτμηση και ομαλοποιήστε τα περιττά κενά, τους διακοσμητικούς χαρακτήρες και τα τεχνικά αποσπάσματα.

Επίσης, τα διπλότυπα περιεχομένου απαιτούν προσοχή. Εάν ο ίδιος κανόνας επιστροφής διατυπώνεται διαφορετικά στις σελίδες βοήθειας, προϊόντων και αποστολής, θα πρέπει να οριστεί μια υπεύθυνη πρωτεύουσα πηγή. Οι παρωχημένες συλλογές αφαιρούνται, ανακατευθύνονται ή τίθενται σαφώς σε χαμηλότερη προτεραιότητα. Μια διαδικασία chunking δεν μπορεί να μετατρέψει τις συγκρουόμενες πηγές σε αξιόπιστη γνώση.

Διαχειριστείτε τις ειδικές περιπτώσεις με προσοχή

Περιεχόμενο FAQ

Αποθηκεύστε την ερώτηση και την απάντηση μαζί. Σε πολύ σύντομες απαντήσεις, προσθέστε την ευρύτερη θεματική ενότητα. Οι παραλλαγές της ίδιας ερώτησης μπορούν να βοηθήσουν στην αναζήτηση, αλλά δεν πρέπει να ευρετηριάζονται ως πολλαπλά κείμενα απάντησης.

Πίνακες και λίστες

Μια γραμμή πίνακα χωρίς επικεφαλίδες στηλών είναι συνήθως μη κατανοητή. Επομένως, επαναλάβετε ή αναφέρετε τους σχετικούς όρους επικεφαλίδας στο chunk. Σε μεγάλες λίστες, κάθε μέρος θα πρέπει να διατηρεί τον τίτλο της λίστας και την κοινή εισαγωγή. Μετά την εξαγωγή, βεβαιωθείτε ότι οι τιμές εξακολουθούν να αντιστοιχίζονται στο σωστό χαρακτηριστικό.

Πολύγλωσσες σελίδες

Διαχωρίστε το περιεχόμενο ανά locale και αποθηκεύστε τη γλώσσα ως μεταδεδομένο. Ένα ερώτημα στα ελληνικά δεν θα πρέπει κατά τύχη να επιστρέφει μια παρωχημένη αγγλική ενότητα απλώς και μόνο επειδή υπάρχουν παρόμοιοι όροι. Τα κοινά αναγνωριστικά μετάφρασης ή σελίδας βοηθούν στη σύνδεση των παραλλαγών μεταξύ τους, χωρίς να τις αναμιγνύουν στο ίδιο τμήμα κειμένου.

Διεξάγετε δοκιμές ανάκτησης (retrieval) πριν από τις δοκιμές απαντήσεων

Αξιολογήστε πρώτα εάν η αναζήτηση επιστρέφει το σωστό απόσπασμα. Μόνο μετά αξιολογήστε τη διατύπωση του γλωσσικού μοντέλου. Ένα μικρό Golden Set από πραγματικές ερωτήσεις χρηστών θα πρέπει να περιλαμβάνει σαφείς ερωτήσεις, συνώνυμα, σύνθετα αιτήματα, οριακές περιπτώσεις και ερωτήσεις χωρίς τεκμηριωμένη απάντηση. Για κάθε ερώτηση, ορίστε εκ των προτέρων ποια πηγή ή ενότητα αναμένεται.

Ελέγξτε τουλάχιστον:

• εάν η αναμενόμενη ενότητα εμφανίζεται στα πρώτα αποτελέσματα,
• εάν άσχετα ή διπλότυπα αποτελέσματα εκτοπίζουν σημαντικές πηγές,
• εάν όλες οι απαραίτητες προϋποθέσεις και εξαιρέσεις περιλαμβάνονται στο παρεχόμενο πλαίσιο,
• εάν η πηγή και η κατάσταση επικαιρότητάς της παραμένουν ιχνηλάσιμες,
• εάν το σύστημα αποφεύγει με ασφάλεια να επινοεί απαντήσεις όταν λείπει η γνώση.

Το άρθρο Μέτρηση ποιότητας απαντήσεων AI Chatbot με Golden Set και δοκιμές RAG περιγράφει την κατάλληλη διαδικασία ελέγχου. Για ορατές αποδείξεις, ο οδηγός Τεκμηρίωση απαντήσεων chatbot με πηγές συμπληρώνει την οπτική γωνία σχετικά με τον έλεγχο συνδέσμων και την αβεβαιότητα.

Λίστα ελέγχου για την εφαρμογή

1. Καταγραφή περιεχομένου: Καταγράψτε τύπους σελίδων, γλώσσες, μορφές και υπεύθυνες πηγές.
2. Έλεγχος εξαγωγής: Ελέγξτε επικεφαλίδες, πίνακες και σειρά ανάγνωσης σε αντιπροσωπευτικά παραδείγματα.
3. Ορισμός ορίων: Προτιμήστε σημασιολογικές ενότητες και χρησιμοποιήστε σταθερά μεγέθη μόνο ως εναλλακτική λογική.
4. Διατήρηση πλαισίου: Συμπεριλάβετε τίτλο σελίδας, διαδρομή επικεφαλίδων και απαραίτητες μεταβάσεις.
5. Σχεδιασμός μεταδεδομένων: Αποθηκεύστε δομημένα URL, locale, επικαιρότητα, τύπο περιεχομένου και έγκριση.
6. Αφαίρεση διπλότυπων: Καθαρίστε τα επαναλαμβανόμενα στοιχεία και τις συγκρουόμενες συλλογές πριν από τη ευρετηρίαση.
7. Δοκιμή παραλλαγών: Συγκρίνετε μεγέθη και επικαλύψεις με το ίδιο Golden Set.
8. Παρακολούθηση λειτουργίας: Αξιολογείτε τακτικά τα χαμένα αποτελέσματα, τις παρωχημένες πηγές και τα σχόλια των χρηστών.

Συμπέρασμα: Τα καλά chunks είναι κατανοητές μονάδες γνώσης

Το RAG-Chunking δεν είναι μια τεχνική ρύθμιση που γίνεται μια φορά, αλλά αρχιτεκτονική περιεχομένου για μηχανική ανάκτηση (retrieval). Τα καλά chunks απαντούν σε ένα σαφώς καθορισμένο επιμέρους αίτημα, διατηρούν το απαραίτητο πλαίσιο τους και μπορούν να αντιστοιχιστούν σε μια έγκυρη πηγή. Οι επικεφαλίδες, τα μεταδεδομένα και η ελεγχόμενη επικάλυψη είναι εξίσου σημαντικά με το καθαρό μήκος.

Ξεκινήστε με λίγους αντιπροσωπευτικούς τύπους περιεχομένου, μετρήστε το retrieval πριν από το ύφος της απάντησης και τεκμηριώστε κάθε αλλαγή. Εάν στη συνέχεια θέλετε να δημιουργήσετε ένα chatbot ιστότοπου βασισμένο σε μια δομημένη βάση γνώσεων, θα βρείτε την κατάλληλη αφετηρία στην επισκόπηση λειτουργιών του ChatReact.

Πηγές

• Microsoft Learn: Chunk large documents for vector search solutions in Azure AI Search
• Microsoft Learn: Chunk and vectorize by document layout
• AWS Bedrock: How content chunking works for knowledge bases
• AWS Bedrock: Include metadata in a data source