Αυτόματη αναγνώριση γλώσσας chatbot: Προτιμήσεις, fallbacks και επιλογή χρήστη

Ένα πολυγλωσσικό chatbot ιστότοπου δεν πρέπει να στέλνει τους επισκέπτες σε λάθος γλώσσα από την πρώτη κιόλας απάντηση. Ωστόσο, αυτόματη αναγνώριση γλώσσας chatbot σημαίνει περισσότερα από την απλή υιοθέτηση της πρώτης τιμής του προγράμματος περιήγησης. Οι ρυθμίσεις του προγράμματος περιήγησης ενδέχεται να είναι παρωχημένες, μια συσκευή μπορεί να είναι κοινόχρηστη και ένας άνθρωπος μπορεί να προτιμά να διαβάζει τεχνικό περιεχόμενο στα Αγγλικά, παρόλο που το λειτουργικό του σύστημα χρησιμοποιεί Γερμανικά.

Μια ισχυρή λύση αντιμετωπίζει επομένως την αυτόματη αναγνώριση μόνο ως σήμα εκκίνησης. Η ρητή επιλογή του χρήστη έχει προτεραιότητα, η διαθεσιμότητα της διεπαφής, της βάσης γνώσης και της διαδικασίας μεταβίβασης θέτει όρια, και ένα ορατό fallback αποτρέπει μια φαινομενικά κατάλληλη γλώσσα από το να οδηγήσει σε ελλιπείς ή κατασκευασμένες απαντήσεις.

Γιατί η γλώσσα του προγράμματος περιήγησης είναι μόνο μια υπόδειξη

Τα προγράμματα περιήγησης στέλνουν συχνά την κεφαλίδα HTTP Accept-Language. Περιέχει εύρη γλωσσών και μπορεί να εκφράσει μια σειρά προτεραιότητας μέσω των λεγόμενων τιμών ποιότητας, για παράδειγμα de-AT,de;q=0.9,en;q=0.7. Το πρότυπο RFC 9110 περιγράφει ρητά αυτές τις προτιμήσεις ως βοήθεια για την επιλογή μιας αναπαράστασης, όχι ως βέβαιη δήλωση σχετικά με το άτομο.

Στο πρόγραμμα περιήγησης, το navigator.languages παρέχει μια διατεταγμένη λίστα προτιμώμενων ετικετών γλώσσας BCP-47. Σύμφωνα με το MDN , τα προγράμματα περιήγησης ενδέχεται να αποκαλύπτουν λιγότερες προτιμήσεις για λόγους ιδιωτικότητας. Επιπλέον, ένα πρόγραμμα περιήγησης μπορεί να συμπληρώσει πιο γενικές παραλλαγές: Από το de-AT μπορεί επιπλέον να γίνει σχετικό για την αντιστοίχιση το de .

Η συνέπεια για τα chatbots είναι πρακτική: Accept-Language και navigator.languages είναι καλοί υποψήφιοι για την πρώτη πρόταση. Δεν πρέπει όμως να αντικαθιστούν ούτε την τοποθεσία ούτε την υπηκοότητα. Μια διεύθυνση IP δεν αποκαλύπτει μια αξιόπιστη επιθυμία γλώσσας. Ούτε το domain ή η γλώσσα της σελίδας από μόνα τους αρκούν, εάν ένας επισκέπτης έχει μεταβεί συνειδητά σε μια άλλη γλωσσική έκδοση.

Μια σαφής αλυσίδα προτεραιότητας αποτρέπει τις εκπλήξεις

Η επιλογή πρέπει να είναι ντετερμινιστική. Έχει αποδειχθεί αποτελεσματική μια σειρά που σταθμίζει σαφώς κάθε πηγή:

1. Ρητή επιλογή τρέχουσας συνεδρίας: Εάν ο χρήστης κάντε κλικ στα Γαλλικά, η επόμενη απάντηση του chatbot πρέπει να χρησιμοποιήσει Γαλλικά.
2. Αποθηκευμένη, ακόμα έγκυρη προτίμηση: Μια προγενέστερη επιλογή μπορεί να ισχύει ξανά σε μια μεταγενέστερη επίσκεψη, εφόσον η αποθήκευση είναι διαφανής και τεχνικά επιτρεπτή.
3. Γλώσσα της τρέχουσας σελίδας: Το chatbot δεν πρέπει να αποκλίνει χωρίς λόγο από τη γλωσσική έκδοση που ανοίχτηκε συνειδητά.
4. Προτιμήσεις προγράμματος περιήγησης: Η λίστα αντιστοιχίζεται με τα υποστηριζόμενα locales του chatbot.
5. Τεκμηριωμένη προεπιλογή: Εάν τίποτα δεν ταιριάζει, ακολουθεί μια συνειδητά επιλεγμένη βασική γλώσσα αντί για ένα τυχαίο αποτέλεσμα.

Αυτή η αλυσίδα διαχωρίζει την αναγνώριση από την απόφαση. Μπορεί να καταγραφεί σε αρχείο καταγραφής και να δοκιμαστεί: source=user, source=stored, source=page, source=browser ή source=default. Για τα Analytics, η πηγή και το επιλεγμένο locale συνήθως αρκούν. Η πλήρης λίστα γλωσσών του προγράμματος περιήγησης δεν πρέπει να αποθηκεύεται αδικαιολόγητα, καθώς το RFC 9110 επισημαίνει πιθανούς κινδύνους ιδιωτικότητας και ψηφιακού αποτυπώματος (fingerprinting) των λεπτομερών γλωσσικών προτιμήσεων.

Κανονικοποίηση ετικετών BCP-47 χωρίς απώλεια σημασίας

Οι ετικέτες γλώσσας δεν αποτελούνται μόνο από δύο γράμματα. pt-BR και pt-PT μοιράζονται μια γλώσσα, αλλά μπορεί να διαφέρουν στον τονικό τόνο, το λεξιλόγιο, τις μορφές και τους νομικούς όρους. Ακόμη και τα συστήματα γραφής μπορεί να είναι καθοριστικά. Επομένως, η εφαρμογή θα πρέπει να κανονικοποιεί συντακτικά τις εισερχόμενες ετικέτες και στη συνέχεια να τις ελέγχει έναντι μιας ρητής λίστας υποστηριζόμενων locales.

Από την ειδική ετικέτα στο ασφαλές fallback

Μια λογική αντιστοίχιση δοκιμάζει πρώτα την ακριβή παραλλαγή. Εάν το de-AT δεν είναι διαθέσιμο, μπορεί να ακολουθήσει το de . Στη συνέχεια μπορεί να εφαρμόζεται ένα γνωστό, συντακτικά ελεγμένο προεπιλεγμένο locale. Ωστόσο, η απλή αποκοπή όλων των υπο-ετικετών δεν είναι πάντα ασφαλής. Για γλώσσες με πολλαπλές γραφές ή έντονα διαφορετικές παραλλαγές, το προϊόν χρειάζεται μια συνειδητά ορισμένη αντιστοίχιση.

Το fallback πρέπει να ελέγχεται ξεχωριστά για τρία επίπεδα: Είναι η διεπαφή συνομιλίας μεταφρασμένη; Υπάρχουν κατάλληλες πηγές γνώσης; Μπορεί μια ανθρώπινη ομάδα υποστήριξης να αναλάβει αυτή τη γλώσσα; Ένα τοπικοποιημένο κουμπί δεν αποτελεί ακόμη απόδειξη ότι η βάση γνώσης έχει την ίδια κάλυψη. Το πώς διαχωρίζονται οι πηγές ανά γλώσσα, έκδοση και πρόσβαση προβάλλεται στο άρθρο σχετικά με τα φίλτρα μεταδεδομένων RAG για KI chatbots.

Προσφέρετε αυτοματισμό, διατηρήστε ορατή την επιλογή χρήστη

Η σύσταση διεθνοποίησης του W3C συνδυάζει την αυτόματη διαμεσολάβηση γλώσσας με εύκολα εντοπίσιμους συνδέσμους προς εναλλακτικές γλωσσικές εκδόσεις. Εάν ένας χρήστης αλλάξει ο ίδιος τη γλώσσα, αυτή η επιλογή θα πρέπει να υπερισχύει της προτίμησης του προγράμματος περιήγησης και, εάν επιθυμείται, να διατηρείται για τις επόμενες σελίδες.

Για ένα chatbot αυτό σημαίνει: Η ενεργή γλώσσα ανήκει εμφανώς στην κεφαλίδα της συνομιλίας ή σε ένα εύκολα προσβάσιμο μενού. Η αλλαγή δεν πρέπει να υποβάλλει απαρατήρητα κανένα πρόχειρο κείμενο που συντάσσεται. Αντίθετα, η καταχώριση διατηρείται, το bot εξηγεί σύντομα την αλλαγή γλώσσας και συνεχίζει τη συνομιλία ελεγχόμενα. Εάν υπάρχουν προηγούμενα μηνύματα σε άλλη γλώσσα, το σύστημα θα πρέπει να διατηρεί τη σημασία τους για το πλαίσιο, αλλά όχι να μεταφράζει ολόκληρο το ιστορικό χωρίς να ερωτηθεί.

Μια καλή διατύπωση είναι για παράδειγμα: «Τα Γερμανικά υιοθετήθηκαν από αυτή τη σελίδα. Αλλαγή γλώσσας.» Σε ένα fallback, η υπόδειξη μπορεί να είναι πιο συγκεκριμένη: «Δεν υπάρχουν επαληθευμένες πληροφορίες για αυτό το θέμα στα Γερμανικά. Μπορώ να χρησιμοποιήσω την αγγλική πηγή ή να παραπέμψω στην υποστήριξη.» Έτσι ο χρήστης κατανοεί γιατί αλλάζει η γλώσσα ή το βάθος της απάντησης.

Διαχωρισμός γλώσσας σελίδας, γλώσσας συνομιλίας και locale περιεχομένου

Τρεις τιμές συχνά συγχωνεύονται λανθασμένα σε ένα μόνο πεδίο:

• Γλώσσα σελίδας: η κύρια γλώσσα του εγγράφου HTML·
• Γλώσσα συνομιλίας: η γλώσσα στην οποία εμφανίζονται η διεπαφή και οι απαντήσεις·
• Locale περιεχομένου: η παραλλαγή από την οποία το chatbot επιτρέπεται να ανακτήσει τεκμηριωμένες πληροφορίες.

Αυτές οι τιμές μπορεί να είναι ίδιες, αλλά δεν είναι απαραίτητο. Ένας γερμανόφωνος χρήστης μπορεί να κάνει μια ερώτηση στα γερμανικά σε μια αγγλική σελίδα προϊόντος. Το bot επιτρέπεται να απαντήσει στα γερμανικά και παρόλα αυτά να αναφέρει με διαφάνεια μια αγγλική πρωτότυπη πηγή. Δεν θα πρέπει όμως να ισχυριστεί ότι χρησιμοποίησε γερμανική πηγή, εάν μεταφράστηκε μόνο η απάντηση.

Για προσβασιμότητα, η γλώσσα εγγράφου και περιεχομένου πρέπει να επισημαίνεται σωστά. Η τεχνική W3C H57 περιγράφει το ατattributes langστο στοιχείο html, ώστε μεταξύ άλλων οι αναγνώστες οθόνης να μπορούν να επεξεργαστούν κατάλληλα την προφορά και τη σύνταξη. Εάν μια μεμονωμένη ενότητα αλλάξει γλώσσα, αυτή η περιοχή χρειάζεται επίσης κατάλληλη σήμανση. Περαιτέρω ελέγχους συγκεντρώνει η λίστα ελέγχου WCAG για chatbots ιστότοπου.

Cache και URLs πρέπει να σέβονται την απόφαση γλώσσας

Όποιος επιλέγει περιεχόμενο στην πλευρά του διακομιστή σύμφωνα με το Accept-Language , πρέπει να λάβει υπόψη τη στρατηγική cache. Το RFC 9110 εξηγεί ότι το Vary: Accept-Language σηματοδοτεί στις λανθάνουσες μνήμες (caches) ότι η κεφαλίδα έχει επηρεάσει την αναπαράσταση. Εάν λείπει αυτός ο διαχωρισμός, μια cache μπορεί να παραδώσει τη γερμανική παραλλαγή σε έναν αγγλόφωνο επισκέπτη.

Για δημόσιο, ευρετηριάσιμο περιεχόμενο, τα σταθερά URLs ειδικά για κάθε γλώσσα είναι συχνά ευκολότερο να ελεγχθούν και να κοινοποιηθούν. Η αυτόματη αναγνώριση μπορεί στη συνέχεια να οδηγήσει σε ένα κατάλληλο URL, χωρίς να αποκρύπτει διαφορετικό περιεχόμενο κάτω από την ίδια διεύθυνση. Στην ίδια τη συνομιλία, το locale θα πρέπει να αποτελεί μέρος της κατάστασης συνεδρίας (session state) και κάθε αιτήματος διακομιστή. Μια αλλαγή γλώσσας πρέπει να ενημερώνει ταυτόχρονα τα κλειδιά cache, τα φίλτρα ανάκτησης και τη δημιουργία απαντήσεων.

Επίσης, οι μορφοποιημένες τιμές ανήκουν σε αυτό το συμβόλαιο. Η ημερομηνία, ο αριθμός, το νόμισμα και η ζώνη ώρας δεν προκύπτουν تلقائياً σωστά από τη γλώσσα του κειμένου. Ο οδηγός Τοπικοποίηση απαντήσεων chatbot δείχνει πώς αντιμετωπίζονται αυτά τα δεδομένα ξεχωριστά και με συνέπεια.

Τα fallbacks δεν πρέπει να συγκαλύπτουν τα κενά περιεχομένου

Το πιο επικίνδυνο σφάλμα είναι η σιωπηρή αλλαγή της βάσης γνώσης. Εάν δεν υπάρχει γερμανικό άρθρο για τη γερμανική ερώτηση, το bot μπορεί να χρησιμοποιήσει μια αγγλική πηγή, εφόσον το προϊόν επιτρέπει αυτή τη διαδρομή. Πρέπει όμως να ελέγξει την πηγή, την ενημερότητα και τα δικαιώματα πρόσβασης ακριβώς όπως σε μια άμεση αντιστοίχιση.

Πίνακας fallback ασφαλείας περιλαμβάνει τουλάχιστον: ζητούμενο locale, διαθέσιμο locale διεπαφής, διαθέσιμο locale περιεχομένου, επιτρεπόμενο εναλλακτικό locale, λειτουργία μετάφρασης και στόχο μεταβίβασης. Το αποτέλεσμα δεν είναι πάντα μια απάντηση. Σε ευαίσθητα ή έντονα εξαρτώμενα από το πλαίσιο θέματα, το «καμία επιβεβαιωμένη πληροφορία σε αυτή τη γλώσσα» είναι καλύτερο από μια ρέουσα αλλά ανεπιβεβαίωτη μετάφραση. Το άρθρο σχετικά με τα fallbacks σε κενά γνώσεων περιγράφει πώς αλληλεπιδρούν η αβεβαιότητα και η μεταβίβαση.

Περιπτώσεις δοκιμής (test cases) για τη λογική γλώσσας

Ένα μικρό, συστηματικό σύνολο δοκιμών εντοπίζει περισσότερα σφάλματα από έναν μεμονωμένο έλεγχο προγράμματος περιήγησης. Θα πρέπει να καλύπτει τουλάχιστον αυτές τις περιπτώσεις:

• de-AT προσφέρεται, αλλά υποστηρίζεται μόνο το de;
• η πρώτη προτίμηση προγράμματος περιήγησης δεν είναι διαθέσιμη, η δεύτερη όμως είναι·
• η επιλογή χρήστη έρχεται σε σύγκρουση με τη γλώσσα σελίδας και προγράμματος περιήγησης·
• η αποθηκευμένη προτίμηση αναφέρεται σε ένα locale που έχει καταργηθεί στο μεταξύ·
• η διεπαφή υπάρχει, αλλά όχι η βάση γνώσης ή η μεταβίβαση·
• η αλλαγή γλώσσας πραγματοποιείται στη μέση μιας συνομιλίας με μη απεσταλμένο κείμενο·
• η cache παρέχει πράγματι το νέο locale μετά την αλλαγή·
• ο αναγνώστης οθόνης αναγνωρίζει σωστά τη γλώσσα σελίδας και ενότητας·
• τα analytics καταγράφουν την πηγή επιλογής και το fallback, αλλά όχι μια αδικαιολόγητα λεπτομερή λίστα προτιμήσεων.

Για κάθε συνδυασμό, οι ομάδες θα πρέπει να καταγράφουν το αναμενόμενο locale, την πηγή της απόφασης, την ορατή υπόδειξη και τον επιτρεπόμενο χώρο περιεχομένου. Συμπληρωματικά, κάθε γλώσσα χρειάζεται εξειδικευμένους δειγματοληπτικούς ελέγχους. Η πληρότητα και η ποιότητα των απαντήσεων δεν μπορούν να συναχθούν μόνο από την παρουσία μιας γραμμής μετάφρασης.

Πρακτική λίστα ελέγχου εφαρμογής

1. Καταγράψτε ξεχωριστά όλα τα υποστηριζόμενα locales διεπαφής, περιεχομένου και μεταβίβασης.
2. Τεκμηριώστε μια σαφή αλυσίδα προτεραιότητας για επιλογή χρήστη, αποθηκευμένη επιλογή, σελίδα, πρόγραμμα περιήγησης και προεπιλογή.
3. Ορίστε την αντιστοίχιση BCP-47 συμπεριλαμβανομένων περιφερειακών και σχετικών με τη γραφή εξαιρέσεων.
4. Σχεδιάστε την αλλαγή γλώσσας ορατά και χωρίς απώλεια καταχώρισης.
5. Περιορίστε τα fallbacks στην κάλυψη πηγών, την ενημερότητα και τα δικαιώματα πρόσβασης.
6. lang, ελέγξτε URLs ειδικά για κάθε γλώσσα, canonicals και συμπεριφορά cache.
7. Αποθηκεύστε μόνο απαραίτητα δεδομένα analytics και ορίστε τη διατήρησή τους.
8. Δοκιμάστε σε υπολογιστή, κινητό, πληκτρολόγιο και αναγνώστη οθόνης με ρεαλιστικές λίστες προτιμήσεων.

Η κεντρική απόφαση προϊόντος δεν είναι επομένως: «Ποια γλώσσα έχει αυτός ο επισκέπτης;» Είναι: «Ποια γλώσσα ζητήθηκε, ποιο περιεχόμενο είναι αξιόπιστα διαθέσιμο για αυτήν και πώς εξηγούμε μια απαραίτητη εναλλακτική διαδρομή;» Όποιος απαντά σε αυτές τις τρεις ερωτήσεις ξεχωριστά, αποκτά ένα chatbot που ξεκινά αυτόματα με βοηθητικό τρόπο, αλλά αφήνει τον έλεγχο στον χρήστη.

Πηγές

• RFC 9110: Accept-Language, Vary και ιδιωτικότητα
• MDN: Navigator.languages
• W3C Internationalization: Καθοδήγηση χρηστών σε μεταφρασμένες σελίδες
• W3C WAI: Σήμανση γλώσσας εγγράφου με lang