Σχεδιασμός Analytics για AI Chatbot με ελάχιστα δεδομένα: Events, sampling και διατήρηση

Τα analytics ενός AI chatbot πρέπει να δείχνουν εάν οι επισκέπτες λαμβάνουν κατάλληλες απαντήσεις, πότε αποτυγχάνουν οι συνομιλίες και σε ποιο σημείο θα πρέπει να αναλάβει μια ανθρώπινη ομάδα. Για τον σκοπό αυτό, οι επιχειρήσεις δεν χρειάζεται να αποθηκεύουν αυτόματα κάθε συνομιλία εξ ολοκλήρου. Συχνά αρκούν σαφώς ορισμένα συμβάντα (events), συγκεντρωτικοί δείκτες και ένα μικρό, ελεγχόμενο δείγμα για τον συντακτικό έλεγχο ποιότητας.

Ένα σύστημα μετρήσεων με γνώμονα την ελαχιστοποίηση δεδομένων δεν ξεκινά επομένως με μια όσο το δυνατόν μεγαλύτερη αποθήκη δεδομένων, αλλά με συγκεκριμένες αποφάσεις: Ποιος δείκτης απαντά σε ποια ερώτηση; Ποια πληροφορία είναι πραγματικά απαραίτητη; Ποιος επιτρέπεται να τη δει και πότε διαγράφεται; Αυτός ο οδηγός περιγράφει μια πρακτική δομή για ομάδες ιστότοπου, υποστήριξης και προϊόντος. Δεν αντικαθιστά εξατομικευμένες νομικές συμβουλές.

Ξεκινήστε με αποφάσεις, όχι με ακατέργαστες καταγραφές

Πολλά έργα analytics συλλέγουν αρχικά τα πάντα και σκέφτονται αργότερα ποια ανάλυση έχει νόημα. Στα chatbots, αυτή η προσέγγιση είναι ιδιαίτερα επικίνδυνη: το ελεύθερο κείμενο μπορεί να περιέχει ονόματα, διευθύνσεις email, αριθμούς παραγγελίας, στοιχεία υγείας ή άλλες πληροφορίες που εισάγει ένας επισκέπτης οικειοθελώς ή κατά λάθος. Ακόμη και αν το πεδίο εισαγωγής δεν τα ζητά, τέτοια δεδομένα μπορούν να εμφανιστούν στη συνομιλία.

Γι' αυτό ορίστε πρώτα τα επιχειρησιακά ερωτήματα. Θέλετε να μάθετε αν το bot έλυσε ένα αίτημα; Τότε χρειάζεστε ένα event αποτελέσματος και έναν σαφή ορισμό του «λύθηκε». Εάν πρόκειται να ελεγχθεί η ποιότητα της δρομολόγησης, συχνά αρκούν η κατηγορία intent που αναγνωρίστηκε, η διαδρομή στόχος και η πραγματική έκβαση. Το άρθρο KI-Chatbot-Routing testen δείχνει πώς μπορούν να ελεγχθούν τέτοια αποτελέσματα έναντι των αναμενόμενων διαδρομών.

Ο Γενικός Κανονισμός για την Προστασία Δεδομένων (GDPR) αναφέρει στο Άρθρο 5, μεταξύ άλλων, τον περιορισμό του σκοπού, την ελαχιστοποίηση των δεδομένων και τον περιορισμό της περιόδου αποθήκευσης. Για τα analytics, αυτό δεν σημαίνει ότι δεν επιτρέπεται η επεξεργασία δεδομένων. Σημαίνει ότι ο σκοπός, η έκταση και η διάρκεια πρέπει να αιτιολογούνται και να περιορίζονται στο αναγκαίο μέτρο. Η νομική βάση, οι υποχρεώσεις ενημέρωσης και, εάν απαιτείται, η συγκατάθεση πρέπει να εξετάζονται για τη συγκεκριμένη χρήση.

Σχεδιάστε μια ευέλικτη ταξινομία συμβάντων (events)

Μια ταξινομία συμβάντων καθορίζει ποιες αλλαγές κατάστασης αναφέρει το chatbot. Τα καλά events περιγράφουν αποτελέσματα, όχι ολόκληρο τον διάλογο. Θα πρέπει να είναι αρκετά σταθερά για συγκρίσεις στο χρόνο και ταυτόχρονα να παραμένουν κατανοητά. Ξεκινήστε με λίγα βασικά events και προσθέστε περισσότερα μόνο εάν εξαρτάται από αυτά μια πραγματική απόφαση.

Ένα πιθανό βασικό σύνολο περιλαμβάνει:

• conversation_started για μια έναρξη διαλόγου χωρίς κείμενο μηνύματος,
• answer_delivered με γενική κατηγορία θέματος και κωδικό γλώσσας,
• source_opened για το κλικ σε μια παρεχόμενη πηγή,
• fallback_triggered με μια ελεγχόμενη κατηγορία σφάλματος,
• handoff_offered και handoff_accepted για τη μεταβίβαση σε άνθρωπο,
• feedback_submitted με περιορισμένη κλίμακα αξιολόγησης.

Σε κάθε event ανήκουν μόνο τα ιδιοχαρακτηριστικά (attributes) που χρειάζονται για την ανάλυση: χρονικό παράθυρο, locale, κατηγορία θέματος, κατάσταση αποτελέσματος, έκδοση bot ή επίπεδο γνώσης. Το ελεύθερο κείμενο, οι πλήρεις διευθύνσεις IP, τα tokens πρόσβασης, τα cookies συνεδρίας και τα άμεσα στοιχεία επικοινωνίας δεν ανήκουν εξ ορισμού σε ένα event analytics. Το OWASP συνιστά επίσης για τα logs εφαρμογών την αφαίρεση, την απόκρυψη (masking) ή άλλη προστασία αναγνωριστικών συνεδρίας, tokens, ευαίσθητων προσωπικών δεδομένων και μυστικών.

Διαχειριστείτε χωριστά τα δεδομένα events και το περιεχόμενο συνομιλιών

Τα συγκεντρωτικά events και οι πλήρεις ιστορίες συνομιλιών εξυπηρετούν διαφορετικούς σκοπούς. Τα events είναι κατάλληλα για τάσεις, διοδευτικά διοράματα (funnels) και συγκρίσεις. Το περιεχόμενο συνομιλιών μπορεί να βοηθήσει στη συντακτική ανάλυση σφαλμάτων, αλλά περιέχει πολύ περισσότερο πλαίσιο και επομένως περισσότερες δυνητικά προσωπικές πληροφορίες. Αυτοί οι δύο τύποι δεδομένων δεν πρέπει να έχουν αυτόματα τα ίδια δικαιώματα πρόσβασης, προθεσμίες αποθήκευσης ή εξαγωγές.

Μια πρακτική αρχιτεκτονική λειτουργεί σε τρία επίπεδα:

1. Δείκτες: συγκεντρωτικές τιμές όπως ποσοστό επίλυσης, ποσοστό fallback ή αποδοχή handoff.
2. Συμβάντα (Events): ψευδώνυμα σύνολα δεδομένων με περιορισμένα attributes για χρονικές και τεχνικές αναλύσεις.
3. Δείγματα ποιότητας: επιλεγμένες συνομιλίες για ελεγχόμενη αξιολόγηση, κατά προτίμηση με αυτόματη και μη αυτόματη διόρθωση/απόκρυψη άμεσων αναγνωριστικών.

Αυτός ο διαχωρισμός διευκολύνει τις διαφορετικές προθεσμίες διαγραφής και ρόλους. Για παράδειγμα, ένα dashboard για το μάρκετινγκ δεν χρειάζεται να έχει πρόσβαση στο περιεχόμενο των συνομιλιών εάν αξιολογεί μόνο τη συγκεντρωτική επίτευξη στόγων. Το πώς μπορούν να οριστούν εξειδικευμένα οι δείκτες περιγράφεται στον οδηγό KI-Chatbot-KPIs.

Η ψευδωνυμοποίηση δεν είναι ανωνυμοποίηση

Ένα τυχαίο ID συνομιλίας μπορεί να κρατήσει τα άμεσα αναγνωριστικά μακριά από μια ανάλυση. Ωστόσο, δεν καθιστά αυτόματα τα δεδομένα ανώνυμα. Το Ευρωπαϊκό Συμβούλιο Προστασίας Δεδομένων ξεκαθαρίζει ότι τα ψευδωνυμοποιημένα δεδομένα εξακολουθούν να είναι δεδομένα προσωπικού χαρακτήρα, εάν μπορούν να συσχετιστούν ξανά με ένα άτομο μέσω πρόσθετων πληροφοριών. Η δυνατότητα συσχετισμού και η χωριστή φύλαξη του κλειδιού αποτελούν επομένως κεντρικά σημεία.

Χρησιμοποιείτε σταθερά αναγνωριστικά μόνο όταν ο σκοπός της ανάλυσης το απαιτεί πραγματικά. Για ένα ημερήσιο ποσοστό fallback, συνήθως δεν χρειάζεται ένα ID χρήστη που παραμένει αναγνωρίσιμο για εβδομάδες. Εάν απαιτούνται συσχετισμένα τεχνικά events, μπορεί να αρκεί ένα βραχύβιο, τυχαίο αναγνωριστικό συνομιλίας. Διατηρείτε τους πίνακες συσχετισμού χωριστά, περιορίστε την πρόσβαση και τεκμηριώστε πότε ένα αναγνωριστικό ανανεώνεται (rotate) ή διαγράφεται.

Το NIST Privacy Framework περιγράφει το «disassociated processing» ως μια προσέγγιση για τον περιορισμό της παρατηρησιμότητας, της συσχετισιμότητας και της ταυτοποίησης. Στην πράξη, αυτό μπορεί να σημαίνει την αντικατάσταση των attributes με κατηγορίες, τη χρήση τοπικής προεπεξεργασίας ή την αποστολή μόνο ήδη συγκεντρωτικών τιμών σε ένα κεντρικό σύστημα.

Έλεγχος ποιότητας με ελεγχόμενο sampling

Για τον ποιοτικό έλεγχο, κάθε συνομιλία δεν έχει την ίδια σημασία. Ένα τυχαίο δείγμα παρέχει μια πιο ουδέτερη εικόνα της καθημερινότητας, ενώ ένα δείγμα βάσει κινδύνου (risk-based) καλύπτει στοχευμένα περιπτώσεις σφαλμάτων. Συνδυάστε και τις δύο προσεγγίσεις αντί να διαβάζετε μόνο ιδιαίτερα κακές ή ιδιαίτερα μεγάλες συνομιλίες.

Ένα σωστό πλάνο αξιολόγησης (review plan) μπορεί να περιλαμβάνει τις ακόλουθες ομάδες ανά χρονική περίοδο:

• ένα μικρό τυχαίο δείγμα από απαντήσεις που φαίνονται επιτυχείς,
• fallbacks και αναπάντητα ερωτήματα,
• προσφερόμενες και αποδεκτές μεταβιβάσεις σε άνθρωπο (human handoffs),
• απαντήσεις σε ευαίσθητα ή κρίσιμα για την επιχείρηση θέματα,
• αισθητές αποκλίσεις μεταξύ locales, συσκευών ή επιπέδων γνώσης.

Ορίστε πριν από την πρόσβαση ποιες ομάδες/ρόλοι επιτρέπεται να βλέπουν τις συνομιλίες, ποια πεδία θα αποκρύπτονται (masked) και πώς οι αξιολογητές θα τεκμηριώνουν τις ανωμαλίες. Τα ελεύθερα σχόλια στα εργαλεία αξιολόγησης μπορούν να περιέχουν τα ίδια προσωπικά δεδομένα· και γι' αυτό απαιτούνται σαφείς οδηγίες. Η αξιολόγηση θα πρέπει να οδηγεί σε ένα συγκεκριμένο μέτρο, όπως μια διορθωμένη πηγή, μια νέα δοκιμαστική ερώτηση ή έναν προσαρμοσμένο κανόνα handoff.

Προγραμματισμός διατήρησης ανά επίπεδο δεδομένων

Μια ενιαία προθεσμία διαγραφής για όλα τα δεδομένα analytics είναι βολική, αλλά σπάνια ακριβής. Ορίστε προθεσμίες ανά επίπεδο δεδομένων και σκοπό. Το ακατέργαστο περιεχόμενο για βραχυπρόθεσμη ανάλυση σφαλμάτων μπορεί να διαγραφεί πολύ νωρίτερα από τις μηνιαίες, μη προσωπικές συγκεντρώσεις. Τα αρχεία καταγραφής σχετικών με την ασφάλεια (logs) μπορούν με τη σειρά τους να υπόκεινται σε διαφορετικές απαιτήσεις από τα analytics προϊόντος.

Τεκμηριώστε για κάθε σύνολο δεδομένων:

• τον σκοπό και τον υπεύθυνο ρόλο,
• τα περιεχόμενα πεδία και πιθανά αναγνωριστικά,
• την τοποθεσία αποθήκευσης και τους εξουσιοδοτημένους παραλήπτες,
• την προθεσμία, το σημείο έναρξης της προθεσμίας και τον μηχανισμό διαγραφής,
• τη διαχείριση των αντίγραφων ασφαλείας (backups), των εξαγωγών και των παράγωγων αντιγράφων.

Το OWASP επισημαίνει ότι τα δεδομένα καταγραφής (log data) δεν πρέπει ούτε να καταστρέφονται πριν από την απαιτούμενη περίοδο ούτε να διατηρούνται πέραν αυτής. Η συγκεκριμένη διάρκεια εξαρτάται από νομικές, συμβατικές, σχετικές με την ασφάλεια και επιχειρησιακές απαιτήσεις. Επομένως, ένα σχέδιο διαγραφής θα πρέπει να δοκιμάζεται τεχνικά: Αφαιρούνται πραγματικά τα σύνολα δεδομένων, εξαφανίζονται από τα ευρετήρια αναζήτησης και λαμβάνονται υπόψη οι προσωρινές εξαγωγές;

Ασφαλίστε προσβάσεις, εξαγωγές και περιπτώσεις σφαλμάτων

Η ελαχιστοποίηση των δεδομένων από μόνη της δεν προστατεύει ένα σύστημα analytics. Οι ρόλοι θα πρέπει να βλέπουν μόνο τα επίπεδα που χρειάζονται για τις εργασίες τους. Οι ομάδες προϊόντος χρειάζονται συχνά συγκεντρωτικές τάσεις, οι ομάδες ποιότητας επιλεγμένες διορθωμένες συνομιλίες και οι διαχειριστές τεχνικά δεδομένα σφαλμάτων. Οι προσβάσεις σε ακατέργαστα δεδομένα θα πρέπει να καταγράφονται, να ελέγχονται τακτικά και να αφαιρούνται κατά την αλλαγή ρόλων.

Διαχειριστείτε τα attributes των analytics ως μη εμπιστευσιμες εισόδους. Αφαιρέστε χαρακτήρες ελέγχου, περιορίστε τα μήκη πεδίων και αποτρέψτε τα παραποιημένα κείμενα από το να αλλοιώσουν τις μορφές logs ή τις αναλύσεις. Οι λειτουργίες εξαγωγής χρειάζονται τους ίδιους ελέγχους πρόσβασης με τη διεπαφή χρήστη. Οι εξαγωγές CSV ή υπολογιστικών φύλλων δεν πρέπει να περιέχουν πρόσθετα πεδία απλώς και μόνο επειδή είναι διαθέσιμα τεχνικά.

Δοκιμάστε επίσης την απουσία/αποτυχία καταγραφής. Το chatbot δεν πρέπει να εγγράφει ανεξέλεγκτα ευαίσθητα δεδομένα σε ένα εναλλακτικό log εάν το σύστημα analytics δεν είναι προσβάσιμο. Καθορίστε ποια ελάχιστα συμβάντα ασφαλείας πρέπει να διατηρούνται και ποια μέτρηση προϊόντος μπορεί να παραλειφθεί προσωρινά.

Συγκρίσεις locales χωρίς εσφαλμένα συμπεράσματα

Τα πολυγλωσσικά analytics είναι χρήσιμα όταν οι όροι και οι παρονομαστές παραμένουν συνεπείς. Μην συγκρίνετε μόνο απόλυτους αριθμούς περιστατικών. Ένας υψηλότερος αριθμός handoff μπορεί να οφείλεται σε περισσότερη επισκεψιμότητα, διαφορετικές ώρες εξυπηρέτησης ή έναν εσκεμμένα πιο προσεκτικό διάλογο. Χρησιμοποιήστε ποσοστά με σαφώς ορισμένο παρονομαστή και τεκμηριώστε τις διαφορές στη δρομολόγηση, τη βάση γνώσης και τα προσφερόμενα κανάλια επικοινωνίας.

Αποθηκεύστε τον κωδικό locale ως τεχνικό attribute, όχι ως υπόθεση σχετικά με την καταγωγή ή την ταυτότητα ενός ατόμου. Ελέγχετε τακτικά εάν η διαδρομή γλώσσας και η πραγματική γλώσσα απάντησης συμπίπτουν. Για τις μεταβιβάσεις σε ανθρώπους, βοηθά το άρθρο Human Handoff im KI-Chatbot.

Λίστα ελέγχου για chatbot analytics με ελάχιστα δεδομένα

• Κάθε δείκτης συνδέεται με μια συγκεκριμένη απόφαση και έναν υπεύθυνο.
• Τα events δεν περιέχουν εξ ορισμού κείμενο μηνύματος και άμεσα αναγνωριστικά.
• Οι δείκτες, τα συμβάντα και τα δείγματα ποιότητας διαχωρίζονται τεχνικά και οργανωτικά.
• Τα ψευδώνυμα αναγνωριστικά είναι βραχύβια ή αιτιολογημένα· τα κλειδιά προστατεύονται χωριστά.
• Το sampling συνδυάζει τυχαίες περιπτώσεις με ομάδες σφαλμάτων βάσει κινδύνου.
• Οι ρόλοι, η απόκρυψη (masking) και τα αποτελέσματα αξιολόγησης είναι δεσμευτικά ορισμένα.
• Οι προθεσμίες διατήρησης και διαγραφής ισχύουν επίσης για εξαγωγές, backups και ευρετήρια αναζήτησης.
• Οι συγκρίσεις locales χρησιμοποιούν συνεπείς ορισμούς και κατάλληλους παρονομαστές.
• Η αποτυχία, η αλλοίωση και η μη εξουσιοδοτημένη εξαγωγή δοκιμάζονται τακτικά.

Μια περαιτέρω ανάλυση σχετικά με τις νομικές βάσεις, τις υποχρεώσεις ενημέρωσης και την επεξεργασία κατ' εντολή παρέχει το άρθρο KI-Chatbot und DSGVO. Αναθέστε τον έλεγχο της συγκεκριμένης εφαρμογής στους αρμόδιους ειδικούς προστασίας δεδομένων και νομικούς συμβούλους.

Πηγές

• Ευρωπαϊκή Επιτροπή: Αρχές του Γενικού Κανονισμού για την Προστασία Δεδομένων
• Ευρωπαϊκό Συμβούλιο Προστασίας Δεδομένων: Κατευθυντήριες γραμμές για την ψευδωνυμοποίηση
• NIST Privacy Framework: Guidelines and Tools
• OWASP Logging Cheat Sheet

Όποιος σχεδιάζει τα analytics ενός chatbot με βάση αποφάσεις, ελάχιστα events και ελεγχόμενα δείγματα, λαμβάνει χρήσιμα σήματα ποιότητας χωρίς ένα αδικαιολόγητα μεγάλο αρχείο ακατέργαστων δεδομένων. Το ChatReact μπορεί να χρησιμοποιηθεί ως μέρος μιας τέτοιας διαδικασίας με σαφείς πηγές, πολυγλωσσικούς διαλόγους και ορισμένες διαδρομές handoff.