AI-vestlusroboti marsruutimise testimine: vead, üleandmine ja locale’i võrdlus

Veebisaidi vestlusrobot võib algatada palju vestlusi ja siiski valesti marsruutida. Suur müügivihjete, lahendatud seansside või üleandmiste arv ütleb vähe selle kohta, kas konkreetne otsus oli sisuliselt õige. Võib-olla hinnati puhas tugiküsimus ostuhuviks, tõsine huviline jäi KKK-silmusesse või soovitud üleandmine jõudis vale tiimini.

Kui soovite AI-vestlusroboti marsruutimist testida, vajate seetõttu enamat kui üldist KPI-töölauda. Otsustavad on kontrollitavad sihtteed, selgelt nimetatud veaklassid, sündmused kogu lehtri ulatuses ja regulaarsed vestlusvalimid. See juhend näitab praktilist ülesehitust veebisaidi-, toe-, turundus- ja tootetiimidele.

Miks on marsruutimise kvaliteet omaette mõõtmisülesanne

Varasem ülevaade AI-vestlusroboti KPI-dest selgitab, kuidas lahendusmäär, müügivihje kvaliteet ja ROI omavahel seotud on. Operatiivseks parendamiseks tuleb aga mõõta ühe tasandi võrra sügavamalt: kas valitud tee oli konkreetse pöördumise jaoks õige?

Vestlusrobot võib märkida seansi formaalselt „lahendatuks“, kuigi vastus ei tabanud pöördumise sisu. Vastupidi, üleandmine inimesele võib olla täpselt soovitud ja majanduslikult õige tulemus. Seetõttu ei hinda marsruutimiskvaliteet seda, kas üleandmisi toimub võimalikult vähe, vaid seda, kas vastus, kvalifitseerimine, tugi, üleandmine või tagasilükkamine sobib olukorraga.

Kõigepealt määratlege sihtteed ja veaklassid

Enne kui sündmusi või töölaudu ehitama hakatakse, vajab iga asjakohane pöördumine oodatud sihtteed. Sageli piisab lihtsast marsruutimismaatriksist: tooteküsimus, ostuhuvi, olemasolev klient probleemiga, soov inimesega rääkida ja mittetoetatav päring. Mitmekeelne müügivihjete kvalifitseerimine näitab, millised küsimused ja üleandmised võivad nende teede taga olla.

False Positive: vestlusrobot näeb müügivihjet, kuigi seda pole

False Positive tekib näiteks siis, kui „Kui palju saatmine maksab?“ käivitab kohe müügivihje marsruudi või olemasolev klient registreeritakse uuesti uue kontaktina. See koormab ühtviisi nii müüki kui ka kasutajaid. Seetõttu mõõtke, kui palju vestlusroboti poolt müügivihjena marsruuditud vestlusi hindab müük või ülevaatus hiljem mittesobivaks.

False Negative: tegelikku huvi ei tuvastata

False Negative esineb siis, kui konkreetne ostukavatsus lõpeb üldise vastusega, pakkumata sobivat kontakteerumisvõimalust. Seda viga on töölaual raskem näha, sest müügivihje sündmust ei käivitatud. See avastatakse eelkõige testjuhtumite, valimites esinevate otsingumustrite ja hilisemate kontaktiteede võrdluse abil.

Handoff-viga: üleandmine käivitatud, kuid ebaõnnestus

Ka üleandmistel on mitu veamustrit: liiga varajane eskalatsioon, kasutaja soov inimesega rääkida jäetakse tähelepanuta, üleandmine valele tiimile või tehniliselt käivitatud üleandmine ilma vastuvõtuta. Artikkel AI-vestlusroboti inimesele üleandmisest kirjeldab sisulisi kriteeriume; analüütika peab seejärel näitama, kas protsess viidi tõesti lõpule.

Golden Set marsruutimiseks, mitte ainult vastusteks

Vastusekvaliteedi Golden Seti saab laiendada marsruutimisootustega. Google Cloud dokumenteerib Dialogflow testjuhtumite puhul muu hulgas ootusi tuvastatud intentide, aktiivsete lehtede, flow’de ja tööriistade suhtes. See põhimõte on kasulik ka konkreetsest pakkujast sõltumata: testjuhtum ei kirjelda ainult oodatavat vastust, vaid ka oodatavat teed.

Iga marsruutimise testjuhtum peaks sisaldama vähemalt järgmist:

• reaalset või realistlikult sõnastatud kasutajasisendit ilma isikuandmeteta;
• Locale’i, kanalit ja vajalikku vestluskonteksti;
• oodatavat pöördumist ja lubatud alternatiivset klassifikatsiooni;
• oodatavat sihtteed: vastust, tuge, kvalifitseerimist, üleandmist või tagasilükkamist;
• lubatud täpsustavaid küsimusi ja andmevälju;
• oodatavat üleandmise põhjust ja sihttiimi;
• vea raskusastet ja sisulise heakskiidu eest vastutavat isikut.

Lisage selged juhtumid, mitmetähenduslikud sõnastused, kirjavead, eitused ja piirjuhtumid. „Ma ei soovi pakkumist, ainult tarneaega“ on müügivihjete tuvastamiseks sageli väärtuslikum kui ideaalselt sõnastatud demopäring.

Segadusmaatriks: Precisioni ja Recalli praktiline tõlgendamine

NIST AI Risk Management Framework soovitab siduda täpsuse realistlike testkogumitega, mis esindavad eeldatavat kasutust, ning hinnata tulemusi eri segmentide jaoks eraldi. See nimetab asjakohaste mõõdikutena sõnaselgelt valepositiivsete ja valenegatiivsete tulemuste määrasid. Vestlusroboti marsruutimise jaoks saab sellest tuletada väikese segadusmaatriksi.

• Müügivihjete Precision: õigesti tuvastatud müügivihjete osakaal kõigist vestlustest, mille vestlusrobot marsruutis müügivihjena.
• Müügivihjete Recall: tuvastatud tegelike müügivihjete osakaal kõigist kontrollitud valimis tegelikult ostuhuviga vestlustest.
• Toe valemarsruutimine: olemasolevate klientide pöördumiste osakaal, mis satuvad ekslikult müügiteele.
• Üleandmise tabamusmäär: juhtumite osakaal, kus oodatud üleandmise põhjus ja sihttiim on õiged.

Ühestki üksikust mõõdikust ei piisa. Väga kõrge Precision võib tekkida liiga ettevaatlikest reeglitest, mis jätavad paljud tegelikud müügivihjed märkamata. Kõrge Recall võib omakorda tulla liiga paljude valepositiivsete juhtumite hinnaga. Seetõttu määratlege iga veaklassi jaoks vastuvõetav lävi ja erinev kiireloomulisus.

Vestlusest mõõdetava üleandmislehtrini

Lehter peaks tegema otsustustee nähtavaks, mitte koguma kogu vestluse sisu. Mõistlikud tehnilised sündmused on näiteks chat_started, intent_detected, route_selected, qualification_started, handoff_offered, handoff_requested, handoff_accepted, handoff_completed, lead_submitted ja route_corrected.

Iga sündmuse kohta piisab enamasti pseudonüümsest seansi-ID-st, Locale’ist, tuvastatud intent-klassist, valitud teest, tulemuse põhjusest, üleandmise kanalist ja botiversioonist. Toortranskriptsioonid ei kuulu automaatselt igasse analüütikasüsteemi. Google Analyticsi kasutajad saavad lõplikud äritulemused lisaks siduda soovitatud müügivihje sündmustega, nagu generate_lead, qualify_lead või disqualify_lead. Lehtrianalüüsid aitavad seejärel uurida katkestusi määratletud sammude vahel.

Vastuvõetud üleandmine on olulisem kui käivitatud üleandmine

Microsoft eristab oma agentide analüütikas muu hulgas lahendatud, eskaleeritud ja katkestatud seansse ning kavandatud, kavandamata ja kasutaja nõutud eskalatsioone. See eristus on kasulik oma mõõtmisloogika jaoks. Käivitatud üleandmissündmus ei tõenda veel, et inimene on üle võtnud.

Seetõttu registreerige vähemalt pakkumine, soov, vastuvõtt ja lõpuleviimine eraldi. Üleandmise vastuvõtumäär on vastuvõetud üleandmiste osakaal taotletud üleandmistest. Üleandmise lõpuleviimise määr vaatab, kas pärast vastuvõttu registreeriti jälgitav tulemus. Kontrollige lisaks ooteaega, katkestamist enne vastuvõttu, vale sihttiimi ja uut edasisuunamist.

Locale’i võrdlused ilma pingerea lõksuta

Marsruutimisprobleemid võivad olla keelespetsiifilised. Lühike saksa ostusoov võib mõjuda üheselt, samal ajal kui viisakat, kaudset sõnastust mõnes teises keeles hinnatakse liiga vara mittesiduvaks. Seetõttu võrrelge Precisionit, Recalli, üleandmise vastuvõttu ja katkestamist Locale’i järgi, kuid mitte kunagi juhtumite arvu ja liikluskoosseisu arvestamata.

• Kasutage iga Locale’i puhul samu sisulisi põhistsenaariume.
• Lisage kohalikult loomulikke sünonüüme, viisakusvorme ja eitusi.
• Eristage keelevigu erinevatest pakkumistest, lahtiolekuaegadest või kontaktkanalitest.
• Ärge hinnake väikseid valimeid usaldusväärse pingereana.
• Kontrollige silmatorkavaid segmente konkreetsete anonümiseeritud vestluste põhjal.

Tootmisseire ja regressiooni ühendamine

Offline-testid ja reaalajas mõõdikud vastavad erinevatele küsimustele. Golden Set näitab enne muudatust, kas tuntud teed töötavad endiselt. Tootmisandmed näitavad uusi sõnastusi, hooajalisi teemasid ja tahtmatuid käitumismuutusi. Google Cloud kirjeldab salvestatud testjuhtumeid ja pidevaid teste kui viisi, kuidas teha nähtavaks regressioonid intentides, flow’des ja üleminekutes.

Praktiline rütm koosneb testidest enne iga asjakohast muudatust, silmatorkavate valemarsruutide iganädalasest ülevaatusest ja läviväärtuste igakuisest võrdlusest. Ärge andke häiret iga kõikumise peale, vaid selgete kõrvalekallete korral dokumenteeritud baasjoonest, näiteks tahtmatute üleandmiste tugeva kasvu korral kindlas Locale’is.

Planeerige andmesäästlik analüütika

Marsruutimisanalüütika võib sisaldada isikuandmeid, eriti kui ühendatakse transkriptid, kontaktandmed või CRM-i tulemused. Euroopa Komisjon võtab GDPR-i põhimõtted kokku muu hulgas eesmärgipärasuse, andmete minimeerimise, säilitamise piiramise ning tervikluse ja konfidentsiaalsusena. Praktikas tähendab see: nimetage eesmärgid, koguge ainult vajalikud sündmuseväljad, piirake juurdepääse ning määratlege kustutamis- või kontrollintervallid.

Koondatud mõõdikud ja pseudonüümsed sündmused on paljude marsruutimisküsimuste jaoks piisavad. Täistekste tuleks kasutada ainult põhjendatud ja kaitstud ülevaatusprotsessis. Milline õiguslik alus ja säilitamine üksikjuhul sobivad, tuleb lasta asjatundlikult kontrollida; see artikkel ei ole õigusnõuanne.

14-päevane stardiplaan

1. Päev 1–2: Määrake viis kõige olulisemat pöördumist ja nende sihtteed.
2. Päev 3–4: Määratlege valepositiivsed tulemused, valenegatiivsed tulemused ja üleandmisvead koos raskusastmega.
3. Päev 5–6: Lisage iga tee kohta vähemalt selged, mitmetähenduslikud ja negatiivsed testjuhtumid.
4. Päev 7: Dokumenteerige sündmuste nimed, lubatud omadused ja andmekaitse piirid.
5. Päev 8–9: Kontrollige lehtrit vestluse algusest kuni vastuvõetud üleandmise või kvalifitseeritud päringuni.
6. Päev 10–11: Looge esimene segadusmaatriks iga olulise Locale’i kohta.
7. Päev 12: Kontrollige toimetuslikult kümmet silmatorkavat seanssi ja märkige põhjused.
8. Päev 13–14: Juurutage üks sihitud muudatus, käivitage Golden Set uuesti ja jälgige live-väärtusi.

Töökindla marsruutimise kontrollnimekiri

• Sihtteed ja sihttiimid on sisuliselt dokumenteeritud.
• Valepositiivseid ja valenegatiivseid tulemusi mõõdetakse eraldi.
• Üleandmise pakkumine, soov, vastuvõtt ja lõpuleviimine on eraldi sammud.
• Precisionit ja Recalli ei tõlgendata valimi suurust arvestamata.
• Locale-segmentidel on loomulikud, toimetuslikult kontrollitud testjuhtumid.
• Regressioonitestid käivad enne muudatusi; live-ülevaatused toimuvad regulaarselt.
• Analüütika kogub ainult määratletud eesmärgi jaoks vajalikke andmeid.

Kokkuvõte

Hea AI-vestlusroboti marsruutimine ei väljendu võimalikult paljudes müügivihjetes ega võimalikult vähestes üleandmistes. See väljendub selles, et pöördumised jõuavad usaldusväärselt sobiva järgmise sammuni. Sihtteede, marsruutimise segadusmaatriksi, täieliku üleandmislehtri ja Locale’i-põhiste ülevaatustega tekib mõõtmissüsteem, mis selgitab vigu ja võimaldab konkreetseid parandusi.

Alustage väikeselt: viis teed, hallatav Golden Set ja mõned puhtalt määratletud sündmused. Nii muutub üldine vestlusroboti analüütika usaldusväärseks kvaliteediprotsessiks toe, müügi ja kasutajakogemuse jaoks.

Allikad

• NIST: Artificial Intelligence Risk Management Framework (AI RMF 1.0)
• Google Cloud: Dialogflow CX Test Cases
• Google Cloud: Continuous Tests and Deployment
• Microsoft Learn: Copilot Studio Analytics Overview
• Microsoft Learn: Analyze Conversational Agents
• Google Analytics: Report on a Lead Generation Form
• Google Analytics: Suggested Audiences for Lead Generation
• Euroopa Komisjon: Principles of Personal Data Processing under the GDPR