KI-čatbota precizējošie jautājumi: drošas atbildes neskaidru ievaddatu gadījumā

Neskaidrs jautājums tīmekļa vietnes čatbotam nav uzdevums minēt. "Cik tas maksā?", "Vai tas strādā pie manis?" vai "Vai es varu to šodien mainīt?" bez norādes uz produktu, atrašanās vietu, līgumu vai laiku var nozīmēt vairākas dažādas lietas. Noderīgs čatbots atpazīst šo robu, uzdod īsu precizējošu jautājumu un ierobežo savu atbildi, līdz atrod atbilstošu, apstiprinātu avotu. Tādējādi tas aizsargā apmeklētājus no ticami skanošām, bet kļūdainām atbildēm un palīdz komandām mērķtiecīgi uzlabot savu zināšanu bāzi.

Kāpēc neskaidrība ir produkta prasība

Daudzas kvalitātes problēmas rodas nevis tāpēc, ka modelis nesaprastu valodu, bet gan tāpēc, meklētais vaicājums ir divdomīgs. Jautājums par cenu var attiekties uz licenci, piedāvājumu, piegādi vai remontu. Jautājums par termiņu var būt atkarīgs no valsts, klientu grupas vai līguma veida. Ja čatbots palaiž garām šīs atšķirības, pat valodnieciski eleganta atbilde var būt maldzinoša. Pareizā pirmatnējā reakcija tādā gadījumā nav garāks teksts, bet gan precīzs, viegli saprotams pretjautājums.

NIST AI Risk Management Framework mērīšanu un pārraudzību vienmēr saista ar konkrēto lietošanas kontekstu. Tīmekļa vietņu komandām tas nozīmē: iepriekš definējiet, kāda informācija ir obligāti nepieciešama atbildei. Ja trūkst kādas detaļas, čatbotam jāpaskaidro, kāpēc tā ir svarīga, un jāpiedāvā tieši viena piemērota izvēle. Tas nedrīkst pievienot detaļas, kas nav minētas jautājumā vai pārbaudītā avotā.

Labs precizējošais jautājums ir īss un pamatots

Pretjautājums nedrīkst izskatīties pēc garas anketas. Sāciet ar informāciju, kas trūkst nākamajai drošajai atbildei: "Vai runa ir par esošu abonementu vai jaunu piedāvājumu?" vai "Kura produkta modelim meklējat pamācību?" Ja nepieciešams, vienā teikumā paskaidrojiet, kāpēc šī izvēle ir vajadzīga. Izvairieties no atvērtiem aicinājumiem, piemēram, "Lūdzu, norādiet sīkāku informāciju", ja pietiek ar konkrētu opciju. Apmeklētājiem jāspēj atbildēt uz jautājumu bez speciālām priekšzināšanām.

Ierobežojiet sevi ar vienu jautājumu katrā solī, ja vien divas detaļas nav neatskaņojami saistītas. Vairāki jautājumi reizē palielina iespēju, ka lietotājs pametīs sarunu, un rada jaunus pārpratumus. Čatbots pēc atbildes saņemšanas var pārbaudīt, vai konteksts ir pietiekams, un tikai tad pieprasīt nākamo informāciju. Šāda pieeja ir arī piekļūstamāka: W3C uzsver, ka instrukcijām un ievaddatiem jābūt viegli saprotamiem. Skaidras izvēles iespējas palīdz ne tikai cilvēkiem, kuri izmanto palīgtehnoloģijas, bet arī visiem apmeklētājiem, kuri steidzas.

Atbilžu robežu noteikšana pirms uzvednes izveides

Uzrakstiet ne tikai to, kā čatbotam jāatbild, bet arī to, kad tas nedrīkst atbildēt. Labas robežas var noformulēt nelielā tabulā: jautājumu kategorija, nepieciešamais konteksts, atļautais avots, drošs pretjautājums un pārdošanas/atbalsta nodošanas (handoff) noteikumi. Vispārīga produkta jautājuma gadījumā var pietikt ar apstiprinātu katalogu. Turpretim individuāla līguma, drošības vai maksājumu jautājumā ir nepieciešams cilvēks vai skaidrs oficiālais process. Robežu noteikšana ir produkta lēmums, nevis spontāna reakcija čatā.

Atbildes robežas noteikšana nav nepieklājība. Tādi formulējumi kā "Man trūkst informācijas par jūsu līguma veidu; es varu jums parādīt atbilstošo saziņas veidu" ir noderīgāki par izvairīgu rindkopu. Čatbots paliek caurspīdīgs par savu zināšanu līmeni un piedāvā nākamo darbību. Tas nesola izpildes laiku, cenu vai juridisku novērtējumu, ja tam nav uzticama avota.

Cetri neskaidru ievaddatu veidi

• Trūkstošs objekts: nav minēts produkts, pakalpojums vai dokuments.
• Trūkstošs nosacījums: atbildi ietekmē reģions, laika posms, līguma veids vai piekļuves tiesības.
• Divdomīgs jēdziens: vārdam tīmekļa vietnē ir vairākas nozīmes.
• Neskaidrs nolūks: apmeklētāji vēlas salīdzināt, pirkt, saņemt atbalstu vai sazināties ar darbinieku.

Šīs kategorijas ļauj veikt analīzi. Ja ļoti daudzas sarunas apstājas pie trūkstošā objekta, iespējams, sākumlapā ir nepieciešami labāki izvēles palīgi. Ja bieži atkārtojas divdomīgi jēdzieni, zināšanu bāzi var papildināt ar sinonīmiem vai paskaidrojošiem ievadiem. Bieži pieprasījumi pēc savienojuma ar cilvēku var norādīt nevis uz modeļa vājumu, bet gan uz jautājumu kategoriju, kuru nevajadzētu automatizēt.

Drošas dialoga secības izveide

Uzticama sarunas gaita sastāv no pieciem soļiem: nolūka atpazīšana, trūkstošā konteksta nosaukšana, īsa pretjautājuma uzdošana, tikai apstiprinātu avotu izmantošana un atbildes noslēgšana ar nākamo darbību. Pēc katras ievades čatbots drīkst pārbaudīt, vai jaunā informācija patiešām aizpilda sākotnējo robu. Ja nē, tam nevajadzētu steigties sniegt pirmo atbildi, bet gan paskaidrot nākamo trūkstošo nosacījumu. Tādējādi sarunas gaita paliek izsekojama.

Piemērs: "Vai es varu mainīt savu pasūtījumu?" Bez pasūtījuma statusa un izmaiņu veida nav iespējams dot drošu solījumu. Čatbots vispirms pajautā, vai runa ir par adresi, daudzumu vai produktu. Pēc tam tas var norādīt uz oficiālo palīdzības lapu vai piedāvāt savienojumu ar atbalsta komandu. Tas neizdomā maiņas termiņus un neapgalvo, ka tam ir piekļuve klienta kontam. Ierobežojums šajā gadījumā ir daļa no laba servisa.

Avotu, meklēšanas (retrieval) un pretjautājumu savienošana

Pretjautājumam vajadzētu ne tikai uzlabot valodu, bet arī precizēt meklēšanu. Izmantojiet apmeklētāja atbildi kā filtru produkta jomai, valodai vai dokumenta veidam, ja šie metadati ir pieejami. Pēc tam pārbaudiet, vai atrastie avoti patiešām atbilst šai izvēlei. Ja neviens avots neatbilst, teikums "Es neatrodu apstiprinātu informāciju par šo tēmu" ir labāks par vispārīgu tekstu no līdzīgas jomas.

Microsoft iesaka novērtēt ģeneratīvās lietotnes pirms un pēc to ieviešanas, izmantojot atbilstošus datus un metrikas. Precizēšanas dialogiem tas ietver testa gadījumus ar trūkstošu kontekstu, pretrunīgu informāciju un apzināti neatbildamiem jautājumiem. Nemēriet tikai to, vai bots spēj ģenerēt atbildi. Pārbaudiet, vai tas uzdod pareizo pretjautājumu, saglabā avota precizitāti un robežu gadījumā uzticami nodod sarunu cilvēkam.

Datju minimizēšana jautājumos

Jautājiet tikai to informāciju, kas nepieciešama drošai nākamajai atbildei. Produkta instrukcijai modeļa nosaukums ir noderīgs, savukārt vispārīgam jautājumam par funkcijām bieži vien nē. Neprasiet konta numuru, adresi vai citus personas datus, ja pietiek ar saiti vai savienojumu ar atbalsta komandu. Paskaidrojiet ne tikai to, kas jums nepieciešams, bet arī izvairieties no tā, kas nav vajadzīgs.

Ja notiek sarunas nodošana cilvēkam, nododiet tikai nepieciešamo sarunas kontekstu. Jautājuma un jau izvēlēto opciju kopsavilkums var palīdzēt atbalsta dienestam; pilna visu ievaddatu kopija ne vienmēr ir nepieciešama. Definējiet piekļuvi, glabāšanu un dzēšanu kopā ar atbildīgajām komandām. Šis process nav individuāla juridiska konsultācija, bet gan praktisks pamats atbildīgai dialoga izveidei.

Pretjautājumu un robežu testi

Izveidojiet nelielu testu kopu. Katrā rindiņā ietveriet neskaidro sākotnējo jautājumu, trūkstošo kontekstu, paredzamo pretjautājumu, atļautos avotus un paredzamo robežu vai nodošanu cilvēkam. Papildiniet to ar variantiem, kuros ir drukas kļūdas, sarunvalodas frāzes, vairākas valodas un atbildes, kas faktiski neizskaidro kontekstu. Testu uzskata par nokārtotu arī tad, ja čatbots pieklājīgi apstājas un piedāvā pareizo nākamo ceļu.

Saglabājiet apstiprinātās kļūdas kā regresijas testus. Kad tiek mainīta zināšanu lapa vai uzvedne, izpildiet šos gadījumus no jauna. Pretējā gadījumā jauna, noderīga atbilde var klusām pārkāpt iepriekš drošu robežu. Apvienojiet testus ar atsauksmēm no atbalsta dienesta un analītikas, bet mainiet saturu tikai pēc analīzes (triage) kopā ar avotu un atbildīgajām personām.

Biežāk pieļautās kļūdas, no kurām jāizvairās

• Vairāku jutīgu detaļu pieprasīšana vienlaikus.
• Vispārīgas atbildes sniegšana, lai gan trūkst izšķirošā konteksta.
• Pretjautājuma uzdošana, bet pēc tam tā paša nepārbaudītā avota izmantošana.
• Sarunas nodošanas piedāvāšana bez pieejama saziņas veida.
• Atbildēto jautājumu īpatsvara vērtēšana augstāk par drošām robežām.
• Neskaidru ievaddatu nedokumentēšana kā atsevišķa testu kategorija.

Kontrolsaraksts tīmekļa vietņu komandām

• Dokumentēt jautājumu kategorijas ar nepieciešamo kontekstu un atļautajiem avotiem.
• Formulēt īsus, saprotamus pretjautājumus ar vienu izvēles iespēju katrā solī.
• Kritiskiem vai individuāliem gadījumiem noteikt skaidru nodošanu cilvēkam.
• Testēt neatbildamus gadījumus kā vēlamu, caurspīdīgu uzvedību.
• Kopīgi analizēt atsauksmes, testa gadījumus un avotu izmaiņas.
• Pirms palaišanas pārbaudīt datu minimizēšanu un atbildību sadalījumu.

Secinājums

Precizējošie jautājumi un atbilžu robežas padara tīmekļa vietnes čatbotu nevis mazāk noderīgu, bet gan uzticamāku. Tie pārvērš neskaidrību īsā, saprotamā dialogā un novērš to, ka trūkstošais konteksts tiek aizstāts ar izdomātām detaļām. Tie, kuri veido avotus, pretjautājumus, testus un nodošanu cilvēkam kā vienotu procesu, rada labākas atbildes un drošus nākamos soļus apmeklētājiem.

Avoti

• NIST AI RMF Core
• Microsoft Learn: Evaluating generative AI applications
• W3C: Labels or Instructions
• ChatReact: Feedback cilpa
• ChatReact: Golden Set un atbilžu kvalitāte
• ChatReact: Human Handoff