DI pokalbių boto patikslinamieji klausimai: saugūs atsakymai esant neaiškioms užklausoms

Neaiškus klausimas svetainės pokalbių botui nėra užduotis spėlioti. „Kiek tai kainuoja?“, „Ar tai tinka man?“ arba „Ar galiu tai pakeisti šiandien?“ be nurodyto produkto, vietovės, sutarties ar laiko gali turėti kelias teisingas reikšmes. Naudingas pokalbių botas atpažįsta šią spragą, užduoda trumpą patikslinamąjį klausimą ir apriboja savo atsakymą, kol surandamas patvirtintas šaltinis. Taip jis apsaugo lankytojus nuo įtikinamai skambančių klaidingų atsakymų ir padeda komandoms tikslingai tobulinti savo žinių bazę.

Kodėl neaiškumas yra produkto reikalavimas

Daugelis kokybės problemų kyla ne todėl, kad modelis nesupranta kalbos, bet todėl, kad įvestis yra dviprasmiška. Klausimas apie kainą gali būti susijęs su licencija, pasiūlymu, pristatymu ar remontu. Klausimas apie terminą gali priklausyti nuo šalies, klientų grupės ar sutarties tipo. Jei pokalbių botas nepastebi šių skirtumų, net ir kalbiškai elegantiškas atsakymas gali klaidinti. Teisinga pirmoji reakcija tokiu atveju yra ne ilgesnis tekstas, o tikslus, lengvai suprantamas patikslinamasis klausimas.

NIST AI Risk Management Framework matavimą ir stebėseną visada sieja su konkrečiu naudojimo kontekstu. Svetainių komandoms tai reiškia: iš anksto apibrėžkite, kokių duomenų atsakymui būtinai reikia. Jei duomenų trūksta, pokalbių botas turėtų paaiškinti, kodėl jie svarbūs, ir pasiūlyti tiksliai vieną tinkamą pasirinkimą. Jis negali pridėti detalių, kurių nėra klausime arba patikrintame šaltinyje.

Geras patikslinamasis klausimas yra trumpas ir pagrįstas

Patikslinamasis klausimas neturi atrodyti kaip forma. Pradėkite nuo informacijos, kurios trūksta kitam saugiam atsakymui: „Ar tai susiję su esama prenumerata, ar nauju pasiūlymu?“ arba „Kuriam produkto modeliui ieškote instrukcijos?“ Jei reikia, vienu sakiniu paaiškinkite, kodėl šis pasirinkimas būtinas. Venkite atvirų raginimų, tokių kaip „Pateikite daugiau informacijos“, jei pakanka konkrečios parinkties. Lankytojai turėtų gebėti atsakyti į klausimą be specialių žinių.

Apsiribokite vienu klausimu vienu žingsniu, nebent du duomenys būtų neatsiejami. Keli klausimai iš karto padidina nutrauktų pokalbių skaičių ir sukelia naujų nesusipratimų. Pokalbių botas po atsakymo gali patikrinti, ar konteksto pakanka, ir tik tada paprašyti kitos informacijos. Šis požiūris taip pat prieinamesnis: W3C pabrėžia, kad instrukcijos ir įvestys turi būti suprantamos. Aaiškūs pasirinkimai padeda ne tik žmonėms, naudojantiems pagalbines technologijas, bet ir visiems skubantiems lankytojams.

Atsakymų ribų nustatymas prieš rengiant užklausą (prompt)

Rašykite ne tik tai, kaip pokalbių botas turėtų atsakyti, bet ir kada jam draudžiama atsakyti. Geras ribas galima suformuluoti kaip nedidelę lentelę: klausimo kategorija, būtinas kontekstas, leidžiamas šaltinis, saugus patikslinamasis klausimas ir perdavimo žmogui (handoff) taisyklė. Bendram klausimui apie produktą gali pakakti patvirtinto katalogo. Tačiau kilus individualiam klausimui dėl sutarties, saugumo ar mokėjimo, reikalingas žmogus arba aiškus oficialus procesas. Ribų nustatymas yra produkto sprendimas, o ne spontaniška reakcija pokalbio metu.

Atsakymo riba nėra nemandagumas. Tokios formuluotės kaip „Tam man trūksta sutarties tipo; galiu jums parodyti tinkamą kontakto būdą“ yra naudingesnės nei išsisukinėjanti pastraipa. Pokalbių botas išlieka skaidrus dėl savo žinių lygio ir siūlo kitą veiksmą. Jis nežada apdorojimo laiko, kainos ar teisinio įvertinimo, jei tam nėra patikimo šaltinio.

Keturių neaiškių įvesčių tipų skyrimas

• Trūkstamas objektas: nenurodytas produktas, paslauga ar dokumentas.
• Trūkstama sąlyga: atsakymą lemia regionas, laikotarpis, sutarties tipas arba teisės.
• Dviprasmiškas terminas: žodis svetainėje turi kelias reikšmes.
• Neaiški intencija: lankytojai nori palyginti, pirkti, gauti pagalbą ar susisiekti su žmogumi.

Šios kategorijos leidžia atlikti analizę. Jei daugybė pokalbių nutrūksta ties trūkstamu objektu, galbūt pagrindiniame puslapyje reikia geresnių pasirinkimo nuorodų. Jei dažnai pasitaiko dviprasmiškų terminų, žinių bazę galima papildyti sinonimais arba paaiškinančiomis įžangomis. Pasikartojantys prašymai perduoti pokalbį žmogui gali rodyti ne modelio silpnybę, o klausimų kategoriją, kuri neturėtų būti automatizuojama.

Saugios dialogo eigos kūrimas

Patikimas procesas susideda iš penkių žingsnių: intencijos atpažinimo, trūkstamo konteksto įvardijimo, trumpo patikslinamojo klausimo pateikimo, tik patvirtintų šaltinių paieškos ir atsakymo užbaigimo su kitu veiksmu. Po kiekvienos įvesties pokalbių botas gali patikrinti, ar nauja informacija tikrai užpildo pradinę spragą. Jei ne, jis neturėtų peršokti prie pirmojo atsakymo, o paaiškinti kitą trūkstamą sąlygą. Taip pokalbio eiga išlieka aiški ir suprantama.

Pavyzdys: „Ar galiu pakeisti savo užsakymą?“ Nežinant užsakymo būsenos ir pakeitimo tipo, neįmanoma pateikti patikimo patvirtinimo. Pokalbių botas pirmiausia paklausia, ar tai susiję su adresu, kiekiu ar produktu. Po to jis gali nurodyti oficialų pagalbos puslapį arba pasiūlyti perdavimą klientų aptarnavimui. Jis neišgalvoja pakeitimo termino ir neteigia, kad turi prieigą prie kliento paskyros. Apribojimas čia yra geros paslaugos dalis.

Šaltinių, paieškos (retrieval) ir patikslinamojo klausimo sujungimas

Patikslinamasis klausimas turėtų ne tik pagerinti kalbą, bet ir patikslinti paiešką. Panaudokite lankytojo atsakymą kaip filtrą produkto sričiai, kalbai ar dokumento tipui, jei šie metaduomenys yra prieinami. Tada patikrinkite, ar rasti šaltiniai tikrai atitinka šį pasirinkimą. Jei joks šaltinis netinka, frazė „Nerasau patvirtintos informacijos apie tai“ yra geresnė nei bendras tekstas iš panašios srities.

„Microsoft“ rekomenduoja įvertinti generatyvinio DI programas prieš jas įdiegiant ir po to, naudojant tinkamus duomenis bei metrikas. Patikslinamiesiems dialogams tai apima testavimo atvejus su trūkstamu kontekstu, prieštaringais duomenimis ir sąmoningai neatsakomais klausimais. Matuokite ne tik tai, ar botas sugeneruoja atsakymą. Patikrinkite, ar jis užduoda teisingą patikslinamąjį klausimą, išlaiko šaltinio tikslumą ir ties riba patikimai perduoda pokalbį žmonėms.

Duomenų taupymo principas užduodant klausimus

Prašykite tik tos informacijos, kuri būtina saugiam kitam atsakymui. Produkto instrukcijai prasmingas modelio pavadinimas, tačiau bendram klausimui apie funkcijas jo dažnai nereikia. Nereikalaukite paskyros numerio, adreso ar kitų asmens duomenų, jei pakanka nuorodos arba perdavimo žmogui. Ne tik paaiškinkite, ko jums reikia, bet ir venkite to, kas nebūtina.

Kai vyksta perdavimas žmogui, perduokite tik būtiną pokalbio kontekstą. Klausimo ir jau pasirinktų parinkčių santrauka gali padėti pagalbos komandai; visos įvesties kopija nėra automatiškai reikalinga. Apibrėžkite prieigą, saugojimą ir trynimą kartu su atsakingomis komandomis. Šis procesas nėra individuali teisinė konsultacija, o praktinis pagrindas atsakingam dialogo kūrimui.

Patikslinamųjų klausimų ir ribų testavimas

Sukurtas nedidelį testavimo rinkinį. Kiekvienoje eilutėje yra neaiškus pradinis klausimas, trūkstamas kontekstas, tikėtinas patikslinamasis klausimas, leidžiami šaltiniai ir tikėtina riba arba perdavimas. Papildykite variantais su spausdinimo klaidomis, šnekamąja kalba, keliomis kalbomis ir atsakymais, kurie iš tikrųjų neišaiškina konteksto. Testas laikomas išlaikytu ir tada, kai pokalbių botas mandagiai sustoja ir pasiūlo teisingą tolesnį kelią.

Išsaugokite patvirtintas klaidas kaip regresinius testus. Pakeitus žinių puslapį ar užklausą (prompt), iš naujo atlikite šiuos atvejus. Priešingu atveju naujas naudingas atsakymas gali tyliai peržengti anksčiau saugią ribą. Sujunkite testus su klientų aptarnavimo komandos ir analitikos atsiliepimais, tačiau turinį keiskite tik atlikę atranką (triage) kartu su šaltiniu ir atsakingu asmeniu.

Dažniausių klaidų vengimas

• Kelių jautrių detalių reikalavimas vienu metu.
• Bendro atsakymo pateikimas, nors trūksta esminio konteksto.
• Patikslinamojo klausimo uždavimas, tačiau po to naudojamas tas pats nepatikrintas šaltinis.
• Perdavimo žmogui siūlymas be pasiekiamo kontakto būdo.
• Atsakytų klausimų rodiklio vertinimas labiau nei saugių ribų išlaikymas.
• Neaiškių įvesčių nedokumentavimas kaip atskiros testavimo klasės.

Kontrolinis sąrašas svetainių komandoms

• Dokumentuoti klausimų kategorijas su būtinu kontekstu ir leidžiamais šaltiniais.
• Formuluoti trumpus, suprantamus patikslinamuosius klausimus su vienu pasirinkimu vienam žingsniui.
• Kritiniams ar individualiems atvejams nustatyti aiškų perdavimą žmogui.
• Testuoti neatsakomus atvejus kaip pageidaujamą, skaidrų elgesį.
• Bendrai vertinti atsiliepimus, testavimo atvejus ir šaltinių pakeitimus.
• Prieš paleidimą patikrinti duomenų taupymo principus ir atsakomybes.

Išvada

Patikslinamieji klausimai ir atsakymų ribos padaro svetainės pokalbių botą ne mažiau naudingą, o patikimesnį. Jie paverčia neaiškumą trumpu, suprantamu dialogu ir neleidžia trūkstamo konteksto pakeisti išgalvotomis detalėmis. Tie, kurie šaltinius, patikslinamuosius klausimus, testus ir perdavimą žmogui suprojektuoja kaip bendrą procesą, sukuria geresnius atsakymus ir saugius tolesnius veiksmus lankytojams.

Šaltiniai

• NIST AI RMF Core
• Microsoft Learn: Evaluating generative AI applications
• W3C: Labels or Instructions
• ChatReact: Feedback-Schleife
• ChatReact: Golden Set und Antwortqualität
• ChatReact: Human Handoff