DI pokalbių botų atsakymai su šaltiniais: RAG, šaltinių nuorodos ir QA

Svetainės pokalbių botas atrodo patikimas tik tada, kai lankytojai gali suprasti, kuo remiantis pateikiamas atsakymas. Ypač kalbant apie darbo laiką, produkto detales, kainas, sutarties sąlygas ar technines instrukcijas, draugiško tonas neužtenka: lemiamas veiksnys yra tai, ar atsakymas buvo gautas iš tinkamo ir aktualaus šaltinio. Šaltinių nuorodos paverčia tiesiog tikėtiną atsakymą patikrinamu atsakymu. Jos padeda vartotojams skaityti toliau, o palaikymo bei produktų komandoms suteikia konkretų atspirties tašką, kai ką nors reikia pataisyti.

Kodėl šaltinių nuorodos pokalbių bote yra svarbios

RAG pokalbių botas prieš atsakydamas ieško informacijos patvirtintuose svetainės puslapiuose, DUK ar dokumentuose. Tai sumažina išgalvotų teiginių riziką, tačiau nepakeičia kokybės kontrolės. Todėl Microsoft „Retrieval-Augmented Generation“ vertinimo įrankiai aiškiai skiria informacijos gavimo (retrieval) kokybę, pagrįstumą (groundedness), aktualumą ir išsamumą: atsakymas kalbiškai gali atrodyti gerai, tačiau vis tiek nepakankamai grįstas pateiktu kontekstu. Oficiali Microsoft dokumentacija apie RAG vertinimo įrankius apibūdina šias perspektyvas kaip atskirus patikrinimus.

Rasta nuoroda neišsprendžia visų problemų. Tačiau ji yra matomas pažadas: šis teiginys kyla ne iš spėjamos modelio atminties, o iš šaltinio, kurį patvirtino komanda. Svetainių savininkams tai suteikia tris praktinius pranašumus:

• Lankytojai prireikus gali patys patikrinti detales, iš naujo neaiškindami klausimo pokalbyje.
• Palaikymo komandos greičiau supranta, kuris puslapis, DUK ar PDF failas sukėlė neaiškų atsakymą.
• Redakcijos komandos mato, kurie žinių šaltiniai naudojami dažniausiai ir kuriuos reikia atnaujinti.

Pagrindimas nėra bet koks nuorodų sąrašas

Daugelis pokalbių botų po kiekvienu atsakymu prisega kelias nuorodas. Tai geriau nei jokio skaidrumo, tačiau tai dar nėra geras pagrindimas. Naudinga šaltinio nuoroda yra arti teiginio, suprantamai pavadinta ir veda į puslapį, kuriame iš tikrųjų paaiškinamas atitinkamas punktas. Jei kas nors klausia apie grąžinimo terminą, jam nereikia bendros nuorodos į pagrindinį puslapį ar dešimties straipsnių rinkinio. Prasminga pateikti trumpą nuorodą į atitinkamą grąžinimo ar garantijos puslapį.

Todėl atskirkite atsakymo tekstą ir pagrindimo duomenis. Atsakymo tekstas atsako į klausimą aiškia kalba. Struktūruotas įrodymas užfiksuoja bent šaltinio URL, pavadinimą, skyrių ar inkarą, gavimo laiką ir, jei reikia, versijos būseną. SĄSAJA iš to gali sukurti kompaktišką kortelę arba išskleidžiamą sritį. Taip pokalbis išlieka lengvai skaitomas, išlaikant atsekamumą.

Geros šaltinio kortelės savybės

• Matomas pavadinimas nusako, ką paaiškina paskirties puslapis.
• Nuoroda veda į patvirtintą, pasiekiamą šaltinį.
• Kortelė pasirodo tik tada, kai ji pagrindžia konkretų teiginį.
• Keli šaltiniai rikiuojami pagal svarbą, o ne pagal techninę seką.
• Esant laiko atžvilgiu jautriai informacijai, aiškiai nurodoma šaltinio data / būsena.

Šaltinių grandinė nuo indekso iki pokalbio atsakymo

Pasitikėjimas atsiranda ne tik pokalbio lange. Jis prasideda pasirinkus žinių bazę. Nustatykite, kurias domenų sritis, dokumentų tipus ir skyrius pokalbių botas gali naudoti. Produkto duomenų lapas iš kontroliuojamos atsisiuntimų srities yra visai kas kita nei senas tinklaraščio straipsnis ar laisvai pateiktas komentaras. Google apibūdina „Grounding“ su įmonės duomenimis kaip informacijos gavimą iš susietų duomenų šaltinių; svetainių komandoms svarbus šis principas: gavimo kontekstas turi būti tikslingai kontroliuojamas ir atitikti konkretų naudojimo atvejį. Google Cloud dokumentacija apie Grounding rodo, kad šaltinio kontekstas ir citatos priklauso vienas nuo kito.

Kiekvienam šaltiniui veskite nedidelę redakcinę kortelę: savininkas, kalba, tikslas, atnaujinimo intervalas ir jautrios temos. Tai leidžia paieškos sluoksniui teikti pirmenybę naujiems produktų puslapiams, o ne archyvuotiems pranešimams spaudai. Be to, atlikus pakeitimą, galima tikslingai patikrinti, kuriems atsakymams tai turi įtakos. Mūsų straipsnis apie DI pokalbių boto žinių bazės priežiūrą rodo, kaip sąveikauja nuskaitymo dažnumas ir šaltinių QA.

Atsakymus formuluoti tik iš pagrįsto konteksto

Apibrėžkite paprastą atsakymo taisyklę: jei gautas kontekstas nepakankamai atsako į klausimą, pokalbių botas nedrįsta papildyti, spėlioti ar imituoti šaltinio. Vietoj to jis įvardija trūkumą ir siūlo kitą saugų žingsnį, pavyzdį, kontaktavimo galimybę, bilietą arba atitinkamą apžvalgos puslapį. Tai nėra prasta paslauga. Aiški riba neleidžia atsitiktinai tinkamai formuluotei būti klaidingai suprantai kaip oficialiai įmonės informacijai.

NIST gairės NIST AI 600-1 priskiria generatyvinį DI prie sistemų su nuo konteksto priklausančia rizika. Svetainės pokalbių botui tai praktiškai reiškia: iš anksto nustatykite didelės rizikos atsakymų tipus. Tai apima teisinius, medicininius ar finansinius teiginius, įpareigojančius kainų ir pasiekiamumo patvirtinimus, saugos instrukcijas ir asmens duomenis. Tokiais atvejais reikia griežtesnių šaltinių taisyklių, atsargesnės formuluotės arba perdavimo žmogui.

Pavyzdys: produkto klausimas su šaltinio pagrindimu

Asmuo klausia: „Ar šis priedas tinka X modeliui?“ Patikimas procesas susideda iš keturių žingsnių: pokalbių botas pirmiausia ieško produkto puslapio ir suderinamo priedo lapo. Jis patikrina, ar modelio pavadinimas ir versija kontekste yra aiškūs. Tada jis atsako tik apie pagrįstą suderinamumą ir parodo būtent šias nuorodas. Jei trūksta modelio versijos, jis užduoda patikslinantį klausimą, užuot daręs prielaidą. Dialogas išlieka trumpas, tačiau kiekvienas faktinis teiginys yra atsekamas.

Pagrindimo testų rinkinio kūrimas

Komandos turėtų išbandyti šaltinių kokybę prieš publikavimą ir po didesnių turinio pakeitimų. „Golden Set“ (auksinį rinkinį) sudaro tipiniai klausimai, laukiami pagrindiniai teiginiai ir leidžiami šaltiniai. Sąmoningai papildykite ribiniais atvejais: pasenusiomis kainomis, panašiais produktų pavadinimais, dviprasmiškais terminais, klausimais apie nesančias paslaugas ir užklausomis kita kalba. Tikrinkite ne tik tai, ar pokalbių botas atsako „teisingai“, bet ir tai, ar rodomas šaltinis iš tikrųjų pagrindžia atsakymą.

Tai galima įgyvendinti naudojant trumpą, kartojamą kontrolinį sąrašą:

1. Ar atsakymas tiesiogiai susijęs su klausimu?
2. Ar kiekvienas esminis fakto teiginys yra grįstas gautu kontekstu?
3. Ar matoma nuoroda veda į tinkamą, pasiekiamą ir patvirtintą puslapį?
4. Ar šaltinis yra pakankamai aktualus šiam teiginiui?
5. Ar botas reaguoja saugiai, jei nėra pakankamo šaltinio?
6. Ar atsakymas ir šaltinis išlieka nuoseklūs visomis palaikomomis kalbomis?

Techniniam įvertinimui verta atskirai registruoti informacijos gavimą ir atsakymą: užklausos klasę, naudojamus dokumentų ID, versijos būseną, atsakymo sprendimą, rodomus šaltinius ir perdavimą (handoff). Nereikia visam laikui saugoti visos pokalbio sudėties, jei ji nebūtina diagnozei. Straipsnis apie „Golden Sets“ ir RAG testus paaiškina, kaip sistemingai matuoti atsakymų kokybę.

Nepervertinkite citatų

Nuoroda automatiškai neįrodo, kad atsakymas yra teisingas. Šaltinis gali būti pasenęs, per daug bendras, kita kalba arba parašytas kitam produkto variantui. Net ir gera paieškos ranguotė neapsaugo nuo to, kad sugeneruotas tekstas neteisingai susietų detales. Todėl šaltinių kortelės ir atsakymų testai turi būti taikomi kartu. Tikrindami pavyzdžius, pirmiausia patikrinkite stipriausią teiginį, o po to – teiginį, kuris vartotojams daro didžiausią įtaką priimant sprendimą.

Taip pat venkite klaidinačių formuluočių, tokių kaip „remiantis jūsų svetaine“, jei pokalbių botas nerado konkretaus puslapio. Skaidrumas taip pat reiškia neapibrėžtumo parodymą. Sakinys, pavyzdžiui, „Patvirtintoje informacijoje nerandu patikimo to įrodymo“, yra naudingesnis nei įtikinamai skambantis, bet nepagrįstas pasiūlymas.

Įgyvendinimas per septynerius žingsnius

1. Inventorizuokite šaltinius, kuriuos pokalbių botas gali naudoti.
2. Nurodykite pavadinimą, URL, skyrių, kalbą ir atsakingą už atnaujinimą asmenį kaip metaduomenis.
3. Apibrėžkite atsakymų ribas, kai trūksta konteksto arba jis yra prieštaringas.
4. Sukurkite kompaktišką, lengvai prieinamą šaltinio kortelę.
5. Sukurkite „Golden Set“ su klausimais ir laukiamomis nuorodomis.
6. Atskirai matuokite gavimą (retrieval), pagrįstumą (groundedness), aktualumą ir išsamumą.
7. Po turinio, produkto ar kalbos atnaujinimų iš naujo patikrinkite susijusius atsakymus.

Išvada: atsekamumas yra atsakymo kokybės dalis

Geras svetainės pokalbių botas ne tiesiog atsako į kuo daugiau klausimų. Jis parodo, kada atsakymas remiasi patikimu šaltiniu, ir išlieka atsargus, kai šio pagrindo trūksta. Šaltinių pagrindimas pagerina savitarną, pagreitina klaidų analizę ir paverčia žinių priežiūrą matuojama. Pradėkite nuo dažniausiai užduodamų jūsų įmonės klausimų, susiekite kiekvieną sprendimui svarbų atsakymą su tinkama nuoroda ir reguliariai tikrinkite grandinę.

Jei norite sukurti patikrinamą žinių bazę ir saugias atsargines parinktis savo svetainės pokalbių botui, ChatReact padeda paversti patvirtintą turinį aiškiais, suprantamais pokalbiais.

Šaltiniai

• Microsoft Foundry: Retrieval-Augmented Generation evaluators
• Google Cloud: Grounding with Agent Search
• NIST: Artificial Intelligence Risk Management Framework: Generative AI Profile