Mākslīgā intelekta čatbota atbilžu pamatošana ar avotiem: RAG, atsauces un QA
Kā tīmekļa vietnes čatboti padara atbildes pārbaudāmas ar atbilstošiem avotiem un kā uzticami testēt RAG atsauces.
Tīmekļa vietnes čatbots šķiet uzticams tikai tad, ja apmeklētāji var saprast, uz ko balstīta konkrētā atbilde. Īpaši attiecībā uz darba laikiem, produkta detaļām, cenām, līguma nosacījumiem vai tehniskām instrukcijām ar draudzīgu toni vien nepietiek: izšķirošais ir tas, vai atbilde ir atvasināta no atbilstoša un aktuāla avota. Atsauces uz avotiem pārvērš vienkārši ticamu atbildi par pārbaudāmu atbildi. Tās palīdz lietotājiem turpināt lasīšanu un sniedz atbalsta un produktu komandām konkrētu orientieri, ja kaut kas ir jāizlabo.
Kāpēc atsauces uz avotiem čatbotā ir svarīgas
RAG čatbots pirms atbildes sniegšanas meklē informāciju apstiprinātās tīmekļa lapās, BUJ (FAQ) vai dokumentos. Tas samazina izdomātu apgalvojumu risku, taču neaizstāj kvalitātes kontroli. Microsoft RAG (Retrieval-Augmented Generation) vērtētāji tāpēc skaidri nošķir meklēšanas kvalitāti, pamatotību (groundedness), relevanci un pilnīgumu: atbilde valodnieciski var izskatīties labi, taču joprojām nebūt pietiekami segta ar nodrošināto kontekstu. Oficiālā Microsoft dokumentācija par RAG vērtētājiem apraksta šīs perspektīvas kā atsevišķas pārbaudes.
Atsauce neatrisina katru problēmu. Tomēr tas ir redzams solījums: šis apgalvojums nenāk no modeļa atmiņas minējumiem, bet gan no avota, ko komanda ir apstiprinājusi. Tīmekļa vietņu uzturētājiem no tā izriet trīs praktiski ieguvumi:
- Apmeklētāji vajadzības gadījumā paši var pārbaudīt detaļas, neatkārtojot jautājumu no jauna.
- Atbalsta komandas ātrāk pamana, kura lapa, BUJ vai PDF fails izraisījis neskaidru atbildi.
- Redakcijas komandas redz, kuri zināšanu avoti tiek izmantoti visbiežāk un kurus nepieciešams atjaunināt.
Pamatojums nav patvaļīgs saišu saraksts
Daudzi čatboti zem katras atbildes pievieno vairākas saites. Tas ir labāk nekā pilnīgs caurspīdīguma trūkums, taču tā vēl nav laba pamatošanas prakse. Noderīga atsauce atrodas tuvu apgalvojumam, ir saprotami nosaukta un ved uz lapu, kas faktiski izskaidro attiecīgo punktu. Tam, kurš jautā par atgriešanas termiņu, nav nepieciešama vispārīga saite uz sākumlapu un desmit rakstu kolekcija. Tā vietā ir vērtīga īsa atsauce uz atbilstošo atgriešanas vai garantijas lapu.
Tāpēc nošķiriet atbildes tekstu no pamatojuma datiem. Atbildes teksts atbild uz jautājumu skaidrā valodā. Strukturēts pamatojums saglabā vismaz avota URL, virsrakstu, sadaļu vai enkuru, iegūšanas laiku un, ja nepieciešams, versijas statusu. Lietotāja saskarne no tā var izveidot kompaktu kartīti vai atveramu sadaļu. Tādējādi saruna paliek viegli lasāma, vienlaikus saglabājot pārbaudāmību.
Labas avota kartītes pazīmes
- Redzamais virsraksts pasaka, ko izskaidro mērķa lapa.
- Saite ved uz apstiprinātu, pieejamu avotu.
- Kartīte parādās tikai tad, ja tā pamato konkrētu apgalvojumu.
- Vairāki avoti tiek kārtoti pēc relevances, nevis tehniskās secības.
- Laikietilpīgai vai svarīgai informācijai tiek skaidri norādīts avota atjaunināšanas datums.
Avotu ķēde no indeksa līdz čata atbildei
Uzticēšanās nesākas tikai čata logā. Tā sākas ar zināšanu bāzes izvēli. Noteiciet, kurus domēnus, dokumentu tipus un sadaļas čatbots drīkst izmantot. Produkta datu lapa no kontrolētas lejupielādes sadaļas ir kas povisam cits nekā vecs emuāra raksts vai brīvi iesniegts komentārs. Google apraksta sasaisti ar uzņēmuma datiem (grounding) kā informācijas ieguvi no savienotiem datu avotiem; tīmekļa vietņu komandām ir svarīgs šāds pamatprincips: meklēšanas kontekstam jābūt mērķtiecīgi kontrolētam un jāatbilst attiecīgajam lietošanas gadījumam. Google Cloud dokumentācija par Grounding parāda, ka avota konteksts un citāti ir savstarpēji saistīti.
Katrai avota vienībai uzturiet nelielu redakcionālo kartīti: īpašnieks, valoda, mērķis, atjaunināšanas intervāls un jutīgas tēmas. Tas ļauj meklēšanas slānim dot priekšroku, piemēram, pašreizējām produktu lapām, nevis arhivētiem paziņojumiem presei. Turklāt izmaiņu gadījumā var mērķtiecīgi pārbaudīt, kuras atbildes tiek ietekmētas. Mūsu raksts par mākslīgā intelekta čatbota zināšanu bāzes uzturēšanu parāda, kā pārmeklēšanas biežums un avotu QA darbojas kopā.
Formulēt atbildes tikai no pamatota konteksta
Definējiet vienkāršu atbilžu sniegšanas noteikumu: ja iegūtais konteksts pietiekami neatbild uz jautājumu, čatbots nedrīkst papildināt, minēt vai tēlot avotu. Tā vietā tas norāda uz robusu un piedāvā nākamo drošo soli, piemēram, saziņas iespēju, pieteikumu vai atbilstošo pārskata lapu. Tas nav slikts serviss. Skaidra robeža novērš to, ka nejauši atbilstošs formulējums tiek pārprasts kā uzņēmuma oficiālais viedoklis.
NIST vadlīnija NIST AI 600-1 klasificē ģeneratīvo MI kā sistēmu ar no konteksta atkarīgiem meklēšanas riskiem. Tīmekļa vietnes čatbotam tas praktiski nozīmē: iepriekš noteikt augsta riska atbilžu veidus. Pie tiem pieder juridiska, medicīniska vai finansiāla rakstura apgalvojumi, saistoši cenu un pieejamības solījumi, drošības instrukcijas, kā arī personas dati. Šādiem gadījumiem ir nepieciešami stingrāki avotu noteikumi, piesardzīgāks formulējums vai nodošana cilvēkiem.
Piemērs: Produkta jautājums ar avota pamatojumu
Kāda persona jautā: „Vai šis piederums der X modelim?” Uzticama norise sastāv no četriem soļiem: čatbots vispirms meklē produkta lapu un savietojamo piederumu lapu. Tas pārbauda, vai modeļa nosaukums un versija kontekstā ir viennozīmīgi. Pēc tam tas atbild tikai par pamatoto savietojamību un parāda tieši šīs atsauces. Ja trūkst modeļa versijas, tas uzdod skaidrojošu jautājumu, nevis izsaka minējumu. Dialogs paliek īss, bet katrs faktiskais apgalvojums ir izsekojams.
Izveidot testu kopu atsaucēm
Avotu kvalitāte komandām būtu jāpārbauda pirms publicēšanas un pēc lielākām satura izmaiņām. Zelta kopa (Golden Set) satur tipiskus jautājumus, paredzētos galvenos apgalvojumus un attiecīgi atļautos avotus. Apzināti papildiniet to ar robežgadījumiem: novecojušas cenas, līdzīgi produktu nosaukumi, divdomīgi termini, jautājumi par neesošiem pakalpojumiem un pieprasījumi citā valodā. Pārbaudiet ne tikai to, vai čatbots atbild „pareizi”, bet arī to, vai parādītā atsauce patiešām sedz atbildi.
To var īstenot ar nelielu, atkārtojamu kontroles sarakstu:
- Vai atbilde tieši attiecas uz jautājumu?
- Vai katru būtisko fakta apgalvojumu sedz iegūtais konteksts?
- Vai redzamā saite ved uz atbilstošu, pieejamu un apstiprinātu lapu?
- Vai avots ir pietiekami aktuāls šim apgalvojumam?
- Vai bots reaģē droši, ja nav pieejams pietiekams avots?
- Vai atbilde un atsauce paliek konsekventas visās atbalstītajās valodās?
Tehniskajam novērtējumam ir vērts atsevišķi protokolēt ieguvi un atbildi: pieprasījuma klase, izmantotie dokumentu ID, versijas statuss, atbildes lēmums, parādītās atsauces un nodošana cilvēkam (handoff). Pilnus sarunu saturus nav nepieciešamības ilgstoši saglabāt, ja tie nav vajadzīgi diagnostikai. Raksts par Golden Sets un RAG testiem paskaidro, kā sistemātiski mērīt atbilžu kvalitāti.
Nepārinterpretēt citātus
Saite automātiski nepārliecina, ka atbilde ir pareiza. Avots var būt novecojis, pārāk vispārīgs, citā valodā vai sarakstīts citam produkta variantam. Arī laba meklēšanas secības sarindošana nenovērš to, ka ģenerētais teksts var nepareizi sasaistīt detaļas. Tāpēc avotu kartītes un atbilžu testi ir jāskata kopā. Izlases pārbaudēs vispirms pārbaudiet spēcīgāko apgalvojumu un pēc tam apgalvojumu, kas lietotājiem izraisa lielāko lēmuma pieņemšanas ietekmi.
Tāpat izvairieties no malinošiem formulējumiem, piemēram, „saskaņā ar jūsu tīmekļa vietni”, ja čatbots nav atradis konkrētu lapu. Caurspīdīgums nozīmē arī nenoteiktības padarīšanu redzamu. Teikums, piemēram, „Apstiprinātajā informācijā es neatrodu uzticamu pamatojumu tam”, ir noderīgāks nekā pārliecinoši skanošs, bet nepamatots ieteikums.
Īstenošana septiņos soļos
- Veiciet to avotu inventarizāciju, kurus čatbots drīkst izmantot.
- Saglabājiet virsrakstu, URL, sadaļu, valodu un atjaunināšanas atbildību kā metadatus.
- Definējiet atbilžu robežas trūkstoša vai pretrunīga konteksta gadījumā.
- Izveidojiet kompaktu, piekļūstamu un saprotami marķētu avota kartīti.
- Izveidojiet Golden Set ar jautājumiem un paredzamajām atsaucēm.
- Mēriet ieguvi, pamatotību, relevanci un pilnīgumu atsevišķi.
- Pēc satura, produkta vai valodas atjauninājumiem vēlreiz pārbaudiet ietekmētās atbildes.
Secinājums: Pārbaudāmība ir daļa no atbildes kvalitātes
Labs tīmekļa vietnes čatbots nevis vienkārši atbild pēc iespējas vairāk, bet gan parāda, kad atbilde balstās uz uzticamu avotu, un paliek piesardzīgs, ja šāda pamata trūkst. Avotu atsauces uzlabo pašapkalpošanos, paātrina kļūdu analīzi un padara zināšanu uzturēšanu mērāmu. Sāciet ar jūsu uzņēmuma biežāk uzdotajiem jautājumiem, savienojiet katru svarīgo atbildi ar atbilstošu atsauci un regulāri testējiet šo ķēdi.
Ja vēlaties izveidot pārbaudāmu zināšanu bāzi un drošus rezerves scenārijus savam tīmekļa vietnes čatbotam, ChatReact palīdz pārvērst apstiprināto saturu skaidrās, saprotamās un izsekojamās sarunās.
Avoti
Pārvērtiet vietnes apmeklējumus par labākām sarunām
Palaidiet AI čata robotu, kas ir noderīgs no pirmās dienas
Apmāciet ChatReact ar savu vietni, dokumentiem un apstiprinātiem faktiem, lai apmeklētāji saņemtu ātrākas atbildes, un jūsu komanda saņem mazāk atkārtotu pieprasījumu.
Saistītie raksti
Turpināt lasīt
AI čatbota zināšanu bāzes aktualizēšana: crawlēšanas kadence, avoti un QA
AI čatbota zināšanu bāze paliek uzticama tikai tad, ja avoti ir apstūrīti, izmaiņas savlaicīgi crawlētas un atbildes regulāri salīdzinātas ar oriģinālo saturu.
KI-čatbota atbildes kvalitātes mērīšana: Golden Set, RAG testi un izvērtēšanas process
Tīmekļa vietnes čatbots kļūst uzticams tikai tad, ja tā atbildes regulāri tiek pārbaudītas pret avotiem, gaidītajām atbildēm un reālām lietotāju jautājumiem. Šis ceļvedis rāda, kā komandām izveidot Golden Set, RAG testus un efektīvu izvērtēšanas procesu.
RAG metadatu filtri AI tērzēšanas botiem: valodas, versijas un piekļuves nošķiršana
Metadatu filtri sašaurina RAG meklēšanas tvērumu, pirms AI tērzēšanas bots izvēlas avotus. Tādējādi valoda, versija, derīgums un piekļuves līmenis paliek skaidri nošķirti.