Chatbot atsakymų pagrindimas šaltiniais: nuorodų patikra ir neapibrėžtumas

Šaltinio nurodymas po Chatbot atsakingu iš pirmo žvilgsnio atrodo kaip smulki detalė. Iš tiesų jis lemia, ar lankytojai galės patikrinti teiginį, suprasti jo kontekstą ir saugiai jį naudoti. Vien nuorodos nepakanka: ji gali vesti į neteisingą puslapį, būti pasenusi arba tik nutolusiai atitikti teigiamą turinį. Todėl geri šaltinių įrodymai sujungia techninius kilmės duomenis, aiškų pateikimą ir patikimą atsarginį scenarijų.

Šiame praktiniame vadove parodoma, kaip svetainių savininkai gali pagrįsti Chatbot atsakymus šaltiniais nekurdami klaidingo tikslumo įspūdžio. Dėmesio centre – atskirų teiginių priskyrimas šaltinio vietoms, nuorodų patikrinimas, sąžiningas neapibrėžtumo rodymas ir peržiūros procesas klientų aptarnavimo, rinkodaros bei produktų komandoms.

Kodėl šaltinių įrodymai yra daugiau nei dekoracija

Generatyvinės sistemos gali įtikinančiai suformuluoti turinį, net jei teiginys yra neišsamus arba neteisingas. NIST AI RMF Generative AI Profile aiškiai aprašo tokias konfabulacijas ir pažymi, kad net sugalvotos citatos gali klaidingai padidinti pasitikėjimą. Todėl Chatbot neturi sugalvoti šaltinių atgaline data. Įrodymai turi būti gauti iš iš tikrųjų nuskaityto žinių konteksto.

Geras šaltinių rodymas atlieka tris užduotis: jis parodo, iš kur gautas teiginys, leidžia atlikti savarankišką patikrinimą ir apriboja atsako taikymo sritį. Tai ypač svarbu kalbant apie kainas, paslaugų apimtis, terminus, techninius reikalavimus ir taisykles. Kuo didesnės būtų neteisingo teiginio pasekmės, tuo griežčiau turėtų būti tikrinama šaltinio vieta, aktualumas ir patvirtinimas.

Nuo dokumento iki pagrindžiamo teiginio

Pagrindas sukuriamas jau nuskaitant žinių šaltinius. Šalia teksto turėtų būti išsaugoti bent kanoninis URL, puslapio pavadinimas, dokumento tipas, kalba, gavimo laikas, turinio versija ir patvirtinimo būsena. Ilguose puslapiuose kiekvienam skirsniui reikia stabilaus priskyrimo šaltiniui. Tik tada sistema vėliau galės paaiškinti, kuri ištrauka pagrindžia konkretų teiginį.

Šaltinių objektai vietoj laisvo URL išvedimo

Kalbos modeliui neturėtų būti leidžiama pačiam formuluoti bet kokių nuorodų. Geriau naudoti struktūruotą šaltinio objektą iš „Retrieval“ sluoksnio: vidinį šaltinio ID, patikrintą tikslo URL, trumpą puslapio pavadinimą, aktualią atkarpą ir versijos informaciją. Atsakymas nurodo tik šiuos ID. Tik pati programa paverčia juos saugiomis nuorodomis. Taip leidžiamus domenus, protokolus ir nuorodų atributus galima valdyti nepriklausomai nuo modelio.

Šis modelis taip pat padeda išvengti techninių rizikų. Dabartinė OWASP rekomendacija dėl Improper Output Handling pataria modelio išvesties duomenis traktuoti kaip nepatikimą įvestį, juos tikrinti ir koduoti pagal kontekstą. Šaltinių nuorodoms tai reiškia: neperimti nepatikrintų HTML fragmentų, neleisti pavojingų protokolų ir nepriskirti URL adresu automatiniam pasitikėjimui.

Teiginys ir šaltinio vieta turi sutapti

Puslapis gali tikti tematiškai, tačiau vis tiek neįrodyti konkretaus teiginio. Todėl QA komanda turėtų tikrinti teiginių lygiu: ar informacija tikrai yra nurodytoje atkarpoje? Ar išlaikomi apribojimai? Ar bendras aprašymas nebuvo klaidingai paverstas garantija? NIST tyrimai dėl Evaluation of Machine-Generated Reports akcentuoja būtent šį ryšį tarp teiginių ir šaltinio dokumentų kaip tikrinamumo sąlygą.

Praktikoje iš pradžių pakanka pagrįsti tuos sakinius, kuriuose yra faktų, skaičių, sąlygų ar veiksmų nurodymų. Sveikinimams ir grynai dialoginiams perėjimams šaltinio žymos nereikia. Taip sąsaja išlieka tvarkinga, o esminiai teiginiai tampa patikrinami.

Nuorodų tikrinimas prieš ir po publikavimo

Teisingas įrodymas vėliau gali tapti netinkamas. Puslapiai perkeliami, nukreipimai pasikeičia arba turinys išnyksta. Todėl reguliarus nuorodų tikrinimas turėtų užfiksuoti HTTP būseną, galutinį tikslo URL, turinio tipą ir domeną. HTTP standartas RFC 9110 skiria, pavyzdžiui, nuolatinius nukreipimus, nerastus išteklius ir visam laikui pašalintą turinį. Šios būsenos reikalauja skirtingų reakcijų.

• Sėkmingas atsakymas: tikslas pasiekiamas, turinio tipas įtikimas, o šaltinio vieta vis dar egzistuoja.
• Nuolatinis nukreipimas: atnaujinti kanoninį URL po redakcinio patikrinimo, neprarandant ankstesnės versijos.
• Laikina klaida: laikinai pažymėti šaltinį, patikrinti iš naujo ir nenaudoti tyliai priimant kritiką keliančius atsakymus.
• 404 arba 410: užblokuoti įrodymą, ieškoti pakaitinio šaltinio ir atlikti paveiktų atsakymų testus.
• Turinys pasikeitė: palyginti ne tik nuorodos būseną, bet ir susijusią atkarpą bei jos skaitmeninį atspaudą (fingerprint).

Svarbu atskirti „URL pasiekiamas“ nuo „teiginys vis dar pagrįstas“. HTTP 200 būsena tik patvirtina techninį pasiekiamumą. Tik turinio palyginimas parodo, ar reikiama pastraipa vis dar yra.

Aiškus šaltinių rodymas pokalbio sąsajoje

Šaltiniai turėtų būti rodomi arti pagrindžiamo teiginio, pavyzdžiui, kaip numeruotos nuorodos arba kaip kompaktiškas sąrašas tiesiai po atsakymu. Nuorodų tekstai, tokie kaip „Šaltinis 1“, patys savaime nėra labai naudingi. W3C išaiškinimas dėl WCAG 2.2, Link Purpose rekomenduoja aprašomuosius nuorodų pavadinimus arba programiškai atpažįstamą kontekstą. Pokalbyje tai gali būti, pavyzdžiui, „Pristatymo sąlygos – skyrius Pristatymo terminai“.

Mobiluosiuose įrenginiuose šaltinių sąrašas neturi uždengti viso dialogo. Trumpa, sutelkiama santrauka su išskleidžiamomis detalėmis dažniausiai yra geriau nei plati lentelė. Klaviatūros fokusavimas, ekrano skaitytuvo pavadinimas ir tikslo rodymas turi išlikti suprantami net ir tada, kai keli įrodymai pagrindžia tą patį atsakymą.

Taip pat parodykite skirtumą tarp pirminio šaltinio ir papildomos pastabos. Oficialus produkto puslapis gali pagrįsti paslaugos sąlygą; tinklaraščio straipsnis gali pateikti tik paaiškinimą. Šis prioritetas turėtų kilti iš redakcinių taisyklių, o ne iš modelio kalbinio tikrumo.

Neapibrėžtumo rodymas, kol nesumažėjo pasitikėjimas

Ne kiekvienas klausimas turi vienareikšmį, aktualų įrodymą. Todėl sistemai reikia apibrėžtų būsenų, o ne vieno pasitikėjimo balo. Praktiška schema skiria „pagrįsta“, „dalinai pagrįsta“, „šaltinis pasenęs“, „šaltiniai prieštarauja vienas kitam“ ir „įrodymo nerasta“. Atsakymo formulavimas atitinka šią būseną.

• Esant būsenai pagrįsta, Chatbot gali atsakyti aiškiai ir parodyti šaltinio vietą.
• Esant būsenai dalinai pagrįsta, jis įvardija patvirtintas dalis ir atskiria atvirus klausimus.
• Esant būsenai pasenęs, jis nurodo informacijos datą ir vengia dabartinių įsipareigojimų.
• Esant prieštaravimui, jis aprašo skirtumą ir nukreipia klausimą atsakingam asmeniui.
• Esant būsenai be įrodymo, jis užduoda patikslinantį klausimą, nukreipia į saugų kontakto kanalą arba skaidriai nurodo, kad patikrinto atsakymo nėra.

Pastebėjimas, pvz., „Šiame atsakyme gali būti klaidų“, yra per daug bendras. Naudingesnis yra konkretus paaiškinimas: „Patvirtintuose šaltiniuose nerandu dabartinio pristatymo termino.“ Taip vartotojas supranta, ko trūksta ir koks kitas žingsnis yra prasmingas.

Testavimo rinkinio sukūrimas įrodymams ir atsarginiams scenarijams

Papildykite esamą atsakymų testavimo rinkinį šaltinių atvejais. Vadove apie Chatbot atsakymų kokybės matavimą aprašomi „Golden Sets“ ir RAG testai. Šaltinių įrodymams prisideda papildomi patikros punktai:

1. Kiekvienas esminis faktinis teiginys nurodo bent vieną iš tikrųjų užkrautą šaltinį.
2. Nurodyta atkarpa apima teiginį ir jo apribojimus.
3. Joks atsakymas nesukuria URL, kurio nėra leidžiamame šaltinio objekte.
4. Nukreipimai, 404, 410 ir „timeout“ atvejai sukelia numatytą būseną.
5. Prieštaringi šaltiniai nelemia išgalvotos sintezės.
6. Šaltiniai yra aiškiai pasiekiami klaviatūra ir ekrano skaitytuvu.
7. Lietuvių ir kitos tikslinės kalbos išlaiko tuos pačius faktus ir įrodymų tikslus.

Testuokite ne tik idealiai suformuluotus klausimus. Naudokite rašybos klaidas, neaiškius laiko nurodymus, klausimus su klaidingomis prielaidomis ir dviejų temų derinius. Ypač vertingi yra priešingi pavyzdžiai: tinkamas šaltinis be teigiamo skaičiaus, techniškai pasiekiama nuoroda su pasikeitusiu turiniu arba du galiojantys puslapiai su skirtingomis galiojimo būsenomis.

Redakcinis procesas: nuo šaltinio iki patvirtinimo

Šaltinių kokybė yra bendra užduotis. Turinio vadovai prižiūri savininkus, galiojimą ir prioritetus; kūrėjų komandos užtikrina paiešką (Retrieval), URL tikrinimą ir išvestį; klientų aptarnavimo arba atitinkami skyriai tikrina didelės rizikos teiginius. Straipsnis apie Chatbot turinio valdymą (Content Governance) padeda nustatyti vaidmenis ir patvirtinimus.

Lankstų procesą sudaro penki žingsniai: užregistruoti šaltinį, ištraukti turinį, kurti svarbių atkarpų versijas, išbandyti atsakymų ir įrodymų poras ir tik tada aktyvuoti. Pakeitimai vėl praeina šiuos etapus. Jei problema pastebima tik veikiant sistemai, turėtų suveikti aiškus „Degraded Mode“. Incidentų valdymo gairės AI Chatbotams parodo, kaip apriboti problemišką turinį ir jį kontroliuojamai atšaukti.

Kontrolinis sąrašas svetainių savininkams

• Ar atsakymai gali cituoti tik patikrintus šaltinių ID?
• Ar išsaugoti URL, pavadinimas, kalba, versija, gavimo laikas ir patvirtinimo būsena?
• Ar nurodoma konkreti šaltinio vieta, o ne tik visas domenas?
• Ar automatinė užduotis tikrina tiek HTTP būseną, tiek turinio pakeitimus?
• Ar yra aprašomieji, neįgaliesiems pritaikyti nuorodų tekstai?
• Ar yra apibrėžtos būsenos pasenusiems, prieštaringiems ir trūkstamiems įrodymams?
• Ar testavimo rinkinyje yra manipuliuotų, neveikiančių ir tik tariamai tinkančių šaltinių?
• Ar komanda gali užblokuoti klaidingą šaltinį neišjungdama visos žinių bazės?

Išvada: traktuokite pagrindžiamumą kaip produkto savybę

Šaltinių įrodymai nėra tik kosmetinis priedas. Jie sujungia „Retrieval“, turinio valdymą, saugumo patikras, pritaikytą vartotojo patirtį (UX) ir redakcinę atsakomybę. Patikima sistema rodo tik tuos šaltinius, kuriuos iš tikrųjų naudojo, nuolat tikrina jų tikslus ir konkrečiai suformuluoja neapibrėžtumą.

Pradėkite nuo ribotos srities, pavyzdžiui, pristatymo, grąžinimo ar techninių reikalavimų. Apibrėžkite ten nuo dešimties iki dvidešimties svarbių klausimų, priskirkite teiginius šaltinių vietoms ir išbandykite klaidos atvejus. Po to šį modelį galima palaipsniui išplėsti. Jei norite sukurti AI Chatbot su atsekamu svetainės turiniu, apžvalgą rasite ChatReact funkcijų puslapyje.

Šaltiniai

• NIST: Artificial Intelligence Risk Management Framework – Generative AI Profile
• NIST: On the Evaluation of Machine-Generated Reports
• OWASP: LLM05:2025 Improper Output Handling
• IETF/RFC Editor: RFC 9110 – HTTP Semantics
• W3C WAI: Understanding Link Purpose (In Context)