RAG datu saindēšanas novēršana: avotu izcelsme, karantīna un reindeksācijas testi

Tīmekļa vietnes čatbots var sniegt pieklājīgu, valodas ziņā pārliecinošu un tehniski pareizi ģenerētu atbildi, tomēr strādāt ar saindētu zināšanu bāzi. RAG datu saindēšanas gadījumā netiek primāri manipulēts ar atsevišķa vaicājuma formulējumu. Tā vietā nepareizs, viltots vai nepietiekami pārbaudīts saturs nonāk pastāvīgajā datu ķēdē: avots, parsētājs, fragments (chunk), metadati, iegulšanas vektors (embedding) un visbeidzot produkcijas izgūšanas indekss. Līdz ar to kļūda saglabājas daudzās sesijās un var ietekmēt arī parastus jautājumus.

Tāpēc efektīva aizsardzība sākas ilgi pirms uzvednes formulēšanas. Komandām ir jāspēj atbildēt par katru zināšanu bloku: no kurienes tas nāk, kurš ir atbildīgs, kura versija tika apstrādāta, kādas transformācijas notika un ar kādu pārbaudi tas tika apstiprināts meklēšanai? Avotu izcelsmes dati nodrošina šo izsekojamību. Tehniski nošķirta karantīna var novērst to, ka nepārbaudītas izmaiņas kļūst tūlītēji pieejamas. Mērķtiecīgi reindeksācijas testi pēc tam pārbauda, vai iztīrītais saturs tiešām ir aizstājis vecos fragmentus.

Kas ir RAG datu saindēšana un kas tā nav

OWASP klasifikācijā LLM04:2025 par Datu un modeļu saindēšanu (Data and Model Poisoning) priekšapmācības un papildu apmācības (fine-tuning) vai iegulšanas datu manipulācijas tiek raksturotas kā integritātes risks. Tīmekļa vietnes čatbotam īpaši uzskatāms ir pēdējais variants: dokuments tiek uzņemts un sadalīts fragmentos; šie fragmenti tiek pārvērsti vektoros un saglabāti izgūšanas indeksā. Ja šis dokuments tīši vai nejauši tiek viltots vai bojāts, tas atbilstošu jautājumu gadījumā var parādīties kā šķietami atbilstošs pamats.

Šie riski ir jānošķir, lai gan tie var pārklāties: uzvednes injekcija (Prompt Injection) mēģina izpildlaikā iesūtīt instrukcijas vai datus tā, lai sistēma mainītu savu paredzēto uzvedību; netiešā uzvednes injekcija turklāt kontekstā var nonākt arī caur izgūtajiem dokumentiem. Savukārt datu saindēšana izmaina ilglaicīgo zināšanu krājumu vai tā atvasinājumus. Arī piekļuves tiesības risina citu problēmu: tās nosaka, kura persona drīkst redzēt dokumentu. Provenience un apstiprināšana nosaka, vai šim dokumentam kā uzticamam zināšanu avotam vajadzētu nonākt indeksā. Uzticamā arhitektūrā visiem trim riskiem ir nepieciešamas savas kontroles un saskaņotas pārejas.

Uzbrukuma virsma aptver visu datu ķēdi

RAG indekss reti rodas no vienotas, manuāli pārbaudītas kolekcijas. Tīmekļa rāpļi (crawlers) lasa mājaslapas, savienotāji sinhronizē mākoņa mapes, lietotāji augšupielādē failus un saskarnes importē produktu datus. Tam pievienojas parsētāji, OCR, valodas tīrīšana, fragmentēšana un metadatu bagātināšana. Katrs posms var pārņemt nepareizu saturu vai atraut sākotnēji pareizu apgalvojumu no tā konteksta.

Tāpēc tipiski cēloņi ir kompromitēta avota sistēma, no jauna saistīts spoguļdokuments, nejauši publicēts melnraksta fails, nepareizi piesaistīta klienta vide vai parsētāja atjauninājums, kas tabulas vērtības piesaista nepareizajiem virsrakstiem. Kriptogrāfiskā satura jaukkoda (hash) salīdzināšana ar uzticamu atsauces vērtību var atklāt novirzes; tomēr sakrītošs jaukkods nepierāda par satura patiesumu, aktualitāti vai apstiprinājumu.

Provenience kā pārbaudāma datu kopa

Katram dokumentam un katram no tā atvasinātajam fragmentam būtu jāpievieno izcelsmes datu kopa. Praktiski noderīgi ir vismaz stabils avota ID, kanoniskais izcelsmes URL, atbildīgais īpašnieks, ieguves laiks, dokumenta versija, satura jaukkods, apstiprinājuma statuss, uzticamības klase, parsētāja versija, fragmentēšanas versija, iegulšanas modelis un indeksa paaudze. Manuālo augšupielāžu gadījumā papildus jānorāda augšupielādētāja loma un pārbaudītā licence. Sinhronizētās sistēmās ir svarīgi arī zināt, caur kuru autentificēto savienotāju fails tika saņemts.

Dokuments NIST AI 600-1 Generative AI Profile aplūko satura izcelsmi, izsekojamu dokumentāciju, kā arī testus un novērtējumus kā svarīgus ģeneratīvā AI risku pārvaldības elementus. Pārnesot to uz RAG sistēmām, tas nozīmē: nozīme ir ne tikai pašreizējam indeksam. Arī izsekojama saikne starp avota revīziju, apstrādes ciklu un publicēto indeksa paaudzi pieder pie ekspluatācijas dokumentācijas.

Karantīna nošķir uzņemšanu no publicēšanas

Centrālais arhitektūras elements ir konsekventa nošķiršana: jauns vai izmainīts saturs uzreiz nekļūst pieejams meklēšanā. Tas vispirms nonāk uzņemšanas zonā. Tur konveijers (pipeline) validē izcelsmi, faila tipu, izmēru, parakstu vai gaidāmo jaukkodu, atļauto klientu, metadatu pilnīgumu un izmaiņu apjomu. Tikai pēc tam teksts un fragmenti tiek ģenerēti ārpus produkcijas vides izveidotā indeksa paaudzē.

Noteikumiem jābūt balstītiem uz riskiem. Izmaiņas autentificētā, iekšēji atbildīgā BUJ lapā pēc automātiskajiem testiem var tikt apstiprinātas. Turpretim jauns domēns, neparasti apjomīgas teksta izmaiņas, nezināms faila īpašnieks vai avots bez atbildīgās personas izraisa karantīnu un manuālu pārbaudi. Ja trūkst obligātās informācijas, spēkā ir princips "fail closed": vecā, apstiprinātā paaudze paliek aktīva; jaunais stāvoklis netiek klusējot publicēts.

Apstiprinājums kā nemaināma indeksa paaudze

Pēc pārbaudes produkcijas indekss netiek pakāpeniski pārrakstīts. Labāk ir izveidot jaunu, versionētu paaudzi ar manifestu: gaidāmiem dokumentiem, gaidāmiem fragmentiem, avotu jaukkodiem, transformāciju versijām un laika spiedogiem. Tikai tad, kad testi ir veiksmīgi, aizstājējvārds (alias) vai maršrutēšanas konfigurācija tiek atomāri pārslēgts uz šo paaudzi. Iepriekšējā paaudze paliek atjaunojama uz ierobežotu, definētu laika periodu.

Šis process ir līdzīgs kontrolētai migrācijai. Mūsu raksts par RAG iegulšanas modeļa maiņu parāda, kāpēc paralēlas indeksa paaudzes un salīdzinošie testi ir noderīgi arī tehnisku izmaiņu gadījumā. Datu saindēšanas aizdomu gadījumā papildus rodas drošības jautājums: kura avota revīzija un kuri atvasinātie fragmenti ir jābloķē?

Fiktīvs piemērs: nepareizs atgriešanas termiņš nonāk atbalsta čatbotā

Pieņemsim, ka tirgotājs izmanto čatbotu produktu un klientu apkalpošanas jautājumiem. Zināšanu bāze katru nakti sinhronizē oficiālo palīdzības centru un dažus apstiprinātus ražotāju portālus. Pēc saites izmaiņām savienotājs seko pāradresācijai uz neapstiprinātu spoguļlapu. Tur vizuāli ticamā PDF dokumentā norādīts atgriešanas termiņš 90 dienas 30 dienu vietā. Fails tiek sadalīts fragmentos; vairāki fragmenti ar augstu semantisko līdzību nonāk indeksā.

Nākamajā rītā bots atgriešanas jautājumos sola nepareizo termiņu. Valodas modelis netika pārprogrammēts un lietotāji nav ievadījuši kaitīgas instrukcijas. Izgūšana vienkārši sniedz nepareizu pamatu. Uzraudzības sistēma signalizē, jo jauns domēns pirmo reizi parādās kā atbildes avots un Golden Set tests atgriešanas termiņam atšķiras no gaidāmā pierādījuma.

Kontrolēta karantīna un darba atsākšana

1. Komanda aptur tikai ietekmēto uzņemšanas avotu un iesaldē pašreizējo indeksa paaudzi turpmākām izmaiņām.
2. Aizdomīgais dokumenta ID, visi no tā atvasinātie fragmentu ID un to atbilžu trāpījumi tiek fiksēti incidentu žurnālā.
3. Spoguļdomēns tiek bloķēts, un tā fragmenti tiek pārvietoti uz karantīnu. Jautājumiem par atgriešanas termiņu bots īslaicīgi sniedz drošu norādi uz klientu atbalsta komandu vai apstiprināto politikas lapu.
4. Aizstājējvārds (alias) tiek atiestatīts uz pēdējo pierādāmi tīro indeksa paaudzi. Tādējādi citas, neietekmētās zināšanu jomas paliek pieejamas.
5. Savienotājs tiek ierobežots līdz kanoniskajam avotam. Pēc tam konveijers izveido jaunu paaudzi no apstiprinātā manifesta.
6. Tikai pēc reindeksācijas testiem un speciālistu apstiprinājuma šī paaudze nonāk produkcijas vidē.

Šī secība ierobežo kaitējumu, neizslēdzot visu čatbotu pirms laika. Izšķiroša ir izcelsmes datu un atvasinājumu sasaiste: bez dokumenta piesaistes fragmentiem nebūtu skaidrs, kurus vektorus nepieciešams dzēst.

Reindeksācijas testiem jāparāda vairāk nekā tikai veiksmīgs konveijera darbs

Zaļš procesa statuss pierāda tikai to, ka process ir tehniski pabeigts. Tas nepierāda ne to, ka vecie fragmenti ir pazuduši, ne to, ka, uzdodot reālistiskus jautājumus, tiek atlasīti pareizie avoti. Tāpēc uzticama testu kopa pārbauda sastāvu, izgūšanu un atbilžu uzvedību.

1. Manifesta un dzēšanas pārbaude

Salīdziniet jauno paaudzi ar apstiprināto manifestu. Katrai gaidāmajai dokumenta versijai jābūt pieejamai; bloķēti dokumentu un fragmentu ID nedrīkst parādīties. Īpaši svarīgi ir dzēšanas ieraksti ("tombstones") dzēstajam vai aizstātajam saturam. Citādi, vienkārši pievienojot jaunus iegulšanas vektorus, vecie, saindētie trāpījumi paliks indeksā.

2. Izgūšanas testi ar gaidāmajiem avotiem

Kritiskiem jautājumiem ar gaidāmo atbildes tekstu vien nepietiek. Papildus definējiet atļautos un aizliegtos avotu ID, minimālo trāpījumu skaitu un izslēgšanas nosacījumus. Piemēram, atgriešanas termiņam jābūt ņemtam no kanoniskās politikas; karantīnā ievietotais spoguļdomēns nedrīkst parādīties ne augstākajos rezultātos, ne modeļa kontekstā. Kā strukturēt šādas pārbaudes kopas, aprakstīts rakstā par atbilžu kvalitāti ar Golden Set un RAG testiem.

3. Negatīvie un manipulāciju testi

Izolētā testa vidē komandas var ievadīt skaidri marķētu, neapstiprinātu testa avotu. Konveijeram tas jāsaglabā karantīnā; produkcijai līdzīgā meklēšana nedrīkst to izgūt. Papildus tiek testētas neparastas domēnu maiņas, trūkstoši īpašnieki, ekstremālas satura atšķirības un pretrunīgi datumi. NIST ziņojums AI 100-2 par Adversarial Machine Learning klasificē saindēšanu kā uzbrukumu kategoriju savā taksonomijā un uzsver, ka pretpasākumi un to robežas ir jāizskata sistemātiski.

4. Salīdzinājums pirms un pēc maiņas

Uzdodiet tos pašus jautājumus pēdējai tīrajai un jaunajai paaudzei. Salīdziniet trāpījumu avotus, secību, atbilžu pierādījumus, bezatbildes līmeni (No-Answer-Rate) un speciālistu novērtējumu. Neliela canary datplūsmas daļa var sniegt papildu produkcijas signālus, kamēr lietotāji neiegūst piekļuvi nepārbaudītiem avotiem. Pāreja produkcijas vidē notiek tikai tad, kad tiek ievērotas noteiktās drošības un kvalitātes robežas.

Monitorings: agrīna noviržu atklāšana

Pārraugiet ne tikai atbilžu novērtējumus. Informatīvi rādītāji ir jauni vai reti avotu domēni, nepārbaudītu avotu īpatsvars uzņemšanas plūsmā, neparasti dokumentu izmēri, lielas jaukkoda vai teksta atšķirības, daudz jaunu fragmentu no viena īpašnieka, galveno avotu izmaiņas Golden Set kopā un atbildes bez apstiprināta pierādījuma. Metrikām vajadzētu atsaukties uz proveniences ID, nevis nevajadzīgi saglabātiem pilniem lietotāju jautājumiem.

Arī aktualitāte paliek svarīga. Vecas, sen aizstātas pamatnostādnes nav tīši saindētas, taču tām var būt tāda pati ietekme. Raksts par zināšanu bāzu aktualitāti un Crawl-QA papildina drošības kontroles ar pārbaudes biežumu, atbildību un dzēšanas ceļiem.

Kontrolsaraksts drošai RAG datu uzņemšanai

• Vai katram avotam ir stabils ID, kanoniskā izcelsme, atbildīgā persona un uzticamības klase?
• Vai jaukkods, dokumenta versija, parsētājs, fragmentēšana un iegulšanas modelis tiek fiksēti kopā?
• Vai jauni vai būtiski mainīti avoti līdz pārbaudei paliek ārpus meklēšanas produkcijas vidē?
• Vai jauni domēni, trūkstoši paraksti vai neticamas satura izmaiņas izraisa karantīnu?
• Vai apstiprinātie indeksi tiek publicēti kā versionētas paaudzes ar atjaunojamu aizstājējvārdu (alias)?
• Vai reindeksācija pierādāmi dzēš aizstātos fragmentus, nevis tikai pievieno jaunus datus?
• Vai Golden Set pārbauda gan atbildes, gan gaidāmos un aizliegtos avotus?
• Vai pastāv drošs rezerves risinājums tēmām, kuru avoti incidenta laikā ir bloķēti?
• Vai lomas uzņemšanai, speciālistu apstiprinājumam, reaģēšanai uz incidentiem un atkārtotai publicēšanai ir nošķirtas?
• Vai pēc katra incidenta tiek dokumentēts, kura kontrole nenostrādāja un kurš regresijas tests tika pievienots?

Secinājums

RAG datu saindēšanu nevar novērst ar vienu uzvednes noteikumu. Aizsardzība rodas no pārbaudāmas zināšanu piegādes ķēdes: dokumentēt izcelsmi, pārbaudīt izmaiņas karantīnā, veikt indeksu versionēšanu, droši dzēst vecos atvasinājumus un testēt izgūšanu ar gaidāmajiem avotiem. Sāciet ar visriskantākajām dokumentu klasēm un nelielu Golden Set kopu. Pat šī kombinācija padara redzamu, kurš avots ir atbildes pamatā – un ļauj veikt mērķtiecīgu atgriešanu iepriekšējā stāvoklī, pirms kļūdains zināšanu stāvoklis kļūst par ilgstošu normu.

Avoti

• OWASP GenAI Security Project: LLM04:2025 Data and Model Poisoning
• NIST AI 600-1: Artificial Intelligence Risk Management Framework – Generative Artificial Intelligence Profile
• NIST AI 100-2: Adversarial Machine Learning – Taxonomy and Terminology of Attacks and Mitigations