Preprečevanje zastrupitve podatkov RAG: Provenienca virov, karantena in testi reindeksiranja

Spletni klepetalnik lahko ponudi vljuden, jezikovno prepričljiv in tehnično pravilno ustvarjen odgovor – in kljub temu deluje na zastrupljeni bazi znanja. Pri zastrupitvi podatkov RAG se ne manipulira primarno s formulacijo posamezne poizvedbe. Namesto tega v trajno podatkovno verigo vstopijo napačne, popačene ali nezadostno preverjene vsebine: vir, parser, kos (chunk), metapodatki, vgradnja (embedding) in na koncu produkcijski indeks pridobivanja. Napaka tako ostane prisotna skozi več sej in lahko vpliva tudi na običajna vprašanja.

Učinkovita zaščita se zato začne dolgo pred pozivom (promptom). Ekipe morajo za vsak gradnik znanja znati odgovoriti: Od kod izvira, kdo je odgovoren, katera različica je bila obdelana, katere transformacije so se izvedle in s katerim preverjanjem je bil odobren za iskanje? Provenienca virov zagotavlja to sled. Tehnično ločena karantena lahko prepreči, da bi nepreverjene spremembe postale takoj dostopne. Ciljni testi reindeksiranja nato preverijo, ali so očiščene vsebine dejansko nadomestile stare kose.

Kaj je zastrupitev podatkov RAG – in kaj ni

Klasifikacija OWASP LLM04:2025 za zastrupitev podatkov in modelov (Data and Model Poisoning) opisuje manipulacije podatkov predhodnega usposabljanja, finega nastavljanja ali vgradnje kot tveganje za celovitost. Za spletni klepetalnik je še posebej oprijemljiva zadnja različica: dokument se sprejme in razdeli na odseke; ti kosi se vgradijo in shranijo kot vektorji v indeksu pridobivanja. Če se ta dokument namerno ali nenamerno popači, se lahko ob ustreznih vprašanjih pojavi kot na videz relevantna podlaga.

Tveganja je treba razlikovati, vendar se lahko prekrivajo: vbrizgavanje pozivov (Prompt Injection) poskuša med delovanjem vnesti navodila ali podatke tako, da sistem spremeni svoje predvideno vedenje; posredno vbrizgavanje pozivov lahko pri tem v kontekst vstopi tudi preko pridobljenih dokumentov. Zastrupitev podatkov po drugi strani spremeni dolgotrajnejši nabor znanja ali njegove izpeljanke. Tudi pravice dostopa rešujejo drugačen problem: določajo, katera oseba sme videti dokument. Provenienca in odobritev pa določata, ali naj ta dokument vstopi v indeks kot zaupanja vreden vir znanja. V robustni arhitekturi vsa tri tveganja potrebujejo lastne kontrole in usklajene prehode.

Napadalna površina se razprostira po celotni podatkovni verigi

Indeks RAG redko nastane iz ene same, ročno preverjene zbirke. Spletni pajki berejo spletne strani, priključki sinhronizirajo oblačne mape, uporabniki nalagajo datoteke, vmesniki pa uvažajo podatke o izdelkih. Poleg tega so tu še parserji, OCR, čiščenje jezika, razdeljevanje na kose (chunking) in obogatitev z metapodatki. Vsaka stopnja lahko prevzame napačne vsebine ali pa prvotno pravilno izjavo iztrga iz njenega konteksta.

Tipični vzroki so kompromitiran izvorni sistem, na novo povezani zrcalni dokument, nenamerno objavljena osnutna datoteka, napačno dodeljen naročnik ali posodobitev parserja, ki vrednosti v tabeli dodeli napačnim naslovom. Primerjava kriptografskega zgoščenega odtisa (hash) vsebine z zaupanja vredno referenčno vrednostjo lahko zazna odstopanja; ujemajoči se zgoščeni odtis pa ne dokazuje niti resničnosti, niti posodobljenosti, niti odobritve vsebine.

Provenienca kot preverljiv nabor podatkov

Vsakemu dokumentu in vsakemu iz njega izpeljanemu kosu bi moral pripadati zapis o provenienci. Praktično uporabni so vsaj stabilen ID vira, kanonični izvorni URL, odgovorni lastnik, čas zajema, različica dokumenta, zgoščeni odtis vsebine, status odobritve, razred zaupanja, različica parserja, različica razdeljevanja na kose, model vgradnje in generacija indeksa. Pri ročnih nalaganjih se dodata še vloga osebe, ki nalaga, in preverjena licenca. Pri sinhroniziranih sistemih je pomembno tudi, preko katerega preverjenega priključka je datoteka prispela.

Dokument NIST AI 600-1 Generative AI Profile obravnava provenienco vsebin (Content Provenance), sledljivo dokumentacijo ter teste in evalvacije kot pomembne gradnike upravljanja tveganj generativne umetne inteligence. Preneseno na sisteme RAG to pomeni: ne šteje le trenutni indeks. V operativno dokumentacijo sodi tudi sledljivo razmerje med revizijo vira, obdelovalnim zagonom in objavljeno generacijo indeksa.

Karantena ločuje vnos in objavo

Osrednji arhitekturni gradnik je dosledna ločitev: nove ali spremenjene vsebine ne postanejo takoj iskalne. Najprej pristanejo v območju za vnos. Tam cevovod (pipeline) preveri izvor, vrsto datoteke, velikost, podpis ali pričakovani zgoščeni odtis, dovoljenega naročnika, popolnost metapodatkov in obseg sprememb. Šele nato se besedilo in kosi ustvarijo v neprodukcijski generaciji indeksa.

Pravila morajo temeljiti na tveganju. Sprememba na preverjeni strani s pogostimi vprašanji (FAQ), za katero je interno odgovorna znana oseba, se lahko po samodejnih testih odobri. Nova domena, nenavadno obsežna sprememba besedila, neznan lastnik datoteke ali vir brez odgovorne osebe pa sprožijo karanteno in ročno preverjanje. Če manjka obvezna informacija, velja pravilo "fail closed": stara, potrjena generacija ostane aktivna; novo stanje se ne objavi tiho.

Odobritev kot nespremenljiva generacija indeksa

Po preverjanju se produkcijski indeks ne prepisuje postopoma. Boljša je nova, verzionirana generacija z manifestom: pričakovani dokumenti, pričakovani kosi, zgoščeni odtisi virov, različice transformacij in časovni žigi. Šele ko so testi uspešni (zeleni), vzdevek (alias) ali usmerjevalna konfiguracija atomarno preklopi na to generacijo. Prejšnja generacija ostane na voljo za ponastavitev (rollback) za omejeno, določeno obdobje.

Postopek je podoben nadzorovani migraciji. Naš prispevek o zamenjavi modela vgradnje RAG prikazuje, zakaj so vzporedne generacije indeksov in primerjalni testi koristni tudi pri tehničnih spremembah. Pri sumu na zastrupitev se poleg tega postavi varnostno vprašanje: Katero revizijo vira in katere izpeljane kose je treba blokirati?

Fiktivni primer: Napačen rok za vračilo doseže podpornega klepetalnika

Predpostavimo, da trgovec upravlja klepetalnik za vprašanja o izdelkih in storitvah. Baza znanja vsako noč sinhronizira uradni center za pomoč in nekaj odobrenih portalov proizvajalcev. Po spremembi povezave pa priključek sledi preusmeritvi na neodobreno zrcalno stran. Tam je v vizualno verodostojni datoteki PDF naveden rok za vračilo 90 namesto 30 dni. Datoteka se razdeli na kose; več odsekov pristane v indeksu z visoko semantično podobnostjo.

Naslednje jutro bot pri vprašanjih o vračilu obljublja napačen rok. Jezikovni model ni bil preprogramiran in uporabniki niso vnesli škodljivih navodil. Pridobivanje je preprosto dostavilo napačno podlago. Nadzor sproži alarm, ker se nova domena prvič pojavi kot vir odgovora in test z zlato zbirko (Golden Set) za rok vračila odstopa od pričakovanega dokaza.

Nadzorovana karantena in ponovni zagon

1. Ekipa zaustavi le prizadeti vir vnosa in zamrzne trenutno generacijo indeksa za nadaljnje spremembe.
2. Sumljivi ID dokumenta, vsi iz njega izpeljani ID-ji kosov in njihovi zadetki v odgovorih se zabeležijo v incidentu.
3. Zrcalna domena se blokira, njeni kosi pa se premaknejo v karanteno. Za vprašanja o roku vračila bot začasno ponudi varno opozorilo s povezavo na človeško podporo ali potrjeno stran s pravili.
4. Vzdevek (alias) se ponastavi na zadnjo dokazljivo čisto generacijo indeksa. Pri tem ostanejo druga, neprizadeta področja znanja dostopna.
5. Priključek se omeji na kanonični vir. Nato cevovod zgradi novo generacijo iz potrjenega manifesta.
6. Šele po testih reindeksiranja in strokovni odobritvi gre ta generacija v produkcijo.

To zaporedje omeji škodo, ne da bi prehitro izklopili celoten klepetalnik. Ključna je povezava med podatki o izvoru in izpeljankami: Brez dodelitve dokumenta kosom ne bi bilo jasno, katere vektorje je treba odstraniti.

Testi reindeksiranja morajo pokazati več kot le uspešen cevovod

Zeleno stanje opravila dokazuje le, da se je postopek tehnično zaključil. Ne dokazuje niti, da so stari kosi izginili, niti da pri realističnih vprašanjih zmagajo pravi viri. Robusten paket testov zato preverja stanje, pridobivanje in vedenje odgovorov.

1. Preverjanje manifesta in izbrisa

Primerjajte novo generacijo z odobrenim manifestom. Vsaka pričakovana različica dokumenta mora biti prisotna; blokirani ID-ji dokumentov in kosov se ne smejo pojaviti. Posebej pomembni so "nadgrobniki" (tombstones) za izbrisane ali nadomeščene vsebine. Zgolj dodajanje novih vgradenj bi sicer pustilo stare, zastrupljene zadetke še naprej v indeksu.

2. Testi pridobivanja s pričakovanimi viri

Za kritična vprašanja pričakovano besedilo odgovora ne zadošča. Dodatno določite dovoljene in prepovedane ID-je virov, najmanjše število zadetkov in pogoje izključitve. Rok za vračilo mora na primer izvirati iz kanoničnih pravil; zrcalna domena pod karanteno se ne sme pojaviti niti med najboljšimi zadetki niti v kontekstu modela. Kako se strukturirajo takšni testni nabori, pojasnjuje prispevek o kakovosti odgovorov z zlato zbirko in testi RAG.

3. Negativni testi in testi manipulacije

V izoliranem testnem okolju lahko ekipe vnesejo jasno označen, neodobren testni vir. Cevovod ga mora zadržati v karanteni; iskanje, podobno produkcijskemu, ga ne sme pridobiti. Dodatno se testirajo nenavadne spremembe domen, manjkajoči lastniki, ekstremne razlike v vsebini in protislovni podatki o datumih. Prispevek NIST AI 100-2 o nasprotniškem strojnem učenju (Adversarial Machine Learning) razvršča zastrupitev kot kategorijo napada v svoji taksonomiji in poudarja, da je treba nasprotne ukrepe in njihove meje obravnavati sistematično.

4. Primerjava pred preklopom in po njem

Izvedite ista vprašanja na zadnji čisti in novi generaciji. Primerjajte vire zadetkov, vrstni red, dokaze odgovorov, stopnjo neodgovorjenih vprašanj (no-answer rate) in strokovno oceno. Majhen kanarčkov delež (canary deployment) lahko zagotovi dodatne produkcijske signale, dokler uporabniki nimajo dostopa do nepreverjenih virov. Produkcijski preklop se izvede šele, ko so doseženi določeni varnostni in kakovostni pragovi.

Nadzor: Zgodnje prepoznavanje odstopanj

Ne spremljajte le ocen odgovorov. Zgovorni kazalniki so nove ali redke izvorne domene, delež nepreverjenih virov v toku vnosa, nenavadne velikosti dokumentov, močne razlike v zgoščenih odtisih ali besedilu, veliko novih kosov posameznega lastnika, spremembe najboljših virov v zlati zbirki in odgovori brez potrjenega dokaza. Metrike naj se sklicujejo na ID-je provenience, ne pa na nepotrebno shranjena celotna vprašanja uporabnikov.

Tudi posodobljenost ostaja relevantna. Stara, davno nadomeščena smernica ni namerno zastrupljena, vendar lahko ima enak učinek. Prispevek o posodobljenosti baz znanja in preverjanju kakovosti zajema (Crawl QA) dopolnjuje varnostne kontrole s kadenco, odgovornostjo in potmi izbrisa.

Kontrolni seznam za varen vnos RAG

• Ali ima vsak vir stabilen ID, kanonični izvor, odgovorno osebo in razred zaupanja?
• Ali se zgoščeni odtis, različica dokumenta, parser, razdeljevanje na kose in model vgradnje beležijo skupaj?
• Ali novi ali močno spremenjeni viri ostanejo zunaj produkcijskega iskanja do preverjanja?
• Ali nove domene, manjkajoči podpisi ali malo verjetne spremembe vsebine sprožijo karanteno?
• Ali se odobreni indeksi objavljajo kot verzionirane generacije z vzdevkom, ki ga je mogoče ponastaviti?
• Ali reindeksiranje dokazljivo odstrani nadomeščene kose, namesto da bi le dodajalo nove podatke?
• Ali zlata zbirka preverja tako odgovore kot tudi pričakovane in prepovedane vire?
• Ali obstaja varna rezervna možnost (fallback) za teme, katerih viri so med incidentom blokirani?
• Ali so vloge za vnos, strokovno odobritev, odziv na incidente in ponovno objavo jasno ločene?
• Ali se po vsakem incidentu dokumentira, katera kontrola je odpovedala in kateri regresijski test je bil dodan?

Zaključek

Zastrupitve podatkov RAG ni mogoče odpraviti z enim samim pravilom poziva (prompt rule). Zaščita izhaja iz preverljive verige dobave znanja: dokumentirajte izvor, preverite spremembe v karanteni, verzionirajte indekse, varno odstranite stare izpeljanke in testirajte pridobivanje s pričakovanimi viri. Začnite z najbolj tveganimi razredi dokumentov in majhno zlato zbirko. Že ta kombinacija razkrije, kateri vir nosi odgovor – in omogoča ciljno povrnitev, preden napačno stanje znanja postane trajna norma.

Viri

• OWASP GenAI Security Project: LLM04:2025 Data and Model Poisoning
• NIST AI 600-1: Artificial Intelligence Risk Management Framework – Generative Artificial Intelligence Profile
• NIST AI 100-2: Adversarial Machine Learning – Taxonomy and Terminology of Attacks and Mitigations