Filtri tal-metadejta RAG għal chatbots tal-IA: lingwa, verżjoni u aċċess

Chatbot tal-IA jista' jsib siltiet ta' test semantikament simili ħafna u xorta jħejji t-tweġiba żbaljata: l-istruzzjonijiet bl-Ingliż minflok dawk bil-Malti, id-dokumentazzjoni tal-verżjoni preċedenti minflok dik attwali, jew noti interni għal mistieden mingħajr awtorizzazzjoni. F'dak il-każ ir-ranking mhux neċessarjament ħażin. L-ispazju tat-tfittxija kien ħażin.

Filtri tal-metadejta għal RAG isolvu proprju din il-problema. Qabel jew matul it-tfittxija, huma jillimitaw liema dokumenti u chunks jistgħu jitqiesu bħala kuntest. Wara dan, ir-rilevanza twieġeb il-mistoqsija: „X'jaqbel l-aħjar fil-kontenut?“. Il-filtru l-ewwel iwieġeb: „X'jista' u għandu jitqies f'din is-sitwazzjoni?“.

Għaliex ix-xebh waħdu mhuwiex ambitu affidabbli

It-tfittxija vettorjali u ibrida tordna l-kontenut skont il-qrubija lingwistika jew semantika. Manwal għall-verżjoni 4 ta' prodott jista' jkun simili ħafna għal mistoqsija dwar il-verżjoni 5. Lista ta' prezzijiet għal suq ieħor jista' jkollha l-istess ismijiet ta' prodotti. U dokument intern tal-appoġġ jista' jipprovdi tweġiba aktar preċiża minn FAQ pubblika, għalkemm qatt ma għandu jidher f'chat pubbliku.

Għalhekk, ir-retriever għandu jżomm separati żewġ tipi ta' kundizzjonijiet:

• Limiti iebsin bħal tenant, rwol, status ta' pubblikazzjoni jew firxa ta' dejta permessa. Meta valur mhux magħruf, it-tfittxija għandha tibqa' magħluqa.
• Kriterji ta' għażla speċjalizzati bħal lingwa, familja ta' prodotti, verżjoni, reġjun jew perjodu ta' validità. Dawn iżidu l-preċiżjoni u jipprevjenu kuntest kontradittorju.

Il-ħarsa ġenerali attwali tal-OWASP għall-applikazzjonijiet LLM tpoġġi r-riskji tal-vetturi u tal-embeddings espliċitament fil-konfini ta' fiduċja ta' applikazzjoni tal-IA. Din hija perspettiva importanti: kontroll ta' awtentikazzjoni qabel iċ-chat mhuwiex biżżejjed jekk it-tfittxija sussegwenti bbażata fuq ix-xebh xorta taħdem fuq indiċi wiesa' wisq.

Skema ta' metadejta li taħdem fil-prattika

Filtri tajbin ma jibdewx b'query twila, iżda b'għadd żgħir ta' oqsma kanoniċi. Għal ħafna chatbots ta' websajts huma biżżejjed sitt gruppi:

• Lingwa u suq: pereżempju locale u market, b'valuri definiti b'mod fiss minflok test ħieles.
• Prodott u verżjoni: ID stabbli tal-prodott, firxa ta' verżjoni u, jekk meħtieġ, pjattaforma jew tariffa.
• Validità: status ta' approvazzjoni, validu minn, validu sa u verżjoni ċara tas-sors.
• Udjenza fil-mira: pubbliku, klijent, sieħeb jew tim intern – separata mill-verifika tar-rwol innifisha.
• Ambitu ta' aċċess: tenant, grupp jew principal, esklussivament minn kuntest tas-server ivverifikat.
• Oriġini: ID tas-sors, URL, tip ta' dokument u qasam tal-kontenut responsabbli għat-traċċabbiltà.

Il-metadejta tappartjeni fil-livell li fuqu ssir it-tfittxija. Jekk dokument jinqasam f'chunks, l-oqsma deċiżivi tal-ambitu għandhom jaslu b'mod affidabbli f'kull chunk. Inkella dokument jista' jkun ikklassifikat sew, filwaqt li hits individwali jitilfu din il-klassifikazzjoni. Il-dokumentazzjoni tal-OpenAI dwar File Search, pereżempju, turi kif l-attributi ta' fajl jintużaw għal filtri tal-metadejta. Il-referenza ta' Amazon Bedrock tiddokumenta operaturi ta' tqabbil, ta' listi u ta' meded għall-istess idea bażika.

Qatt tħalli mudell lingwistiku jawtorizza filtri

Mudell jista' jiddeduċi indikazzjonijiet bħall-lingwa jew ir-relazzjoni ma' prodott mill-mistoqsija. Madankollu, ma jistax jiddeċiedi għal liema tenant tappartjeni persuna jew liema rwol għandha. Dawn il-valuri għandhom jiġu mis-session, mis-sistema tal-identità u mir-regoli tan-negozju fuq is-server. Lanqas string ta' filtru ġġenerata mill-mudell ma għandha tintbagħat lis-servizz tat-tfittxija mingħajr verifika.

Fluss robust jidher hekk:

1. Is-server jawtentika t-talba u jiddetermina l-firxa ta' dejta permessa.
2. Regoli deterministiċi jistabbilixxu oqsma iebsin bħal tenant, rwol u status ta' pubblikazzjoni.
3. Karatteristiċi rikonoxxuti bħall-lingwa jew il-prodott jiġu vvalidati kontra valuri permessi.
4. Ir-retriever iwettaq biss struttura ta' filtru ttajpjata u parametrizzata.
5. L-applikazzjoni terġa' tivverifika li s-sorsi rritornati jappartjenu għall-ambitu mistenni.
6. Meta l-kuntest ikun nieqes jew kontradittorju, iċ-chatbot jistaqsi jew jagħti fallback sigur.

Id-dokumentazzjoni ta' Microsoft dwar Security Filters tagħmel distinzjoni utli: principal f'filtru huwa għall-ewwel biss valur. L-awtentikazzjoni u l-awtorizzazzjoni jridu jsiru b'mod affidabbli barra mill-espressjoni tat-tfittxija. Għall-portali tal-klijenti, l-artiklu tagħna dwar is-separazzjoni bejn chatbot tal-IA pubbliku u awtentikat jispjega aktar din il-konfini.

Pre-filter jew post-filter?

Il-pożizzjoni tal-filtru taffettwa l-kwalità u l-ħin ta' eżekuzzjoni. Pre-filter jillimita l-kandidati diġà waqt it-tfittxija vettorjali. Post-filter l-ewwel ifittex b'mod usa' u mbagħad ineħħi hits mhux permessi. Skont id-dokumentazzjoni ta' Azure dwar filtri vettorjali, il-post-filtering jista' jitlef riżultati xierqa b'filtri selettivi u k żgħir; il-pre-filtering jippreferi r-recall fil-parti permessa, iżda jista' jeħtieġ aktar kalkolu meta l-filtri jkunu stretti ħafna.

Għal limiti iebsin ta' aċċess, „l-ewwel fittex b'mod wiesa', imbagħad aħbi“ mhuwiex mudell bażiku xieraq. L-ambitu awtorizzat għandu jiġi infurzat ġewwa t-talba tat-tfittxija. Għal filtri purament speċjalizzati, tim jista' jkejjel il-varjanti pre u post. Mhux biss il-ħin medju tar-rispons jgħodd, iżda wkoll kemm-il darba hit permess li jeżisti jonqos minħabba l-ordni magħżula.

Il-filtri ma jissostitwixxux ir-ranking. Fi ħdan il-korpus permess, Hybrid Search u reranking xorta jistgħu jagħtu prijorità lill-aħjar sorsi. Għalhekk l-ordni hija: iddefinixxi l-ambitu, irkupra l-kandidati, evalwa r-rilevanza, ivverifika s-sorsi, iġġenera t-tweġiba.

Erba' każijiet tipiċi ta' filtri

Lingwa b'fallback intenzjonat

Għal mistoqsija bil-Ġermaniż, l-ewwel retrieval għandu jagħżel kontenut Ġermaniż approvat. Jekk ma jkunx hemm hit, l-applikazzjoni ma għandhiex tħallat diversi lingwi fis-skiet. It-tieni passaġġ espliċitu jista' jaqa' lura fuq lingwa bażi approvata u jsemmi dan fil-tweġiba. Locale QA għal bażijiet ta' għarfien multilingwi tivverifika wkoll jekk il-varjanti humiex tassew ekwivalenti fil-kontenut.

Verżjoni tal-prodott u validità fiż-żmien

Sors ma għandux jidher attwali biss għax ġie crawled l-aħħar. Il-verżjoni speċjalistika u l-approvazzjoni huma deċiżivi. Immarka l-kontenut b'ID tal-prodott stabbli, firxa ta' verżjoni, valid_from, valid_until u status. Meta jkun hemm approvazzjonijiet li jikkoinċidu, il-pipeline għandu jirrapporta kunflitt minflok ipoġġi ż-żewġ testi fl-istess prompt. Il-gwida dwar l-aġġornament tal-bażi ta' għarfien ta' chatbot tal-IA tiddeskrivi kif il-kadenza ta' crawl u l-manutenzjoni tas-sorsi jaħdmu flimkien.

Tenant u rwol

F'indiċi maqsum, kull retrieval għandu jinkludi t-tenant determinat fuq is-server u l-principals validi. Metadejta ACL nieqsa tfisser „ma jistax jiġi rkuprat“, mhux „pubbliku“. Wara bidla fir-rwol jew it-tneħħija ta' awtorizzazzjoni, test għandu juri li sessions qodma ma jibqgħux jirċievu chunks li kienu permessi qabel.

Appoġġ pubbliku u istruzzjoni interna tax-xogħol

Istruzzjoni interna ta' eskalazzjoni tista' taqbel perfettament fil-kontenut ma' mistoqsija ta' klijent. Dan ma jagħmilhiex sors permess. Żomm separati l-ambitu tal-pubblikazzjoni u t-tip ta' dokument; immarka kontenut mhux approvat bħala eskluż b'mod awtomatiku. Bot pubbliku għandu, f'każ ta' dubju, jgħaddi għal kuntatt jew handoff minflok jaħseb dettalji interni.

L-aktar żbalji komuni fl-implimentazzjoni

• Taksonomija b'test ħieles: valuri bħal de, DE u de-DE joħolqu tliet gruppi mhux mixtieqa.
• Default-open: chunks mingħajr rwol, status jew tenant jaslu f'kull spazju tat-tfittxija.
• Loġika Booleana żbaljata: OR bejn tenant u lingwa prattikament ineħħi l-limitu iebes.
• Drift bejn dokument u chunk: meta jsir reindex, metadejta ġdida ma tiġix ittrasferita lill-chunks kollha.
• Testijiet pożittivi biss: it-tim jiċċekkja jekk dokument permess jidhirx, iżda mhux jekk dokument ipprojbit li jinstema' simili huwiex nieqes b'mod sigur.
• Hits vojta bħala problema tal-mudell: filtru strett ma jagħti xejn u l-applikazzjoni tħalli l-mudell iwieġeb mingħajr sorsi.

Filter QA: ittestja mhux biss hits, iżda wkoll limiti

Sett ta' test utli fih mill-inqas kandidat oppost qrib għal kull tweġiba mistennija: lingwa żbaljata, verżjoni qadima, approvazzjoni skaduta, tenant ieħor jew udjenza interna. B'hekk it-test juri jekk il-filtru jaqsamx tassew il-kontenut u mhux biss ipoġġix b'kumbinazzjoni l-hit korrett fuq nett.

Metriċi importanti huma r-rata ta' ksur tal-ambitu, ir-recall fil-parti permessa, il-proporzjon ta' retrievals vojta, l-għadd ta' valuri tal-metadejta mhux magħrufa, il-latenza tal-filtru fil-95 perċentil, kif ukoll il-proporzjon ta' fallbacks u mistoqsijiet ta' kjarifika. Għal kontenut ristrett, ir-rata tollerata ta' ksur tal-ambitu għandha tkun żero. Il-NIST AI RMF Core jirrakkomanda li sistemi tal-IA jiġu ttestjati qabel l-użu u regolarment fl-operat, u li jiġu ddokumentati l-konfini tas-sigurtà, l-affidabbiltà u l-kuntest.

Għal dan, ma tilloggjax kontenut mhux meħtieġ jew mistoqsijiet sħaħ tal-utenti. Fil-biċċa l-kbira tal-każijiet huma biżżejjed il-verżjoni tal-filtru, ambitu astratt, għadd ta' kandidati, IDs tas-sorsi magħżula, raġuni għar-rifjut u r-riżultat tal-post-check. B'hekk it-tfittxija ta' żball tibqa' possibbli mingħajr ma tinħoloq tieni tnixxija ta' dejta fis-sistema tal-observability.

Lista ta' kontroll prattika qabel ir-rollout

1. Iddokumenta l-oqsma kanoniċi tal-metadejta, it-tipi tad-dejta, il-valuri permessi u s-sidien tagħhom.
2. Żomm separati l-limiti iebsin ta' aċċess mill-oqsma ta' għażla speċjalizzati.
3. Ittratta b'mod konsistenti valuri nieqsa rilevanti għas-sigurtà bħala mhux permessi.
4. Ibni filtri minn kuntest ta' server ivverifikat u parametrizza l-inputs.
5. Wara l-ingestion u l-chunking, aqra lura kampjuni tal-metadejta.
6. Ittestja każijiet pożittivi, negattivi, ta' limitu u ta' revoka kontra l-indiċi reali.
7. Kejjel l-imġiba ta' pre- u post-filter b'k realistiku u ambiti selettivi.
8. Mexxi riżultati vojta lejn mistoqsija ta' kjarifika, fallback sigur jew handoff uman.
9. Verżjona l-bidliet fil-filtri u rrolljahom flimkien ma' testijiet ta' regressjoni tar-retrieval.

Għalhekk, il-filtri tal-metadejta għal RAG huma aktar minn karatteristika ta' konvenjenza tat-tfittxija. Huma l-konnessjoni bejn il-mudell tal-kontenut, l-identità, l-aġġornament u l-kwalità tar-retrieval. Min jistabbilixxi l-ambitu b'mod deterministiku l-ewwel, jagħti lir-ranking u lill-mudell lingwistiku bażi ta' xogħol iżgħar, nadifa u verifikabbli.

Il-pass li jmiss: Agħżel mistoqsija reali ta' appoġġ u oħloq għaliha ħames sorsi opposti kważi xierqa b'lingwa, verżjoni u awtorizzazzjoni żbaljati. Il-filtru għandu jidħol fil-fluss taċ-chat produttiv biss meta l-ebda wieħed minnhom ma jaqbeż l-ambitu tar-retrieval permess.

Sorsi

• OpenAI: File Search u filtrazzjoni tal-metadejta
• Microsoft: Filtri fi queries vettorjali
• Microsoft: Mudell ta' Security Filter
• Amazon Bedrock: RetrievalFilter API
• NIST: AI Risk Management Framework Core
• OWASP: GenAI LLM Top 10 2026