RAG-vektormudeli vahetamine: tehisintellekti juturoboti migreerimine ilma teadmusaukudeta

Vektormudel ehk pesastusmudel (embedding model) töötab RAG-juturoboti taustal enamasti nähtamatult. See tõlgib küsimused ja teadmiste osad arvuvektoriteks, et leida semantiliselt sobivat sisu. Kuna see osa ilmub harva kasutajaliidesesse, võib mudelivahetus tunduda lihtsa konfiguratsioonimuudatusena. Tehniliselt tekib aga täiesti uus otsinguruum. Olemasolevad dokumendivektorid, uute küsimuste vektorid ja indeksimääratlus peavad taas omavahel kokku sobima.

Need, kes soovivad RAG-vektormudelit vahetada, ei tohiks lihtsalt päringutorustikus mudeli nime asendada. Turvaline vahetus käsitleb uut indeksit iseseisva versioonina: see ehitatakse reprodutseeritavalt, seda kontrollitakse samade testküsimustega, käitatakse esialgu paralleelselt ning aktiveeritakse alles pärast teadlikku kinnitamisotsust. Nii jääb veebisaidi juturobot kättesaadavaks, samal ajal kui meeskond hojab kvaliteeti, käitusaega, kulusid ja tagasiteed oma kontrolli all.

Miks vektorid ei ole suvaliselt asendatavad

Vektor on mõtekas ainult selles ruumis, kus see luuakse. Tehingu ametlik dokumentatsioon Azure AI Searchi vektoriindeksi loomise kohta kirjeldab indeksit kui sama mudeli vektoritest koosnevat ruumi. Samuti juhitakse seal tähelepanu sellele, et iga vektori dimensioon peab vastama välja määratlusele. Uuel mudelil võib olla teistsugune dimensioon, teistsugused keelelised tugevused või teistsugune semantiliste vahemaade jaotus.

Sama oluline on päringu pool. Vastavalt Microsofti dokumentatsioonile vektoriseerija konfigureerimise kohta peavad indekseerimine ja päring kasutama sama vektormudelit. Kui meeskond segab vanad dokumendivektorid uue mudeli küsimustega, ei ole sarnasusskoorid enam usaldusväärselt tõlgendatavad. Isegi kui dimensioon on juhuslikult identne, ei tõesta see semantilist ühilduvust.

Enne vahetust tuleb määratleda mõõdetav eesmärk

„Uuem“ ei ole piisav vastuvõtukriteerium. Enne esimest uuesti indekseerimist vajab meeskond migreerumiseks konkreetset põhjust. Kas otsingu kvaliteet eesti erialakeeles peab tõusma? Kas vajatakse täiendavaid keeli? Kas senine mudel on vananenud, liiga aeglane või liiga kallis? Või peaks väiksem vektorimõõde säästma mäluruumi? Eesmärgist tulenevad võrdlusmeetrikad.

• Kvaliteet: asjakohased allikad parimate (top-k) hulgas, vastatavate küsimuste osakaal ja lõpliku vastuse kvaliteet.
• Käitus: otsingulatentsus (retrieval latency), veamäär, indekseerimise kestus ja käitumine osaliste vigade korral.
• Kulud: kogu andmekogu vektoriseerimine, jooksvad muudatused, mälumaht ja päringud.
• Kaetvus: dokumendid, keeled, tooteversioonid ja pääsuõiguste alad uues indeksis.

Algväärtused kuuluvad samasse kontrolliaruandesse nagu kandidaadi tulemused. Kes juba hooldab selleks kuldkomplekti (Golden Set), saab aluseks võtta olemasoleva juhendi tehisintellekti juturoboti vastuste kvaliteedi mõõtmise kohaselt. Oluline on mitte võrrelda ainult keskmist skoori: kriitilised klienditoe küsimused, haruldased erialamõisted ja vastuseta jäänud juhtumid (no-result) väärivad eraldi hindamist.

Kaks indeksit toimiva süsteemi ümberehitamise asemel

Töökindel standard on paralleelindeks. Senine indeks jääb muutumatuks ja teenindab reaalset liiklust. Selle kõrvale luuakse uus kollektsioon või indeks oma mudelitunnuse, dimensiooni, kaugusmeetrika ja versiooninumbriga. Mõlemad ehitatakse üles samast kinnitatud allikaversioonist. See võimaldab omistada erinevused mudelile või indeksi konfiguratsioonile, selle asemel et võrrelda samal ajal muutuvaid sisusid.

Ametlik Weaviate'i juhend vektoriseerija vahetamiseks näitab selleks eraldi kollektsioone ja aliast kui tagasipööratavat ümberlülituspunkti. Konkreetne toode on asendatav; põhimõte jääb väärtuslikuks: eralda vanad ja uued vektorid puhtalt, suuna juurdepääs kontrollitud ruuteri või aliase kaudu ja säilita vana seis piiratud tagasipööramisperioodiks.

Stabiilsed identiteedid iga teadmiste osa jaoks

Iga lõige (chunk) vajab stabiilset sisulist ID-d, mis ei sõltu vektorist. Mõistlik on kombinatsioon allika ID-st, allika versioonist, lõigust ja tükeldusversioonist. Lisaks peaks iga andmekirje kandma mudeli nime, mudeli versiooni, dimensiooni, loomise aega ja vektoriseeritud teksti räsi. Nii saab torustik täpselt tuvastada, mis on juba töödeldud, mis tuleb uuesti vektoriseerida ja millised vead on veel lahendamata.

Uue torustiku reprodutseeritav fikseerimine

Enne suurt andmete uuesti laadimist (backfill) peaks väike esinduslik alamhulk läbima uue torustiku. Seejuures jäävad eraldamine, puhastamine ja RAG-tükeldamine (chunking) esialgu muutumatuks. Kui meeskond muudab samal ajal mudelit, tükelduspiire, metaandmeid ja järjestamist, on hilisemat kvaliteedierinevust peaaegu võimatu selgitada.

Konfiguratsioon kuulub versioonitud manifestina käivituse juurde: mudel ja pakkuja, dimensioon, normaliseerimine, kaugusmeetrika, partii suurus (batch size), uuestiproovimise reeglid, tükeldaja versioon, lubatud keeled ja vajalikud metaandmed. Juurdepääsuandmed sinna selgelt ei kuulu. Iga partii kohta salvestatakse ainult ID-d, loendurid, olek ja turvaline veakood. See võimaldab katkestatud käivitust jätkata ilma edukalt tehtud vektoriseerimisi kalli hinnaga kordamata.

Kontrollitud uuesti vektoriseerimine ja täielikkuse tõestamine

Uuesti indekseerimine on täielik alles siis, kui eeldatav ja tegelik andmekogu ühtivad. Suur dokumentide arv üksi ei piisa. Torustik peaks iga allika puhul kontrollima, kas kõik oodatud tükid on olemas, kas nende tekstiräsid vastavad kinnitatud allikaversioonile ja kas kõik kohustuslikud metaandmed võeti üle. Ebaõnnestunud andmekirjed liiguvad piiratud kordusjärjekorda; püsivad vead jäävad koos oma ID-ga nähtavaks ega tohi rohelise üldoleku taha kaduda.

1. Külmuta või märgista selgelt allikandmed ja versiooni fikseerimise kuupäev.
2. Loo uus indeksi struktuur sobiva dimensiooni ja meetrikaga.
3. Vektoriseeri ja kirjuta tükid piiratud, idempotentsete partiidena.
4. Võrdle dokumentide, tükkide ja metaandmete arvu oodatud andmekoguga.
5. Kontrolli valimit tekstiräsi, allika ID ja kättesaadava sisu põhjal.

Otsingu võrdlemine identsete küsimustega

Nüüd käitatakse samasid testküsimusi mõlema indeksiga. Lisaks tabamuse osakaalule ja positsioonile peaks meeskond võrdlema tegelikult tagastatud allikaid. Kas uus indeks on nihutanud ettepoole semantiliselt sarnased, kuid sisuliselt valed lõigud? Kas see kaotab täpsed tootekoodid? Kas eesti liitsõnu või mitmekeelseid küsimusi leitakse paremini? Olemasolev hübriidotsingu ja ümberjärjestamise (reranking) kontseptsioon peab olema mõlema kandidaadi jaoks konfigureeritud identselt, et võrdlus oleks õiglane.

Azure'i dokumentatsioon vektori asjakohasuse ja järjestamise kohta nimetab ammendavat k-lähima naabri otsingut võimalusena luua vertalonandmestik (ground truth) ligikaudse ANN-meetodi saagise (recall) hindamiseks. See ei ole universaalne lävepakk, vaid kasulik kontrolltest: kõigepealt täpne võrdlus, seejärel kiirem tootmisotsing. Juturoboti jaoks on täiendavalt oluline, kas leitud allikad võimaldavad anda korrektse ja tõendatud vastuse.

Kontrollida tuleb mitte ainult tabamusi, vaid valmis vastust

Parem järjestus otsingus ei garanteeri veel paremat juturoboti vastust. Seetõttu peaks võrdlus hõlmama ka allikaviiteid, täielikkust, lubatavat määramatust ja turvalist katkestamist ebapiisavate tõendite korral. Seejuures peavad vastusemudel, süsteemijuhis ja temperatuur jääma võimalikult konstantseks. Vastasel juhul mõõdab test mitut muudatust korraga.

Varipäringud (Shadow Reads) enne tegelikku üleminekut

Pärast võrguühenduseta (offline) testimist saab väikese osa reaalsetest, andmesäästlikult töödeldud otsingupäringutest suunata täiendavalt uue indeksini, ilma selle tulemust kasutajatele kuvamata. See varipäring (shadow read) mõõdab reaalset keelt, latentsust ja tulemusteta jäämise käitumist. Erandlik sisu, isikuandmed ja täielikud vestluslogid ei kuulu kontrollimata võrdluslogidesse. Sageli piisab pseudonümiseeritud päringuklassidest, tulemuste ID-dest ja tehnilistest mõõteväärtustest.

Lõplik üleminek (cutover) ise on väike, selgelt jälgitav muudatus: alias, ruuteri sihtkoht või funktsioonilipp (feature flag) vahetub indeksilt A indeksile B. Esimeses faasis kehtivad rangemad häirepiirid puuduvate allikate, otsinguvigade, latentsuse ja klienditoele ülekandmise määra (handoff rate) osas. Järkjärguline osakaal on mõistlik, kui arhitektuur toetab seda ilma sessiooniolekut segamata.

Tagasipööramise praktiline testimine enne ümberlülitamist

Tagasipööramise plaan on usaldusväärne ainult siis, kui vana indeks on endiselt piisavalt ajakohane ja tagasilülitamise tee on testitud. Paralleelfaasi ajal peaksid uued või muudetud allikad seetõttu voolama kontrollitult mõlemasse torustikku. Alternatiivina dokumenteerib meeskond lühikese muudatuspausi ja selge järelejõudmise. Olemasolev juhend intsidentidele reageerimise ja tagasipööramise kohta aitab määrata päästikud ja vastutused.

Tüüpilised tagasipööramise signaalid ei ole ainult tehnilised vead. Tagasipööramist õigustavad ka märkimisväärne langus oluliste top-k tabamuste hulgas, uued keeleaugud, ebatavaliselt palju vastamata küsimusi või valesti rakendatud juurdepääsufiltrid. Vana indeks eemaldatakse alles siis, kui vaatlusperiood on lõppenud, kustutamisnõusolek dokumenteeritud ja lahendamata kvaliteedierinevusi enam pole.

Sagedased vead vektormudeli migreerimisel

• Ainult päringu poole vahetamine: Uusi küsimusevektoreid võrreldakse vana dokumendiruumiga.
• Sama dimensiooni segamine ühilduvusega: Arvude pikkus ja semantiline ruum ei ole sama asi.
• Mitu muutuja muutmine korraga: Mudel, tükeldamine ja järjestamine muutuvad üheaegselt; efekti põhjus jääb ebaselgeks.
• Ainult keskmiste väärtuste vaatlemine: Haruldased, ärikriitilised ja mitmekeelsed küsimused kaovad keskmisnäitaja sisse.
• Liiga varajane puhastamine: Vana indeks kustutatakse enne, kui reaalne koormus ja kvaliteediandmed näitavad stabiilset toimimist.
• Filtrite unustamine: Keel, versioon ja juurdepääs ei kehti uues indeksis täpselt nii nagu vanas.

Praktiline kontrollnimekiri veebisaidi meeskondadele

• Eesmärk, algtase, vastuvõtukriteeriumid, kinnitav isik ja tagasipööramise signaal on dokumenteeritud.
• Vana ja uus indeks jäävad eraldatuks; mudel, dimensioon ja meetrika on üheselt versioonitud.
• Mõlemad indeksid pärinevad samast kinnitatud allika- ja tükeldusversioonist.
• Andmete laadimine (backfill) on idempotentne, jätkatav ja oodatud andmekogu suhtes kontrollitud.
• Kuldkomplekt (Golden Set), kriitilised küsimused, keeled, tulemuseta juhtumid ja juurdepääsufiltrid läbivad võrdluse.
• Varipäringud protokollivad ainult vajalikke tehnilisi andmeid.
• Üleminek ja tagasilülitamine on väikesed, jälgitavad ja praktikas testitud.
• Vana andmekogu kustutatakse alles pärast vaatlusperioodi ja dokumenteeritud kinnitust.

Kokkuvõte: Uus vektoriruum vajab omaette väljalaskeprotsessi

RAG-vektormudeli vahetamine on andmete ja kvaliteedi migratsioon, mitte pelgalt mudelilüliti vajutamine. Kes ehitab uue otsinguruumi eraldi üles, vektoriseerib andmed täielikult uuesti, võrdleb neid identsete küsimustega ja aktiveerib selle tagasipööratava ümberlülituspunkti kaudu, vähendam oluliselt katkestus- ja kvaliteediriske. Veebisaidi meeskondadele tasub ära lühike, taaskasutatav tegevusjuhend (runbook): tagada algtase, ehitada paralleelindeks, kontrollida otsingut ja vastuseid, jälgida varandmeid, lülituda kontrollitult ümber ja hoida tagasitee avatuna.

Kui teie tehisintellekti juturobot kasutab juba RAG-teadmiste baasi, ärge alustage migratsiooni mitte mudelist, vaid kontrolldandmestikust. Kümme kuni kakskümmend eriti olulist küsimuseklassi, mida täiendavad keerulised keele-, toote- ja õiguste juhtumid, teevad erinevuse näiliselt sobiva mudelivahetuse ja tõendatavalt turvalise väljalaske vahel.

Allikad

• Microsoft Learn: Create a vector index in Azure AI Search
• Microsoft Learn: Configure a vectorizer in Azure AI Search
• Microsoft Learn: Relevance in vector search
• Weaviate Documentation: Switching vectorizers