Menjava RAG vgradnega modela: migracija AI klepetalnika brez vrstelnih vrzel

Vgradni model (embedding model) večinoma deluje neopazno v ozadju RAG klepetalnika. Vprašanja in gradnike znanja pretvarja v številske vektorje, da se najdejo semantično ustrezne vsebine. Prav zato, ker se ta del redko pojavi na uporabniškem vmesniku, je sprememba modela videti kot majhna prilagoditev konfiguracije. Tehnično pa nastane nov iskalni prostor. Obstoječi dokumentni vektorji, vektorji novih vprašanj in definicija indeksa se morajo znova ujemati.

Kdor želi zamenjati RAG vgradne modele, ne bi smel preprosto zamenjati imena modela v cevovodu poizvedb. Varna zamenjava obravnava nov indeks kot samostojno različico: zgrajeno ponovljivo, preverjeno z istimi testnimi vprašanji, sprva upravljano vzporedno in aktivirano šele po zavestni odločitvi o odobritvi. Tako klepetalnik na spletnem mestu ostane dostopen, medtem ko ekipa obdrži nadzor nad kakovostjo, časom izvajanja, stroški in povratno potjo.

Zakaj vgradnje niso poljubno zamenljive

Vektor je smiseln le v prostoru, v katerem je bil ustvarjen. Uradna dokumentacija Azure AI Search za ustvarjanje vektorskega indeksa opisuje indeks kot prostor vgradnje vektorjev iz istega modela. Prav tako opozarja, da se mora dimenzija vsakega vektorja ujemati z definicijo polja. Nov model ima lahko drugačno dimenzijo, drugačne jezikovne prednosti ali drugačno porazdelitev semantičnih razdalj.

Eako pomembna je stran poizvedbe. Glede na Microsoftovo dokumentacijo o konfiguraciji vektorizatorja morata indeksiranje in poizvedba uporabljati isti vgradni model. Če ekipa meša stare dokumentne vektorje z vprašanji iz novega modela, ocen podobnosti ni več mogoče zanesljivo razlagati. Tudi če je dimenzija naključno enaka, to ne dokazuje semantične združljivosti.

Pred menjavo definirajte merljiv cilj

»Novejši« ni zadosten kriterij za prevzem. Pred prvim ponovnim indeksiranjem ekipa potrebuje konkreten razlog za migracijo. Ali naj se izboljša kakovost zadetkov v strokovnem jeziku? Ali so potrebni dodatni jeziki? Je dotedanji model opuščen, prepočasen ali predrag? Ali naj manjša dimenzija vektorja prihrani pomnilnik? Iz cilja izhajajo primerjalne metrike.

• Kakovost: ustrezni viri med prvimi k-zadetki, delež odgovorjenih vprašanj in kakovost končnega odgovora.
• Delovanje: zakasnitev pridobivanja (retrieval latency), stopnja napak, trajanje indeksiranja in obnašanje ob delnih napakah.
• Stroški: vgradnja celotne zbirke, tekoče spremembe, pomnilnik in poizvedbe.
• Pokritost: dokumenti, jeziki, različice izdelkov in področja dovoljenj v novem indeksu.

Izhodiščne vrednosti spadajo v isto poročilo o pregledu kot rezultati kandidata. Kdo za to že vzdržuje Golden Set, lahko uporabi obstoječi vodnik za merjenje kakovosti odgovorov AI klepetalnika kot osnovo. Pomembno je, da ne primerjate le povprečne ocene: kritična vprašanja podpore, redki strokovni izrazi in primeri brez rezultatov si zaslužijo lastne evalvacije.

Dva indeksa namesto preoblikovanja na delujočem sistemu

Robusten standard je vzporedni indeks. Dotedanji indeks ostane nespremenjen in streže prometu v živo. Poleg tega nastane nova zbirka ali nov indeks z lastno oznako modela, dimenzijo, metriko razdalje in številko različice. Oba se zgradita iz iste odobrene izvornice. S tem je mogoče razlike pripisati modelu ali konfiguraciji indeksa, namesto da bi primerjali vsebine, ki se spreminjajo hkrati.

Uradna navodila Weaviate za menjavo vektorizatorja prikazujejo ločene zbirke in alias kot povratno točko preklopa. Konkretni izdelek je zamenljiv; načelo ostaja dragoceno: stare in nove vgradnje čisto izolirati, dostop voditi preko nadzorovanega usmerjevalnika ali aliasa ter staro stanje obdržati za omejeno obdobje povratka.

Stabilne identitete za vsak gradnik znanja

Vsak kos (chunk) potrebuje stabilen poslovni ID, ki ni odvisen od vektorja. Smiselna je kombinacija ID-ja vira, različice vira, razdelka in različice kosa. Poleg tega naj vsak podatkovni zapis nosi ime modela, različico modela, dimenzijo, čas ustvarjanja in zgostitveno vrednost (hash) vgrajenega besedila. Tako lahko cevovod natančno prepozna, kaj je bilo že obdelano, kaj je treba znova vgraditi in katere napake so še odprte.

Ponovljivo določanje novega cevovoda

Pred velikim ponovnim polnjenjem (backfill) naj skozi nov cevovod steče majhn reprezentativen podskupina. Pri tem črpanje, čiščenje in RAG razdeljevanje (chunking) zaenkrat ostanejo nespremenjeni. Če ekipa hkrati spremeni model, meje kosov, podatke o podatkih (metapodatke) in razvrščanje, je kasnejšo razliko v kakovosti težko pojasniti.

Konfiguracija spada kot verziokazni manifest k zagonu: model in ponudnik, dimenzija, normalizacija, metrika razdalje, velikost serije, pravila za ponovne poskuse, različica razdeljevalnika, dovoljeni jeziki in potrebni metapodatki. Dostopni podatki izrecno ne spadajo zraven. Za vsako serijo se shranijo le ID-ji, števci, status in varna koda napake. S tem je mogoče prekinjen zagon nadaljevati, ne da bi drago ponavljali uspešne vgradnje.

Nadzorovano ponovno vgrajevanje in dokazovanje popolnosti

Ponovno indeksiranje je popolno šele, ko se ciljno in dejansko stanje ujemata. Visoko število dokumentov samo po sebi ne zadošča. Cevovod mora za vsak vir preveriti, ali so prisotni vsi pričakovani kosi, ali se njihove zgostitvene vrednosti besedila ujemajo z odobreno različico vira in ali so bili prevzeti vsi obvezni metapodatki. Neuspeli podatkovni zapisi gredo v omejeno vrsto za ponovitev; trajne napake ostanejo vidne s svojim ID-jem in ne smejo izginiti pod zelenim skupnim statusom.

1. Zamrznite ali jasno označite izvorni fond in presečni datum različice.
2. Ustvarite novo strukturo indeksa s ustrezno dimenzijo in metriko.
3. Vgradite in zapišite kose v omejenih, idempotentnih serijah.
4. Primerjajte število dokumentov, kosov in metapodatkov s ciljnim stanjem.
5. Preverite vzorec na podlagi zgostitvene vrednosti besedila, ID-ja vira in dostopne vsebine.

Primerjava pridobivanja z enakimi vprašanji

Zdaj se ista testna vprašanja izvedejo na obeh indeksih. Poleg stopnje zadetkov in položaja na lestvici naj ekipa primerja dejansko vrnjene vire. Ali je nov indeks na vrh potisnil semantično podobne, a strokovno napačne razdelke? Ali izgublja natančne kode izdelkov? Se nemške sestavljenke ali večjezična vprašanja najdejo bolje? Obstoječi koncept hibridnega iskanja in ponovnega razvrščanja (reranking) mora biti za oba kandidata konfiguriran enako, da primerjava ostane poštena.

Dokumentacija Azure o relevantnosti vektorjev in razvrščanju navaja izčrpno k-najbližjih sosedov iskanje kot možnost za izgradnjo referenčnega nabora (ground truth) za oceno priklica (recall) približnega postopka ANN. To ni univerzalna mejna vrednost, ampak koristen kontrolni test: najprej natančna referenca, nato hitrejše produkcijsko iskanje. Za klepetalnik dodatno šteje, ali najdeni viri omogočajo pravilen, podprt odgovor.

Preverjanje končnega odgovora, ne le zadetkov

Boljši rang pridobivanja še ne zagotavlja boljše odgovora klepetalnika. Zato mora primerjava zajemati tudi navezavo na vire, popolnost, dopustno negotovost in varno prekinitev ob nezadostnih dokazih. Pri tem ostanejo model odgovarjanja, sistemska navodila in temperatura čim bolj konstantni. Sicer test meri več sprememb hkrati.

Sledilna branja (shadow reads) pred pravim preklopom

Po testiranju brez povezave se lahko majhen delež realnih, podatkovno varčnih iskalnih poizvedb dodatno izvede na novem indeksu, ne da bi se rezultat prikazal uporabnikom. Ta shadow read meri realni jezik, zakasnitev in obnašanje brez rezultatov. Zasebne vsebine, osebni podatki in celotni poteki pogovorov ne spadajo nepreverjeno v primerjalne dnevnike. Pogosto zadoščajo psevdonimizirani razredi poizvedb, ID-ji rezultatov in tehnične merilne vrednosti.

Sam preklop (cutover) je majhna, jasno opazna sprememba: alias, cilj usmerjevalnika ali funkcijska zastavica (feature flag) se spremeni z indeksa A na indeks B. V prvi fazi veljajo strožje meje opozoril za manjkajoče vire, napake pridobivanja, zakasnitev in stopnjo predaje človeku (handoff rate). Postopni delež je smiseln, če ga arhitektura podpira brez pomešanih stanj sej.

Praktično testiranje povratka pred preklopom

Načrt povratka (rollback plan) je zanesljiv le, če je stari indeks še naprej dovolj posodobljen in je pot preklopa nazaj testirana. Med vzporedno fazo morajo zato novi ali spremenjeni viri nadzorovano teči v oba cevovoda. Alternativno ekipa dokumentira kratek zastoj sprememb in jasno naknadno uskladitev. Obstoječi vodnik za odzivanje na incidente in rollback pomaga določiti sprožilce in odgovornosti.

Tipični signali za preklop nazaj niso le tehnične napake. Tudi občuten padec pri pomembnih prvih k-zadetkih, nove jezikovne vrzel, nenavadno veliko neodgovorjenih vprašanj ali napačno uveljavljeni filtri dostopa upravičujejo vrnitev. Stari indeks se odstrani šele, ko se obdobje opazovanja konča, je odobritev izbrisa dokumentirana in ni več odprte nepojasnjene razlike v kakovosti.

Pogoste napake pri migraciji vgradnih modelov

• Menjava le na strani poizvedbe: Novi vektorji vprašanj se primerjajo s starim dokumentnim prostorom.
• Zamenjava enake dimenzije z združljivostjo: Dolžina števil in semantični prostor nista ista stvar.
• Spreminjanje več spremenljivk hkrati: Model, razdeljevanje in razvrščanje se spremenijo hkrati; vzrok učinka ostaja nejasen.
• Upoštevanje le povprečnih vrednosti: Redka, poslovno kritična in večjezična vprašanja izginejo v povprečju.
• Prehitro čiščenje: Stari indeks se izbriše, preden stvarna obremenitev in podatki o kakovosti pokažejo stabilno delovanje.
• Pozabljeni filtri: Jezik, različica in dostop v novem indeksu ne veljajo natančno tako kot v starejšem.

Praktični kontrolni seznam za spletne ekipe

• Cilj, izhodiščna vrednost, kriteriji prevzema, oseba za odobritev in signal za povratek so dokumentirani.
• Stari in novi indeks ostajata ločena; model, dimenzija in metrika so jasno verzionirani.
• Oba indeksa izvirata iz iste odobrene različice vira in kosa.
• Ponovno polnjenje je idempotentno, nadaljevano in preverjeno glede na ciljni fond.
• Golden Set, kritična vprašanja, jeziki, primeri brez rezultatov in filtri dostopa uspešno prestanejo primerjavo.
• Sledilna branja (shadow reads) beležijo le potrebne tehnične podatke.
• Preklop in vračanje sta majhna, opazna in praktično testirana.
• Stari fond se izbriše šele po obdobju opazovanja in dokumentirani odobritvi.

Zaključek: Nov vektorski prostor potrebuje lasten proces izdaje

Menjava RAG vgradnih modelov je migracija podatkov in kakovosti, ne le navadno stikalo za model. Kdor nov iskalni prostor zgradi ločeno, ga v celoti znova vgradi, primerja z enakimi vprašanji in aktivira preko povratne točke preklopa, bistveno zmanjša tveganja izpada in kakovosti. Za spletne ekipe je vreden kratek, ponovno uporaben proces: zavarovati izhodiščno vrednost, zgraditi vzporedni indeks, preveriti pridobivanje in odgovore, opazovati sledilne podatke, nadzorovano preklopiti in pustiti odprto pot nazaj.

Če vaš AI klepetalnik že uporablja RAG bazo znanja, ne začnite z migracijo, temveč s preizkusnim naborom podatkov. Deset do dvajset posebej pomembnih razredov vprašanj, dopolnjenih s težkimi jezikovnimi primeri, primeri izdelkov in dovoljenj, naredi razliko med verjetno menjavo modela in dokazljivo varno izdajo.

Viri

• Microsoft Learn: Create a vector index in Azure AI Search
• Microsoft Learn: Configure a vectorizer in Azure AI Search
• Microsoft Learn: Relevance in vector search
• Weaviate Documentation: Switching vectorizers