Hibridno iskanje in preurejanje (Reranking) za AI klepetalnike: boljši rezultati RAG

Spletni klepetalniki redko odpovedo zato, ker baza znanja sploh ne bi vsebovala informacij. Pogosteje korak pridobivanja (retrieval) ne najde odseka, ki ustreza vprašanju in konkretnemu kontekstu. Obiskovalci uporabljajo imena izdelkov, sporočila o napakah in številke artiklov, obenem pa se izražajo tudi prosto: „Zakaj klepetalnik prikazuje napačen paket?“ ali „Ali lahko že poslano naročilo še spremenim?“ Za to mešanico niti samo iskanje po ključnih besedah niti samo vektorsko iskanje ne zadoščata kot splošna rešitev. Hibridno iskanje združuje oba signala, da RAG klepetalnik v svoj kontekst odgovora dobi zanesljivejše vire.

Iskanje po ključnih besedah in vektorsko iskanje opravljata različne naloge

Iskanje po ključnih besedah je močno, kadar se morajo besede ujemati natančno. To velja za številke naročil, oznake izdelkov, konkretna sporočila o napakah, imena pogodb ali različico, kot je „2.4“. Natančno in razumljivo lahko prikaže, zakaj se dokument ujema: iskana beseda je v naslovu, podnaslovu ali v samem odseku. Njegova pomanjkljivost se pokaže pri vsakdanjem jeziku, sinonimih in nepopolnih formulacijah. Vprašanje obiskovalca po „kopiji računa“ tako ne bo nujno našlo strani, ki govori le o „prenosu potrdila“.

Vektorsko iskanje dopolnjuje to vrzel. Vprašanje in vsebino predstavlja kot semantično bližino, zato lahko najde podobne namene, čeprav manjkajo enaki izrazi. To pomaga pri naravno formuliranih vprašanjih podpore, večjezičnih različicah in različnih poimenovanjih za isti postopek. Vendar semantična bližina sama po sebi ni prosta vstopnica: odsek je lahko po temi podoben, a se nanaša na drugo različico izdelka, drug trg ali poteklo pravilo. Zato preverjanje konteksta sodi v cevovod za pridobivanje podatkov (retrieval pipeline) in ne šele k jezikovnemu modelu.

Zakaj je hibridno iskanje smiselno izhodišče

Microsoft opisuje hibridno iskanje kot skupno poizvedbo s celotbesedilnim in vektorskim delom. Obe poizvedbi potekata vzporedno, njuna seznama rezultatov pa se nato združita. To je privlačno za spletna mesta podjetij, saj se ohranijo natančni izrazi, hkrati pa postanejo dosegljive sorodne, dobro formulirane vsebine. Klepetalniku obiskovalcem ni treba dati na izbiro med „tehničnim“ in „semantičnim“ iskanjem. Izbira poteka v ozadju in se lahko za vsa vprašanja preveri z istim procesom kakovosti.

Hibridno iskanje izboljša nabor kandidatov; ne ustvarja pa resnice. Klepetalnik sme uporabiti le vsebine, ki so odobrene za konkretno situacijo. Javno dostopne spletne strani, interni osnutki in zaščiteni podatki strank ne sodijo v skupen nekontroliran kontekst. Enako pomembno je jasno vedenje, ko ni na voljo ustreznih virov: dodatno vprašanje, povezava do kontaktne strani ali preusmeritev na človeka (Human Handoff) so varnejši od tekoče formulirane domneve.

Razumljiv RRF: združevanje uvrstitev

Rezultati (scores) celotbesedilnega in vektorskega iskanja imajo različne pomene in lestvice. Njihovo neposredno seštevanje ali izmišljanje fiksne mejne vrednosti pogosto vodi do nestabilnih rezultatov. Reciprocal Rank Fusion, s krajšavo RRF, zato deluje s pozicijo dokumenta na posameznem seznamu uvrstitev. Dokument, ki se na obeh seznamih pojavi visoko, prejme močan kombiniran signal. Dokument, ki je viden le na enem seznamu, se prav tako lahko upošteva, vendar ne more samodejno izrivati vseh drugih.

RRF ni čarobna privzeta vrednost in ne nadomestna formula za strokovna testiranja. Koliko kandidatov iz posameznega iskanja se prebije v fuzijo, kateri filtri se uporabijo prej in kdaj velja rezultat za sploh uporabnega, je odvisno od vsebine in tveganja. Za pogosta vprašanja o izdelkih je lahko smiselno majhno, osredotočeno okno. Za kompleksna navodila ali diagnostiko napak bo morda potrebnih več kandidatov. Ključno je, da spremembo primerjate z resničnimi vprašanji glede na testni nabor, namesto da prevzamete univerzalni parameter iz nekega primera.

Semantično preurejanje (Reranking) kot druga, omejena stopnja

Po dobri predizbiri lahko preurejevalnik (reranker) ožji nabor kandidatov še enkrat oceni glede na celotno vprašanje. Microsoft uvršča semantično razvrščanje kot sekundarno razvrščanje nad že predhodno uvrščenim seznamom rezultatov. Amazon Bedrock opisuje preurejanje ustrezno kot ocenjevanje besedilnih dokumentov glede na njihovo relevantnost za poizvedbo. Ta druga stopnja je primerna za vprašanja z več pogoji: na primer, ali je sprememba paketa možna po tem, ko je bilo naročilo že poslano in obstaja določena vrsta pogodbe.

Preurejanje je treba zavestno omejiti. Povzroča dodatno zakasnitev (latenco) in je lahko, odvisno od storitve, plačljivo. Zato preurejevalniku ne predajte celotne baze znanja, temveč le že filtriran in združen vrh nabora (top-k). Določite časovni okvir (časovni budget) in rezervni scenarij (fallback). Če je časovni okvir presežen, lahko klepetalnik na primer prikaže najbolj zanesljiv seznam virov, prosi za pojasnilo ali pogovor preda ekipi za podporo. Preurejevalnik ne bo popravil zastarelih, manjkajočih ali neodobrenih vsebin.

Filtri metapodatkov ščitijo kontekst

Metapodatki pogosto močneje odločajo o kakovosti odgovora kot še ena dodatna možnost modela. Za vsak vir vzdržujte vsaj jezik, izdelek ali storitev, različico, trg, ciljno skupino in veljavnost, kolikor so ti podatki pomembni za uporabo. Filter za pravega uporabnika ali področje dovoljenj mora delovati pred izpisom. Pri javnem spletnem mestu lahko klepetalnik pridobi le javne vsebine; za prijavljeno področje veljajo dodatna preverljiva dovoljenja.

Tudi čas je vprašanje metapodatkov. Ceniki, dobavni pogoji in navodila morajo imeti jasen datum posodobitve ali nadzorovan status veljavnosti. Če vir ni več zanesljiv, ga je treba odstraniti iz indeksa ali premakniti v ločeno pot za preverjanje. Filtri morajo odražati zahteve, ki so obiskovalcem razumljive, ne pa na skrivaj manipulirati z vrstnim redom. Zato dokumentirajte, kateri filtri veljajo za katero vrsto vprašanj in kako ekipa preverja spremembe.

Konkreten cevovod od poizvedbe do konteksta

1. Normalizacija vprašanja: Prepoznajte jezik in očitni kontekst, ne da bi po nepotrebnem shranjevali ali spreminjali osebne podatke.
2. Preverjanje dostopa in metapodatkov: Pred pridobivanjem (retrieval) določite, kateri viri so dovoljeni za izdelek, trg, vlogo in obdobje veljavnosti.
3. Vzporedno pridobivanje: Izvedite celotbesedilno in vektorsko iskanje nad istim naborom dovoljenih virov.
4. Združevanje uvrstitev: Združite sezname z RRF in za vsakega kandidata ohranite izvirne signale za odpravljanje napak (debugging).
5. Omejeno preurejanje (Reranking): Oceno relevantnosti izvedite le na majhnem vrhunskem naboru in izmerite zakasnitev.
6. Zavarovanje konteksta: Preverite dvojnike, status virov in ustrezno dolžino, preden se odseki predajo modelu za odgovor.
7. Odgovor z omejitvijo: Navedite vire, označite negotovost in po potrebi uporabite varno preusmeritev.

Praktični primer: status pošiljanja in sprememba paketa

Predpostavimo, da obiskovalec vpraša: „Ali lahko še spremenim svoj paket, čeprav je paket že na poti?“ Iskanje po ključnih besedah bo morda našlo stran o „spremembi paketa“ in članek podpore z vsebino „paket na poti“. Vektorsko iskanje najde vodič, ki postopek opisuje kot spremembo po pošiljanju. RRF na vrh prinese dokumente, ki združujejo oba vidika. Preurejevalnik lahko nato preveri, ali ustrezni odsek res vsebuje kombinacijo paketa in pošiljanja.

Pred odgovorom filtrirate glede na zadevni trg, linijo izdelkov in trenutni status veljavnosti. Če so viri protislovni ali manjkajo potrebne podrobnosti, klepetalnik ne bi smel sklepati iz podobnih primerov. Transparentno lahko pove, kateri pogoj je še odprt, in obiskovalca usmeri k ustrezni, preverjeni kontaktni možnosti. Tako pogovor ostane koristen, ne da bi si izmišljevali nekrite obljube.

Primeri brez rezultatov (No-result) in odpravljanje napak pri ocenah

Primer brez rezultatov je pogosto signal za vrzel v znanju, ne pa za pokvarjeno iskanje. Zato razlikujte vsaj štiri primere: ni dovoljenega vira, viri obstajajo, vendar ni dovolj ustreznega zadetka, vprašanje je dvoumno ali pa tehnična napaka preprečuje pridobivanje. Vsak primer potrebuje svoj, razumljiv odziv. „O tem v odobrenih informacijah ne najdem zanesljivega odgovora“ je bolj pošteno kot generičen stavek brez naslednjega koraka.

Za odpravljanje napak samo končne ocene ne zadoščajo. Za vsako testno vprašanje bi morale ekipe videti, kateri filtri so delovali, kateri dokumenti so prišli iz iskanja po ključnih besedah in vektorskega iskanja, kako so se združili in ali je preurejanje spremenilo vrstni red. Pri tem shranjujte le podatke, ki so potrebni za kakovost in pripravljeni na način, ki varuje podatke. Iščite vzorce: ali manjkajo določeni sinonimi? Ali star vir prekriva nove vsebine? Ali določena lokalizacija odstopa od logike metapodatkov? Šele konkreten vzrok odloča, ali je treba spremeniti razdeljevanje (chunking), metapodatke, vzdrževanje virov ali razvrščanje.

Testni nabor, metrike in proračun stroškov

Majhen Golden Set s 30 do 50 realističnimi vprašanji je dober začetek. Za vsako vprašanje določite pričakovane vire, nedovoljene vire in želeni odziv pri manjkajočem znanju. Ločeno izmerite, ali je pravi vir med kandidati, ali je uvrščen dovolj visoko in ali končni odgovor uporablja le dokazane informacije. Namerno dodajte tipkarske napake, natančne izraze, naravne formulacije, večjezičnost in kritične negativne primere.

Za vsak testni zagon spremenite le eno spremenljivko: filter, število kandidatov, globino preurejanja ali strukturo odsekov (chunkov). Zapišite si tudi čas odgovora in število zunanjih klicateljev modela. Višja vrednost relevantnosti je lahko neuporabna, če odgovor pride prepozno ali če narastejo stroški za pogosta standardna vprašanja. Zato določite proračun za latenco in stroške za vsako vrsto vprašanj. Hitri, dobro dokazani standardni odgovori in konzervativne preusmeritve so za mnoga spletna mesta dragocenejši od maksimalno kompleksnega razvrščanja.

Tipične napake pri uvajanju

• Neposredno primerjanje surovih ocen ključnih besed in vektorjev, čeprav njune lestvice niso enake.
• Indeksiranje osnutkov, starih cenikov ali zaščitenih vsebin brez filtrov za status in dovoljenja.
• Uporaba preurejanja na preveč kandidatih, s čimer se zakasnitev in stroški ne morejo nadzorovati.
• Obravnavanje predstavitve (demo) z nekaj dobrimi vprašanji kot zadostnega dokaza o kakovosti.
• Generiranje verjetnega odgovora ob manjkajočem viru namesto predvidevanja negotovosti, dodatnega vprašanja ali preusmeritve na človeka.
• Nespremljanje različic sprememb na virih, razdeljevanju in razvrščanju, zaradi česar jih kasneje ni mogoče pojasniti.

Kontrolni seznam za uvajanje

• Določite dovoljene vire in meje dovoljenj pred indeksiranjem.
• Vzdržujte metapodatke za jezik, izdelek, različico, trg in veljavnost.
• Vzporedno izvedite celotbesedilno in vektorsko iskanje, nato jih združite s pomočjo RRF.
• Preurejanje (Reranking) uporabite le za majhen, dovoljen nabor kandidatov.
• V testnem naboru ocenite povezave do virov, odgovore brez rezultatov in preusmeritev na človeka.
• Za vsako spremembo izmerite zakasnitev, stroške in kritične napačne odgovore.

Zaključek

Hibridno iskanje je robustno izhodišče za spletne klepetalnike z različnimi oblikami vprašanj. Iskanje po ključnih besedah ohranja natančne signale, vektorsko iskanje odpira podobne namene, RRF združuje njune sezname uvrstitev, omejen preurejevalnik pa lahko izboljša ožji izbor. Trajnostni dobiček pri kakovosti pa nastane z urejenimi viri, ustreznimi metapodatki, razumljivimi testi in logiko odgovarjanja, ki odkritosrčno priznava svoje meje. Tako pridobivanje podatkov (retrieval) postane preverljivo in ne le tehnično impresivno.

Viri in nadaljnja navodila

• Microsoft Learn: Hybrid Search
• Microsoft Learn: Relevantnost in RRF pri hibridnem iskanju
• Microsoft Learn: Semantic Ranking
• Amazon Bedrock: Reranking
• ChatReact: RAG-Chunking za AI klepetalnike
• ChatReact: Testiranje kakovosti odgovorov z Golden Setom
• ChatReact: Ohranjanje aktualnosti baze znanja