Hibridno pretraživanje i ponovno rangiranje za AI chatbotove: bolji RAG pogoci

Chatbotovi na web stranicama rijetko otkazuju zbog toga što baza znanja uopće ne sadrži informacije. Češće korak dohvaćanja (retrieval) ne pronalazi odlomak koji odgovara pitanju i konkretnom kontekstu. Posjetitelji koriste nazive proizvoda, poruke o pogreškama i brojeve artikala, ali formuliraju i slobodno: „Zašto chatbot prikazuje pogrešnu tarifu?“ ili „Mogu li još promijeniti već poslanu narudžbu?“ Za ovu mješavinu niti čisto pretraživanje po ključnim riječima niti čisto vektorsko pretraživanje nisu dovoljno paušalno rješenje. Hibridno pretraživanje (Hybrid Search) spaja oba signala kako bi RAG chatbot u svoj kontekst odgovora dobio pouzdanije izvore.

Pretraživanje po ključnim riječima i vektorsko pretraživanje ispunjavaju različite zadatke

Pretraživanje po ključnim riječima (Keyword Search) iznimno je snažno kada se riječi moraju pojaviti točno. To vrijedi za brojeve narudžbi, nazive proizvoda, konkretne poruke o pogreškama, nazive ugovora ili verzije poput „2.4“. Ono može razumljivo pokazati zašto dokument odgovara: tražena riječ nalazi se u naslovu, u podnaslovu ili u odlomku. Njegova se slabost pokazuje kod svakodnevnog govora, sinonima i nepotpunih formulacija. Pitanje posjetitelja za „kopiju računa“ tada ne mora nužno pronaći stranicu koja govori samo o „preuzimanju potvrde“.

Vektorsko pretraživanje nadopunjuje tu prazninu. Ono predstavlja pitanje i sadržaj kao semantičku blizinu i stoga može pronaći slične upite iako nedostaju isti pojmovi. To pomaže kod prirodno formuliranih pitanja podršci, višejezičnih varijanti i različitih naziva za isti postupak. Međutim, semantička blizina sama po sebi nije besplatna ulaznica: odlomak može biti sličan temi, ali se odnositi na drugu verziju proizvoda, drugo tržište ili isteklo pravilo. Upravo zato provjera konteksta spada u retrieval cjevovod (pipeline), a ne tek u jezični model.

Zašto je hibridno pretraživanje smislena početna točka

Microsoft opisuje Hybrid Search kao zajednički upit s dijelom za cijeli tekst (full-text) i vektorskim dijelom. Oba se upita izvode paralelno, a njihovi se popisi rezultata zatim spajaju. To je privlačno za web stranice tvrtki jer točni pojmovi ostaju sačuvani, dok istovremeno srodni, dobro formulirani sadržaji postaju dostupni. Chatbot ne mora tražiti od posjetitelja da biraju između „tehničkog“ i „semantičkog“ pretraživanja. Odabir se odvija u pozadini i može se provjeriti za sva pitanja istim procesom kvalitete.

Hybrid Search poboljšava skup kandidata; ne stvara apsolutnu istinu. Chatbot smije koristiti samo sadržaje koji su odobreni za konkretnu situaciju. Javne web stranice, interni nacrti i zaštićeni podaci o kupcima ne spadaju u zajednički nekontrolirani kontekst. Jednako je važno i jasno ponašanje kada nije dostupan odgovarajući izvor: dodatno pitanje, povezornica na kontakt stranicu ili preusmjeravanje na čovjeka (Human Handoff) sigurniji su od tečno formulirane pretpostavke.

Razumljivi RRF: spajanje rang-lista

Bodovi (scores) iz pretraživanja po punom tekstu i vektorskog pretraživanja imaju različita značenja i skale. Njihovo izravno zbrajanje ili izmišljanje fiksne granične vrijednosti često dovodi do nestabilnih rezultata. Reciprocal Rank Fusion, skraćeno RRF, stoga radi s pozicijom dokumenta na svakoj rang-listi. Dokument koji se na obje liste pojavljuje visoko dobiva snažan kombinirani signal. Dokument koji je vidljiv samo na jednoj listi također se može uzeti u obzir, ali ne može automatski potisnuti sve ostale.

RRF nije čarobna standardna vrijednost niti zamjenska formula za stručne testove. Koliko kandidata iz svakog pretraživanja ulazi u fuziju, koji filtri prethodno djeluju i kada se rezultat uopće smatra upotrebljivim, ovisi o sadržaju i riziku. Za česta pitanja o proizvodima smislen može biti mali, fokusirani prozor. Za složena uputstva ili dijagnostiku pogrešaka možda je potrebno više kandidata. Ključno je usporediti promjenu sa stvarnim pitanjima u odnosu na testni skup (test set), umjesto preuzimanja univerzalnog parametra iz nekog primjera.

Semantičko ponovno rangiranje (Reranking) kao drugi, ograničeni stupanj

Nakon dobrog predodabira, reranker može još jednom procijeniti uži skup kandidata u odnosu na cijelo pitanje. Microsoft razvrstava semantičko rangiranje kao sekundarno rangiranje iznad već predrangiranog popisa rezultata. Amazon Bedrock analogno opisuje Reranking kao ocjenjivanje tekstualnih dokumenata glede njihove relevantnosti za upit. Ovaj drugi stupanj pogodan je za pitanja s više uvjeta: na primjer, je li moguća promjena tarife nakon što je narudžba već poslana i postoji određena vrsta ugovora.

Ponovno rangiranje treba svjesno ograničiti. Ono uzrokuje dodatnu latenciju i može, ovisno o usluzi, stvarati troškove. Stoga nemojte slati cijelu bazu znanja rerankeru, već samo već filtrirani i spojeni vrhunski skup (top set). Definirajte vremenski budžet i fallback opciju. Ako se budžet prekorači, chatbot može, primjerice, prikazati najpouzdaniji popis izvora, zatražiti pojašnjenje ili predati razgovor timu za podršku. Reranker ne popravlja zastarjele, nedostajuće ili neodobrene sadržaje.

Filtri metapodataka štite kontekst

Metapodaci često snažnije odlučuju o kvaliteti odgovora nego još jedna opcija modela. Po izvoru održavajte barem jezik, proizvod ili uslugu, verziju, tržište, ciljnu skupinu i valjanost, ako su ti podaci relevantni za upotrebu. Filtar na ispravnog klijenta (tenant) ili područje ovlaštenja mora djelovati prije ispisa. Na javnoj web stranici chatbot može dohvatiti samo javne sadržaje; za prijavljeno područje vrijede dodatno provjerljiva ovlaštenja.

I vrijeme je pitanje metapodataka. Cjenici, uvjeti isporuke i upute trebaju imati jasan datum ažuriranja ili kontrolirani status valjanosti. Ako izvor više nije pouzdan, treba ga ukloniti iz indeksa ili premjestiti u zaseban put provjere. Filtri moraju odražavati zahtjeve razumljive posjetiteljima, a ne potajno manipulirati redoslijedom rangiranja. Stoga dokumentirajte koji filtri vrijede za koju klasu pitanja i kako tim provjerava promjene.

Konkretan cjevovod od upita do konteksta

1. Normalizacija pitanja: Prepoznajte jezik i očiti kontekst bez nepotrebnog pohranjivanja ili mijenjanja osobnih podataka.
2. Provjera pristupa i metapodataka: Prije retrievala odredite koji su izvori dopušteni za proizvod, tržište, ulogu i razdoblje valjanosti.
3. Paralelno dohvaćanje: Izvršite pretraživanje punog teksta i vektorsko pretraživanje na istom skupu dopuštenih izvora.
4. Spajanje rang-lista: Kombinirajte liste pomoću RRF-a i sačuvajte signale podrijetla po kandidatu za potrebe otklanjanja pogrešaka (debugging).
5. Ograničeno ponovno rangiranje: Izvršite procjenu relevantnosti samo na malom vršnom skupu (top set) i izmjerite latenciju.
6. Osiguravanje konteksta: Provjerite duplikate, status izvora i odgovarajuću duljinu prije slanja odlomaka jezičnom modelu.
7. Odgovor s ograničenjem: Navedite izvore, označite nesigurnost i po potrebi upotrijebite sigurno preusmjeravanje.

Praktični primjer: status pošiljke i promjena tarife

Pretpostavimo da posjetitelj pita: „Mogu li još promijeniti svoju tarifu iako je paket već na putu?“ Pretraživanje po ključnim riječima možda pronađe stranicu o „promjeni tarife“ i članak podrške s pojmom „paket na putu“. Vektorsko pretraživanje pronađe vodič koji opisuje postupak kao promjenu nakon slanja. RRF na vrh dovodi dokumente koji spajaju oba aspekta. Reranker nakon toga može provjeriti sadrži li relevantni odlomak uistinu kombinaciju tarife i slanja.

Prije odgovora filtrirate prema dotičnom tržištu, liniji proizvoda i trenutnom statusu valjanosti. Ako su izvori kontradiktorni ili nedostaju potrebni detalji, chatbot ne bi smio zaključivati iz sličnih slučajeva. Može transparentno reći koji je uvjet otvoren i usmjeriti posjetitelja na odgovarajuću, verificiranu mogućnost kontakta. Tako razgovor ostaje koristan bez izmišljanja nepokrivenog obećanja.

Slučajevi bez rezultata (No-result) i otklanjanje pogrešaka u bodovanju

Izostanak rezultata (no-result) često je signal praznine u znanju, a ne pokvarenog pretraživanja. Stoga razlikujte barem četiri slučaja: nema dopuštenog izvora, postoje izvori ali nema dovoljno odgovarajućeg pogotka, pitanje je dvosmisleno ili tehnička pogreška sprečava retrieval. Svaki slučaj treba vlastitu, razumljivu reakciju. „O tome u odobrenim informacijama ne nalazim pouzdan odgovor“ poštenije je od generičke rečenice bez sljedećeg koraka.

Za debugging sami konačni bodovi (scores) nisu dovoljni. Po testnom pitanju timovi bi trebali moći vidjeti koji su filtri djelovali, koji su dokumenti došli iz pretraživanja po ključnim riječima i vektorskog pretraživanja, kako su spojeni i je li Reranking promijenio redoslijed. Pritom pohranjujte samo podatke potrebne za kvalitetu, pripremljene uz štednju podataka. Tražite uzorke: nedostaju li određeni sinonimi? Prekriva li stari izvor novi sadržaj? Izlazi li određeni lokalitet (locale) iz logike metapodataka? Tek konkretan uzrok odlučuje treba li mijenjati chunking, metapodatke, održavanje izvora ili rangiranje.

Testni skup, metrike i troškovni budžet

Mali Zlatni skup (Golden Set) s 30 do 50 realističnih pitanja dobar je početak. Za svako pitanje definirajte očekivane izvore, nedopuštene izvore i željenu reakciju u slučaju nedostatka znanja. Mjerite odvojeno nalazi li se pravi izvor među kandidatima, je li dovoljno visoko rangiran i koristi li konačni odgovor samo potkrepljene informacije. Namjerno dodajte tipfelere, točne pojmove, prirodne formulacije, višejezičnost i kritične negativne slučajeve.

Po testnom krugu promijenite samo jednu varijablu: filtar, broj kandidata, dubinu Rerankinga ili strukturu chunkova. Zabilježite i vrijeme odgovora te broj vanjskih poziva modela. Viša vrijednost relevantnosti može biti neupotrebljiva ako odgovor stigne prekasno ili ako troškovi za česta standardna pitanja porastu. Stoga definirajte budžet za latenciju i troškove po klasi pitanja. Brzi, dobro potkrepljeni standardni odgovori i konzervativna preusmjeravanja za mnoge su web stranice vrijedniji od maksimalno složenog rangiranja.

Tipične pogreške pri uvođenju

• Izravno uspoređivanje sirovih bodova ključnih riječi i vektora, iako njihove skale nisu jednake.
• Indeksiranje nacrta, starih cjenika ili zaštićenih sadržaja bez filtara statusa i ovlaštenja.
• Primjena Rerankinga na previše kandidata, čime se gubi kontrola nad latencijom i troškovima.
• Tretiranje demonstracije s nekoliko dobrih pitanja kao dovoljnog dokaza kvalitete.
• Generiranje uvjerljivog odgovora pri nedostatku izvora umjesto predviđanja nesigurnosti, dodatnog pitanja ili preusmjeravanja.
• Izostanak verzioniranja promjena na izvorima, chunkingu i rangiranju te nemogućnost kasnijeg objašnjenja.

Kontrolni popis za uvođenje

• Definirajte dopuštene izvore i granice ovlaštenja prije indeksiranja.
• Održavajte metapodatke za jezik, proizvod, verziju, tržište i valjanost.
• Paralelno dohvaćajte puni tekst i vektorsko pretraživanje, a zatim ih spojite putem RRF-a.
• Koristite Reranking samo za mali, dopušteni skup kandidata.
• Procijenite poveznice na izvore, odgovore bez rezultata i preusmjeravanje na čovjeka u testnom skupu.
• Mjerite latenciju, troškove i kritične pogrešne odgovore po promjeni.

Zaključak

Hybrid Search robusna je početna točka za chatbotove na web stranicama s različitim oblicima pitanja. Pretraživanje po ključnim riječima čuva točne signale, vektorsko pretraživanje otvara put do sličnih upita, RRF spaja njihove rang-liste, a ograničeni reranker može poboljšati uži izbor. Međutim, održivi dobitak na kvaliteti nastaje kroz održavane izvore, odgovarajuće metapodatke, razumljive testove i logiku odgovora koja otvoreno prikazuje svoje granice. Tako retrieval postaje provjerljiv umjesto samo tehnički impresivan.

Izvori i dodatne napomene

• Microsoft Learn: Hybrid Search
• Microsoft Learn: Relevantnost i RRF kod hibridnog pretraživanja
• Microsoft Learn: Semantic Ranking
• Amazon Bedrock: Reranking
• ChatReact: RAG chunking za AI chatbotove
• ChatReact: Testiranje kvalitete odgovora uz Golden Set
• ChatReact: Održavanje baze znanja aktualnom