Wyszukiwanie hybrydowe i reranking dla chatbotów AI: lepsze wyniki RAG

Chatboty na stronach internetowych rzadko zawodzą dlatego, że baza wiedzy w ogóle nie zawiera informacji. Częściej krok wyszukiwania (retrieval) nie znajduje fragmentu, który pasuje do pytania i konkretnego kontekstu. Użytkownicy używają nazw produktów, komunikatów o błędach i numerów artykułów, ale formułują też pytania swobodnie: „Dlaczego chatbot pokazuje zły taryfę?” lub „Czy mogę jeszcze zmienić zamówienie, które zostało wysłane?”. Dla takiej mieszanki ani czyste wyszukiwanie słów kluczowych, ani czyste wyszukiwanie wektorowe nie jest wystarczającą odpowiedzią. Wyszukiwanie hybrydowe (Hybrid Search) łączy oba sygnały, dzięki czemu chatbot RAG otrzymuje bardziej niezawodne źródła w swoim kontekście odpowiedzi.

Wyszukiwanie słów kluczowych i wyszukiwanie wektorowe realizują różne zadania

Wyszukiwanie słów kluczowych jest silne, gdy słowa muszą występować dokładnie. Dotyczy to numerów zamówień, nazw produktów, konkretnych komunikatów o błędach, nazw umów lub wersji, takich jak „2.4”. Może w przejrzysty sposób pokazać, dlaczego dany dokument pasuje: poszukiwane słowo znajduje się w tytule, nagłówku lub we fragmencie tekstu. Jego słabość ujawnia się w języku potocznym, synonimach i niepełnych sformułowaniach. Pytanie użytkownika o „kopię faktury” niekoniecznie znajdzie stronę, która mówi jedynie o „pobieraniu dowodu zakupu”.

Wyszukiwanie wektorowe uzupełnia tę lukę. Reprezentuje ono pytanie i treść jako bliskość semantyczną, dzięki czemu może znaleźć podobne intencje, mimo braku tych samych pojęć. Pomaga to przy naturalnie sformułowanych pytaniach do działu wsparcia, wariantach wielojęzycznych i różnych nazwach tego samego procesu. Sama bliskość semantyczna nie jest jednak gwarancją sukcesu: fragment może być podobny pod względem tematycznym, ale dotyczyć innej wersji produktu, innego rynku lub nieaktualnej reguły. Właśnie dlatego weryfikacja kontekstu należy do potoku (pipeline) wyszukiwania, a nie dopiero do modelu językowego.

Dlaczego wyszukiwanie hybrydowe jest sensownym punktem wyjścia

Microsoft opisuje wyszukiwanie hybrydowe jako wspólne zapytanie składające się z części pełnotekstowej i wektorowej. Oba zapytania działają równolegle, a ich listy wyników są następnie łączone. Jest to atrakcyjne dla witryn firmowych, ponieważ zachowuje dokładne pojęcia, a jednocześnie umożliwia dotarcie do powiązanych, dobrze sformułowanych treści. Chatbot nie musi zmuszać użytkowników do wyboru między wyszukiwaniem „technicznym” a „semantycznym”. Wybór dokonywany jest w tle i może być weryfikowany dla wszystkich pytań przy użyciu tego samego procesu jakości.

Wyszukiwanie hybrydowe poprawia zestaw kandydatów; nie tworzy jednak prawdy obiektywnej. Chatbot może używać wyłącznie treści zatwierdzonych dla danej sytuacji. Publiczne strony internetowe, wewnętrzne wersje robocze i chronione dane klientów nie powinny trafiać do jednego, niekontrolowanego kontekstu. Równie ważne jest jednoznaczne zachowanie w sytuacji, gdy brak odpowiedniego źródła: dopytanie, link do strony kontaktowej lub przekazanie do człowieka (Human Handoff) są bezpieczniejsze niż płynnie sformułowane domysły.

Zrozumieć RRF: łączenie list rankingowych

Wyniki (scores) z wyszukiwania pełnotekstowego i wektorowego mają różne znaczenia i skalę. Ich bezpośrednie dodawanie lub wprowadzanie stałego progu często prowadzi do niestabilnych rezultatów. Dlatego Reciprocal Rank Fusion (w skrócie RRF) bazuje na pozycji dokumentu na każdej z list rankingowych. Dokument, który pojawia się wysoko na obu listach, otrzymuje silny skombinowany sygnał. Dokument widoczny tylko na jednej liście również może zostać uwzględniony, ale nie wyprze automatycznie wszystkich pozostałych.

RRF nie jest magiczną wartością domyślną ani wzorem zastępującym testy merytoryczne. To, ilu kandydatów z każdego wyszukiwania trafi do fuzji, jakie filtry zostaną zastosowane wcześniej i kiedy wynik zostanie uznany za przydatny, zależy od treści i ryzyka. W przypadku częstych pytań o produkty sensowne może być małe, skoncentrowane okno. W przypadku złożonych instrukcji lub diagnostyki błędów może być potrzebnych więcej kandydatów. Kluczowe jest porównywanie zmian na podstawie rzeczywistych pytań z zestawem testowym, zamiast przejmowania uniwersalnego parametru z przykładu.

Semantyczny reranking jako drugi, ograniczony etap

Po dobrej wstępnej selekcji model rerankingu może ponownie ocenić węższy zestaw kandydatów w odniesieniu do całego pytania. Microsoft klasyfikuje ranking semantyczny jako ranking wtórny, nakładany na wstępnie posortowaną listę wyników. Amazon Bedrock opisuje reranking jako ocenę dokumentów tekstowych pod kątem ich trafności w odniesieniu do zapytania. Ten drugi etap sprawdza się przy pytaniach z wieloma warunkami: na przykład czy zmiana taryfy jest możliwa po wysłaniu zamówienia i przy określonym typie umowy.

Reranking należy stosować w sposób przemyślany i ograniczony. Generuje on dodatkowe opóźnienie (latency) i, w zależności od usługi, może wiązać się z kosztami. Dlatego nie należy przekazywać całej bazy wiedzy do rerankera, a jedynie przefiltrowaną i połączoną grupę top wyników. Zdefiniuj budżet czasowy i scenariusz awaryjny (fallback). Jeśli budżet zostanie przekroczony, chatbot może na przykład pokazać najbardziej niezawodną listę źródeł, poprosić o doprecyzowanie lub przekazać rozmowę do zespołu wsparcia. Reranker nie naprawi nieaktualnych, brakujących lub niezatwierdzonych treści.

Filtry metadanych chronią kontekst

Metadane często decydują o jakości odpowiedzi w większym stopniu niż kolejna opcja modelu. Dla każdego źródła należy utrzymywać co najmniej język, produkt lub usługę, wersję, rynek, grupę docelową i okres obowiązywania, o ile informacje te są istotne. Filtr na właściwego najemcę (tenant) lub obszar uprawnień musi zadziałać przed wygenerowaniem odpowiedzi. W przypadku publicznej witryny internetowej chatbot może pobierać tylko treści publiczne; w obszarze zalogowanym obowiązują dodatkowo weryfikowalne uprawnienia.

Czas to również kwestia metadanych. Cenniki, warunki dostawy i instrukcje powinny posiadać jasną datę aktualizacji lub kontrolowany status ważności. Jeśli źródło nie jest już wiarygodne, należy je usunąć z indeksu lub skierować do osobnej ścieżki weryfikacji. Filtry muszą odzwierciedlać zrozumiałe dla użytkownika wymagania, a nie po cichu manipulować kolejnością. Dlatego warto dokumentować, które filtry obowiązują dla danych klas pytań i jak zespół weryfikuje zmiany.

Konkretny potok (pipeline): od zapytania do kontekstu

1. Znormalizuj pytanie: Rozpoznaj język i oczywisty kontekst bez niepotrzebnego zapisywania lub zmieniania danych osobowych.
2. Sprawdź dostęp i metadane: Przed wyszukiwaniem określ, które źródła są dozwolone dla danego produktu, rynku, roli i okresu ważności.
3. Pobieraj równolegle: Wykonaj wyszukiwanie pełnotekstowe i wektorowe na tym samym dozwolonym zestawie źródeł.
4. Połącz listy rankingowe: Połącz listy za pomocą RRF i zachowaj sygnały pochodzenia dla każdego kandydata do celów debugowania.
5. Ogranicz reranking: Przeprowadź ocenę trafności tylko na małym zestawie najlepszych wyników i mierz opóźnienia.
6. Zabezpiecz kontekst: Sprawdź duplikaty, status źródeł i odpowiednią długość, zanim fragmenty trafią do modelu generującego odpowiedź.
7. Odpowiedź z ograniczeniem: Podawaj źródła, oznaczaj niepewność i w razie potrzeby korzystaj z bezpiecznego przekazania rozmowy.

Przykład praktyczny: status wysyłki i zmiana taryfy

Załóżmy, że użytkownik pyta: „Czy mogę jeszcze zmienić taryfę, jeśli paczka jest już w drodze?”. Wyszukiwanie słów kluczowych może znaleźć stronę dotyczącą „zmiany taryfy” i artykuł pomocy ze słowami „paczka w drodze”. Wyszukiwanie wektorowe znajdzie przewodnik opisujący proces zmiany po wysyłce. RRF wyciągnie na górę dokumenty, które łączą oba te aspekty. Reranker może następnie sprawdzić, czy odpowiedni fragment rzeczywiście zawiera kombinację kwestii taryfy i wysyłki.

Przed udzieleniem odpowiedzi przefiltruj wyniki według właściwego rynku, linii produktów i aktualnego statusu ważności. Jeśli źródła są sprzeczne lub brakuje wymaganych szczegółów, chatbot nie powinien wyciągać wniosków z podobnych przypadków. Może wprost poinformować, jaki warunek pozostaje otwarty, i skierować użytkownika do odpowiedniej, zweryfikowanej formy kontaktu. W ten sposób rozmowa pozostaje pomocna, bez tworzenia niepotwierdzonych obietnic.

Sytuacje braku wyników (no-result) i debugowanie ocen

Brak wyniku jest często sygnałem luki w wiedzy, a nie zepsutego wyszukiwania. Należy odróżnić co najmniej cztery przypadki: brak dozwolonego źródła, obecność źródeł przy braku wystarczająco dopasowanego wyniku, dwuznaczność pytania lub błąd techniczny uniemożliwiający wyszukiwanie. Każdy przypadek wymaga osobnej, zrozumiałej reakcji. Sformułowanie „Nie znajduję w zatwierdzonych informacjach wiarygodnej odpowiedzi na to pytanie” jest bardziej uczciwe niż generyczne zdanie bez dalszych kroków.

Do debugowania same końcowe oceny nie wystarczą. Dla każdego pytania testowego zespoły powinny widzieć, które filtry zadziałały, które dokumenty pochodziły z wyszukiwania słów kluczowych i wektorowego, jak zostały połączone i czy reranking zmienił ich kolejność. Zapisuj przy tym tylko dane niezbędne do zapewnienia jakości, przygotowane zgodnie z zasadą minimalizacji danych. Szukaj wzorców: czy brakuje określonych synonimów? Czy stare źródło przesłania nowe treści? Czy dana wersja językowa wyłamuje się z logiki metadanych? Dopiero konkretna przyczyna decyduje o tym, czy należy zmienić podział na fragmenty (chunking), metadane, utrzymanie źródeł czy ranking.

Zestaw testowy, metryki i budżet kosztów

Mały zestaw referencyjny (Golden Set) zawierający od 30 do 50 realistycznych pytań to dobry początek. Dla każdego pytania określ oczekiwane źródła, niedozwolone źródła oraz pożądaną reakcję w przypadku braku wiedzy. Mierz osobno: czy właściwe źródło znajduje się wśród kandydatów, czy zajmuje wystarczająco wysoką pozycję oraz czy ostateczna odpowiedź wykorzystuje wyłącznie potwierdzone informacje. Celowo dodawaj literówki, dokładne pojęcia, naturalne sformułowania, wielojęzyczność i krytyczne przypadki negatywne.

Podczas poszczególnych serii testowych zmieniaj tylko jedną zmienną: filtr, liczbę kandydatów, głębokość rerankingu lub strukturę fragmentów (chunks). Notuj również czas odpowiedzi oraz liczbę zewnętrznych wywołań modeli. Wyższa wartość trafności może być bezużyteczna, jeśli odpowiedź nadejdzie zbyt późno lub koszty obsługi częstych pytań standardowych znacząco wzrosną. Zdefiniuj budżet opóźnień i kosztów dla każdej klasy pytań. Szybkie, dobrze udokumentowane odpowiedzi standardowe i konserwatywne przekazania do wsparcia są dla wielu witryn bardziej wartościowe niż maksymalnie złożony ranking.

Typowe błędy podczas wdrażania

• Bezpośrednie porównywanie surowych wyników słów kluczowych i wektorów, mimo że ich skale nie są jednakowe.
• Indeksowanie wersji roboczych, starych cenników lub treści chronionych bez filtrów statusu i uprawnień.
• Stosowanie rerankingu dla zbyt dużej liczby kandydatów, co prowadzi do utraty kontroli nad opóźnieniami i kosztami.
• Traktowanie wersji demonstracyjnej z kilkoma dobrymi pytaniami jako wystarczającego dowodu jakości.
• Generowanie prawdopodobnej odpowiedzi w przypadku braku źródła, zamiast przewidzenia informacji o niepewności, pytania doprecyzowującego lub przełączenia do człowieka.
• Brak wersjonowania zmian w źródłach, chunkingu i rankingu, co uniemożliwia ich późniejsze wyjaśnienie.

Lista kontrolna wdrożenia

• Określ dozwolone źródła i granice uprawnień przed przystąpieniem do indeksowania.
• Utrzymuj metadane dotyczące języka, produktu, wersji, rynku i okresu ważności.
• Pobieraj dane równolegle za pomocą wyszukiwania pełnotekstowego i wektorowego, a następnie łącz je przy użyciu RRF.
• Stosuj reranking tylko dla małej, dozwolonej liczby kandydatów.
• Oceniaj linki do źródeł, odpowiedzi przy braku wyników oraz przekazanie do człowieka w zestawie testowym.
• Mierz opóźnienia, koszty i krytyczne błędne odpowiedzi przy każdej zmianie.

Podsumowanie

Wyszukiwanie hybrydowe to solidny punkt wyjścia dla chatbotów na stronach internetowych obsługujących różne formy pytań. Wyszukiwanie słów kluczowych dba o dokładne sygnały, wyszukiwanie wektorowe otwiera dostęp do podobnych intencji, RRF łączy ich listy rankingowe, a ograniczony reranker pozwala ulepszyć węższy wybór. Trwały wzrost jakości wynika jednak z zadbanych źródeł, odpowiednich metadanych, przejrzystych testów i logiki odpowiedzi, która otwarcie uznaje swoje granice. Dzięki temu proces wyszukiwania staje się weryfikowalny, a nie tylko efektowny technicznie.

Źródła i materiały dodatkowe

• Microsoft Learn: Hybrid Search
• Microsoft Learn: Trafność i RRF w Hybrid Search
• Microsoft Learn: Semantic Ranking
• Amazon Bedrock: Reranking
• ChatReact: RAG-Chunking dla chatbotów AI
• ChatReact: Testowanie jakości odpowiedzi z Golden Set
• ChatReact: Utrzymanie aktualności bazy wiedzy