Fallbacks AI chatbota: Jak bezpečně rozpoznat mezery v znalostech a přesměrovat dotaz

Webový chatbot nemusí odpovídat na každou otázku. Rozhodující je, aby poznal, kdy znalostní báze neposkytuje spolehlivý základ, a aby i v takové chvíli zůstal pro návštěvníky užitečný. Kdo zaplní mezeru přesvědčivě znějícím odhadem, vytváří problém s důvěrou: nesprávná dodací lhůta, vymyšlené pravidlo o produktu nebo nevhodné upozornění podpory mohou způsobit více škody a práce než jasně a krátce přiznaná hranice.

Proč jsou chybějící výsledky samostatným produktovým problémem

U AI chatbota se znalostní bází existují minimálně tři různé příčiny, proč neodpoví. Zaprvé může informace skutečně chybět. Zadruhé může být k dispozici, ale kvůli jazyku, formulaci, metadatům nebo rankingu ji systém nenajde. Zatřetí je sice dohledatelná, ale nestačí na bezpečnou odpověď. Tyto případy vypadají v chatu na první pohled podobně, v provozu však vyžadují odlišná opatření.

Retrieval systémy nehodnotí automaticky, zda je odpověď z obchodního hlediska obhajitelná. Oficiální přehled k Retrieval-Augmented Generation v Azure AI Search popisuje, jak lze kombinovat textové a vektorové vyhledávání, aby byly poskytnuty zdroje pro odpověď. Tato kombinace zlepšuje vyhledávání, ale nenahrazuje pravidlo pro to, kdy lze výsledek považovat za dostatečný. Chatbot proto před generováním textu potřebuje jasně definované rozhodnutí: odpovědět, doptat se, nebo bezpečně přesměrovat.

Odpověď „Nevím“ (No-Answer) není slepá ulička

Použitelná fallback odpověď neříká jednoduše „K tomu nemám žádné informace“. Skládá se ze čtyř prvků: pojmenovává hranici bez technických výmluv, vyhýbá se nepodloženým tvrzením, nabízí přesný doplňující dotaz nebo bezpečnou alternativu a v případě potřeby ukazuje cestu k člověku. Tón může být přátelský, ale nesmí skrývat nejistotu.

• Hranice: „Ve schválených informacích k tomu nenacházím spolehlivý údaj.“
• Kontext: „Jde o objednávku, smlouvu, nebo technické nastavení?“
• Další krok: „Pokud uvedete název produktu, mohu dostupné podklady prověřit znovu.“
• Handoff: „Pro závazné ověření předáme váš dotaz příslušnému týmu.“

Díky tomu zůstává chat užitečný, aniž by si vymýšlel ceny, lhůty, právní důsledky nebo přísliby. Zejména u osobních údajů, plateb, individuálních nabídek a otázek týkajících se bezpečnosti by mělo pravidlo handoffu zakročit vědomě dříve. Již publikovaný průvodce k Human Handoffu ve zákaznické podpoře na webu pomáhá nastavit předávání jako jasný proces, nikoli jako nouzový východ.

Operationalizace rozhodnutí před odpovědí

Týmy by neměly přebírat žádnou magickou prahovou hodnotu z dema. Skóre z vyhledávání je pouze signál a může se měnit s indexem, modelem, jazykem a složením dotazů. Dokumentace k Semantic Ranking upozorňuje na to, že rozdělení reranker skóre se může lišit. Proto prahová hodnota patří vždy k otestovanému datovému souboru a ke konkrétní třídě chyb.

Praktické rozhodnutí může kombinovat více kontrol. Existuje alespoň jeden zdroj z povolené oblasti obsahu? Odpovídá jazyku a aktuální verzi produktu či smlouvy? Obsahuje přímé odůvodnění plánované odpovědi? Nejsou hlavní výsledky v rozporu? Teprve až jsou tato kritéria dostatečně splněna, smí generátor formulovat odpověď. V opačném případě se bot cíleně doptá nebo přejde do fallbacku.

Příklad: Závazná informace o doručení

Pptá-li se uživatel na termín dodání konkrétního produktu, obecný článek o dopravě nestačí. Bot může vysvětlit, že nenachází závaznou informaci, zeptat se na číslo objednávky nebo variantu produktu a odkázat na podporu. Odpověď typu „Váš balíček dorazí zítra“ by naopak nebyla znalostní bází kryta. Stejný princip platí pro záruky, výpovědi, zdravotní dotazy a přístupy k účtu: čím větší je možná škoda, tím silnější musí být podložení.

Kontrola retrievalu před přepisováním obsahu

Chybějící odpověď (No-Answer) je často dobrým měřitelným signálem. Než tým napíše nový prompt, měl by se podívat na celý řetězec: původní dotaz, rozpoznaný jazyk, normalizovaný vyhledávací dotaz, použité filtry, nejlepší výsledky, použité verze zdrojů a zvolený výstup. Tak vyjde najevo, zda chybí dokument, nebo zda jej vyhledávání míjí.

1. Anonymizovaně klasifikovat dotaz a záměr (např. produkt, podpora, účet nebo právní záležitosti).
2. Očekávané zdroje a skutečně načtené výsledky porovnat vedle sebe.
3. Zaznamenat filtry pro jazyk, platnost, přístup a verzi produktu.
4. Zkontrolovat, zda nejlepší výsledky dotaz skutečně dokládají, nebo obsahují pouze podobné pojmy.
5. Případ označit jako mezeru v dokumentaci, problém retrievalu, bezpečnostní pravidlo nebo oprávněný handoff.

Pro taková srovnání se hodí malá sada předem vyčištěných, realistických dotazů (Golden Set). Článek o měření kvality odpovědí AI chatbota popisuje, proč kritické a vzácné dotazy nesmí zmizet v průměrné hodnotě. Vědomě doplňte dotazy bez odpovídající odpovědi. Jen tak lze ověřit, zda chatbot reaguje kontrolovaně i v případě, že odpověď nezná.

Převod mezer ve znalostech do redakčního workflow

Jediná konverzace v chatu ještě není důvodem pro tvorbu nových FAQ. Více podobných bezpečných fallbacků však může ukázat, že důležitá informace chybí nebo je těžko dohledatelná. K tomu stačí úsporný seznam se záměrem, třídou chyby, dotčeným jazykem, ID dostupných zdrojů a stavem. Úplné obsahy rozhovorů, jména nebo údaje o účtu do obecného analytického dashboardu nepatří.

Odpovědná osoba pak rozhodne, zda doplní FAQ, upřesní produktovou stránku, vylepší metadata nebo upraví text handoffu. Každé doplnění potřebuje vlastníka, zdroj a datum. U časově citlivých informací, jako je dostupnost nebo akce, má smysl i datum expirace. Tým tak zabrání tomu, aby se z dobře mířeného článku stala další zastaralá informace.

Nepoužívejte míru halucinací jako ukazatel kvality

Nízká míra viditelných chyb může klamat, pokud se bot až příliš často vyhýbá odpovědi. Naopak vysoká míra odpovědí není úspěchem, pokud odpovědi nemají oporu ve zdrojích. Lepší je malá sada ukazatelů: podíl bezpečně zodpovězených dotazů, podíl odůvodněných fallbacků, míra handoffů podle záměru, čas do odborného rozhodnutí, opakující se mezery a výsledky z manuálních náhodných kontrol. Vyhodnocení musí být možné odděleně podle jazyka, produktové oblasti a třídy rizika.

NIST AI Risk Management Framework doporučuje řídit rizika v kontextu a ukotvit procesy pro měření a správu. Pro týmy spravující weby to neznamená ukládat každou konverzaci. Znamená to mít jasné odpovědnosti a ověřitelná kritéria pro bezpečné odpovědi.

Testování by navíc mělo odpovídat reálným uživatelským situacím. Krátký dotaz na chytrém telefonu často obsahuje méně kontextu než podrobný dotaz na počítači. Překlepy, zkratky produktů a smíšené jazyky jsou očekávatelné vstupy, nikoli výjimečné případy. Testujte proto nejen ideálně formulovaný dotaz, ale i varianty s chybějícím číslem objednávky, více názvy produktů nebo nejasným časovým údajem. Každá varianta musí vyvolat buď podloženou odpověď, smysluplný doplňující dotaz, nebo bezpečné přesměrování. Fallback, který funguje jen u perfektně formulovaných testovacích dotazů, v běžném provozu neochrání.

Stejně důležitá je zpětná vazba ze zákaznické podpory. Když pracovníci odpovídají na přesměrovaný dotaz, mohou důvod stručně kategorizovat: informace chyběla, informace byla zastaralá, byl nutný přístup do systému nebo dotaz vyžadoval individuální rozhodnutí. Tyto kategorie propojují web, redakci znalostí a servis, aniž by z člověka stojícího za dotazem dělaly objekt analýzy. Měsíční pohled na nejčastější kategorie většinou stačí k plánování prioritních vylepšení.

Kontrolní seznam pro bezpečný fallback

• Odpovědi se zobrazují pouze s odpovídajícími, schválenými a aktuálními zdroji.
• Prahové hodnoty a kombinace signálů byly ověřeny pomocí Golden Setu.
• Vysoké rizikové třídy mají vlastní pravidla pro doptávání i předání člověku.
• Texty fallbacku vysvětlují hranici, aniž by předstíraly interní techniku nebo falešnou jistotu.
• Logy obsahují pouze nezbytné diagnostické informace dodržující datovou úspornost.
• Opakující se případy získají vlastníka a ověřitelný stav zlepšení.
• Nové zdroje se před schválením, po změnách a při expiraci znovu kontrolují.

Závěr: Upřímné hranice zlepšují kvalitu odpovědí

Profesionální AI chatbot nezodpovídá co nejvíce dotazů, ale pouze to, co podporuje jeho prověřená znalostní báze. Nejlepší fallback odpověď je konkrétní, užitečná a předává závazné požadavky bez zbytečných překážek. Pokud týmy přistupují k případům bez odpovědi jako k testovacím datům a redakčním signálům, zlepšuje se měřitelně jak retrieval, tak samotný obsah. Začněte s deseti důležitými otázkami, deseti vědomě nezodpověditelnými otázkami a jasným handoffem pro každou rizikovou třídu. To vytvoří spolehlivý základ předtím, než chatbot převzneme více odpovědnosti.

Zdroje

• Microsoft Learn: RAG and Generative AI in Azure AI Search
• Microsoft Learn: Semantic Ranking Overview
• Microsoft Learn: Create a Full-Text Query
• NIST: AI Risk Management Framework