Ako odhaľovať medzery vo vedomostiach AI chatbota: Systematické riešenie neodpovedaných otázok

Webový chatbot dokáže spoľahlivo odpovedať len vtedy, keď má k dispozícii vhodné, schválené a vyhľadateľné informácie. V praxi však medzery vo vedomostiach málokedy prichádzajú v podobe prehľadného hlásenia. Schovávajú sa v bezpečných záložných (fallback) odpovediach, opakovaných doplňujúcich otázkach, zbytočných presmerovaniach na človeka alebo v odpovediach, ktoré síce znejú presvedčivo, ale nemajú žiadny overiteľný zdroj. Kto sa pozerá len na počet neodpovedaných otázok, vidí iba časť problému.

Účinný proces preto spája prevádzkové dáta, redakčnú kontrolu a testovanie. Cieľom nie je okamžite skopírovať každú neobvyklú formuláciu do bázy znalostí. Cieľom je odhaliť opakujúce sa informačné potreby, určiť ich príčinu a schváliť len tie odpovede, za ktoré sa možno odborne zaručiť. Tento návod ukazuje praktický postup pre tím podpory, obsahu a produktu.

Čo je medzera vo vedomostiach AI chatbota?

O medzeru vo vedomostiach ide vtedy, keď oprávnenú otázku používateľa v plánovanej oblasti nasadenia nemožno spoľahlivo zodpovedať schváleným vyhlásením. To môže znamenať, že informácia úplne chýba. Častejšie sa však stáva, že informácia existuje, ale je zastaraná, príliš všeobecná, jazykovo nevhodná, nedá sa prejdením (crawl) zachytiť alebo sa nenájde pri vyhľadávaní (retrieval). Aj rozporuplné zdroje predstavujú medzeru: chatbot má vtedy namiesto nedostatku vedomostí príliš veľa nejednoznačných informácií.

Tento pojem by sa nemal stotožňovať s každou situáciou typu No-Match. Google pri Dialogflow CX dokumentuje zabudované udalosti No-Match, keď vstupy nezodpovedajú žiadnemu zámeru (intent). Microsoft v analýzach Copilot Studio uvádza „unrecognized utterances“, teda formulácie, ktoré nespúšťajú samostatnú tému. Takéto signály sú užitočným východiskovým bodom, ale samy o sebe nedokazujú, že je potrebný nový obsah. Otázka mohla byť mimo rozsahu (scope), formulácia nejednoznačná alebo sa len nenašiel existujúci zdroj.

Ktoré signály patria do analýzy medzier?

Bezpečné náhradné odpovede a nezodpovedané otázky

Najjasnejšou stopou je odpoveď typu „K tomuto nemám žiadne spoľahlivé informácie“. Táto bezpečná záložná odpoveď je lepšia ako vymyslené tvrdenie, ale mala by sa zaznamenávať ako overiteľná udalosť. Relevantné pritom nie je len samotné znenie otázky, ale aj jazyk, dotknutá stránka, časový údaj, zvolený rozsah a ďalší priebeh konverzácie. Osobné alebo dôverné údaje nepatria do redakčného systému bez predchádzajúceho filtrovania.

Nízka istota a slabé zdroje

Aj poskytnutá odpoveď môže odhaliť medzeru vo vedomostiach. Príkladom sú chýbajúce zdroje, výsledok vyhľadávania s nízkou relevantnosťou, viaceré rozporuplné nálezy alebo odpoveď, ktorá pokrýva iba časť otázky. Technická hodnota istoty (confidence score) sama o sebe ako verdikt nestačí: prahové hodnoty sa líšia podľa modelu, systému a rizika. Rozhodujúce je, či tím dokáže vyhlásenie overiť a schváliť na základe autoritatívneho zdroja.

Opakované otázky, prerušenia a odovzdania človeku

Ak používatelia tú istú otázku preformulujú, pýtajú sa opakovane alebo hneď potom požadujú živého človeka, prvá odpoveď pravdepodobne nezasiahla ich potrebu. To platí aj pre neobvykle vysoký počet ukončení konverzácie po určitej téme. Tieto priebehy sa musia posudzovať v kontexte. Presmerovanie na človeka (handoff) môže byť správnym riešením – napríklad pri individuálnych rozhodnutiach, sťažnostiach alebo citlivých údajoch. Nie je to automaticky chyba obsahu.

Rozdiely medzi lokalizáciami a kanálmi

Nemecká odpoveď môže fungovať, zatiaľ čo francúzska verzia chýba alebo používa iné označenie produktu. Rovnako môžu byť otázky na stránke s cenníkom formulované inak ako v centre pomoci. Zhluky (clustere) by preto mali zostávať overiteľné minimálne podľa jazyka, resp. lokalizácie (locale), a podľa kontextu používania. Globálny prehľad by inak mohol zakryť jasne lokalizovanú medzeru.

Od surového signálu k prioritizovanému obsahovému backlogu

Efektívny pracovný postup zabraňuje tomu, aby tím bezhlavo zhromažďoval prepisy konverzácií alebo preceňoval jednotlivé pozorovania. Nasledujúcich sedem krokov možno vykonávať týždenne alebo pri vyššom objeme aj častejšie.

1. Definujte spôsob zaznamenávania: Určite, ktoré udalosti sa považujú za kandidátov: bezpečný fallback, chýbajúci overiteľný zdroj, opakovaná doplňujúca otázka, negatívna spätná väzba, zbytočné presmerovanie na človeka alebo nahlásené nepravdivé tvrdenie. Zdokumentujte aj to, ktoré dáta sa zámerne neukladajú.
2. Vyčistite obsah: Odstráňte alebo zamaskujte osobné údaje, čísla objednávok, kontaktné údaje a voľný text, ktoré nie sú potrebné na analýzu. Článok o analytike AI chatbota šetrnej k dátam ukazuje, ako plánovať udalosti, vzorkovanie (sampling) a uchovávanie oddelene.
3. Normalizujte otázky: Zoskupte formulácie s rovnakým významom bez toho, aby ste stratili dôležité rozdiely. Otázky „Ako dlho mám na vrátenie tovaru?“ a „Aká je lehota na vrátenie?“ patria pravdepodobne do jedného zhluku; otázka „Môžem vrátiť personalizovaný tovar?“ si však môže vyžadovať samostatné pravidlo.
4. Klasifikujte príčinu: Rozlišujte chýbajúci obsah, zastaraný zdroj, problém s vyhľadávaním alebo štruktúrou, nejasné pravidlá (policy), lokalizačnú medzeru, zámerne vylúčený rozsah a nevyhnutné ľudské rozhodnutie. Táto diagnóza určuje ďalší postup.
5. Stanovte prioritu: Zhodnoťte frekvenciu, dopad na používateľa, obchodnú relevantnosť a riziko. Zriedkavé upozornenie na bezpečnostné obmedzenie môže byť dôležitejšie ako častá konverzačná otázka (smalltalk). Vzorec musí byť pre vašu spoločnosť zrozumiteľný a overiteľný, nemusí byť mathematically komplikovaný.
6. Priraďte zodpovednosť za zdroj: Každá plánovaná odpoveď potrebuje autoritatívny zdroj a osobu alebo rolu, ktorá má oprávnenie jej obsah schváliť. Ak chýba oboje, položka zostáva otvorená; rečový model nesmie pravidlá vymýšľať. Vhodný prevádzkový model popisuje sprievodca pre správu obsahu (Content Governance) pre AI chatbotov.
7. Vytvorte akceptačný test: Uložte reprezentatívne otázky, očakávané kľúčové vyhlásenia, povolené zdroje a očakávané správanie mimo rozsahu. Po každej zmene sa overí, či je medzera odstránená a či existujúce odpovede zostávajú stabilné.

Ktoré polia potrebuje dobrá položka backlogu?

Ticket s názvom „Chatbot nepozná lehotu na vrátenie“ je príliš stručný. Ľahko vedie k textu, ktorý síce odpovie na príkladovú otázku, ale nezohľadňuje varianty, výnimky ani kompetencie. Spracovateľný záznam obsahuje minimálne:

• neutrálnu tému zhluku a dve až päť anonymizovaných príkladových otázok,
• lokalizáciu (locale), kontext stránky a dotknutú používateľskú cestu,
• pozorované správanie ako aj požadované správanie,
• kategóriu príčiny a odôvodnenú prioritu,
• autoritatívnu URL zdroja alebo stav „zdroj chýba“,
• odborného garanta, rolu recenzenta a cieľový termín,
• dátum platnosti, známe výnimky a požadovaný spôsob presmerovania na človeka,
• testovacie prípady a merateľné akceptačné kritériá.

Týmto spôsobom sa z pozorovania v chate stáva redakčná pracovná jednotka. Zároveň zostáva jasné, či sa problém dá skutočne vyriešiť obsahom. Technická chyba pri vyhľadávaní patrí napríklad tímu vyhľadávania alebo platformy; nevyjasnené pravidlo vrátenia tovaru zas odborne zodpovednému oddeleniu.

Praktický príklad: správne vyriešenie otázok o vrátení

Predpokladajme, že používatelia sa opakovane pýtajú na vrátenie personalizovaných produktov. Chatbot niekedy uvedie všeobecnú lehotu, inokedy neistú výnimku a občas konverzáciu presmeruje na podporu. Tím by nemal odvodzovať nové pravidlo z doterajších odpovedí. Najprv sa musí vyjasniť, aké schválené pravidlá platia, pre ktoré krajiny a produktové skupiny sú určené a kedy je potrebné posúdenie jednotlivého prípadu.

Následne vznikne štruktúrovaný zdroj so všeobecným pravidlom, jasne pomenovanými výnimkami, rozsahom platnosti a kritériom eskalácie. Testovacie prípady pokrývajú priame otázky, hovorové varianty, inú lokalizáciu a zámerne neautomatizovateľný hraničný prípad. Pre takýto hraničný prípad sa očakáva transparentný Human Handoff – teda presmerovanie na človeka – a nie vynútená samoobslužná odpoveď.

Prečo viac obsahu nie je automaticky lepšie

Častým neúspešným pokusom býva snaha odpovedať na každý zhluk novou položkou v často kladených otázkach (FAQ). To môže vytvárať duplicity, rozpory a zhoršovať výsledky vyhľadávania. Pred vytvorením nového obsahu skontrolujte, či nie je lepšie doplniť existujúcu stránku, lepšie ju reštrukturalizovať alebo ju vyradiť z rozsahu prechádzania (crawl scope). Proces pre udržiavanie aktuálnej bázy znalostí pomáha pri výbere zdrojov, frekvencii prechádzania a kontrole neaktuálneho obsahu.

Rovnako rizikové je nekritické preberanie reálnych formulácií používateľov ako tréningových alebo testovacích dát. Google vo svojich dizajnérskych odporúčaniach upozorňuje, že náhodné dopĺňanie vstupov typu No-Match môže viesť k neželanému skresleniu zámerov (intent bias). Až analýza príčiny rozhodne, či sa má formulácia doplniť, či sa má vyčistiť existujúca formulácia, alebo opraviť chybne konkurujúci zámer.

Uzavretie cyklu pomocou regresných testov

Medzera sa nepovažuje za odstránenú okamžite po zverejnení nového textu. Považuje sa za vyriešenú až vtedy, keď reprezentatívne otázky v určenom kontexte vykazujú očakávané správanie. Google popisuje testovacie prípady s očakávaniami na úrovni konverzácie alebo jednotlivých vstupov (turn level) a ich porovnanie s referenčným prípadom (Golden Case). Pri webových chatbotoch sa tento princíp dá uplatniť nezávisle od modelu: zdokumentujú sa otázka, očakávané kľúčové vyhlásenie, povolený zdroj, požadované presmerovanie na človeka a zakázané tvrdenia.

Malá, udržiavaná sada testov je hodnotnejšia ako veľká neoverená zbierka. Zaraďte potvrdené medzery do existujúceho referenčného súboru (Golden Set) a po zmenách obsahu, promptu, modelu alebo vyhľadávania znova spustite relevantné prípady. Podrobný sprievodca na meranie kvality odpovedí AI chatbota tento proces kontroly prehĺbi.

Ktoré ukazovatele dokazujú pokrok?

Nesmledujte len globálnu mieru záložných odpovedí (fallback rate). Výpovednejšia je malá sada ukazovateľov: otvorené priorizované zhluky, čas do odborného vyjasnenia, podiel položiek v backlogu s autoritatívnym zdrojom, úspešné regresné testy a opätovne sa vyskytujúce medzery po schválení. Segmentujte výsledky podľa lokalizácie (locale) a hlavnej používateľskej cesty bez toho, aby ste malé skupiny vyhodnocovali až tak detailne, že by bolo možné nepriamo identifikovať konkrétne osoby.

Microsoft uvádza nerozpoznané formulácie a témy s nízkou mierou vyriešenia ako možné signály na optimalizáciu. NIST vo svojom AI Risk Management Framework zároveň zdôrazňuje nepretržité monitorovanie, zdokumentované testovacie sady, spätnú väzbu a sledovanie správania v prevádzke. Z toho vyplýva dôležité pravidlo: metriky majú podporovať rozhodovanie, ale nemajú nahradiť odborné posúdenie zdroja odpovede.

Týždenný kontrolný zoznam pre podporu a redakciu

• Zaznamenávajte nových kandidátov úsporne s ohľadom na dáta a vyraďte zjavné zneužitie.
• Zoskupujte otázky s rovnakým významom podľa lokalizácie (locale) a dopĺňajte existujúce zhluky.
• Pri najdôležitejších zhlukoch potvrďte príčinu, dopad a riziko.
• Vyhľadajte existujúce zdroje, označte rozpory a vyjasnite zodpovednosť.
• Zverejňujte len schválené zmeny; udržiavajte jednoznačný rozsah (scope) aj podmienky presmerovania (handoff).
• Spúšťajte reprezentatívne testovacie prípady a dokumentujte výsledky.
• Po niekoľkých dňoch používania skontrolujte, či sa zhluk znova nevyskytol alebo len nezmenil svoju formu.

Záver: medzery vo vedomostiach tvoria redakčný cyklus

Neodpovedané otázky sa stanú cennými až vtedy, keď ich tím neberie ako voľné zápisy z chatu, ale ako overiteľné podnety. Zaznamenať, vyčistiť, zoskupiť, určiť príčinu, priorizovať, schváliť zdroj a otestovať: tento uzavretý cyklus spája realitu zákazníckej podpory so spoľahlivou bázou znalostí. Nezníži každé presmerovanie a zámerne neodpovie automaticky na každú otázku. Namiesto toho ukazuje, kde môže chatbot spoľahlivo pomáhať – a kde je jasná hranica lepším riešením pre používateľský zážitok.

Zdroje

• Microsoft Learn: Measure and improve agent performance with KPIs and analytics
• Google Cloud: Dialogflow CX State handlers a udalosti No-Match
• Google Cloud: General agent design best practices
• Google Cloud: Dialogflow CX testovacie prípady (Test cases)
• NIST AIRC: AI Risk Management Framework Core