Sémantická cache pro AI chatboty: rychlé odpovědi bez zastaralých dat

Mnohé dotazy na webového chatbota se opakují: dodací lhůty, pravidla pro vrácení zboží, otevírací doba nebo další krok při reklamaci. Nabízí se proto již vygenerovanou odpověď použít znovu. Sémantická cache přitom jde dále než klasické úložiště klíč-hodnota: rozpozná podobně formulované dotazy pomocí vektorového vyhledávání a dokáže poskytnout odpovídající dřívější odpověď. To šetří volání modelu a zkracuje dobu čekání. Zároveň však vzniká nová cesta k publikování obsahu, která musí být prověřována stejně přísně jako samotný retrieval a odpověď modelu.

Ústřední otázka nezní „Jak vysoká je úspěšnost zásahů?“, ale „Za jakých podmínek se tato konkrétní odpověď smí danému uživateli zobrazit znovu?“ Tento průvodce popisuje architekturu cache, která považuje tenanta, jazyk, oprávnění, verzi znalostí a kontext konverzace za pevné součásti rozhodovacího procesu.

Rozdíl mezi Prompt Cache a cache odpovědí

Prompt Caching na straně poskytovatele zrychluje často se opakující vstupní prefixy, stále však generuje novou odpověď. Sémantická cache odpovědí naopak ukládá dotaz i výsledek přímo ve vaší aplikaci a při dostatečné podobnosti může dřívější odpověď vydat rovnou. Druhý přístup má větší dopad na latenci a náklady, přináší však také větší riziko: starší tvrzení vygenerované pro jiný kontext se může zobrazit bez opětovné kontroly modelem nebo zdroji.

Dokumentace společnosti Microsoft k sémantickým cache popisuje vektorové vyhledávání pomocí vložených klíčů cache a upozorňuje na to, že je nutné zohlednit kontext konverzace. Izolovaná otázka „Co je druhé největší?“ nemá bez předchozího tématu rozhovoru žádný smysl. U webových chatbotů by proto klíč cache neměl nikdy sestávat pouze z poslední věty uživatele.

Explicitní modelování prostoru platnosti

Záznam v cache potřebuje více než jen embedding, odpověď a časové razítko. Uložte minimálně technický obal platnosti:

• Tenant a webová stránka: Odpovědi různých zákazníků nebo domén nesmí nikdy sdílet stejný prostor.
• Locale: Jazyk, region a případně tržní varianta patří do klíče.
• Třída identity a oprávnění: veřejné, přihlášený uživatel, role a schválené skupiny dokumentů.
• Verze znalostí: Stav indexu nebo dokumentu, na kterém odpověď staví.
• Verze konfigurace: Prompt, směrování modelu, bezpečnostní pravidla a schéma nástrojů.
• Otisk kontextu: pouze vlastnosti konverzace nezbytné pro význam, normalizované s ohledem na datovou úspornost.

Podobný dotaz smí vyhledávat pouze v rámci stejného obalu platnosti. Vektorová podobnost nenahrazuje řízení přístupu. Zkontrolujte oprávnění před vyhledáním v cache a znovu před samotným výstupem. Zásah z privilegovaného klientského portálu se nesmí nikdy stát veřejnou odpovědí v FAQ.

Ukládejte pouze vhodné odpovědi

Ne každou odpověď modelu lze ukládat do cache. Dobrými kandidáty jsou stabilní, veřejné a schválenými zdroji doložené informace. Vyloučit byste měli osobní údaje, zůstatky na účtech, individuální nabídky, časově kritické skladové zásoby, neuzavřené výsledky nástrojů a odpovědi s nízkou mírou důvěryhodnosti. I bezpečné předání na operátora nebo věta „To nevím“ může být krátkodobě uložena v cache, pokud tím zmírníte známé přetížení; vyžaduje však výrazně kratší dobu platnosti.

Označte možnost ukládání do cache až po kontrole odpovědi, nikoli před ní. Kontrolní proces může posoudit pokrytí zdroji, povolené datové typy, stav nástrojů a třídu obsahu. Stanovte také, zda smí být ukládány pouze lidmi prověřené odpovědi, nebo i automaticky schválené výstupy.

Podobnost je parametrem kvality

Příliš vysoká prahová hodnota generuje málo zásahů a malé úspory. Příliš nízká hodnota poskytuje formálně podobné, ale obsahově nesprávné odpovědi. Určete mezní hodnotu pomocí testovací sady reálných dvojic dotazů: se stejným významem, příbuzné ale odlišné a jednoznačně nevhodné. Měřte přesnost zásahů cache odděleně podle záměru (intentu) a jazyka. Společná globální mezní hodnota postačuje jen zřídkakdy.

Při nejistotě je nezásah do cache (cache miss) tím bezpečným rozhodnutím. Běžná cesty přes RAG a model pak může vygenerovat čerstvou odpověď. Rychlý chybný zásah je dražší než o něco pomalejší volání modelu, protože stojí důvěru, čas zákaznické podpory a možná i ochranu dat.

Navažte invalidaci na zdroje, ne na kalendář

Plošná doba životnosti (TTL) je užitečná, ale nestačí. Stránka s cenami nebo pravidly může být neplatná ihned po změně, i když je záznam v cache starý jen několik minut. Ukládejte proto s odpovědí i ID a verze použitých zdrojů. Pokud se zdroj změní, závislé záznamy se smažou nebo označí jako nepoužitelné.

Každá třída obsahu navíc potřebuje maximální věk. Otevírací doba může platit až do další prověřené změny, zatímco stav skladu by se neměl v cache ukládat možná vůbec. Takzvaná cesta stale-while-revalidate smí být použita pouze pro informace, u kterých je krátkodobě zastaralá odpověď akceptovatelná a transparentní. Pro právní lhůty, ceny nebo osobní údaje je téměř vždy vhodnější tvrdý miss.

Zabudujte ochranu osobních údajů od samého počátku

Sémantická cache může dlouhodobě multiplicitně ukládat historii chatu, embeddingy a odpovědi. Podle článku 5 GDPR musí být osobní údaje účelově vázané, omezené na nezbytný rozsah a uložené pouze po požadovanou dobu. Před vytvořením klíče odstraňte nebo kategorizujte citlivé vstupy. Neukládejte e-mailovou adresu do vektoru jen proto, že byla součástí otázky.

Definujte řetězec mazání: pokud se vymaže konverzace nebo dokument, musí zmizet i závislé záznamy v cache a případné embeddingy. Protokolujte přístupy k administrativnímu obsahu cache a oddělte produktovou telemetrii od samotného úložiště odpovědí. Analytické účely automaticky neospravedlňují neomezené uchovávání.

Zveřejněte a měřte úspěšnost zásahů

Sledujte cache hit, důvod missu, rozsah podobnosti, věkovou třídu, verzi znalostí a výslednou latenci – aniž byste do metrik kopírovali celý větný vstup uživatele. Porovnávejte odpovědi z cache a čerstvě vygenerované odpovědi pomocí stejných signálů kvality a předání na člověka. Rostoucí hit-rate je pozitivní pouze tehdy, pokud zároveň neroste počet korekcí, stížností a nepodložených odpovědí.

Malá zlatá testovací sada (Golden Set) by měla cíleně pokrývat rizika cache: podobné otázky s různými produkty, změny jazyka, změny rolí, aktualizovaná pravidla a navazující dotazy bez dostatečného kontextu. Testujte invalidaci stejně pečlivě jako zásahy. Nejdůležitější test zní: Po změně zdroje se již nesmí zobrazit stará odpověď.

Bezpečný postup v sedmi krocích

1. Normalizovat dotaz a odstranit nebo klasifikovat citlivé hodnoty.
2. Určit tenanta, locale, třídu identity a verzi znalostí.
3. Vyhledávat sémanticky podobné klíče pouze v odpovídajícím prostoru platnosti.
4. Zkontrolovat prahovou hodnotu, věk, stav zdrojů a oprávnění.
5. Při pochybnostech vyvolat miss a použít běžnou cestu generování odpovědi.
6. Nový záznam uložit až po úspěšné kontrole kvality.
7. Kvalitu zásahů, mazání a invalidaci průběžně testovat.

Závěr: Hranice cache jsou hranicemi bezpečnosti

Sémantická cache odpovědí může webového chatbota výrazně zrychlit a zlevnit. Spolehlivou se však stává až tehdy, když je podobnost pouze začátkem rozhodování. Izolace tenantů, oprávnění, kontext, verze zdrojů, krátká doba uchovávání a bezpečná cesta při nezásahu zabrání tomu, abyste za rychlost platili nesprávnými nebo nepřípustnými odpověďmi.

Začněte s jedinou stabilní, veřejnou třídou intentů. Změřte na ní přesnost a invalidaci, než uvolníte další obsah. Cache tak bude růst na základě prokázané kvality, a ne pouze podle ušetřených volání modelu.

Zdroje

• Microsoft Learn: Semantic Cache for Large Language Models
• EUR-Lex: Obecné nařízení o ochraně osobních údajů (GDPR), článek 5
• OWASP GenAI Security Project: LLM Risks and Mitigations
• NIST AI RMF Core: Measure and Manage