Automatická detekcia jazyka chatbota: Preferencie, fallbacky a voľba používateľa

Viacjazyčný webový chatbot by nemal návštevníkov poslať do nesprávneho jazyka hneď pri prvej odpovedi. No automaticky detegovať jazyk chatbota znamená viac než len prevziať prvú hodnotu z prehliadača. Nastavenia prehliadača môžu byť zastarané, zariadenie môže byť zdieľané a človek môže radšej čítať technický obsah v angličtine, aj keď jeho operačný systém používa nemčinu.

Robustné riešenie preto považuje automatickú detekciu len za východiskový signál. Explicitná voľba používateľa má prednosť, dostupnosť rozhrania, znalostnej bázy a procesu odovzdania nastavuje limity a viditeľný fallback zabraňuje tomu, aby zdanlivo vhodný jazyk viedol k neúplným alebo vymysleným odpovediam.

Prečo je jazyk prehliadača iba vodítkom

Prehliadače často posielajú hlavičku HTTP Accept-Language. Obsahuje jazykové rozsahy a pomocou takzvaných hodnôt kvality môže vyjadriť poradie, napríklad de-AT,de;q=0.9,en;q=0.7. Štandard RFC 9110 výslovne popisuje tieto preferencie ako pomôcku pri výbere prezentácie, nie ako spoľahlivé vyhlásenie o danej osobe.

V prehliadači poskytuje navigator.languages zoradený zoznam preferovaných jazykových značiek BCP-47. Podľa MDN však prehliadače môžu z dôvodov ochrany súkromia odhaliť menej preferencií. Okrem toho prehliadač môže za určitých okolností doplniť všeobecnejšie varianty: z de-AT sa pre porovnanie môže dodatočne stať relevantným de .

Dôsledok pre chatbotov je praktický: Accept-Language a navigator.languages sú dobrí kandidáti pre prvý návrh. Nesmú však nahradiť polohu ani štátnu príslušnosť. IP adresa neprerádza žiadne spoľahlivé jazykové želanie. Ani samotná doména alebo jazyk stránky nestačia, ak návštevník vedome prešiel na inú jazykovú verziu.

Jasný reťazec priorít zabraňuje prekvapeniam

Výber by mal byť deterministický. Osvedčilo sa poradie, ktoré jednoznačne váži každý zdroj:

1. Explicitná voľba v aktuálnej relácii: Ak používateľ klikne na francúzštinu, nasledujúca odpoveď chatbota musí použiť francúzštinu.
2. Uložená, stále platná preferencia: Predchádzajúca voľba môže platiť aj pri neskoršej návšteve, pokiaľ je ukladanie transparentné a technicky prípustné.
3. Jazyk aktuálnej stránky: Chatbot by sa nemal bezdôvodne odkláňať od vedome otvorenej jazykovej verzie.
4. Preferencie prehliadača: Zoznam sa porovnáva so skutočne podporovanými lokáliami chatbota.
5. Zdumentovaný štandard: Ak nič nevyhovuje, nasleduje uvážlivo zvolený základný jazyk namiesto náhodného výsledku.

Tento reťazec oddeľuje detekciu od rozhodnutia. Dá sa zaznamenávať a testovať: source=user, source=stored, source=page, source=browser alebo source=default. Pre analytiku zvyčajne postačuje zdroj a zvolená lokália. Úplný zoznam jazykov prehliadača by sa nemal zbytočne ukladať, pretože RFC 9110 upozorňuje na možné riziká pre súkromie a fingerprinting pri detailných jazykových preferenciách.

Normalizovať značky BCP-47 bez straty významu

Jazykové značky nepozostávajú len zo dvoch písmen. pt-BR a pt-PT zdieľajú jazyk, ale môžu sa líšiť v tonalite, voľbe slov, formátoch a právnych pojmoch. Rozhodujúce môžu byť aj písma. Preto by aplikácia mala prichádzajúce značky syntakticky normalizovať a následne ich skontrolovať voči explicitnému zoznamu podporovaných lokálií.

Od špecifickej značky k bezpečnému fallbacku

Zmysluplné párovanie sa najprv pokúsi o presný variant. Ak de-AT nie je k dispozícii, môže nasledovať de . Potom môže nastúpiť známa, redakčne overená štandardná lokália. Púhe odstrihnutie všetkých podznačiek však nie je vždy bezpečné. Pri jazykoch s viacerými písmami alebo výrazne odlišnými variantmi potrebuje produkt uvážlivo definované priradenie.

Fallback sa musí overiť samostatne pre tri úrovne: Je rozhranie chatu preložené? Existujú vhodné zdroje znalostí? Dokáže ľudský tím podpory prevziať tento jazyk? Lokalizované tlačidlo ešte nie je dôkazom toho, že znalostná báza má rovnaké pokrytie. Ako sa zdroje oddeľujú podľa jazyka, verzie a prístupu, ukazuje článok o filtroch metadát RAG pre AI chatbotov.

Ponúknuť automatiku, zachovať viditeľnosť voľby používateľa

Odporúčanie W3C pre internacionalizáciu spája automatické sprostredkovanie jazyka s ľahko dostupnými odkazmi na alternatívne jazykové verzie. Ak používateľ sám zmení jazyk, táto voľba má prevýšiť preferenciu prehliadača a na požiadanie sa má zachovať aj pre nasledujúce stránky.

Pre chatbota to znamená: Aktívny jazyk patrí viditeľne do hlavičky chatu alebo do ľahko prístupného menu. Zmena nesmie nepozorovane odoslať rozpracovaný text. Namiesto toho zostane vstup zachovaný, bot stručne vysvetlí zmenu jazyka a kontrolovane pokračuje v konverzácii. Ak existujú predchádzajúce správy v inom jazyku, systém by mal zachovať ich význam pre kontext, ale neprekladať celú históriu bez opýtania.

Dobrá formulácia znie napríklad: „Slovenčina bola prevzatá z tejto stránky. Zmeniť jazyk.“ Pri fallbacku môže byť upozornenie konkrétnejšie: „Pre nemčinu nie sú k tejto téme dostupné žiadne overené informácie. Môžem použiť anglický zdroj alebo vás odovzdať na podporu.“ Používateľ tak pochopí, prečo sa zmenil jazyk alebo hĺbka odpovede.

Oddeliť jazyk stránky, jazyk chatu a lokáliu obsahu

Tri hodnoty sa často nesprávne spájajú do jedného poľa:

• Jazyk stránky: primárny jazyk dokumentu HTML;
• Jazyk chatu: jazyk, v ktorom sa zobrazuje rozhranie a odpovede;
• Lokália obsahu: variant, z ktorého smie chatbot čerpať doložené informácie.

Tieto hodnoty môžu byť rovnaké, ale nemusia. Slovensky hovoriaci používateľ môže položiť otázku po slovensky na anglickej produktovej stránke. Bot môže odpovedať po slovensky a pritom transparentne odkázať na anglický originálny zdroj. Nemal by však tvrdiť, že použil slovenský zdroj, ak bola preložená iba odpoveď.

Pre prístupnosť musí byť jazyk dokumentu a obsahu správne označený. Technika W3C H57 popisuje atribút langna prvku html, aby okrem iného čítačky obrazovky dokázali vhodne spracovať výslovnosť a syntax. Ak jednotlivá časť zmení jazyk, aj táto oblasť potrebuje zodpovedajúce označenie. Ďalšie kontroly združuje kontrolný zoznam WCAG pre webových chatbotov.

Cache a URL musia rešpektovať rozhodnutie o jazyku

Ak vyberáte obsah na strane servera podľa Accept-Language , musíte vziať do úvahy stratégiu vyrovnávacej pamäte (cache). RFC 9110 vysvetľuje, že Vary: Accept-Language signalizuje vyrovnávacím pamätiam, že hlavička ovplyvnila prezentáciu. Ak toto oddelenie chýba, cache môže doručiť nemecký variant anglicky hovoriacemu návštevníkovi.

Pre verejný, indexovateľný obsah sú stabilné URL špecifické pre daný jazyk často ľahšie na kontrolu a zdieľanie. Automatická detekcia potom môže viesť na vhodnú URL bez toho, aby sa skryli rôzne obsahy pod rovnakou adresou. V samotnom chate by mali byť lokália súčasťou stavu relácie a každej požiadavky na strane servera. Zmena jazyka musí spoločne aktualizovať kľúče cache, filtre vyhľadávania (retrieval) a generovanie odpovedí.

Do tejto dohody patria aj formátované hodnoty. Dátum, číslo, mena a časové pásmo nevyplývajú automaticky správne z jazyka textu. Sprievodca lokalizáciou odpovedí chatbota ukazuje, ako sa s týmito údajmi zaobchádza samostatne a konzistentne.

Fallbacky nesmú zastierať medzery v obsahu

Najrizikovejšou chybou je tichá zmena znalostnej bázy. Ak k slovenskej otázke neexistuje slovenský článok, bot môže použiť anglický zdroj, pokiaľ produkt túto cestu povoľuje. Musí však skontrolovať zdroj, aktuálnosť a oprávnenie rovnako ako pri priamej zhode.

Bezpečná matica fallbackov obsahuje minimálne: požadovanú lokáliu, dostupnú lokáliu UI, dostupnú lokáliu obsahu, povolenú náhradnú lokáliu, režim prekladu a cieľ odovzdania. Výsledkom nie je vždy odpoveď. Pri citlivých alebo silne kontextových témach je „žiadne overené informácie v tomto jazyku“ lepšia voľba než plynulý, ale nepodložený preklad. Článok o fallbackoch pri medzerách vo vedomostiach popisuje, ako spolupracujú neistota a odovzdanie.

Testovacie prípady pre jazykovú logiku

Malá, systematická sada testov odhalí viac chýb než jediná kontrola prehliadača. Mal by pokrývať minimálne tieto prípady:

• de-AT sa ponúka, podporovaná je len de;
• prvá preferencia prehliadača nie je k dispozícii, druhá áno;
• voľba používateľa odporuje jazyku stránky a prehliadača;
• uložená preferencia odkazuje na lokáliu, ktorá bola medzitým odstránená;
• UI je k dispozícii, no znalostná báza alebo odovzdanie nie;
• zmena jazyka nastane uprostred konverzácie s neodoslaným textom;
• vyrovnávacia pamäť po zmene skutočne doručí novú lokáliu;
• čítačka obrazovky správne rozpozná jazyk stránky a sekcie;
• analytika zaznamenáva zdroj výberu a fallback, ale žiadny zbytočne detailný zoznam preferencií.

Pre každú kombináciu by tímy mali zaznamenať očakávanú lokáliu, zdroj rozhodnutia, viditeľné upozornenie a povolený priestor obsahu. Okrem toho každý jazyk potrebuje odborné náhodné kontroly. Úplnosť a kvalitu odpovedí nemožno vyvodiť len z prítomnosti riadku s prekladom.

Praktický kontrolný zoznam na zavedenie

1. Samostatne inventarizovať všetky podporované lokálie UI, obsahu a odovzdania.
2. Zadokumentovať jednoznačný reťazec priorít pre voľbu používateľa, uloženú voľbu, stránku, prehliadač a štandard.
3. Definovať párovanie BCP-47 vrátane regionálnych výnimiek a výnimiek týkajúcich sa písma.
4. Navrhnúť zmenu jazyka viditeľne a bez straty zadaného textu.
5. Obmedziť fallbacky podľa pokrytia zdrojov, aktuálnosti a oprávnení.
6. langSkontrolovať URL špecifické pre jazyk, kanonické značky a správanie cache.
7. Ukladať len nevyhnutné analytické údaje a stanoviť dobu uchovávania.
8. Testovať desktop, mobilné zariadenia, klávesnicu a čítačku obrazovky s realistickými zoznamami preferencií.

Kľúčové produktové rozhodnutie teda neznie: „Aký jazyk má tento návštevník?“ Znie: „Aký jazyk si želal, aké obsahy sú preň spoľahlivo dostupné a ako vysvetlíme potrebnú náhradnú cestu?“ Kto zodpovie tieto tri otázky oddelene, získa chatbota, ktorý automaticky začne užitočne, no kontrolu ponechá používateľovi.

Zdroje

• RFC 9110: Accept-Language, Vary a ochrana súkromia
• MDN: Navigator.languages
• W3C Internationalization: Guiding users to translated pages
• W3C WAI: Označenie jazyka dokumentu pomocou lang