Chatbot kalbos automatinis atpažinimas: nuostatos, atsarginiai variantai ir naudotojo pasirinkimas

Daugiakalbis svetainės Chatbot neturėtų lankytojui jau pirmuoju atsakymu pateikti netinkamos kalbos. Tačiau Chatbot kalbos automatinis atpažinimas reiškia daugiau nei tik pirmosios naršyklės reikšmės perėmimą. Naršyklės nustatymai gali būti pasenę, įrenginiu gali dalytis keli asmenys, o žmogus gali teikti pirmenybę techniniam turiniui anglų kalba, nors jo operacinė sistema naudoja vokiečių kalbą.

Tvirta sistema todėl automatinį atpažinimą traktuoja tik kaip pradinį signalą. Aiškus naudotojo pasirinkimas turi pirmenybę, sąsajos, žinių bazės bei perdavimo proceso prieinamumas nustato ribas, o matomas atsarginis variantas (fallback) neleidžia, kad iš pažiūros tinkama kalba pateiktų nepilnus ar išgalvotus atsakymus.

Kodėl naršyklės kalba tėra užuomina

Naršyklės dažnai siunčia HTTP antraštę Accept-Language. Joje yra kalbų sritys ir ji gali išreikšti eiliškumą per vadinamąsias kokybės reikšmes, pavyzdžiui, de-AT,de;q=0.9,en;q=0.7. Standartas RFC 9110 šias nuostatas aiškiai apibūdina kaip pagalbą pasirenkant atvaizdavimą, o ne kaip užtikrintą teiginį apie asmenį.

Naršyklėje navigator.languages pateikia sutvarkytą pageidaujamų BCP-47 kalbų žymų sąrašą. Remiantis MDN , naršyklės dėl privatumo priežasčių gali atskleisti mažiau nuostatų. Be to, naršyklė tam tikromis aplinkybėmis papildo bendresnius variantus: iš de-AT palyginimui papildomai gali tapti svarbi de reikšmė.

Praktinė išvada Chatbot sistemoms: Accept-Language ir navigator.languages yra geri kandidatai pirmajam pasiūlymui. Tačiau jie negali atstoti nei buvimo vietos, nei pilietybės. IP adresas neatskleidžia patikimo kalbos pageidavimo. Taip pat vien domeno ar puslapio kalbos nepakanka, jei lankytojas sąmoningai perėjo prie kitos kalbos versijos.

Aiški prioriteto grandinė apsaugo nuo netikėtumų

Pasirinkimas turėtų būti deterministinis. Pasiteisino eiliškumas, kuriame kiekvienas šaltinis turi aiškų svorį:

1. Aiškus pasirinkimas dabartinėje sesijoje: Jei naudotojas spusteli prancūzų kalbą, kitas Chatbot atsakymas privalo būti prancūzų kalba.
2. Išsaugota, vis dar galiojanti nuostata: Ankstesnis pasirinkimas gali vėl galioti kito apsilankymo metu, jei saugojimas yra skaidrus ir techniškai leidžiamas.
3. Dabartinio puslapio kalba: Chatbot neturėtų be priežasties nukrypti nuo sąmoningai atvertos kalbos versijos.
4. Naršyklės nuostatos: Sąrašas palyginamas su faktiškai palaikomomis Chatbot kalbinėmis lokalėmis (Locales).
5. Dokumentuotas standartas: Jei niekas netinka, taikoma sąmoningai pasirinkta bazinė kalba, o ne atsitiktinis rezultatas.

Ši grandinė atskiria atpažinimą nuo sprendimo. Ją galima registruoti ir testuoti: source=user, source=stored, source=page, source=browser arba source=default. Analitikai dažniausiai pakanka šaltinio ir pasirinktos lokalės. Viso naršyklės kalbų sąrašo nereikėtų be reikalo išsaugoti, nes RFC 9110 nurodo galimas privatumo ir pirštų atspaudų rinkimo (fingerprinting) rizikas, susijusias su išsamiomis kalbų nuostatomis.

BCP-47 žymų normalizavimas neprarandant reikšmės

Kalbos žymos susideda ne tik iš dviejų raidžių. pt-BR ir pt-PT dalijasi ta pačia kalba, tačiau gali skirtis tonu, žodyno pasirinkimu, formatais ir teisiniais terminais. Rašto sistemos taip pat gali būti lemiamos. Todėl programa turėtų sintaksiškai normalizuoti gautas žymas ir tada patikrinti jas pagal aiškų palaikomų lokalių sąrašą.

Nuo specifinės žymos iki saugaus atsarginio varianto

Protingas atitikimo ieškojimas pirmiausia bando tikslų variantą. Jei de-AT nėra, gali sekti de . Po to gali įsigalioti žinoma, redakciškai patikrinta standartinė lokalė. Tačiau tiesioginis visų pažymų (subtags) nupjovimas ne visada yra saugus. Kalboms su keliomis rašto sistemomis arba labai besiskiriančiais variantais produktui reikalingas sąmoningai apibrėžtas priskyrimas.

Atsarginis variantas turi būti patikrintas atskirai trims lygmenims: ar pokalbio sąsaja išversta? Ar yra atitinkamų žinių šaltinių? Ar žmogaus palaikymo komanda gali perimti šią kalbą? Lokalizuotas mygtukas dar neįrodo, kad žinių bazė turi tokią pačią aprėptį. Kaip šaltiniai atskiriami pagal kalbą, versiją ir prieigą, rodoma straipsnyje apie RAG metaduomenų filtrus AI Chatbot sistemoms.

Siūlyti automatiką, išlaikyti naudotojo pasirinkimą matomą

W3C tarptautinimo rekomendacija sujungia automatinį kalbos tarpininkavimą su lengvai randamomis nuorodomis į alternatyvias kalbų versijas. Jei naudotojas pats pakeičia kalbą, šis pasirinkimas turi nusverti naršyklės nuostatą ir, pageidaujant, išlikti tolesniuose puslapiuose.

Chatbot sistemai tai reiškia: aktyvi kalba turi būti matoma pokalbio antraštėje arba lengvai pasiekiamame meniu. Pakeitimas neturi nepastebimai išsiųsti ruošiamo teksto. Vietoj to įvestis išlieka, robotas trumpai paaiškina kalbos pakeitimą ir kontroliuojamai tęsia pokalbį. Jei ankstesnės žinutės pateiktos kita kalba, sistema turėtų išsaugoti jų reikšmę kontekstui, bet neprašyta neversi visos eigos.

Geras formulavimo pavyzdys: „Lietuvių kalba perimta iš šio puslapio. Keisti kalbą.“ Atsarginio varianto atveju pastaba gali būti konkretesnė: „Šia tema patikrintos informacijos lietuvių kalba nėra. Galiu naudoti šaltinį anglų kalba arba perduoti užklausą palaikymo komandai.“ Taip naudotojas supranta, kodėl keičiasi kalba ar atsakymo gylis.

Atskirti puslapio kalbą, pokalbio kalbą ir turinio lokalę

Trys reikšmės dažnai klaidingai sujungiamos į vieną lauką:

• Puslapio kalba: pagrindinė HTML dokumento kalba;
• Pokalbio kalba: kalba, kuria rodoma sąsaja ir atsakymai;
• Turinio lokalė: variantas, iš kurio Chatbot gali imti pagrįstą informaciją.

Šios reikšmės gali būti vienodos, bet neprivalo. Lietuviškai kalbantis naudotojas angliškame produkto puslapyje gali užduoti klausimą lietuviškai. Robotas gali atsakyti lietuviškai ir vis dėlto skaidriai nurodyti anglišką originalų šaltinį. Tačiau jis neturėtų teigti, kad naudojo lietuvišką šaltinį, jei išverstas tik pats atsakymas.

Prieinamumui užtikrinti dokumento ir turinio kalba turi būti teisingai pažymėta. W3C technika H57 aprašo langatribūtagalime htmlelemente, kad, be kita ko, ekrano skaitytuvai galėtų tinkamai apdoroti tarimą ir sintaksę. Jei atskira pastraipa pakeičia kalbą, šiai sričiai taip pat reikia atitinkamo žymėjimo. Papildomus patikrinimus apjungia WCAG kontrolinis sąrašas svetainės Chatbot sistemoms.

Podėlis (Cache) ir URL privalo gerbti kalbos pasirinkimą

Kas turinį serverio pusėje pasirenka pagal Accept-Language , privalo atsižvelgti į podėlio strategiją. RFC 9110 paaiškina, kad Vary: Accept-Language praneša podėliams, jog antraštė turėjo įtakos atvaizdavimui. Jei šio atskyrimo nėra, podėlis gali pateikti lietuvišką variantą lankytojui, kalbančiam angliškai.

Viešam, indeksuojamam turiniui stabilius, konkrečiai kalbai skirtus URL dažnai lengviau patikrinti ir jais dalytis. Automatinis atpažinimas tuomet gali nukreipti į tinkamą URL, nepaslepiant skirtingo turinio tuo pačiu adresu. Pačiame pokalbyje lokalė turėtų būti seanso būsenos ir kiekvienos serverio užklausos dalis. Kalbos pakeitimas turi kartu atnaujinti podėlio raktus, gavimo filtrus ir atsakymo generavimą.

Formatuotos reikšmės taip pat priklauso šiam susitarimui. Data, skaičius, valiuta ir laiko juosta automatiškai netampa teisingi iš teksto kalbos. Vadovas Chatbot atsakymų lokalizavimas rodo, kaip šie duomenys tvarkomi atskirai ir nuosekliai.

Atsarginiai variantai neturi paslėpti turinio spragų

Rizikingiausia klaida – tylus žinių bazės pakeitimas. Jei į lietuvišką klausimą nėra lietuviško straipsnio, robotas gali naudoti anglišką šaltinį, jei produktas numato tokį kelią. Tačiau jis privalo patikrinti šaltinį, aktualumą ir teises taip pat, kaip ir tiesioginio atitikimo atveju.

Saugioje atsarginių variantų matricoje turi būti bent: užklausta lokalė, turima UI lokalė, turima turinio lokalė, leidžiama atsarginė lokalė, vertimo režimas ir perdavimo tikslas. Rezultatas ne visada yra atsakymas. Jautriomis ar labai nuo konteksto priklausančiomis temomis „nėra patikrintos informacijos šia kalba“ yra geriau nei sklandus, bet nepagrįstas vertimas. Straipsnis apie atsarginius variantus esant žinių spragoms aprašo, kaip neapibrėžtumas ir perdavimas veikia kartu.

Kalbos logikos testavimo atvejai

Mazas, sistemingas testų rinkinys randa daugiau klaidų nei vienas naršyklės patikrinimas. Jis turėtų apimti bent šiuos atvejus:

• de-AT siūloma, palaikoma tik de;
• pirmoji naršyklės nuostata nepasiekiama, o antroji pasiekiama;
• naudotojo pasirinkimas prieštarauja puslapio ir naršyklės kalbai;
• išsaugota nuostata nuorodo į jau pašalintą lokalę;
• UI yra, bet žinių bazės ar perdavimo funkcijos nėra;
• kalba pakeičiama pokalbio viduryje, esant neišsiųstam tekstui;
• podėlis po pakeitimo tikrai pateikia naują lokalę;
• ekrano skaitytuvas teisingai atpažįsta puslapio ir pastraipos kalbą;
• analitika užfiksuoja pasirinkimo šaltinį ir atsarginį variantą, bet ne be reikalo išsamų nuostatų sąrašą.

Kiekvienam deriniui komandos turėtų užfiksuoti tikėtiną lokalę, sprendimo šaltinį, matomą pastabą ir leidžiamą turinio erdvę. Papildomai kiekvienai kalbai reikia ekspertinių imčių patikrinimo. Pilnumo ir atsakymų kokybės negalima spręsti vien iš to, kad yra vertimo eilutė.

Praktinis diegimo kontrolinis sąrašas

1. Atskirai inventorizuoti visas palaikomas UI, turinio ir perdavimo lokales.
2. Dokumentuoti aiškią prioriteto grandinę naudotojo pasirinkimui, išsaugotam pasirinkimui, puslapiui, naršyklei ir standartui.
3. Apibrėžti BCP-47 atitikimą, įskaitant regionines ir su raštu susijusias išimtis.
4. Sukurti kalbos keitimą matomą ir neprarandant įvesties.
5. Apriboti atsarginius variantus pagal šaltinių aprėptį, aktualumą ir teises.
6. lang, patikrinti konkrečioms kalboms skirtus URL, kanonines nuorodas (canonicals) ir podėlio elgseną.
7. Saugoti tik būtinus analitikos duomenis ir nustatyti jų saugojimo terminą.
8. Išbandyti darbalaukį, mobilųjį įrenginį, klaviatūrą ir ekrano skaitytuvą su tikroviškais nuostatų sąrašais.

Pagrindinis produkto sprendimas skamba ne taip: „Kokia šio lankytojo kalba?“ Jis skamba taip: „Kokios kalbos buvo pageidaujama, koks turinys ja yra patikimai pasiekiamas ir kaip paaiškinsime būtiną atsarginį kelią?“ Kas į šiuos tris klausimus atsako atskirai, gauna Chatbot, kuris automatiškai pradeda naudingai, bet palieka kontrolę naudotojui.

Šaltiniai

• RFC 9110: Accept-Language, Vary ir privatumas
• MDN: Navigator.languages
• W3C Tarptautinimas: Naudotojų nukreipimas į išverstus puslapius
• W3C WAI: Dokumento kalbos žymėjimas su lang