Automatsko prepoznavanje jezika chatbota: Preferencije, rezervne opcije i izbor korisnika

Višejezični chatbot na web stranici ne bi smio posjetitelje poslati na pogrešan jezik već s prvim odgovorom. No automatski prepoznati jezik chatbota znači više od pukog preuzimanja prve vrijednosti iz preglednika. Postavke preglednika mogu biti zastarjele, uređaj se može dijeliti, a osoba može radije čitati tehnički sadržaj na engleskom iako njezin operativni sustav koristi hrvatski.

Robusno rješenje stoga tretira automatsku detekciju samo kao početni signal. Izričit izbor korisnika ima prednost, dostupnost sučelja, baze znanja i procesa preusmjeravanja postavlja granice, a vidljiva rezervna opcija (fallback) sprječava da naizgled prikladan jezik dovede do nepotpunih ili izmišljenih odgovora.

Zašto je jezik preglednika samo smjernica

Preglednici često šalju HTTP zaglavlje Accept-Language. Ono sadrži jezična područja i može izraziti redoslijed putem takozvanih vrijednosti kvalitete, na primjer de-AT,de;q=0.9,en;q=0.7. Standard RFC 9110 izričito opisuje te preferencije kao pomoć pri odabiru prikaza, a ne kao sigurno tvrdnju o samoj osobi.

U pregledniku, navigator.languages pruža sortirani popis preferiranih BCP-47 jezičnih oznaka. Prema MDN-u , preglednici ipak mogu otkriti manje preferencija iz razloga privatnosti. Osim toga, preglednik po potrebi dopunjuje općenitije varijante: iz de-AT također može postati relevantno de za usporedbu.

Praktična posljedica za chatbotove je sljedeća: Accept-Language i navigator.languages dobri su kandidati za prvi prijedlog. Međutim, oni ne smiju zamijeniti lokaciju ili državljanstvo. IP adresa ne otkriva pouzdanu jezičnu želju. Ni sama domena ili jezik stranice nisu dovoljni ako je posjetitelj namjerno prešao na drugu jezičnu verziju.

Jasan lanac prioriteta sprječava iznenađenja

Odabir bi trebao biti deterministički. Dobrom se pokazala praksa koja jasno vrednuje svaki izvor:

1. Izričit izbor u trenutnoj sesiji: Ako korisnik klikne na francuski, sljedeći odgovor chatbota mora koristiti francuski.
2. Spremljena, još važeća preferencija: Rniji izbor može ponovno vrijediti prilikom kasnijeg posjeta, pod uvjetom da je pohrana transparentna i tehnički dopuštena.
3. Jezik trenutne stranice: Chatbot ne bi trebao bez razloga odstupati od namjerno otvorene jezične verzije.
4. Preferencije preglednika: Popis se uspoređuje sa stvarno podržanim jezičnim lokalitetima chatbota.
5. Dokumentirani standard: Ako ništa ne odgovara, slijedi namjerno odabrani osnovni jezik umjesto nasumičnog rezultata.

Ovaj lanac odvaja detekciju od odluke. Može se bilježiti i testirati: source=user, source=stored, source=page, source=browser ili source=default. Za analitiku su obično dovoljni izvor i odabrani lokalitet. Cijeli popis jezika u pregledniku ne bi trebalo nepotrebno pohranjivati, jer RFC 9110 ukazuje na potencijalne rizike za privatnost i fingerprinting kod detaljnih jezičnih preferencija.

Normalizacija BCP-47 oznaka bez gubitka značenja

Jezične oznake ne sastoje se samo od dva slova. pt-BR i pt-PT dijele jezik, ali se mogu razlikovati po tonalitetu, izboru riječi, formatima i pravnim pojmovima. Pisma također mogu biti presudna. Stoga bi aplikacija trebala sintaktički normalizirati dolazne oznake i zatim ih provjeriti u odnosu na izričit popis podržanih lokaliteta.

Od specifične oznake do sigurne rezervne opcije

Smisleno podudaranje najprije pokušava pronaći točnu varijantu. Ako de-AT nije dostupan, može slijediti de . Nakon toga može stupiti na snagu poznati, urednički provjereni standardni lokalitet. Međutim, jednostavno skraćivanje svih podoznaka nije uvijek sigurno. Za jezike s više pisama ili znatno različitim varijantama, proizvod treba jasno definiranu dodjelu.

Rezervna opcija (fallback) mora se provjeriti odvojeno na tri razine: Je li sučelje chata prevedeno? Postoje li odgovarajući izvori znanja? Može li ljudski tim za podršku preuzeti taj jezik? Lokalizirani gumb još nije dokaz da baza znanja ima istu pokrivenost. Kako se izvori razdvajaju prema jeziku, verziji i pristupu prikazano je u članku o RAG filtrima metapodataka za AI chatbotove.

Ponudite automatiku, držite izbor korisnika vidljivim

Preporuka za internacionalizaciju W3C-a povezuje automatsko posredovanje jezika s lako dostupnim poveznicama na alternativne jezične verzije. Ako korisnik sam promijeni jezik, taj izbor treba imati prednost nad preferencijama preglednika i po želji se zadržati za sljedeće stranice.

Za chatbot to znači: aktivni jezik mora biti vidljivo smješten u zaglavlju chata ili u lako dostupnom izborniku. Promjena ne smije neprimjetno poslati radni unos u tijeku. Umjesto toga, unos ostaje sačuvan, bot ukratko objašnjava promjenu jezika i kontrolirano nastavlja razgovor. Ako ranije poruke postoje na drugom jeziku, sustav bi trebao sačuvati njihovo značenje za kontekst, ali ne i prevoditi cijeli tijek bez pitanja.

Dobra formulacija glasi, na primjer: „Hrvatski je preuzet s ove stranice. Promijeni jezik.“ Kod rezervne opcije napomena može biti konkretnija: „Za hrvatski nema provjerenih informacija o ovoj temi. Mogu koristiti engleski izvor ili vas preusmjeriti na podršku.“ Tako korisnik razumije zašto se jezik ili dubina odgovora mijenja.

Razdvajanje jezika stranice, jezika chata i lokaliteta sadržaja

Tri se vrijednosti često pogrešno spajaju u jedno polje:

• Jezik stranice: primarni jezik HTML dokumenta;
• Jezik chata: jezik na kojem se pojavljuju sučelje i odgovori;
• Lokalitet sadržaja: varijanta iz koje chatbot smije dohvaćati provjerene informacije.

Ove vrijednosti mogu biti jednake, ali ne moraju. Korisnik koji govori hrvatski može postaviti pitanje na hrvatskom na engleskoj stranici proizvoda. Bot smije odgovoriti na hrvatskom i još uvijek transparentno uputiti na engleski izvorni izvor. Međutim, ne bi smio tvrditi da je koristio hrvatski izvor ako je samo odgovor preveden.

Za pristupačnost, jezik dokumenta i sadržaja mora biti ispravno označen. W3C tehnika H57 opisuje atribut langna elementu htmlkako bi, između ostalog, čitači zaslona mogli prikladno obraditi izgovor i sintaksu. Ako pojedini odlomak mijenja jezik, i tom je području potrebna odgovarajuća oznaka. Dodatne provjere okuplja WCAG kontrolna lista za chatbotove na web stranicama.

Predmemorija i URL-ovi moraju poštovati jezičnu odluku

Oni koji odabiru sadržaj na strani poslužitelja prema Accept-Language moraju uzeti u obzir strategiju predmemoriranja. RFC 9110 objašnjava da Vary: Accept-Language signalizira predmemorijama da je zaglavlje utjecalo na prikaz. Ako ta razdvojenost nedostaje, predmemorija može isporučiti hrvatsku varijantu posjetitelju koji govori engleski.

Za javne, indeksabilne sadržaje, stabilni URL-ovi specifični za jezik često se lakše provjeravaju i dijele. Automatska detekcija tada može voditi do odgovarajućeg URL-a bez skrivanja različitih sadržaja pod istom adresom. U samom chatu lokalitet bi trebao biti dio stanja sesije i svakog zahtjeva na strani poslužitelja. Promjena jezika mora zajedno ažurirati ključeve predmemorije, filtre dohvaćanja i generiranje odgovora.

Formatirane vrijednosti također pripadaju ovom ugovoru. Datum, broj, valuta i vremenska zona ne slijede automatski ispravno iz jezika teksta. Vodič Lokalizacija odgovora chatbota prikazuje kako se ti podaci obrađuju odvojeno i dosljedno.

Rezervne opcije ne smiju prikrivati praznine u sadržaju

Najrizičnija pogreška je tiha promjena baze znanja. Ako ne postoji hrvatski članak za pitanje na hrvatskom, bot može koristiti engleski izvor, pod uvjetom da proizvod dopušta taj put. Međutim, mora provjeriti izvor, ažurnost i dopuštenje jednako kao i kod izravnog podudaranja.

Sigurna matrica rezervnih opcija sadrži najmanje: zatraženi lokalitet, dostupan lokalitet sučelja, dostupan lokalitet sadržaja, dopušteni zamjenski lokalitet, način prevođenja i cilj preusmjeravanja. Rezultat nije uvijek odgovor. Kod osjetljivih tema ili tema koje uvelike ovise o kontekstu, „nema provjerenih informacija na ovom jeziku“ bolje je od tečnog, ali nepotvrđenog prijevoda. Članak o rezervnim opcijama kod praznina u znanju opisuje kako međusobno djeluju nesigurnost i preusmjeravanje.

Testni slučajevi za jezičnu logiku

Mali, sustavni skup testova pronalazi više pogrešaka od pojedinačne provjere preglednika. Trebao bi pokriti barem ove slučajeve:

• de-AT se nudi, a podržan je samo de;
• prva preferencija preglednika nije dostupna, ali druga jest;
• izbor korisnika proturječi jeziku stranice i preglednika;
• spremljena preferencija upućuje na u međuvremenu uklonjeni lokalitet;
• sučelje postoji, ali baza znanja ili preusmjeravanje ne postoje;
• promjena jezika događa se usred razgovora s neposlanim tekstom;
• predmemorija zaista isporučuje novi lokalitet nakon promjene;
• čitač zaslona ispravno prepoznaje jezik stranice i odlomka;
• analitika bilježi izvor odabira i rezervnu opciju, ali ne i nepotrebno detaljan popis preferencija.

Za svaku kombinaciju timovi bi trebali zabilježiti očekivani lokalitet, izvor odluke, vidljivu napomenu i dopušteni prostor sadržaja. Uz to, svakom je jeziku potreban stručni uzorak. Potpunost i kvaliteta odgovora ne mogu se izvesti samo iz postojanja retka prijevoda.

Praktična kontrolna lista za uvođenje

1. Odvojeno popišite sve podržane lokalitete za sučelje, sadržaj i preusmjeravanje.
2. Dokumentirajte jasan lanac prioriteta za izbor korisnika, spremljeni izbor, stranicu, preglednik i standard.
3. Definirajte BCP-47 podudaranje uključujući regionalne iznimke i iznimke povezane s pismom.
4. Dizajnirajte promjenu jezika tako da bude vidljiva i bez gubitka unosa.
5. Ograničite rezervne opcije na pokrivenost izvorima, ažurnost i dopuštenja.
6. lang, provjerite URL-ove specifične za jezik, kanonske oznake i ponašanje predmemorije.
7. Pohranjujte samo potrebne podatke analitike i odredite razdoblje čuvanja.
8. Testirajte računalo, mobilni uređaj, tipkovnicu i čitač zaslona sa stvarnim popisima preferencija.

Središnja odluka o proizvodu stoga ne glasi: „Koji jezik ima ovaj posjetitelj?“ Ona glasi: „Koji je jezik zatražen, koji su sadržaji za njega pouzdano dostupni i kako objašnjavamo potrbni zamjenski put?“ Tko odvojeno odgovori na ova tri pitanja, dobiva chatbota koji automatski počinje korisno, ali kontrolu prepušta korisniku.

Izvori

• RFC 9110: Accept-Language, Vary i privatnost
• MDN: Navigator.languages
• W3C Internationalization: Guiding users to translated pages
• W3C WAI: Označavanje jezika dokumenta pomoću lang