TE-vestlusroboti vaadeldavus: jälituskutsete, otsingu ja tööriistakutsete mõistmine

Veebilehe vestlusrobot võib kuvada õige vastuse, kuid jõuda selleni ohtlikku teed pidi: võib-olla pärines otsustav lause vananenud allikast, mõnda tööriista kutsuti asjata välja kaks korda või tagavaraotsus (fallback) varjas vea. TE-vestlusroboti vaadeldavus (observability) muudab selle ahela jälgitavaks. See ühendab tehnilised käitusandmed otsingu-, kvaliteedi- ja turvateabega, et meeskonnad ei näeks mitte ainult seda, et miski valesti läks, vaid ka kus ja miks.

See juhend pakub veebipõhistele meeskondadele praktilise struktuuri. See sobib nii lihtsatele RAG-vestlusrobotitele kui ka süsteemidele, mis ühendavad väliseid tööriistu, CRM-päringuid või mitmeid teenuseid. Fookuses on selged jälituskutsed (traces), mõned põhjendatud mõõdikud ja andmekaitsekontseptsioon, mis on paigas juba enne instrumenteerimist.

Miks tavapärastest veebimõõdikutest TE-vestlusrobotite jaoks ei piisa

Olekukood, kogukestus ja veamäär on jätkuvalt olulised. Kuid HTTP 200 ei ütle midagi selle kohta, kas vastus põhines sobival allikal, kas mudel varjas ebakindlust või kas tööriist andis oodatud tulemuse. Ka kiire vestlus võib olla sisuliselt vale. Vastupidiselt võib aeglasem vastus olla asjakohane, kui vajalik andmepäring viidi õigesti läbi.

Seetõttu tuleks käitamine ja kvaliteet eraldada, kuid neid omavahel korreleerida. Artikkel reaktsiooniaegade, voogedastuse ja aegumiste kohta selgitab ajalist vaatenurka. Vaadeldavus täiendab seda täitmisteekonnaga: milline komponent osales, kui kaua iga samm aega võttis ja millises punktis muutus vastuse kvaliteet?

Lehetekintest täieliku jälituskutseni

Jälituskutse (trace) kirjeldab üksiku päringu teekonda läbi mitme komponendi. Selle alamlõike nimetatakse span'ideks. W3C soovitus Trace Context määratleb parameetritega traceparent ja tracestate ühise formaadi, mille abil saab seda seost teenuste piiride vahel edasi anda. Vestlusroboti puhul on see eriti kasulik, sest muidu tekitavad veebilehitseja, API, otsing (retrieval), mudel ja tööriistad igaüks isoleeritud logisid.

Mõistetav miinimumteekond võib välja näha järgmine:

1. Veebipäring: Vestlusvidin saadab teate koos tehnilise päringu ID-ga.
2. Orkestreerimine: Server otsustab vastuserežiimi, teadmiste baasi, keele ja lubatud tööriistade üle.
3. Otsing (Retrieval): Otsing tagastab dokumendi ID-d, versioonid ja asjakohasuse skoorid.
4. Mudelikutse: Süsteem saadab ettevalmistatud konteksti valitud mudelile.
5. Tööriistakutse: Vajadusel käivitatakse ja valideeritakse selgelt piiritletud funktsioon.
6. Vastus ja üleandmine: Väljundit kontrollitakse, voogedastatakse või antakse üle inimesele.

Igal span'il peaks olema algus, lõpp, tulemuse olek ja väike hulk stabiilseid atribuute. Nimed peavad jääma versiooniuuenduste vahel samaks. Vabatekst, täielikud viiped (prompts) või tööriistade terviklikud vastused ei kuulu automaatselt iga jälituskutse juurde.

Millised andmed igas sammus tegelikult aitavad

Päringu- ja juhtimiskontekst

Alguses piisab enamasti tehnilistest, madala kardinaalsusega tunnustest: tootevaldkond, lokaal, anonümiseeritud sessiooniviide, versioon, viipe versioon ja valitud vastusetee. Kasutajanimi, e-posti aadress või täielik küsimus ei ole paljude käitusküsimuste jaoks vajalikud. Seejuures on oluline, et viipe või teadmusbaasi muutust saaks hiljem seostada konkreetse veaklastriga.

• Jälituskutse ID ja ajatempel
• Lokaal ja kanal, näiteks veebileht või kliendiportaal
• Rakenduse, viipe ja teadmiste indeksi versioon
• Valitud režiim, näiteks RAG, fallback või Human Handoff
• Lõppolek, näiteks edukas, katkestatud, aegunud või blokeeritud

Otsing ja allikad

RAG-süsteemide puhul on allikaahel sageli olulisem kui mudeli nimi. Seetõttu salvestage jälgitavad dokumendi ID-d, indeksi versioon, tulemuste arv ja – kui kasutatav otsingutehnoloogia võimaldab neid mõistlikult võrrelda – asjakohasuse skoorid. Dokumendi täielikud tekstid on selleks harva vajalikud. Olemasolev juhend hübriidotsingu ja ümberjärjestamise (reranking) kohta näitab, kuidas märksõna- ja vektorotsing koos töötavad; jälituskutse peaks tegema nähtavaks, milline etapp millised tulemused andis.

Eriti väärtuslikud on selgelt nimetatud olekud: tulemusi pole, vaid sise-künnisest madalamad tulemused, vananenud indeks või allikas pole enam kättesaadav. Siis saab meeskond teha vahet, kas teadmusbaasis on auk või ei leidnud otsing olemasolevaid teadmisi üles.

Mudeli- ja tööriistasammud

Mudelikutsete puhul on tüüpilisteks käitusandmeteks pakkuja ja mudeli tähis, kestus, tokenite kogused, katkestamise põhjus ja uuestiproovimiste (retries) arv. Tööriistade puhul lisanduvad funktsiooni nimi, valideeritud tulemuse olek ja turvaline veakood. Tundlikud argumendid või tulemused ei tohiks sattuda ega filtreerimata kujul atribuutidesse jääda. Näiteks tellimuse päringu puhul piisab sageli teabest "Õigused kontrollitud, kirje leitud, vastus kinnitatud" – mitte täielikust aadressist või ostuajaloost.

Microsoft kirjeldab oma agendi jälitamise ülevaates jälituskutseid ja pesastatud span'e kui vahendit mudeli-, tööriista-, latentsuse- ja kuluteabe uurimiseks kogu protsessi vältel. Põhimõte on pakkujaneutraalne: otsustav on järjepidev andmemudel, mitte konkreetne monitooringutoode.

Telemeetria kavandamine andmesäästlikult

Vaadeldavusest ei tohi saada kõigi vestluste varjatud koopia. OpenTelemetry juhised tundlike andmete kohta rõhutavad, että instrumenteerimine ei suuda tundlikku sisu ise tuvastada. Vastutus andmete minimeerimise, kaitse, nõusoleku ja säilitamise eest jääb käitajale. Seetõttu peaks enne esimest tootmisjälituskutset lubatute nimekiri (allowlist) paika panema, millised atribuudid üldse tohivad süsteemist väljuda.

Jälgimise eesmärk	Säästlik signaal	Mida vältida
Otsinguetapi vea leidmine	Indeksi versioon, dokumendi ID, tulemuse klass	dokumendi täistekst
Tööriistaprobleemide tuvastamine	Tööriista nimi, olekukood, kestus, tulemuse tüüp	tokenid, aadressid või vabatekstilised tulemused
Kvaliteedi võrdlemine pärast versiooniuuendust	Viipe versioon, hindamisetikett (eval-label), versiooni ID	filtreerimata vestluslogid
Korduvate juhtumite korreleerimine	lühiajaline pseudonüümne viide	püsiv selge kujul ID

Praktikas on toimiv eraldamine kolmeks tasemeks: koondmõõdikud pidevaks käitamiseks, diskreetitud jälituskutsed (sampled traces) tehniliseks analüüsiks ja rangelt kontrollitud vestlussäamplid sisulisteks ülevaatusteks. Juurdepääsuõigused ja kustutamistähtajad tuleks määratleda tasemete kaupa. Täiendavaid aluseid pakub artikkel andmesäästliku vestlusroboti analüütika kohta.

Jälituskutsetest saavad tegevusele suunatud mõõdikud

Jälituskutse selgitab üksikjuhtumit; mõõdikud näitavad, kas see on osa mustrist. Alustage väheste näitajatega, mis käivitavad konkreetse otsuse:

• Algusest lõpuni edukuse määr (End-to-End): Nende päringute osakaal, mis lõppevad ilma tehnilise vea või soovimatu katkestuseta.
• Otsingu tulemusteta jäämise määr (Retrieval No-Result): Tulemusteta RAG-päringute osakaal, eraldatuna lokaali ja indeksi versiooni järgi.
• Tööriista edukuse määr: edukad, tagasilükatud ja ebaõnnestunud kutsed funktsiooni kohta.
• Latentsus etappide kaupa: mitte ainult kogukestus, vaid eraldi otsingu, mudeli, tööriista ja järelkujunduse jaoks.
• Fallback- ja üleandmismäär: kui sageli rakendub turvaline asendusvastus või inimesele üleandmine.
• Kvaliteedivalim: allikapõhisus (grounding), asjakohasus või sisemised ülevaatuse sildid määratletud liiklusosale.

Microsofti GenAI vaadeldavuse ülevaade eraldab samuti hindamise, monitooringu ja jälitamise. See on kasulik mõttemudel: langev veamäär ei tõesta veel paremat vastuse kvaliteeti ning hea kvaliteediskoor ei asenda käitusmonitooringut.

Näide: õige vastus valest allikast

Oletame, et vestlusrobot nimetab ikka veel õige tagastusaja. Kuid jälituskutse näitab, et praegune abiartikkel jäi otsingus alla künnise ning selle asemel kasutati vana PDF-i. Ilma jälituskutseta tundub vastus silmapaistmatu. Jälituskutse abil muutub nähtavaks konkreetne risk: niipea kui tähtaeg muutub, vastab robot tõenäoliselt vananenud teabega.

Meeskond saab nüüd sihipäraselt tegutseda: kontrollida praeguse artikli indekseerimist, eemaldada vana dokument kinnitatud allikate hulgast, lisada regressioonitest ja otsida sarnaseid juhtumeid sama dokumendi ID järgi. Ta ei pea mudelit üldiselt välja vahetama ega kõiki vestlusi käsitsi läbi lugema.

Hoiatused vajavad reageerimist, mitte ainult piirmäära

Hoiatus on kasulik alles siis, kui vastutus ja järgmine samm on teada. Seetõttu tuleks iga signaali puhul dokumenteerida: piirmäär, jälgimisaken, mõjutatud kasutajarühm, vastutav meeskond, turvaline kohene meede ja taastumistingimus. Tööriistavigade kasvu korral võib kohene meede seista selles, et funktsioon lülitatakse välja ja pakutakse üleandmist inimesele. Otsingu katkestuste korral võib olla mõistlik kasutada kinnitatud fallback-vastust.

Juhend TE-vestlusroboti vahejuhtumitele reageerimise kohta kirjeldab piiratud režiimi (degraded mode) ja tagasipööramist täpsemalt. Vaadeldavus pakub selleks signaale ja tõendeid; vahejuhtumite tegevuskava määrab reageerimise.

Juurutusplaan neljas sammus

1. Valige kriitiline kasutajateekond: Alustage näiteks klienditoe küsimusest, mis kasutab otsingut ja täpselt ühte tööriista. Määratlege eelnevalt, millistele diagnoosiküsimustele jälituskutse peaks vastama.
2. Määrake span-mudel ja lubatud nimekiri: Nimetage stabiilsed etapid ja lubatud atribuudid. Kontrollige andmekaitset, juurdepääsu, diskreetimist (sampling) ja säilitamist enne tootmises käivitamist.
3. Simuleerige vigu kontrollitult: Testige tulemuste puudumist, aegumist, vigast tööriistavastust, katkestamist ja üleandmist. Iga olek peab olema jälituskutses tuvastatav ja tavapärasest käitusest eristatav.
4. Ühendage mõõdikud ja ülevaatused: Koondage tehnilised olekud ja siduge väike kontrollitud valim kvaliteedihinnangutega. Alles seejärel lisage täiendavaid teekondi.

NIST AI Risk Management Framework Core soovitab testida TE-süsteeme enne kasutuselevõttu ja regulaarselt käitamise ajal ning dokumenteerida mõõtmistulemused jälgitavalt. Veebilehe meeskondade jaoks tähendab see korduvat protsessi: mõõda, uuri põhjust, kontrolli muudatust ja testi sama juhtumit uuesti.

Kompaktne vaadeldavuse kontrollnimekiri

• Kas igal päringul on läbiv jälituskutse ID üle API, otsingu, mudeli ja tööriistade?
• Kas span'ide nimed ja olekuväärtused on stabiilsed, mõistetavad ja madala kardinaalsusega?
• Kas viipe, versiooni ja teadmiste indeksi versioone saab seostada specifiilise käitusega?
• Kas tulemusteta olek, fallback, tööriista tagasilükkamine, aegumine ja üleandmine on eristatavad?
• Kas kogutakse ainult lubatud atribuute ja eemaldatakse tundlik sisu enne eksporti?
• Kas diskreetimine, juurdepääsuõigused ja kustutamistähtajad on iga telemeetriataseme jaoks dokumenteeritud?
• Kas iga hoiatus viib määratud kontrolli või turvalise käitusmeotmeni?
• Kas tehnilisi mõõdikuid võrreldakse regulaarselt sisuliste kvaliteeditestidega?

Kokkuvõte: Vastuse teekonna hallatavaks tegemine

TE-vestlusroboti vaadeldavus ei ole võimalikult terviklik andmete kogumine. See on teadlikult piiratud selgitusmudel tegelike kasutajapäringute jaoks. Head jälituskutsed näitavad, milline allikas, milline mudel ja milline tööriist osalesid. Head mõõdikud muudavad mustrid nähtavaks. Head andmekaitsereeglid takistavad diagnoosimisel uute riskide tekitamist.

Alustage ühestainsast kriitilisest teekonnast ja 8–12 tõeliselt vajalikust atribuudist. Kui teie meeskond leiab selle abil vea kiiremini, lülitab ebakindla teekonna kontrollitult välja ja kontrollib parandust taasesitatavalt, täidab instrumenteerimine oma eesmärki. Alles seejärel tasub ulatust laiendada.

Allikad

• W3C: Trace Context
• OpenTelemetry: Handling sensitive data
• Microsoft Foundry: Observability in generative AI
• Microsoft Foundry: Agent tracing overview
• NIST: AI Risk Management Framework Core