KI-juturoboti varulahendused: teadmiste lünkade tuvastamine ja suunamine

Veebilehe juturobot ei pea vastama igale küsimusele. Oluline on, et see tuvastaks, millal teadmusbaas ei pakku usaldusväärset alust, ning jääks seejuures külastajatele abiks. Teadmiste lünga täitmine veenvalt kõlava oletusega tekitab usaldusprobleemi: vale tarneaeg, väljamõeldud tooteegel või ebasobiv klienditoe juhis võib tekitada rohkem pahandust kui selge ja lühike piirang.

Miks vastuse puudumine on eraldi tooteprobleem

Teadmusbaasiga KI-juturoboti puhul on vastuse puudumisel vähemalt kolm erinevat põhjust. Esiteks võib teave tõesti puududa. Teiseks võib see olemas olla, kuid seda ei leita keele, sõnastuse, metaandmete või järjestuse tõttu. Kolmandaks on teave küll leitav, kuid sellest ei piisa kindla vastuse andmiseks. Need juhtumid näevad vestluses esmapilgul sarnased välja, kuid nõuavad töö käigus erinevaid meetmeid.

Otsingusüsteemid ei hinda automaatselt, kas vastus on äriliselt aktsepteeritav. Ametlik ülevaade teemal Retrieval-Augmented Generation in Azure AI Search kirjeldab, kuidas saab teksti- ja vektorotsingut kombineerida vastuse allikate leidmiseks. See kombinatsioon parandab otsingut, kuid ei asenda reeglit selle kohta, millal tulemust peetakse piisavaks. Seetõttu vajab juturobot enne teksti genereerimist selgelt määratletud otsust: vastata, küsida täpsustust või suunata turvaliselt edasi.

Vastuse puudumine ei ole tühi umbtee

Kasulik varuvastus ei ütle lihtsalt „Mul puudub selle kohta teave“. See koosneb neljast komponendist: see nimetab piirangu ilma tehniliste vabandusteta, väldib oletusi, pakub täpset täpsustavat küsimust või turvalist alternatiivi ning näitab vajadusel teed inimeseni. Toon võib olla sõbralik, kuid see ei tohi ebakindlust peita.

• Piirang: „Ma ei leia kinnitatud teabe hulgast selle kohta usaldusväärseid andmeid.“
• Kontekst: „Kas küsimus puudutab tellimust, lepingut või tehnilist seadistust?“
• Järgmine samm: „Kui nimetate toote nimetuse, saan olemasolevad dokumendid uuesti üle kontrollida.“
• Edasisuunamine: „Lõpliku kontrolli tegemiseks suuname Teie päringu vastavale tiimile.“

Nii jääb vestlus kasulikuks ilma hindu, tähtaegu, õiguslikke tagajärgi või lubadusi välja mõtlemata. Eriti isikuandmete, maksete, individuaalsete pakkumiste ja turvalisusega seotud küsimuste puhul peaks edasisuunamise reegel rakenduma teadlikult varem. Varem avaldatud juhend teemal Human Handoff im Website-Support aitab kujundada üleandmist selge protsessina, mitte hädaväljapääsuna.

Otsuse tegemine enne vastuse operationaliseerimist

Tiimid ei tohiks võtta üle maagilist lävendi väärtust demost. Otsingu skoor on ainult signaal ja võib muutuda koos indeksi, mudeli, keele ning päringute tüübiga. Teema Semantic Ranking dokumentatsioon viitab sellele, et Reranker-skoori jaotused võivad varieeruda. Seetõttu kuulub lävend alati testitud andmestiku ja konkreetse veaklassi juurde.

Praktiline otsus võib kombineerida mitut kontrolli. Kas lubatud sisuosast on olemas vähemalt üks allikas? Kas see sobib keele ning praeguse toote- või lepingutüüpiga? Kas see sisaldab otsest põhjendust planeeritavale vastusele? Kas parimad tulemused on vastuolulised? Alles siis, kui need kriteeriumid on piisavalt täidetud, tohib generaator vastuse sõnastada. Vastasel juhul küsib juturobot täpsustust või lülitub varulahendusele.

Näide: Siduv teave tarne kohta

Kui keegi küsib konkreetse toote tarnekuupäeva, ei piisa üldisest tarneartiklist. Juturobot saab selgitada, et ta ei leia siduvat teavet, küsida tellimuse numbrit või toote varianti ning suunata klienditoele. Vastus nagu „Teie pakk saabub homme“ ei oleks aga teadmusbaasiga kaetud. Sama põhimõte kehtib garantiide, lepingute lõpetamiste, terviseküsimuste ja kontole juurdepääsu puhul: mida suurem on võimalik kahju, seda tugevam peab olema tõend.

Otsingu kontrollimine enne sisu ümberkirjutamist

Vastuse puudumine on sageli hea mõõtesignaal. Enne kui tiim kirjutab uue viipa (prompt), tuleks üle vaadata kogu ahel: algne küsimus, tuvastatud keel, normaliseeritud otsingupäring, rakendatud filtrid, parimad tulemused, kasutatud allikaversioonid ja valitud väljund. Nii saab selgeks, kas dokument puudub või läheb otsing sellest mööda.

1. Klassifitseerida küsimus ja eesmärk anonüümselt, näiteks toode, klienditugi, konto või õiguslikud teemad.
2. Panna kõrvuti eeldatavad allikad ja tegelikult leitud tulemused.
3. Logida keele, kehtivuse, juurdepääsu ja tooteversiooni filtrid.
4. Kontrollida, kas parimad tulemused tõesti kinnitavad küsimust või sisaldavad lihtsalt sarnaseid termineid.
5. Märkida juhtum dokumentatsioonilüngaks, otsinguprobleemiks, turvareegliks või põhjendatud edasisuunamiseks.

Selliste võrdluste tegemiseks sobib väike "Golden Set" reaalsetest, varem puhastatud küsimustest. Artikkel teemal Messung der KI-Chatbot-Antwortqualität kirjeldab, miks kriitilised ja haruldased küsimused ei tohi keskmise näitaja sisse ära kaduda. Lisage teadlikult küsimusi, millele puudub sobiv vastus. Ainult nii saab kontrollida, kas KI-juturobot reageerib kontrollitult ka siis, kui teave puudub.

Teadmiste lünkade suunamine toimetamisprotsessi

Üksik vestlus ei ole veel põhjus uue KKK loodmiseks. Mitu sarnast turvalist varulahendust võivad aga näidata, et oluline teave on puudu või raskesti leitav. Selleks piisab andmesäästlikust nimekirjast, kus on eesmärk, veaklass, asjassepuutuv keel, olemasolevad allika-ID-d ja olek. Terved vestlused, nimed või kontoandmed ei kuulu üldisesse analüüsilauale.

Vastutav spetsialist otsustab seejärel, kas täiendada KKK-d, täpsustada tootelehte, parandada metaandmeid või kohandada edasisuunamise teksti. Igal täiendusel peab olema omanik, allikas ja kuupäev. Ajakriitilise teabe, näiteks saadavuse või kampaaniate puhul on lisaks mõistlik määrata aegumiskuupäev. Nii hoiab tiim ära selle, et hästi mõeldud artiklist saab ise järgmine vananenud allikas.

Ärge kasutage hallutsinatsioonimäära kvaliteedinäitajana

Madal nähtavate vigade määr võib olla petlik, kui juturobot hoiab vastamisest liiga tihti kõrvale. Vastupidiselt ei ole kõrge vastamismäär edu märk, kui vastused ei toetu oma allikatele. Parem on väike võtmenäitajate komplekt: turvaliselt vastatud päringute osakaal, põhjendatud varuvastuste osakaal, edasisuunamise määr eesmärgi kaupa, aeg spetsialisti otsuseni, korduvad lüngad ja tulemused manuaalsetest valikproovidest. Analüüs peab olema võimalik eraldi keele, tootevaldkonna ja riskiklassi järgi.

NIST AI Risk Management Framework soovitab juhtida riske kontekstis ning juurutada protsessid mõõtmiseks ja haldamiseks. Veebilehe tiimidele ei tähenda see iga vestluse salvestamist. See tähendab selgete vastutuste ja kontrollitavate kriteeriumide olemasolu turvaliste vastuste tagamiseks.

Kontroll peaks lisaks sobima reaalsete kasutusolukordadega. Lühike küsimus nutitelefonis sisaldab sageli vähem konteksti kui põhjalik päring lauaarvutis. Trükivead, tootelühendid ja segakeeled on oodatavad sisendid, mitte erandid. Seetõttu ärge testige ainult ideaalselt sõnastatud küsimust, vaid ka variante ilma tellimuse numbrita, mitme tootenimega või ebaselge ajaandmega. Iga variant peab käivitama kas kinnitatud vastuse, mõistliku täpsustava küsimuse või turvalise edasisuunamise. Varulahendus, mis töötab ainult täiuslikult sõnastatud testküsimuste puhul, ei kaitse igapäevaelus.

Sama oluline on tagasiside klienditoelt. Kui töötajad vastavad edasisuunatud päringule, saavad nad põhjuse lühidalt kategooriasse liigitada: teave puudus, teave oli vananenud, vaja oli juurdepääsu või päring nõudis individuaalset otsust. Need kategooriad ühendavad veebilehe, teadmuskirjutuse ja teeninduse, ilma et päringu taga olevast inimesest saaks analüüsiobjekt. Igakuine pilk kõige sagedasematele kategooriatele on tavaliselt piisav prioriteetsete paranduste planeerimiseks.

Kontrollnimekiri turvalise varulahenduse jaoks

• Vastused ilmuvad ainult koos sobivate, kinnitatud ja ajakohaste allikatega.
• Signaalide lävendeid ja kombinatsioone kontrolliti Golden Seti abil.
• Kõrgetel riskiklassidel on eraldi reeglid täpsustuse ja inimesele üleandmise jaoks.
• Varutekstid selgitavad piirangut, tekitamata sisemist tehnilist või valet turvatunnet.
• Logid sisaldavad ainult vajalikku, andmesäästlikku diagnostikateavet.
• Korduvatel juhtumitel on omanik ja kontrollitav parendusolek.
• Uued allikad kontrollitakse uuesti enne avaldamist, pärast muudatusi ja aegumisel.

Kokkuvõte: ausad piirid parandavad vastuste kvaliteeti

Professionaalne KI-juturobot ei vasta võimalikult paljule, vaid ainult sellele, mida toetab tema kontrollitud teadmusbaas. Parim varuvastus on konkreetne, abistav ja suunab siduvad päringud edasi ilma takistusteta. Kui tiimid käsitlevad vastuse puudumise juhtumeid testandmete ja toimetamissignaalidena, muutuvad nii teabe hankimine kui ka sisu mõõdetavalt paremaks. Alustage kümnest olulisest küsimusest, kümnest teadlikult vastamatust küsimusest ja ühest selgest edasisuunamisest riskiklassi kohta. See loob usaldusväärse aluse enne, kui juturobot võtab enda kanda rohkem vastutust.

Allikad

• Microsoft Learn: RAG and Generative AI in Azure AI Search
• Microsoft Learn: Semantic Ranking Overview
• Microsoft Learn: Create a Full-Text Query
• NIST: AI Risk Management Framework