KI-Chatbot-Fallbacks: Tirrikonoxxi u Tindirizza L-Għarfien Nieqes b' Mod Sigur

Chatbot fuq websajt m'għandux għalfejn iwieġeb kull mistoqsija. L-importanti huwa li jagħraf meta l-bażi tal-għarfien ma tipprovdix pedament solidu, u li mbagħad jibqa' utli għall-viżitaturi. Min jimla lakuna b'ipoteżi li tinstema' plausibbli joħloq problema ta' fiduċja: Ħin tal-kunsinna ħażin, regola tal-prodott ivvintata jew parir ta' appoġġ mhux xieraq jistgħu jikkawżaw aktar sforz minn fruntiera ċara u qasira.

Għaliex ir-riżultati nieqsa huma problema ta' prodott fihom infushom

F'chatbot tal-KI b'bażi ta' għarfien, hemm mill-inqas tliet raġunijiet differenti għalfejn ma tiġix pprovduta tweġiba. L-ewwel, l-informazzjoni tista' tkun tabilħaqq nieqsa. It-tieni, tista' tkun preżenti iżda ma tinstabx minħabba l-lingwa, il-formulazzjoni, il-metadata jew ir-ranking. It-tielet, tista' tinstab, iżda ma tkunx biżżejjed għal tweġiba sigura. Dawn il-każijiet inizjalment jidhru simili fiċ-chat, iżda jeħtieġu miżuri differenti fl-operat.

Is-sistemi ta' retrieval ma jevalwawx awtomatikament jekk tweġiba tkunx ġustifikabbli mill-aspett tan-negozju. L-orjentament uffiċjali dwar Retrieval-Augmented Generation f'Azure AI Search jiddeskrivi kif it-tfittxija tat-test u tal-vetturi tista' tiġi kkombinata biex tipprovdi sorsi għal tweġiba. Il-kombinazzjoni ttejjeb it-tfittxija, iżda ma tieħux il-post ta' regola dwar meta riżultat jitqies bħala suffiċjenti. Għalhekk, chatbot għandu bżonn deċiżjoni definita b'mod ċar qabel il-ġenerazzjoni tat-test: wieġeb, staqsi mill-ġdid jew idderieġi b'mod sigur.

Rispons ta' 'Nru-Tweġiba' mhuwiex triq magħluqa

Tweġiba ta' fallback utli ma tgħidx sempliċement "M'għandix informazzjoni dwar dan". Hija magħmula minn erba' elementi: Tidentifika l-limitu mingħajr skużi tekniċi, tevita li tagħmel allegazzjoni, toffri mistoqsija ta' kjarifika preċiża jew alternattiva sigura u, jekk meħtieġ, turi t-triq lejn persuna umana. It-ton jista' jkun ħaresh u faċli, iżda m'għandux jaħbi l-inċertezza.

• Limitu: "Ma nista' nsib l-ebda informazzjoni affidabbli dwar dan fl-informazzjoni approvata."
• Kontest: "Din hija dwar ordni, kuntratt jew setup tekniku?"
• Pass li jmiss: "Jekk tipprovdi l-isem tal-prodott, nista' nerġa' nivverifika d-dokumenti disponibbli."
• Handoff: "Għal verifika li torbot, se ngħaddu l-inkjesta tiegħek lit-tim responsabbli."

Dan iżomm iċ-chat utli mingħajr ma jivvinta prezzijiet, skadenzi, konsegwenzi legali jew wegħdiet. Speċjalment dwar data personali, pagamenti, offerti individwali u mistoqsijiet relatati mas-sigurtà, ir-regola tal-handoff għandha tiġi applikata b'mod konxju aktar kmieni. Il-gwida diġà ppubblikata dwar Human Handoff fl-Appoġġ tal-Websajt tgħin biex l-ittrażmissjonijiet jiġu strutturati bħala proċess ċar u mhux bħala ħruġ ta' emerġenza.

Operazzjonalizza d-deċiżjoni qabel it-tweġiba

It-timijiet m'għandhomx jadottaw livell minimu mirakoluż minn demo. Score mit-tfittxija huwa biss sinjal u jista' jinbidel mal-indiċi, il-mudell, il-lingwa u t-taħlita ta' mistoqsijiet. Id-dokumentazzjoni ta' Semantic Ranking tindika li d-distribuzzjonijiet tar-reranker score jistgħu jvarjaw. Għalhekk, livell minimu dejjem jappartjeni għal sett ta' data ttestjat u għal klassi ta' żball speċifika.

Deċiżjoni prattika tista' tikkombina diversi verifiki. Hemm mill-inqas sors wieħed minn żona ta' kontenut permessa? Jaqbel mal-lingwa u mal-verżjoni attwali tal-prodott jew tal-kuntratt? Fiha ġustifikazzjoni diretta għat-tweġiba ppjanata? Ir-riżultati ewlenin huma kontradittorji? Hekk kif dawn il-kriterji jkunu sodisfatti b'mod suffiċjenti, il-ġeneratur jista' jifformula tweġiba. Inkella, il-bot jistaqsi mistoqsija mmirata jew jgħaddi għall-fallback.

Eżempju: Informazzjoni dwar il-kunsinna li torbot

Jekk xi ħadd jistaqsi dwar id-data tal-kunsinna ta' prodott speċifiku, artiklu ġenerali dwar it-tbaħħir mhuwiex biżżejjed. Il-bot jista' jispjega li ma jistax isib informazzjoni li torbot, jitlob in-numru tal-ordni jew il-varjant tal-prodott u jirreferi għall-appoġġ. Tweġiba bħal "Il-pakkett tiegħek se jasallek għada" min-naħa l-oħra ma tkunx sostnuta mill-bażi tal-għarfien. L-istess prinċipju japplika għal garanziji, kanċellazzjonijiet, mistoqsijiet dwar is-saħħa u aċċess għall-kontijiet: Aktar ma jkun kbir id-dannu li jista' jsir, aktar għandha tkun b'saħħitha l-prova.

Iċċekkja r-retrieval qabel ma tikteb mill-ġdid il-kontenut

Riżultat ta' 'Nru-Tweġiba' ħafna drabi huwa sinjal tajjeb ta' kejl. Qabel ma tim jikteb prompt ġdid, għandu janalizza l-katina kollha: Il-mistoqsija oriġinali, il-lingwa miksuba, it-tfittxija normalizzata, il-filtri applikati, l-ogħla riżultati, il-verżjonijiet tas-sors użati u r-riżultat magħżul. Dan jagħmilha viżibbli jekk dokument huwiex nieqes jew jekk ir-retrieval hux qed jiżvija.

1. Klassifika l-mistoqsija u l-intenzjoni b'mod anonimizzat, bħal prodott, appoġġ, kont jew kwistjonijiet legali.
2. Qabbel is-sorsi mistennija mar-riżultati li attwalment ġew irkuprati.
3. Ikkumpila log tal-filtri għal-lingwa, il-validità, l-aċċess u il-verżjoni tal-prodott.
4. Verifika jekk l-ogħla riżultati attwalment jappoġġjawx il-mistoqsija jew fihomx biss termini simili.
5. Marka l-każ bħala lakuna fid-dokumentazzjoni, problema ta' retrieval, regola ta' sigurtà jew handoff ġustifikat.

Għal dawn il-paraguni, Golden Set żgħir ta' mistoqsijiet reali u mnaddfa minn qabel huwa utli ħafna. L-artiklu dwar il-kejl tal-kwalità tat-tweġibiet tal-KI-Chatbot jiddeskrivi għaliex il-mistoqsijiet kritiċi u rari m'għandhomx jisparixxu f'medja. Żid b'mod konxju mistoqsijiet li m'għandhomx tweġiba xierqa. Dan huwa l-uniku mod biex tivverifika jekk il-chatbot jirreaġixxix b'mod ikkontrollat anke meta ma jkunx jaf.

Biddel il-lakuni fl-għarfien f'workflow editorjali

Traskrizzjoni waħda ta' chat għadha mhix raġuni biex jinħoloq FAQ ġdid. Madankollu, diversi fallbacks siguri simili jistgħu juru li informazzjoni importanti tkun nieqsa jew diffiċli biex tinstab. Lista li tiffranka d-data bl-intenzjoni, il-klassi tal-iżball, il-lingwa affettwata, l-IDs tas-sorsi eżistenti u l-istatus hija biżżejjed. Il-kontenut sħiħ tal-konversazzjoni, ismijiet jew data tal-kont m'għandhomx post f'dashboard ta' analiżi ġenerali.

L-espert responsabbli mbagħad jiddeċiedi jekk iżidx FAQ, jiċċara paġna tal-prodott, ittejjeb il-metadata jew jaġġustax it-test tal-handoff. Kull żieda għandha bżonn sid, sors u data. Għal informazzjoni kritika f'termini ta' ħin bħad-disponibbiltà jew il-promozzjonijiet, huwa utli wkoll li tiġi stabbilita data ta' skadenza. B'dan il-mod, it-tim jipprevjeni li artiklu b'intenzjoni tajba jsir is-sors li jmiss li jkun skada.

Tużax ir-rata ta' alluċinazzjoni bħala metrika ta' kwalità

Rata baxxa ta' żbalji viżibbli tista' tqarraq bik jekk il-bot jevita t-tweġibiet ta' spiss wisq. Bil-kontra, rata għolja ta' tweġibiet mhijiex suċċess jekk it-tweġibiet ma jkunux appoġġjati mis-sorsi tagħhom. Sett żgħir ta' metriċi huwa aħjar: proportion ta' inkjesti mwieġba b'mod sigur, proportion ta' fallbacks ġustifikati, rata ta' handoff għal kull intenzjoni, ħin sa deċiżjoni speċjalizzata, lakuni li jirrepetu ruħhom u riżultati minn kampjuni manwali. L-evalwazzjoni trid tkun possibbli skont il-lingwa, il-qasam tal-prodott u l-klassi tar-riskju.

Il-NIST AI Risk Management Framework jirrakkomanda l-ġestjoni tar-riskji fil-kuntest u t-twaqqif ta' proċessi biex jitkejlu u jiġu ġestiti. Għat-timijiet tal-websajt, dan ma jfissirx li jaħżnu kull konversazzjoni. Jefisser li jkollhom responsabbiltajiet ċari u kriterji li jistgħu jiġu vverifikati għal tweġibiet siguri.

Il-verifika għandha tqis ukoll sitwazzjonijiet ta' użu reali. Mistoqsija qasira fuq smartphone ħafna drabi fiha inqas kuntest minn inkjesta dettaljata fuq desktop. Żbalji tat-tipa, abbrevjazzjonijiet tal-prodotti u lingwi mħallta huma input mistenni, mhux eċċezzjonijiet. Għalhekk, tittestjax biss il-mistoqsija formulata b'mod ideali, iżda wkoll varjanti mingħajr numru tal-ordni, b'diversi ismijiet ta' prodotti jew b'informazzjoni mhux ċara dwar il-ħin. Kull varjant għandu jattiva jew tweġiba appoġġjata, mistoqsija ta' kjarifika xierqa jew handoff sigur. Fallback li jaħdem biss ma' mistoqsijiet tat-test formulati b'mod perfett ma jipproteġix fil-ħajja ta' kuljum.

Bl-istess mod importanti huwa r-rispons mill-appoġġ. Meta l-impjegati jwieġbu għal inkjesta ppreżentata lilhom, jistgħu jikkategorizzaw ir-raġuni b'mod qasir: L-informazzjoni kienet nieqsa, l-informazzjoni kienet skaduta, kien meħtieġ aċċess jew l-inkjesta kienet teħtieġ deċiżjoni individwali. Dawn il-kategoriji jgħaqqdu l-websajt, l-editjar tal-għarfien u s-servizz mingħajr ma jibdlu l-persuna wara l-inkjesta f'oġġett ta' analiżi. Ħarsa ta' kull xahar lejn l-aktar kategoriji komuni normalment tkun biżżejjed biex jiġu ppjanati titjib prijoritizzat.

Checklist għal fallback sigur

• It-tweġibiet jidhru biss flimkien ma' sorsi xierqa, approvati u attwali.
• Il-livelli minimi u l-kombinazzjonijiet ta' sinjali ġew iċċekkjati ma' Golden Set.
• Klassijiet ta' riskju għoli għandhom ir-regoli tagħhom stess għall-mistoqsijiet ta' kjarifika u t-trażmissjoni lill-bniedem.
• It-testijiet tal-fallback jispjegaw il-limitu mingħajr ma jilagħbuha ta' teknoloġija interna jew sigurtà falza.
• Il-logs fihom biss informazzjoni dijanjostika meħtieġa u li tiffranka d-data.
• Każijiet li jirrepetu ruħhom jiksbu sid u status ta' titjib li jista' jiġi vverifikat.
• Sorsi ġodda jerġgħu jiġu vverifikati qabel ma jiġu approvati, wara tibdiliet u mal-iskadenza.

Konklużjoni: Limiti onesti jtejbu l-kwalità tat-tweġibiet

Chatbot professjonali tal-KI ma jwieġebx kemm jista' jkun, iżda biss dak li huwa sostnut mill-bażi ta' għarfien ivverifikata tiegħu. L-aħjar tweġiba ta' fallback hija speċifika, utli u tgħaddi l-inkjesti vinkolanti mingħajr ostakli. Meta t-timijiet jittrattaw każijiet ta' 'Nru-Tweġiba' bħala data tat-test u sinjali editorjali, kemm ir-retrieval kif ukoll il-kontenut isiru li jistgħu jittejbu b'mod li jista' jitkejjel. Ibda b'għaxar mistoqsijiet importanti, għaxar mistoqsijiet magħżula bil-għaqal li ma jistgħux jintejbu u handoff ċar wieħed għal kull klassi ta' riskju. Dan joħloq pedament solidu qabel ma l-chatbot jieħu aktar responsabbiltà.

Sorsi

• Microsoft Learn: RAG and Generative AI in Azure AI Search
• Microsoft Learn: Semantic Ranking Overview
• Microsoft Learn: Create a Full-Text Query
• NIST: AI Risk Management Framework