Hübriidotsing ja tehisintellekti vestlusrobotite ümberpaigutamine: paremad RAG-i tabamused

Veebisaitide vestlusrobotid ebaõnnestuvad harva, kuna teadmistebaas ei sisalda üldse teavet. Sagedamini ei leia otsingusamm küsimusele ja konkreetsele kontekstile sobivat lõiku. Külastajad kasutavad tootenimesid, veateateid ja artiklinumbreid, kuid sõnastavad vabalt ka: “Miks näitab vestlusbot vale tariifi?” või "Kas ma saan siiski muuta tellimust, mis on juba saadetud?" Selle segu jaoks ei piisa üldiseks vastuseks ei puhtast märksõnast ega puhtast vektorotsingust. Hübriidotsing ühendab mõlemad signaalid, nii et RAG-vestlusbot saab vastuse kontekstis usaldusväärsemad allikad.

Märksõna- ja vektorotsing täidab erinevaid ülesandeid

Märksõnaotsing on võimas, kui sõnad peavad ilmuma täpselt. See kehtib tellimuste numbrite, tootenimede, konkreetsete veateadete, lepingute nimede või versiooni kohta, nagu “2.4”. See võib selgelt näidata, miks dokument sobib: otsitav sõna on pealkirjas, päises või lõigus. Nende nõrkus ilmneb igapäevakeeles, sünonüümides ja mittetäielikes sõnastustes. Külastaja küsimus “arve koopia” kohta ei pruugi leida lehte, kus on kirjas vaid “laadi kviitung alla”.

Vektorotsing täidab selle tühimiku. See esindab küsimust ja sisu semantilise lähedusena ja võib seetõttu leida sarnaseid probleeme, kuigi samad terminid puuduvad. See aitab loomulikult sõnastatud tugiküsimuste, mitmekeelsete variantide ja sama protsessi erinevate nimetuste korral. Kuid semantiline lähedus üksi ei ole vabapääs: lõik võib olla teemaga sarnane, kuid puudutada erinevat tooteversiooni, teist turgu või aegunud reeglit. Just seetõttu kuulub kontekstikontroll otsingukonveierisse, mitte keelemudelisse.

Miks on hübriidotsing mõistlik lähtepunkt?

Microsoft kirjeldab hübriidotsingut täisteksti- ja vektorosadega ühispäringuna. Mõlemad päringud töötavad paralleelselt ja seejärel liidetakse nende tulemuste loendid. See on ettevõtete veebisaitide jaoks atraktiivne, kuna säilivad täpsed terminid ja samal ajal on juurdepääsetav seotud, hästi sõnastatud sisu. Vestlusbot ei pea laskma külastajatel valida „tehnilise” ja „semantilise” otsingu vahel. Valik luuakse taustal ja seda saab kontrollida kõigi küsimuste puhul sama kvaliteediprotsessi abil.

Hübriidotsing parandab kandidaatide kogumit; see ei tooda tõde. Vestlusbot võib kasutada ainult sisu, mis on konkreetse olukorra jaoks heaks kiidetud. Avalikud veebisaidid, sisekujundused ja kaitstud kliendiandmed ei kuulu ühisesse kontrollimatusse konteksti. Sama oluline on käituda selgelt, kui sobivat allikat pole saadaval: päringud, lingid kontaktide lehele või inimeselt üleandmine on ohutumad kui ladusalt sõnastatud oletus.

RRF arusaadav: Ühendage pingeread

Täisteksti- ja vektorotsingu skooridel on erinev tähendus ja skaala. Nende otsene lisamine või neile kindla limiidi väljamõtlemine viib sageli ebastabiilsete tulemusteni. Reciprocal Rank Fusion ehk lühidalt RRF töötab seetõttu dokumendi asukohaga igas pingereas. Mõlemas loendis kõrgel kohal olev dokument saab tugeva kombineeritud signaali. Arvestada saab ka dokumenti, mis on nähtav ainult loendis, kuid ei saa kõike muud automaatselt välja tõrjuda.

RRF ei ole maagiline standardväärtus ega tehnilise testimise asendusvalem. Sisust ja riskist sõltub, kui palju kandidaate igast otsingust ühinemisse kaasatakse, millised filtrid eelnevalt rakenduvad ja millal tulemust üldse kasutatavaks peetakse. Levinud tooteküsimuste korral võib abiks olla väike keskendunud aken. Keeruliste juhiste või veadiagnostika jaoks võib vaja minna rohkem kandidaate. Peamine on võrrelda muudatust tegelike küsimustega testikomplektiga, selle asemel, et võtta kasutusele universaalne parameeter näitest.

Semantiline ümberpaigutamine teise, piiratud tasemena

Pärast korralikku eelvalikut saab ümberpaigutaja kogu küsimuse kitsama kandidaatide ringi ümber hinnata. Microsoft määrab semantilise järjestuse teisejärguliseks järjekohaks juba eelnevalt järjestatud tulemuste loendi kohal. Amazon Bedrock kirjeldab ümberpaigutamist kui tekstidokumentide hindamist nende asjakohasuse järgi päringule. See teine ​​etapp sobib mitme tingimusega küsimuste jaoks: näiteks kas tariifi on võimalik muuta pärast seda, kui tellimus on juba tarnitud ja teatud lepingutüüp on olemas.

Ümberpaigutamist tuleks teadlikult piirata. See maksab täiendavat latentsust ja võib olenevalt teenusest olla tasuline. Seetõttu ärge andke ümberpaigutajale kogu teadmistebaasi, vaid ainult ülemist komplekti, mis on juba filtreeritud ja liidetud. Määratlege ajaeelarve ja varu. Kui eelarve ületatakse, saab vestlusbot näidata kõige usaldusväärsemat allikate nimekirja, küsida selgitust või anda vestluse tugimeeskonnale üle. Ümberpaigutaja ei paranda aegunud, puuduvat või heakskiitmata sisu.

Metaandmete filtrid kaitsevad konteksti

Metaandmetel on vastuse kvaliteedile sageli suurem mõju kui mõnel muul mudelivalikul. Säilitage iga allika puhul vähemalt keel, toode või teenus, versioon, turg, sihtrühm ja kehtivus, kuivõrd see teave on kasutamiseks asjakohane. Õige kliendi või autoriseerimisala filter peab enne väljastamist jõustuma. Avaliku veebisaidi puhul saab vestlusrobot hankida ainult avalikku sisu; Registreeritud alale kehtivad täiendavad kontrollitavad volitused.

Aeg on ka metaandmete probleem. Hinnakirjadel, tarnetingimustel ja juhistel peab olema selge uuendamise kuupäev või kontrollitud kehtivus. Kui allikas ei ole enam usaldusväärne, tuleks see registrist eemaldada või lisada eraldi kontrolljäljele. Filtrid peavad kajastama nõudeid, mis on külastajatele arusaadavad ega tohi salaja pingerida manipuleerida. Seetõttu dokumenteerige, millised filtrid millisele küsimuseklassile kehtivad ja kuidas meeskond muudatusi üle vaatab.

Konkreetne torujuhe päringust konteksti

1. Normaliseeri küsimus:Tuvastage keel ja ilmselge kontekst ilma isiklikku teavet tarbetult salvestamata või muutmata.
2. Kontrollige juurdepääsu ja metaandmeid:Enne otsimist tehke kindlaks, millised allikad on toote, turu, rolli ja kehtivusaja jaoks lubatud.
3. Paralleelselt toomine:Käivitage täisteksti- ja vektorotsingud sama lubatud allikakomplekti alusel.
4. Ühenda pingeread:Kombineerige loendid RRF-iga ja säilitage liinisignaalid iga kandidaadi kohta silumiseks.
5. Piiratud ümberpaigutamine:Käivitage asjakohasuse hindamine ainult väikeses ülemises komplektis ja mõõtke latentsust.
6. Turvaline kontekst:Kontrollige duplikaate, allika olekut ja sobivat pikkust, enne kui lõigud lähevad vastuse mudelisse.
7. Vastus piiranguga:Tõestage allikad, tõstke esile ebakindlus ja kasutage vajadusel turvalist üleandmist.

Praktiline näide: Saatmise staatus ja tariifi muutus

Oletame, et külastaja küsib: "Kas ma saan ikkagi oma tariifi muuta, kuigi pakett on juba teel?" Märksõnaotsing võib leida lehe teemal „Muuda plaani” ja tugiartikli „Pakett liikvel olles”. Vektorotsing leiab juhendi, mis kirjeldab protsessi kui muudatust pärast tarnimist. RRF toob välja dokumendid, mis ühendavad mõlemad aspektid. Seejärel saab ümberpaigutaja kontrollida, kas vastav lõik sisaldab tõesti tariifi ja saatmise kombinatsiooni.

Enne vastamist filtreerige mõjutatud turu, tootesarja ja praeguse kehtivusoleku järgi. Kui allikad on vastuolulised või puuduvad vajalikud üksikasjad, ei tohiks vestlusbot sarnastest juhtumitest järeldada. Ta oskab läbipaistvalt öelda, milline tingimus on avatud, ja suunata külastaja sobiva, kontrollitud kontaktivalikuni. Nii jääb vestlus kasulikuks ilma rahastamata lubadust välja mõtlemata.

Tulemuseta juhtumid ja skooride silumine

Tulemuste puudumine on sageli signaal teadmiste puudujäägist, mitte katkenud otsingust. Seetõttu eristage vähemalt nelja juhtumit: Lubatud allikat pole, allikaid on, kuid pole piisavalt sobivaid tabamusi, küsimus on mitmetähenduslik või tehniline viga takistab otsimist. Iga juhtum vajab oma, arusaadavat reaktsiooni. "Ma ei leia avaldatud teabest sellele usaldusväärset vastust" on ausam kui üldlause ilma järgmise sammuta.

Ainuüksi lõppskooridest ei piisa silumiseks. Iga testiküsimuse puhul peaksid meeskonnad nägema, millised filtrid olid tõhusad, millised dokumendid pärinesid märksõna- ja vektorotsingutest, kuidas need ühendati ja kas ümberpaigutamine muutis järjestust. Salvestage ainult neid andmeid, mis on kvaliteetsed ja mida töödeldakse andmesäästlikult. Otsige mustreid: kas teatud sünonüümid puuduvad? Kas vana allikas varjutab uue sisu? Kas lokaat rikub metaandmete loogikat? Ainult konkreetne põhjus otsustab, kas tükeldamist, metaandmeid, allika hooldust või järjestust tuleb muuta.

Testikomplekt, mõõdikud ja kulueelarve

Väike kuldne komplekt 30–50 realistliku küsimusega on hea algus. Sisestage iga küsimuse juurde eeldatavad allikad, lubamatud allikad ja soovitud reaktsioon, kui teil puuduvad teadmised. Mõõtke eraldi, kas kandidaatide hulgas on õige allikas, kas see on piisavalt kõrgel kohal ja kas lõpliku vastuse puhul kasutatakse ainult tõestatud teavet. Lisage teadlikult kirjavigu, täpseid termineid, loomulikke sõnastusi, mitmekeelsust ja kriitilisi negatiivseid juhtumeid.

Muutke ainult ühte muutujat testimise kohta: filtrit, kandidaatide arvu, ümberpaigutamise sügavust või tüki struktuuri. Pange tähele ka reaktsiooniaega ja väliste mudelikõnede arvu. Kõrgem asjakohasuse skoor võib olla kasutu, kui vastus hilineb või tavaliste standardküsimuste maksumus suureneb. Seetõttu määrake iga küsimuse klassi jaoks latentsus- ja kulueelarve. Kiired, hästi dokumenteeritud standardvastused ja konservatiivsed esildised on paljude veebisaitide jaoks väärtuslikumad kui maksimaalselt keeruline järjestus.

Tüüpilised vead sissejuhatuse ajal

• Võrrelge toores märksõna ja vektori skoori otse, kuigi nende skaala pole sama.
• Indeksi mustandid, vanad hinnakirjad või kaitstud sisu ilma oleku- ja lubafiltrita.
• Liiga paljude kandidaatide ümberpaigutamise rakendamine ning latentsuse ja kulude kontrollimata jätmine.
• Käsitlege mõne hea küsimusega demo kui piisavat kvaliteeditõendit.
• Kui allikat pole, genereerige ebakindluse, päringute või üleandmiste asemel usutav vastus.
• Allikate, tükeldamise ja järjestuse muudatusi ei saa versioonida ega hiljem selgitada.

Sissejuhatav kontrollnimekiri

• Enne indekseerimist määrake lubatud allikad ja lubade piirangud.
• Säilitage keele, toote, versiooni, turu ja kehtivuse metaandmeid.
• Tooge täistekst ja vektorotsing paralleelselt, seejärel ühendage RRF-i abil.
• Kasutage ümberpaigutamist ainult väikese lubatud kandidaatide hulga puhul.
• Hinnake testikomplektis allikalinke, tulemusteta vastuseid ja inimeselt üleandmist.
• Mõõtke latentsust, kulusid ja kriitilisi valevastuseid iga muudatuse kohta.

Järeldus

Hübriidotsing on jõuline lähtepunkt erinevate küsimuste vormidega veebisaitide vestlusrobotidele. Märksõnaotsing säilitab täpsed signaalid, vektorotsing paljastab sarnased probleemid, RRF ühendab teie paremusjärjestuse ja piiratud ümberpaigutaja võib paremusjärjestust parandada. Kvaliteedi jätkusuutlik tõus tuleneb aga hästi hooldatud allikatest, asjakohastest metaandmetest, arusaadavatest testidest ja oma piire paljastavast reageerimisloogikast. See muudab otsimise kontrollitavaks, mitte ainult tehniliselt muljetavaldavaks.

Allikad ja lisateave

• Microsoft Learn: hübriidotsing
• Microsoft Learn: asjakohasus ja RRF hübriidotsingus
• Microsoft Learn: semantiline järjestus
• Amazonase aluspõhi: ümberpaigutamine
• ChatReact: RAG tükeldamine AI vestlusrobotite jaoks
• ChatReact: vastuse kvaliteedi testimine Golden Seti abil
• ChatReact: hoidke oma teadmistebaasi ajakohasena