Search Hibrideach agus Reranking do Chatbots AI: torthaí RAG níos fearr

Is annamh a theipeann ar chatbots suíomh gréasáin toisc nach bhfuil aon eolas ar chor ar bith sa bhunachar eolais. Níos minice ná sin, ní aimsíonn an chéim aisghabhála an sliocht a oireann don cheist agus don chomhthéacs ar leith. Úsáideann cuairteoirí ainmneacha táirgí, teachtaireachtaí earráide agus uimhreacha earraí, ach fulaingíonn siad go saor freisin: „Cén fáth a bhfuil an taraif mícheart á taispeáint ag an chatbot?“ nó „An féidir liom ordú atá seolta cheana féin a athrú fós?“ Don mheascán seo, ní leor cuardach eochairfhocal amháin ná cuardach veicteora amháin mar fhreagra ginearálta. Nascann Search Hibrideach an dá chomhartha chun go bhfaighidh chatbot RAG foinsí níos robúla ina chomhthéacs freagartha.

Déanann cuardach eochairfhocal agus cuardach veicteora tascanna difriúla

Tá cuardach eochairfhocal láidir nuair a chaithfidh focail tarlú go cruinn. Baineann sé seo le huimhreacha ordaithe, ainmnithe táirgí, teachtaireachtaí earráide sonracha, ainmneacha conartha nó leagan amhail „2.4“. Is féidir leis a thaispeáint go soléir cén fáth a bhfuil doiciméad oiriúnach: tá an focal cuardaithe sa teideal, i gceannlíne nó sa sliocht. Léirítear a laige le teanga an lae as láthair, comhchiallaigh agus foirmlithe neamhiomlána. Ní gá go bhfaighidh ceist ó chuairteoir faoi „chóip sonraisc“ leathanach nach labhraíonn ach faoi „doiciméad a íoslódáil“.

Lánaíonn cuardach veicteora an bhearna seo. Léiríonn sé ceist agus ábhar mar ngaracht sheimeantach agus, mar sin, is féidir leis imní cosúil leo a aimsiú cé go bhfuil na téarmaí céanna in easnamh. Cuidíonn sé seo le ceisteanna tacaíochta a fhoirmítear go nádúrtha, leaganacha iltheangacha agus ainmnithe difriúla don phróiseas céanna. Mar sin féin, ní ticéad saor in aisce í an gharacht sheimeantach léi féin: d'fhéadfadh sliocht a bheith cosúil leis an ábhar, ach d'fhéadfadh sé a bheith ag baint le leagan táirge eile, margadh eile nó riail atá in éag. Sin é go presise an fáth a mbaineann seiceáil comhthéacs leis an bpíblíne aisghabhála agus ní hamháin ag an múnla teanga.

Cén fáth ar pointe tosaigh ciallmhar é Search Hibrideach

Léiríonn Microsoft Search Hibrideach mar iarratas comhpháirteach le cuid téacs iomláin agus cuid veicteora. Ritheann an dá fhiosrúchán go comhthreomhar, agus ansin déantar a liostaí torthaí a chumasc. Tá sé seo tarraingteach do shuíomhanna gréasáin corparáideacha mar go gcoinnítear téarmaí cruinne agus ag an am céanna bíonn ábhar gaolmhar, dea-fhoirmithe inrochtana. Ní gá do chatbot ligean do chuairteoirí roghnú idir cuardach „teicniúil“ agus cuardach „seimeantach“. Tarlaíonn an roghnú sa chúlra agus is féidir é a sheiceáil do gach ceist leis an bpróiseas cáilíochta céanna.

Feabhsaíonn Search Hibrideach an t-iarrthóirí iomlána; ní chruthaíonn sé fírinne. Ní fhéadfaidh an chatbot ach ábhar a úsáid atá ceadaithe don chás sonrach. Ní bhaineann leathanaigh ghréasáin phoiblí, dréachtaí inmheánacha agus sonraí custaiméara cosanta le comhthéacs neamhrialaithe comhpháirteach. Tá iompar soiléir chomh tábhachtach céanna mura bhfuil aon fhoinse oiriúnach ar fáil: tá athcheistiú, nasc chuig an leathanach teagmhála nó Human Handoff níos sábháilte ná tuairimíocht a fhoirmítear go líofa.

RRF go intuigthe: liostaí rangaithe a chumasc

Tá bríonna agus scálta difriúla ag na scóir ó chuardach téacs iomláin agus cuardach veicteora. Is minic a bhíonn torthaí neamhsheasmhacha mar thoradh ar iad a chur leis go díreach nó marthanas seasta a cheapadh dóibh. Oibríonn Reciprocal Rank Fusion, nó RRF go gearr, mar sin le suíomh doiciméid i ngach liosta rangaithe. Faigheann doiciméad a fheictear go hard sa dá liosta comhartha láidir comhcheangailte. Is féidir doiciméad nach bhfuil le feiceáil ach i liosta amháin a chur san áireamh freisin, ach ní thógfaidh sé áit gach rud eile go huathoibríoch.

Ní luach caighdeánach draíochta é RRF ná foirmle ionadaíoch do thástálacha gairmiúla. Braitheann an méid iarrthóirí ó gach cuardach a théann isteach sa chumasc, na scagairí a chuirtear i bhfeidhm roimh ré agus cathain a mheastar toradh a bheith inúsáidte ar an ábhar agus ar an riosca. Do cheisteanna minice táirge, d'fhéadfadh fuinneog bheag, dhírithe a bheith ciallmhar. Do threoracha casta nó diagnóisic earráide, d'fhéadfadh go mbeadh gá le níos mó iarrthóirí. Is é an rud atá cinniúnach ná an t-athrú a chur i gcomparáid le ceisteanna réadacha i gcoinne tacar tástála in ionad paraiméadar uilíoch a ghlacadh ó shampla.

Reranking seimeantach mar dara céim theoranta

Tar éis réamhroghnú maith, is féidir le reranker measúnú a dhéanamh arís ar an tsraith níos caol d'iarrthóirí don cheist iomlán. Rangaíonn Microsoft rankú seimeantach mar rankú tánaisteach thar liosta torthaí atá réamhrangaithe cheana féin. Cuireann Amazon Bedrock síos ar Reranking mar sin mar mheasúnú ar dhoiciméid téacs maidir lena n-relevance do fhiosrúchán. Tá an dara céim seo oiriúnach do cheisteanna le roinnt coinníollacha: amhail an féidir athrú taraife a dhéanamh tar éis ordú a sheoladh cheana féin agus cineál conartha áirithe a bheith i gceist.

Ba cheart Reranking a theorannú go leor. Cosnaíonn sé moill bhreise agus, ag brath ar an tseirbhís, is féidir go mbeidh sé iníoctha. Mar sin, ní gá an bunachar eolais iomlán a thabhairt do reranker, ach amháin an barr-mhéid atá scagtha agus cumasctha cheana féin. Sainmhínigh buiséad ama agus fallback. Má sháraítear an buiséad, féadfaidh an chatbot an liosta foinsí is iontaofa a thaispeáint, soiléiriú a iarraidh nó an comhrá a thabhairt suas do fhoireann tacaíochta. Ní dhéanann reranker ábhar as dáta, atá in easnamh nó nach bhfuil ceadaithe a dheisiú.

Cosnaíonn scagairí meiteashonraí an comhthéacs

Is minic a chinneann meiteashonraí ar cháilíocht na freagartha níos láidre ná rogha múnla eile. Coinnigh do gach foinse ar a laghad teanga, táirge nó seirbhís, leagan, margadh, spriocghrúpa agus bailíocht, a fhad is atá na sonraí seo ábhartha don úsáid. Caithfidh scagaire ar an teanónta nó an limistéar ceadanna ceart tarlú roimh an aschur. Ar shuíomh gréasáin poiblí, ní féidir le chatbot ach ábhar poiblí a fháil; do limistéar atá logáilte isteach, tá feidhm freisin ag ceadanna is féidir a fhíorú.

Is ceist meiteashonraí é an t-am freisin. Ba cheart go mbeadh dáta nuashonraithe soiléir nó stádas bailíochta rialaithe ar liostaí praghsanna, téarmaí seachadta agus treoracha. Mura bhfuil an fhoinse iontaofa a thuilleadh, baineann sí as an innéacs nó isteach i gconair seiceála ar leith. Caithfidh scagairí ceanglais a léiriú atá intuigthe do chuairteoirí, seachas an t-ordú rangaithe a mhodhnú go hálainn sa chúlra. Doiciméadaigh mar sin cén scagairí atá i bhfeidhm do cén aicme ceisteanna agus conas a sheiceálann foireann athruithe.

Píblíne nithiúil ón Query go dtí an comhthéacs

1. Ceist a normalú: Aithin teanga agus comhthéacs follasach gan sonraí pearsanta a stóráil nó a athrú gan ghá.
2. Rochtain agus meiteashonraí a sheiceáil: Determine roimh an aisghabháil cén foinsí atá ceadaithe do tháirge, margadh, ról agus tréimhse bailíochta.
3. Aisghabháil chomhthreomhar: Rith cuardach téacs iomláin agus cuardach veicteora i gcoinne an mhéid foinsí ceadaithe céanna.
4. Liostaí rangaithe a chumasc: Comhcheangail na liostaí le RRF agus coinnigh na comharthaí tionscnaimh do gach iarrthóir le haghaidh debuggála.
5. Rerankú teoranta: Rith measúnú relevance ar an méid beag barr amháin agus tomhas an mhoill.
6. Comhthéacs a chur in áirithe: Seiceáil dúbailtí, stádas foinsí agus fad cuí sula dtéann sliochtaí chuig an múnla freagartha.
7. Freagra le teorainn: Taispeáin foinsí, marcáil neamhchinnteacht agus úsáid handoff sábháilte más gá.

Sampla praiticiúil: Stádas seachadta agus athrú taraife

Cuir i gcás go bhfiosraíonn cuairteoir: „An féidir liom mo tharaif a athrú fós cé go bhfuil an pacáiste ar an mbealach cheana féin?“ Is féidir go bhfaighidh an cuardach eochairfhocal leathanach faoi „taraif a athrú“ agus alt tacaíochta le „pacáiste ar an mbealach“. Aimsíonn an cuardach veicteora treoir a mhíníonn an próiseas mar athrú tar éis seachadta. Tugann RRF doiciméid go dtí an barr a nascann an dá ghné. Is féidir le reranker seiceáil ina dhiaidh sin an bhfuil an combo taraife agus seachadta sa tsliocht ábhartha i ndáiríre.

Roimh fhreagra, scagann tú de réir an mhargaidh lena mbaineann sé, an líne táirge agus an stádas bailíochta reatha. Má tá na foinsí contrártha nó má tá sonraí riachtanacha in easnamh, níor cheart don chatbot conclúidí a bhaint as cásanna cosúil leo. Is féidir leis a rá go trédhearcach cén coinníoll atá oscailte agus an cuairteoir a threorú chuig rogha teagmhála oiriúnach, fhíoraithe. Ar an mbealach seo, fanann an comhrá cabhrach gan gealltanas nach bhfuil tacaíocht aige a cheapadh.

Cásanna No-result agus score-debugging

Is minic gur comhartha ar bhearna eolais é No-result, ní ar chuardach briste. Athraigh mar sin ar a laghad ceithre chás: níl aon fhoinse cheadaithe ann, tá foinsí ann ach níl aon toradh oiriúnach go leor ann, tá an cheist débhríoch nó coscann earráid theicniúil aisghabháil. Tá freagra soiléir, intuigthe de dhíth ar gach cás. Tá „Ní bhfaighim freagra iontaofa air sin san eolas ceadaithe“ níos macánta ná abairt ghinearálta gan aon chéim eile.

Le haghaidh debuggála, ní leor scóir dheiridh amháin. Do gach ceist tástála, ba cheart go mbeadh foirne in dónaí a fheiceáil cén scagairí a bhí i bhfeidhm, cén doiciméid a tháinig ó chuardach eochairfhocal agus veicteora, conas a cumascthas iad agus an ndearna reranking athrú ar an ordú. Stóráil amháin na sonraí atá ullmhaithe go coigilteach a bhaineann le cáilíocht. Cuardaigh patrúin: An bhfuil comhchiallaigh áirithe in easnamh? An bhfuil foinse shean ag forluí ar ábhar nua? An bhfuil locale ag briseadh as loighic na meiteashonraí? Is é an chúis nithiúil amháin a chinneann an gcaithfear chunking, meiteashonraí, bainistíocht foinsí nó rankú a athrú.

Tacart tástála, méadracht agus buiséad costais

Is pointe tosaigh maith é Golden Set beag le 30 go 50 ceist réadúil. Coinnigh do gach ceist na foinsí a mheastar a bheith ann, foinsí neamhcheadaithe agus an freagra atá uait nuair a bhíonn eolas in easnamh. Tomhas go leithleach an bhfuil foinse cheart i measc na n-iarrthóirí, an bhfuil sí rangaithe ard go leor agus an úsáideann an freagra deiridh eolas atá tacaíocht aige amháin. Cuir botúin chló, téarmaí cruinne, foirmlithe nádúrtha, iltheangachas agus cásanna diúltacha criticiúla leis go leor.

Ná hathraigh ach athraitheach amháin in aghaidh an rith tástála: scagaire, líon na n-iarrthóirí, doimhneacht reranking nó struchtúr na gcunk. Nótaigh freisin an t-am freagartha agus an líon glaoch múnla seachtrach. Is féidir go mbeidh luach relevance níos airde useless má thagann an freagra rómhall nó má mhéadaíonn na costais do cheisteanna caighdeánacha minice. Sainmhínigh mar sin buiséad moille agus costais do gach aicme ceisteanna. Tá freagraí caighdeánacha gasta, dea-thacaíte agus handoffs caomhacha níos luachmhaire do go leor suíomhanna gréasáin ná rankú atá casta go uasta.

Earráidí coitianta le linn tabhairt isteach

• Scóir eochairfhocal agus veicteora amh a chur i gcomparáid go díreach, cé nach bhfuil a scálta comhionann.
• Dréachtaí, sean-liostaí praghsanna nó ábhar cosanta a innéacsú gan scagairí stádais agus ceadanna.
• Reranking a chur i bhfeidhm ar an iomarca iarrthóirí agus dá bhrí sin gan moill agus costais a rialú.
• Déan taispeántas le cúpla ceist mhaithe a láimhseáil mar chruthúnas cáilíochta leor.
• Nuair a bhíonn foinse in easnamh, freagra inchreidte a ghiniúint in ionad neamhchinnteacht, athcheistiú nó handoff a sholáthar.
• Ní leaganacha a dhéanamh ar athruithe ar fhoinsí, chunking agus rankú agus gan a bheith in ann iad a mhíniú níos déanaí.

Liosta seiceála tabhairt isteach

• Socrú foinsí ceadaithe agus teorainneacha ceadanna roimh innéacsú.
• Meiteashonraí do teanga, táirge, leagan, margadh agus bailíocht a chothabháil.
• Cuardach téacs iomláin agus veicteora a fháil go comhthreomhar, ansin iad a chumasc le RRF.
• Reranking a úsáid ar mhéid beag, ceadaithe d'iarrthóirí amháin.
• Naisc foinsí, freagraí no-result agus Human Handoff a mheasúnú sa tacar tástála.
• Moill, costais agus earráidí freagartha criticiúla a thomhas do gach athrú.

Conclúid

Is pointe tosaigh robústach é Search Hibrideach do chatbots suíomh gréasáin le cineálacha difriúla ceisteanna. Coinníonn cuardach eochairfhocal comharthaí cruinne, osclaíonn cuardach veicteora imní cosúil leo, nascann RRF a liostaí rangaithe agus is féidir le reranker teoranta an roghnú níos caol a fheabhsú. Ach tagann an gnóthachan cáilíochta inbhuanaithe ó fhoinsí cothabháilte, meiteashonraí oiriúnacha, tástálacha intuigthe agus loighic freagartha a léiríonn a teorainneacha go hoscailte. Ar an mbealach seo, bíonn aisghabháil inagartha in ionad a bheith go hiontach go teicniúil amháin.

Foinsí agus nótaí breise

• Microsoft Learn: Hybrid Search
• Microsoft Learn: Relevanz und RRF bei Hybrid Search
• Microsoft Learn: Semantic Ranking
• Amazon Bedrock: Reranking
• ChatReact: RAG-Chunking für KI-Chatbots
• ChatReact: Antwortqualität mit Golden Set testen
• ChatReact: Wissensbasis aktuell halten