RAG-Chunking do Chatbóit AI: Ábhar a Roinnt go Céillí

Ní féidir le chatbot suímh ghréasáin freagraí iontaofa a thabhairt ach amháin má aimsíonn sé an t-ábhar ceart ag an nóiméad ceart. Is anseo a dhéantar an cinneadh le RAG-Chunking: déantar leathanaigh fhada, lámhleabhair agus téacsanna cabhrach a roinnt ina n-aonaid níos lú ar féidir le comhpháirt chuardaigh iad a ghlaoch go spriocdhírithe. Bíonn go leor ábhair fánaigh i mbloic atá ró-mhór. Cailleann bloic atá ró-bheag an comhthéacs. Mar sin, ní leanann roinnt mhaith figiúr go dall, ach go struchtúr, brí agus úsáid an ábhair níos déanaí.

Tá an treoir seo dírithe ar fhoirne suímh ghréasáin, tacaíochta agus ábhair. Míníonn sí conas ábhar a roinnt go seimeantach, meiteashonraí a chaomhnú, dúbailt a laghdú agus tástáil a dhéanamh ar an straitéis le ceisteanna cuardaigh réadúla. Tá an cur chuige seo neamhspleách ar sholáthraithe agus is féidir é a chur i bhfeidhm ar chuardach veicteora clasaiceach chomh maith le próisis aisghabhála hibrideacha.

Cén fáth a mbíonn tionchar ag RAG-Chunking ar cháilíocht na bhfreagraí

Le Retrieval-Augmented Generation, cuardaíonn an córas bloic eolais ábhartha ar dtús agus aistríonn sé iad chuig an tsamhail teanga ansin. Cinneann teorainneacha na meandardhleachtaí nó na gnaoithe (chunks) cad is féidir a aimsiú le chéile agus a úsáid mar chomhthéacs. Má scarfar coinníoll praghais óna eisceacht, is féidir go soláthróidh cuardach atá ceart go foirmiúil bonn neamhiomlán fós. Ar an láimh eile, má tá leathanach táirge iomlán le nascleanúint, malairtí agus buntásc i gchunk, beidh an t-alt cinniúnach ag dul san iomaíocht le go leor torainn.

Bíonn tionchar ag chunking ar roinnt toisí cáilíochta ag an am céanna:

• Inaimsitheacht: An luíonn an ráiteas atá á lorg go soiléir in aonad dlúth?
• Comhthéacs: An bhfanann ceannteideal, míniú, srianta agus sampla le chéile?
• Beachtas: An bhfuil an méid is lú ábhair neamhábhartha sa toradh?
• Inrianaitheacht: An féidir an sleacht a leithdháileadh ar fhoinse, teanga agus leagan bailí?

Déanann Microsoft cur síos ar phróisis socraithe, athraitheacha agus seimeantacha agus leagann sé béim ar an bhfíric gur féidir ceannteidil agus comharthaí leagan amach eile a úsáid le haghaidh teorainneacha bríoch. Scarann AWS straitéisí socraithe, leibhéalta agus seimeantacha freisin. Is é an ceacht praiticiúil coitianta: ba cheart go leanfadh an deighilt theicniúil struchtúr an ábhair, gach uair atá sé sin ar fáil go hiontaofa.

Tosaigh le codanna seimeantacha in ionad gearrthacha treallacha

Is é an struchtúr leathanaigh atá ann cheana féin an t-ionad tosaigh maith. Bíonn brí cheana féin le ceannteidil H2 agus H3, ailt, liostaí, ceisteanna minice (FAQ), táblaí agus nótaí soiléire. Ní mór do chuid faoi thréimhsí fillte gan críochnú i lár abairte nó idir riail agus eisceacht. Baineann ceist FAQ lena freagra san aon chunk amháin. I gcás treoracha, fanann an leibhéal gníomhaíochta, an réamhchoinníoll agus an rabhadh le chéile más féidir.

Loighic thairseach phraiticiúil

1. Roinn ar dtús ag ceannteidil doiciméid, leathanaigh agus príomhcheannteidil.
2. Seiceáil an ndéileálann cuid amháin le príomhábhar intuartha amháin.
3. Na roinn ach na codanna atá ró-mhór le haghaidh aisghabhála nó comhthéacs sampla.
4. Cumar ilphictiúir an-ghairid le cuid chomharsanachta atá oiriúnach.
5. Ceangail ceannteideal agus cosán struchtúir mar chomhthéacs le gach cuid.

Le HTML nó Markdown glan, tá an modh seo éasca le uathoibriú. Is minic a bhíonn gá le haitheantas leagan amach nó téacs roimh ré do PDFanna neamhstruchtúrtha, easpórtálacha míchothroma agus doiciméid scanáilte. Déan rialú ar tháblaí, colúin, ceanntásca agus sosanna leathanaigh go háirithe: is féidir go dtitfidh ábhar atá taobh le taobh go radhairc in ord mícheart le linn an léite.

Caitheamh le méid na gchunk mar luach tástála, ní mar dhogma

Níl aon mhéid ideach uilíoch do chúncaí ann. Sainaithníonn Microsoft 512 token le forluí 25 faoin gcéad mar phointe tosaigh do chásanna áirithe, ach tugann sé le fios go mbraitheann an socrú is fearr ar an ábhar agus ar an tsamhail. Déanann AWS cáipéisíocht ar mhéideanna agus forluí inchoighlithe freisin. Is hipitéisí tosaigh ciallacha iad na luachanna seo – ní cruthúnas cáilíochta iad.

Oibríonn freagraí gairide FAQ go minic mar aonaid neamhspleácha. Tá níos mó comhthéacs ag teastáil ó threoracha próisis mhionsonraithe. Níor cheart go scarfadh téacsanna dlíthiúla nó conarthaí an riail, an raon feidhme agus an eisceacht ó chéile. Ar an láimh eile, is féidir go mbeadh sé ciallmhar comparáidí táirgí a dhéanamh líne ar líne nó cuid ar chuid más rud é go soláthraítear ceannteidil cholúin agus tagairt don táirge.

Conas chunks atá ró-mhór nó ró-bheag a aithint

Is gnách go mbíonn chunk ró-mhór nuair a bhíonn roinnt intinní cuardaigh measctha ann, nuair a imíonn an abairt ábhartha idir nascleanúint agus faisnéis thánaisteach, nó nuair a thugann go leor torthaí an bloc mór céanna ar ais. Is é atá i chunk ró-bheag nuair nach bhfuil tagairt ag forainmneacha a thuilleadh, nuair a bhíonn ceannteidil ar iarraidh, nuair a scarfar coinníollacha ó ráitis nó nuair a bhíonn gá le roinnt blúirí chun ceist shimplí a thuiscint.

Mar sin, cuir ar a laghad dhá nó trí mhalairt i gcomparáid leis an tsraith ceisteanna céanna. Ní gá ach paraiméadar amháin a athrú ag gach céim, mar shampla an spriocmhéid nó an loighic thairseach. Ar an mbealach seo, fanann sé soiléir cad a fheabhsaíonn cáilíocht na dtorthaí agus fianaise na bhfreagraí i ndáiríre.

Cosnaíonn forluí comhthéacs – agus cruthaíonn sé dúblaigh ag an am céanna

Is féidir le forluí beag cosc a chur ar abairt chinniúnach a bheith caillte go díreach ag tairseach chunk. Tá sé an-chabhraitheach go háirithe nuair nach féidir deighilt theicniúil de réir fad a sheachaint. Mar sin féin, tá fo-iarsmaí ag baint le farasbarr forluí: bíonn torthaí atá beagnach comhionann ag tógáil roinnt áiteanna sna torthaí, méadaíonn siad raon an chomhthéacs agus is féidir leo ráiteas a cheannasú go saorga.

Dá bhrí sin, úsáid forluí go spriocdhírithe. I gcás codanna atá bunaithe ar struchtúr, is leor go minic an ceannteideal, an cosán struchtúir agus trasnú gairid a thabhairt leat. I gcás téacsanna níos faide, d'fhéadfadh sé a bheith ciallmhar céatadán beag den chuid roimhe seo a chรักษา. Tar éis sin, tomhais an bhfanann foinsí éagsúla ábhartha sna príomhtorthaí nó an mbrúnn dúblaigh amach iad.

Déanann meiteashonraí chunk sábháilte ó thaobh oibríochta de

Is annamh a bhíonn an glantéacs leor do bhunachar eolais táirgiúil. Ba cheart go gcoinneodh gach chunk a thionscnamh agus a raon feidhme. Déanann AWS cur síos ar mheiteashonraí mar bhunús do scagairí le linn an fhiosraithe. I mbunachar eolais suímh ghréasáin, tá na réimsí seo a leanas úsáideach go háirithe:

• URL foinse canónach agus teideal an leathanaigh,
• cosán na gceannteideal laistigh den leathanach,
• teanga nó locale,
• cineál ábhair mar FAQ, treoir, polasaí nó mionsonraí táirge,
• dáta foilseacháin nó athraithe,
• táirge, réigiún nó spriocghrúpa, má tá sé ábhartha go speisialta,
• stádas rochtana agus ceadaithe do ábhar neam Phoiblí.

Ligeann sé seo, mar shampla, gan ach ábhar tacaíochta i nGaeilge atá ceadaithe faoi láthair a chuardach. Is féidir an fhoinse a nascadh sa fhreagra freisin agus é a athphróiseáil go spriocdhírithe le linn nuashonraithe níos déanaí. Taispeánann an treoir Bunachar Eolais Chatbóit AI a Choinneáil Cothrom le Dáta conas an nuashonrú a chinntiú go córasach.

Bain boilerplate agus dúblaigh roimh innéacsú

Ní bhaineann nascleanúint, fógraí fianán, bloic teagmhála athraitheacha agus buntásc domhanda le gach chunk. Seachas sin, cruthaítear na céadta iontrálacha atá beagnach comhionann, rud a d'fhéadfadh na fíor-ábhair a bhrú amach. Bain eilimintí leathanaigh athfhillteacha roimh an roinnt agus normalaigh spásanna neamhriachtanacha, carachtair mhaisitheacha agus blúirí teicniúla.

Tá gá le haird freisin ar dhúblaigh shainiúla. Má tá an riail fillte céanna curtha i bhfhocail ar bhealach difriúil ar leathanaigh cabhrach, táirgí agus loingseoireachta, ba cheart príomhfhoinse fhreagrach a shainiú. Baintear cóipeanna as dáta, atreoraítear iad nó tugtar tosaíocht níos ísle go soiléir dóibh. Ní féidir le próiseas chunking foinsí contrártha a athrú go heolas iontaofa.

Déileáil le cásanna speisialta go comhfhiosach

Ábhar FAQ

Sábháil an cheist agus an freagra le chéile. Cur leis an réimse téamach foriomlán do fhreagraí an-ghairid. Is féidir le malairtí den cheist chéanna a bheith cabhrach don chuardach, ach níor cheart iad a innéacsú mar théacs freagartha ilchodach.

Táblaí agus liostaí

Is minic a bhíonn líne tábla gan ceannteidil cholúin dochuimsithe. Mar sin, athraigh nó tagair do na téarmaí ceannteidil ábhartha sa chunk. I gcás liostaí fada, ba cheart go gcoinneodh gach cuid teideal an liosta agus an réamhrá coiteann. Seiceáil tar éis an eastósctha an bhfuil luachanna fós curtha i leith na gné ceart.

Leathanaigh iltheangacha

Scartha ábhar de réir locale agus sábháil an teanga mar mheiteashonraí. Níor cheart go bhfaigheadh fiosrúchán i nGaeilge cuid Béarla as dáta trí sheans, díreach toisc go bhfuil téarmaí cosúla ann. Cuidíonn aitheantais chomhchoiteanna aistriúcháin nó leathanaigh le malairtí a nascadh lena chéile gan iad a mheascadh san aon bloc téacs amháin.

Déan tástálacha aisghabhála roimh an tástáil freagartha

Déan measúnú ar dtús ar an gcuma a sholáthraíonn an cuardach an sleacht ceart. Tar éis sin amháin, déan measúnú ar fhoclaíocht an tsamhail teanga. Ba cheart go mbeadh ceisteanna soiléire, comhchiallaigh, imní ilpháirteacha, cásanna tairsí agus ceisteanna gan freagra fianaise i Golden Set beag de cheisteanna úsáideoirí réadúla. Do gach ceist, sainmhínigh roimh ré cén fhoinse nó cén chuid atá ag súil leis.

Seiceáil ar a laghad:

• an bhfuil an chuid atá ag súil leis le feiceáil i measc na gcéad torthaí,
• an mbrúnn torthaí neamhábhartha nó dúblacha foinsí tábhachtacha amach,
• an bhfuil na coinníollacha agus na heisceachtaí riachtanacha go léir sa chomhthéacs a sholáthraítear,
• an bhfanann an fhoinse agus a stádas nuashonraithe inrianaithe,
• an gcinnteoidh an córas nach ndéanann sé freagra a cheapadh nuair a bhíonn eolas ar iarraidh.

Déanann an t-alt Cáilíocht Freagraí Chatbóit AI a Thomhas le Golden Set agus Tástálacha RAG cur síos ar an bpróiseas fíoraithe oiriúnach. Le haghaidh fianaise infheicthe, comhlánaíonn an treoir Freagraí Chatbóit a Dhearbhú le Foinsí an peirspictíocht ar sheiceáil nasc agus neamhchinnteacht.

Seicliosta don chur i bhfeidhm

1. Innealtóireacht ábhair: Gabh cineálacha leathanaigh, teangacha, formáidí agus foinsí freagracha.
2. Seiceáil eastóscadh: Rialaigh ceannteidil, táblaí agus ord léitheoireachta ar samplaí ionadaíocha.
3. Sainmhínigh teorainneacha: Tabhair tús áite do chodanna seimeantacha agus ní úsáid méideanna socraithe ach mar loighic cúltaca.
4. Caomhnaigh comhthéacs: Soláthair teideal an leathanaigh, cosán na gceannteideal agus trasnuithe riachtanacha.
5. Pleanáil meiteashonraí: Sábháil URL, locale, nuashonrú, cineál ábhair agus ceadú go struchtúrtha.
6. Bain dúblaigh: Glan boilerplate agus cóipeanna contrártha roimh innéacsú.
7. Tástáil malairtí: Cuir méideanna agus forluí i gcomparáid leis an Golden Set céanna.
8. Maoirseacht ar oibriú: Déan meastóireacht rialta ar thorthaí atá ar iarraidh, foinsí as dáta agus aiseolas úsáideoirí.

Conclúid: Is aonaid eolais intuartha iad dea-chúncaí

Ní socrú teicniúil aon uaire é RAG-Chunking, ach ailtireacht ábhair le haghaidh aisghabháil meaisín. Freagraíonn dea-chúncaí páirt-imní atá sainmhínithe go soiléir, coinníonn siad an comhthéacs riachtanach agus is féidir iad a leithdháileadh ar fhoinse bhailí. Tá ceannteidil, meiteashonraí agus forluí rialaithe chomh tábhachtach céanna leis an bhfad glan.

Tosaigh le roinnt cineálacha ábhair ionadaíocha, tomhais aisghabháil roimh stíl na bhfreagraí agus déan doiciméadú ar gach athrú. Más mian leat chatbot suímh ghréasáin a thógáil ar bhunachar eolais struchtúrtha tar éis sin, gheobhaidh tú an t-ionad tosaigh oiriúnach ar an Théarmaíocht Gnéithe ChatReact.

Foinsí

• Microsoft Learn: Chunk large documents for vector search solutions in Azure AI Search
• Microsoft Learn: Chunk and vectorize by document layout
• AWS Bedrock: How content chunking works for knowledge bases
• AWS Bedrock: Include metadata in a data source