RAG-Chunking dirbtinio intelekto pokalbių botams: kaip prasmingai suskaidyti turinį

Svetainės pokalbių botas gali patikimai atsakinėti tik tada, kai reikiamu momentu suranda tinkamą turinį. Būtent čia viską nulemia RAG-Chunking (turinio skaidymas): ilgi puslapiai, instrukcijos ir pagalbos tekstai suskaidomi į mažesnius vienetus, kuriuos paieškos komponentas gali tikslingai išgauti. Per dideliuose blokuose gausu šalutinės informacijos. Per maži blokai praranda kontekstą. Todėl geras skaidymas aklai nesivadovauja vien skaičiais, o remiasi turinio struktūra, reikšme ir vėlesniu jo panaudojimu.

Šis vadovas skirtas svetainių, klientų aptarnavimo ir turinio valdymo komandoms. Jame paaiškinama, kaip semantiškai suskaidyti turinį, išsaugoti metaduomenis, sumažinti dubliavimąsi ir naudojant tikroviškus paieškos klausimus patikrinti, ar pasirinkta strategija veikia. Šis metodas nepriklauso nuo konkretaus tiekėjo ir gali būti taikomas tiek klasikinei vektorių paieškai, tiek hibridiniams informacijos gavybos (retrieval) procesams.

Kodėl RAG-Chunking daro įtaką atsakymų kokybei

Taikant Retrieval-Augmented Generation (RAG), sistema iš pradžių ieško atitinkamų žinių fragmentų ir tik tada perduoda juos kalbos modeliui. Taigi fragmentų (angl. chunk) ribos nustato, kas apskritai gali būti surasta kartu ir panaudota kaip kontekstas. Jei kainos sąlyga atskiriama nuo jos išimties, formaliai teisinga paieška vis tiek gali pateikti nepakankamą pagrindą. Ir priešingai, jei fragmente yra visas produkto puslapis su navigacija, variantais bei poraštėmis, lemiama ištrauka konkuruos su daugybe triukšmo.

Turinio skaidymas vienu metu daro įtaką keliems kokybės matmenims:

• Randamumui: ar ieškomas teiginys aiškiai telpa į kompaktišką vienetą?
• Kontekstui: ar antraštė, paaiškinimas, apribojimas ir pavyzdys išlieka kartu?
• Tikslumui: ar rezultate yra kuo mažiau su tema nesusijusio balasto?
• Aatsekamumui: ar ištrauką galima priskirti galiojančiam šaltiniui, kalbai ir versijai?

„Microsoft“ aprašo fiksuotus, kintamus bei semantinius metodus ir pabrėžia, kad antraštės bei kiti išdėstymo signalai gali būti naudojami prasmingoms riboms nustatyti. AWS taip pat išskiria fiksuotas, hierarchines ir semantines strategijas. Bendra praktinė pamoka: techninis skaidymas turėtų sekti turinio struktūrą visur, kur ji patikimai egzistuoja.

Pradėkite nuo semantinių skiltelių, o ne nuo savavališkų kirpimų

Geras atskaitos taškas yra esama puslapio struktūra. H2 ir H3 antraštės, pastraipos, sąrašai, DUK klausimai, lentelės ir aiškiai atskirti nurodymai jau turi tam tikrą reikšmę. Skiltis apie grąžinimo terminus neturėtų baigtis sakinio viduryje arba tarp taisyklės ir išimties. DUK klausimas kartu su atsakymu priklauso tam pačiam fragmentui. Instrukcijoje veiksmo žingsnis, prielaida ir įspėjimas pagal galimybes turėtų likti kartu.

Praktinė ribų nustatymo logika

1. Iš pradžių skaidykite ties dokumento, puslapio ir pagrindinėmis antraštėmis.
2. Patikrinkite, ar skiltis nagrinėja tiksliai vieną suprantamą pagrindinę temą.
3. Skaidykite tik tas skiltis, kurios yra per didelės informacijos gavybai arba modelio kontekstui.
4. Labai trumpus fragmentus sujunkite su atitinkama greta esančia skiltimi.
5. Prie kiekvienos dalies kaip kontekstą pridėkite antraštę ir struktūros kelią.

Naudojant tvarkingą HTML arba Markdown, šį metodą lengva automatizuoti. Nestruktūrizuotiems PDF dokumentams, nevienodiems eksportams ir skenuotiems dokumentams dažnai reikia išankstinio išdėstymo arba teksto atpažinimo (OCR). Ypač atidžiai patikrinkite lenteles, stulpelius, antraštes ir puslapių pertrūkius: tai, kas vizualiai yra šalia, nuskaitant gali atsidurti neteisinga tvarka.

Žiūrėkite į fragmento dydį kaip į testuojamą reikšmę, o ne kaip į dogmą

Nėra universalaus idealaus fragmento dydžio. „Microsoft“ mini 512 žetonų (tokens) su 25 procentų perklote kaip galimą starto tašką tam tikriems scenarijams, tačiau pažymi, kad optimalus nustatymas priklauso nuo turinio ir modelio. AWS taip pat dokumentuoja konfigūruojamus dydžius bei perklotes. Tokios reikšmės yra naudingos pradinės hipotezės, o ne kokybės įrodymas.

Trumpi DUK atsakymai dažnai veikia kaip savarankiški vienetai. Išsamioms procedūrinėms instrukcijoms reikia daugiau konteksto. Teisiniai ar sutartiniai tekstai neturėtų atskirti taisyklės, galiojimo srities ir išimties. Produkto palyginimai savo ruožtu gali turėti prasmę eilutėmis arba skiltimis, jei kartu pateikiamos stulpelių antraštės ir nuoroda į produktą.

Kaip atpažinti per didelius arba per mažus fragmentus

Per didelis fragmentas paprastai būna tada, kai jame susimaišo keli paieškos tikslai, svarbus sakinys pradingsta tarp navigacijos ir šalutinės informacijos, arba daugelis paieškos rezultatų grąžina tą patį didelį bloką. Per mažas jis yra tada, kai įvardžiai praranda sąsają, trūksta antraščių, sąlygos atskiriamos nuo teiginių arba reikia kelių fragmentų, kad būtų suprastas paprastas klausimas.

Todėl palyginkite bent du ar tris variantus naudodami tą patį klausimų rinkinį. Vienu metu keiskite tik vieną parametrą, pavyzdžiui, tikslinį dydį arba ribų logiką. Taip aiškiai pamatysite, kas iš tiesų pagerina rezultatų kokybę ir atsakymų pagristumą.

Perklotė apsaugo kontekstą – ir kartu sukuria dublikatus

Nedidelė perklotė (angl. overlap) gali užkirsti kelią tam, kad lemiamas sakinys nepradingtų tiesiai ant fragmento ribos. Ji ypač naudinga, kai techninis skaidymas pagal ilgį yra neišvengiamas. Tačiau per didelė perklotė turi šalutinį poveikį: beveik identiški rezultatai užima kelias pozicijas, padidina konteksto apimtį ir gali dirbtinai užgožti teiginį.

Todėl perklotę naudokite tikslingai. Remiantis struktūra suskaidytoms skiltims dažnai pakanka kartu paimti antraštę, struktūros kelią ir trumpą perėjimą. Ilgesniems tekstams gali būti naudinga nedidelė ankstesnės skilties dalis. Po to išmatuokite, ar skirtingi svarbūs šaltiniai išlieka tarp geriausių rezultatų, ar juos išstumia dublikatai.

Metaduomenys užtikrina saugų fragmento naudojimą

Vieno tik teksto gamybinei žinių bazei retai pakanka. Kiekvienas fragmentas turėtų išsaugoti savo kilmę ir galiojimo sritį. AWS aprašo metaduomenis kaip užklausų filtravimo pagrindą. Svetainės žinių bazėje ypač naudingi šie laukai:

• kanoninis šaltinio URL ir puslapio pavadinimas,
• antraščių kelias puslapio viduje,
• kalba arba lokalė (locale),
• turinio tipas, pavyzdžiui, DUK, instrukcija, taisyklės ar produkto informacija,
• publikavimo arba pakeitimo data,
• produktas, regionas ar tikslinė grupė, jei tai aktualu specialistams,
• prieigos ir patvirtinimo būsena, jei turinys nėra viešas.

Tai leidžia, pavyzdžiui, ieškoti tik lietuviško, šiuo metu patvirtinto pagalbos turinio. Šaltinį taip pat galima susieti atsakyme ir tikslingai apdoroti iš naujo, kai jis vėliau atnaujinamas. Kaip sistemingai užtikrinti aktualumą, parodyta vadove KI-Chatbot-Wissensbasis aktuell halten.

Prieš indeksavimą pašalinkite karkasinį tekstą (boilerplate) ir dublikatus

Navigacija, pranešimai apie slapukus, pasikartojantys kontaktai ir bendrosios poraštės neturėtų patekti į kiekvieną fragmentą. Priešingu atveju atsiranda šimtai beveik identiškų įrašų, kurie gali išstumti tikrąjį turinį. Prieš skaidydami pašalinkite pasikartojančius puslapio elementus ir suvienodinkite nereikalingus tarpus, dekoratyvinius simbolius bei techninius fragmentus.

Turinio dublikatams taip pat reikia dėmesio. Jei ta pati grąžinimo taisyklė pagalbos, produktų ir pristatymo puslapiuose suformuluota skirtingai, turėtų būti nustatytas atsakingas pirminis šaltinis. Pasenusios kopijos pašalinamos, nukreipiamos arba joms suteikiamas aiškiai mažesnis prioritetas. Skaidymo procesas negali paversti prieštaringų šaltinių patikimomis žiniomis.

Išmintingai tvarkykite specialius atvejus

DUK turinys

Klausimą ir atsakymą išsaugokite kartu. Jei atsakymai labai trumpi, papildykite juos aukštesnio lygio tema. To paties klausimo variantai gali būti naudingi paieškai, tačiau jie neturėtų būti indeksuojami kaip keli atsakymo tekstai.

Lentelės ir sąrašai

Lentelės eilutė be stulpelių antraščių dažniausiai yra nesuprantama. Todėl fragmente pakartokite arba pateikite nuorodas į atitinkamas stulpelių sąvokas. Ilguose sąrašuose kiekviena dalis turėtų išsaugoti sąrašo pavadinimą ir bendrą įvadą. Po gavybos patikrinkite, ar reikšmės vis dar priskirtos tinkamam požymiui.

Daugiakalbiai puslapiai

Atskirkite turinį pagal lokalę ir išsaugokite kalbą kaip metaduomenis. Užklausa lietuvių kalba neturėtų atsitiktinai gauti pasenusios angliškos skilties vien todėl, kad joje yra panašių sąvokų. Bendri vertimo arba puslapių identifikatoriai padeda susieti variantus tarpusavyje, nesumaišant jų tame pačiame teksto bloke.

Prieš atsakymo testą atlikite gavybos (retrieval) testus

Iš pradžių įvertinkite, ar paieška pateikia tinkamą ištrauką. Tik po to vertinkite kalbos modelio formuluotę. Nelidelį „Golden Set“ (auksinį rinkinį) iš tikrų vartotojų klausimų turėtų sudaryti aiškūs klausimai, sinonimai, kelių dalių užklausos, ribiniai atvejai ir klausimai be pagrįsto atsakymo. Kiekvienam klausimui iš anksto apibrėžkite, kurio šaltinio ar skilties tikimasi.

Patikrinkite bent šiuos dalykus:

• ar tikimasi skiltis atsiranda tarp pirmųjų rezultatų,
• ar nesusiję arba pasikartojantys rezultatai neišstumia svarbių šaltinių,
• ar visos būtinos sąlygos ir išimtys yra pateiktame kontekste,
• ar šaltinis ir jo aktualumo būsena išlieka atsekami,
• ar sistema, trūkstant žinių, tikrai neišgalvoja atsakymo.

Straipsnyje KI-Chatbot-Antwortqualität mit Golden Set und RAG-Tests messen aprašytas tinkamas tikrinimo procesas. Norint gauti matomus įrodymus, vadovas Chatbot-Antworten mit Quellen belegen papildo nuorodų tikrinimo ir neapibrėžtumo perspektyvą.

Prieš įdiegimą naudojamas kontrolinis sąrašas

1. Inventorizuokite turinį: užfiksuokite puslapių tipus, kalbas, formatus ir atsakingus šaltinius.
2. Patikrinkite gavybą: patikrinkite antraštes, lenteles ir skaitymo tvarką reprezentatyviuose pavyzdžiuose.
3. Apibrėžkite ribas: pirmenybę teikite semantinėms skiltims, o fiksuotus dydžius naudokite tik kaip atsarginę logiką.
4. Išsaugokite kontekstą: pateikite puslapio pavadinimą, antraščių kelią ir būtinus perėjimus.
5. Suplanuokite metaduomenis: struktūrizuotai išsaugokite URL, lokalę, aktualumą, turinio tipą ir patvirtinimą.
6. Pašalinkite dublikatus: prieš indeksavimą išvalykite karkasinį tekstą (boilerplate) ir prieštaringas kopijas.
7. Išbandykite variantus: palyginkite dydžius ir perklotę naudodami tą patį „Golden Set“.
8. Stebėkite veiklą: reguliariai analizuokite trūkstamus rezultatus, pasenusius šaltinius ir vartotojų atsiliepimus.

Išvada: geri fragmentai yra suprantami žinių vienetai

RAG-Chunking nėra vienkartinis techninis nustatymas, tai – turinio architektūra mašininei informacijos gavybai. Geri fragmentai atsako į aiškiai apibrėžtą užklausos dalį, išlaiko reikiamą kontekstą ir gali būti priskirti galiojančiam šaltiniui. Antraštės, metaduomenys ir kontroliuojama perklotė yra tokie pat svarbūs kaip ir pats ilgis.

Pradėkite nuo kelių reprezentatyvių turinio tipų, matuokite informacijos gavybą (retrieval) prieš atsakymo stilių ir dokumentuokite kiekvieną pakeitimą. Jei vėliau norėsite sukurti svetainės pokalbių botą struktūrizuotoje žinių bazėje, ChatReact funkcijų apžvalgoje rasite tinkamą pradžią.

Šaltiniai

• Microsoft Learn: Chunk large documents for vector search solutions in Azure AI Search
• Microsoft Learn: Chunk and vectorize by document layout
• AWS Bedrock: How content chunking works for knowledge bases
• AWS Bedrock: Include metadata in a data source