RAG-chunking za AI-chatbote: Smiselna razdelitev vsebin

Spletni chatbot lahko zanesljivo odgovarja le, če v pravem trenutku najde ustrezno vsebino. Prav tu nastopi RAG-chunking: dolge strani, priročniki in besedila za pomoč se razdelijo na manjše enote, ki jih lahko iskalna komponenta ciljno pridobi. Preveliki bloki vsebujejo veliko postranskih informacij. Premajhi bloki izgubijo kontekst. Dobra razdelitev zato ne sledi slepo neki številki, temveč strukturi, pomenu in kasnejši uporabi vsebine.

Ta vodnik je namenjen ekipam za spletna mesta, podporo in vsebine. Pojasnjuje, kako vsebine pomensko razdeliti, ohraniti metapodatke, zmanjšati podvajanje ter z realističnimi iskalnimi vprašanji preveriti, ali izbrana strategija deluje. Pristop je neodvisen od ponudnika in ga je mogoče prenesti tako na klasično vektorsko iskanje kot na hibridne postopke pridobivanja.

Zakaj RAG-chunking oblikuje kakovost odgovorov

Pri pristopu Retrieval-Augmented Generation sistem najprej poišče ustrezne gradnike znanja in jih nato predaje jezikovnemu modelu. Meje razdelkov (chunkov) tako določajo, kaj se sploh lahko najde skupaj in uporabi kot kontekst. Če je pogojevalni cenovni pogoj ločen od svoje izjeme, lahko formalno pravilno iskanje vseeno ponudi nepopolno osnovo. Če pa chunk po drugi strani vsebuje celotno stran izdelka z navigacijo, različicami in nogo, ključni odlomek tekmuje z veliko šuma.

Chunking hkrati vpliva na več dimenzij kakovosti:

• Najdljivost: Ali se iskana izjava jasno prilega kompaktni enoti?
• Kontekst: Ali ostanejo naslov, razlaga, omejitev in primer skupaj?
• Natančnost: Ali zadetek vsebuje čim manj tematsko tuje navlake?
• Sledljivost: Ali je mogoče izsek pripisati veljavnemu viru, jeziku in razlicici?

Microsoft opisuje fiksne, spremenljive in semantične postopke ter poudarja, da se naslovi in drugi strukturni signali postavitve lahko uporabijo za smiselne meje. Tudi AWS razlikuje med fiksnimi, teritorialno-hierarhičnimi in semantičnimi strategijami. Skupno praktično spoznanje: tehnična razdelitev mora slediti vsebitveni strukturi, kje le je ta zanesljivo prisotna.

Začnite s semantičnimi razdelki namesto s samovoljnimi rezi

Dobra izhodiščna točka je obstoječa struktura strani. Naslovi H2 in H3, odstavki, seznami, pogosta vprašanja (FAQ), tabele in jasno razmejena opozorila že nosijo pomen. Razdelek o rokih za vračilo ne bi smel končati sredi stavka ali med pravilom in izjemo. Vprašanje iz FAQ sodi skupaj s svojim odgovorom v isti chunk. Pri navodilih naj po možnosti ostanejo skupaj korak izvedbe, pogoj in varnostno opozorilo.

Praktična logika določanja meja

1. Najprej razdelite pri dokumentnih, strani in glavnih naslovih.
2. Preverite, ali razdelek obravnava natanko eno razumljivo glavno temo.
3. Razdelite le tiste razdelke, ki so preveliki za pridobivanje ali kontekst modela.
4. Zelo kratke fragmente združite s primernim sosednjim razdelkom.
5. Naslov in pot strukture priložite vsakemu delu kot kontekst.

Pri čistem HTML-ju ali Markdownu je ta metoda enostavno avtomatizirana. Nestrukturirani dokumenti PDF, neenotni izvozi in skenirani dokumenti pogosto potrebujejo predhodno prepoznavanje postavitve ali besedila. Pri tem še posebej nadzorujte tabele, stolpce, glave in prelome strani: kar stoji vizualno drugo ob drugem, se lahko pri branju znajde v napačnem vrstnem redu.

Velikost chunka obravnavajte kot testno vrednost, ne kot dogmo

Univerzalne idealne velikosti chunka ni. Microsoft navaja 512 tokenov s 25-odstotnim prekrivanjem kot možno izhodišče za določene scenarije, vendar opozarja, da je optimalna nastavitev odvisna od vsebine in modela. Tudi AWS dokumentira prilagodljive velikosti in prekrivanja. Takšne vrednosti so smiselne izhodiščne hipoteze – in ne dokaz kakovosti.

Kratki odgovori v FAQ pogosto delujejo kot samostojne enote. Podrobna postopkovna navodila potrebujejo več konteksta. Pravna ali pogodbena besedila ne smejo raztrgati pravila, področja uporabe in izjeme. Primerjave izdelkov pa so lahko smiselne po vrsticah ali razdelkih, če so priloženi naslovi stolpcev in navezava na izdelek.

Kako prepoznati prevelike ali premajhne chunke

Chunk je običajno prevelik, če se v njem meša več iskalnih namenov, se ustrezen stavek izgubi med navigacijo in stranskimi informacijami ali pa veliko zadetkov vrne isti obsežen blok. Premajhne pa je, ko zaimki nimajo več navezave, manjka naslov, so pogoji ločeni od izjav ali pa je potrebnih več fragmentov za razumevanje preprostega vprašanja.

Zato primerjajte vsaj dve ali tri različice z istim naborom vprašanj. Vsakič spremenite le en parameter, na primer ciljno velikost ali logiko meja. Tako bo jasno vidno, kaj dejansko izboljšuje kakovost zadetkov in dokaze v odgovorih.

Prekrivanje ščiti kontekst – in hkrati ustvarja podvojitve

Majhno prekrivanje lahko prepreči, da bi se ključni stavek izgubil neposredno na meji chunka. Posebej koristno je, kadar je tehnična razdelitev po dolžini neizogibna. Vendar ima preveliko prekrivanje stranske učinke: skoraj identični zadetki zasedajo več mest med rezultati, povečujejo obseg konteksta in lahko umetno dominirajo nad izjavo.

Zato prekrivanje uporabljajte ciljno. Pri razdelkih, temelječih na strukturi, pogosto zadošča, da priložite naslov, pot strukture in kratek prehod. Pri daljših strnjenih besedilih je lahko smiseln majhen delež prejšnjega razdelka. Kasneje izmerite, ali v vrhunskih zadetkih ostajajo različni ustrezni viri ali pa jih izrivajo duplikati.

Metapodatki zagotavljajo operativno zanesljivost chunka

Čisto besedilo redko zadošča za produkcijsko bazo znanja. Vsak chunk mora ohraniti svoj izvor in področje veljavnosti. AWS opisuje metapodatke kot osnovo za filtre pri poizvedbi. V bazi znanja spletnega mesta so še posebej uporabna naslednja polja:

• kanonični URL vira in naslov strani,
• pot naslovov znotraj strani,
• jezik ali lokalizacija (locale),
• vrsta vsebine, kot so FAQ, navodila, pravilnik ali podrobnosti izdelka,
• datum objave oziroma spremembe,
• izdelek, regija ali ciljna skupina, če je strokovno pomembno,
• status dostopa in odobritve pri nejavnih vsebinah.

S tem je mogoče na primer iskanje omejiti le na slovenske, trenutno odobrene podporne vsebine. Vir se lahko poleg tega poveže v odgovoru in ob kasnejši posodobitvi ciljno ponovno obdela. Kako sistematično zagotoviti aktualnost, prikazuje vodnik KI-Chatbot-Wissensbasis aktuell halten.

Pred indeksiranjem odstranite ponavljajoče se dele (boilerplate) in duplikate

Navigacija, obvestila o piškotkih, ponavljajoči se kontaktni bloki in globalne noge ne sodijo v vsak chunk. Sicer nastane na stotine skoraj identičnih vnosov, ki lahko izrivajo dejansko vsebino. Pred razdelitvijo odstranite ponavljajoče se elemente strani ter normalizirajte nepotrebne presledke, dekorativne znake in tehnične fragmente.

Tudi strokovni duplikati zahtevajo pozornost. Če je isto pravilo o vračilu na straneh za pomoč, izdelke in dostavo formulirano različno, je treba določiti odgovoren primarni vir. Zastarele kopije se odstranijo, preusmerijo ali jasno nižje prednostno obravnavajo. Postopek chunkinga ne more spremeniti protislovnih virov v zanesljivo znanje.

Zavedno obravnavajte posebne primere

Vsebine FAQ

Vprašanje in odgovor shranite skupaj. Pri zelo kratkih odgovorih dopolnite nadrejeno tematsko področje. Različice istega vprašanja so lahko v pomoč pri iskanju, vendar jih ne smete indeksirati kot večkratno besedilo odgovora.

Tabele in seznami

Vrstica v tabeli brez naslovov stolpcev je večinoma nerazumljiva. Zato ponovite ali navedite ustrezne pojme iz glave v chunku. Pri dolgih seznamih naj vsak del ohrani naslov seznama in skupni uvod. Po ekstrakciji preverite, ali so vrednosti še naprej pripisane pravi lastnosti.

Večjezične strani

Vsebine ločite glede na lokalizacijo in jezik shranite kot metapodetek. Slovenska poizvedba ne bi smela naključno prejeti zastarelega angleškega razdelka le zato, ker se pojavljajo podobni pojmi. Skupne oznake prevodov ali strani pomagajo povezati različice med seboj, ne da bi jih mešali v istem bloku besedila.

Pred testom odgovorov izvedite teste pridobivanja (retrieval)

Najprej ocenite, ali iskanje ponudi pravi odlomek. Šele nato ocenite formulacijo jezikovnega modela. Majhen "Golden Set" iz realnih uporabniških vprašanj mora vsebovati jasna vprašanja, sinonime, večdelne zahteve, mejne primere in vprašanja brez dokazana odgovora. Za vsako vprašanje vnaprej določite, kateri vir oziroma razdelek se pričakuje.

Preverite vsaj:

• ali se pričakovani razdelek pojavi med prvimi zadetki,
• ali neustrezni ali podvojeni zadetki izrivajo pomembne vire,
• ali so vsi potrebni pogoji in izjeme prisotni v ponujenem kontekstu,
• ali vir in njegov status aktualnosti ostajata sledljiva,
• ali sistem ob pomanjkanju znanja zagotovo ne izmišlja odgovora.

Prispevek KI-Chatbot-Antwortqualität mit Golden Set und RAG-Tests messen opisuje ustrezen postopek preverjanja. Za vidne dokaze vodnik Chatbot-Antworten mit Quellen belegen dopolnjuje perspektivo preverjanja povezav in negotovosti.

Kontrolni seznam za uvedbo

1. Popis vsebin: zajemite vrste strani, jezike, formate in odgovorne vire.
2. Preverite ekstrakcijo: na reprezentativnih primerih preverite naslove, tabele in vrstni red branja.
3. Določite meje: dajte prednost semantičnim razdelkom, fiksne velikosti pa uporabite le kot rezervno logiko.
4. Ohranite kontekst: priložite naslov strani, pot naslovov in potrebne prehode.
5. Načrtujte metapodatke: strukturirano shranite URL, jezik, aktualnost, vrsto vsebine in odobritev.
6. Odstranite duplikate: pred indeksiranjem očistite ponavljajoče se elemente (boilerplate) in protislovne kopije.
7. Testirajte različice: primerjajte velikosti in prekrivanje z istim naborom Golden Set.
8. Nadzorujte delovanje: redno evalvirajte manjkajoče zadetke, zastarele vire in povratne informacije uporabnikov.

Zaključek: Dobri chunki so razumljive enote znanja

RAG-chunking ni enkratna tehnična nastavitev, temveč arhitektura vsebin za strojno pridobivanje. Dobri chunki odgovarjajo na jasno opredeljeno delno zahtevo, ohranjajo svoj potrebni kontekst in jih je mogoče pripisati veljavnemu viru. Naslovi, metapodatki in nadzorovano prekrivanje so pri tem enako pomembni kot sama dolžina.

Začnite z nekaj reprezentativnimi vrstami vsebin, izmerite pridobivanje pred slogom odgovora in dokumentirajte vsako spremembo. Če želite nato zgraditi spletnega chatbota na strukturirani bazi znanja, boste na ChatReact pregledu funkcij našli pravi vstop.

Viri

• Microsoft Learn: Chunk large documents for vector search solutions in Azure AI Search
• Microsoft Learn: Chunk and vectorize by document layout
• AWS Bedrock: How content chunking works for knowledge bases
• AWS Bedrock: Include metadata in a data source