RAG-chunking za AI chatbotove: Smislena podjela sadržaja

Chatbot na web stranici može pouzdano odgovarati samo ako u pravom trenutku pronađe odgovarajući sadržaj. Upravo tu odlučuje RAG-chunking: Duge stranice, priručnici i tekstovi pomoći dijele se na manje jedinice koje komponenta pretraživanja može ciljano dohvatiti. Preveliki blokovi sadrže mnogo nebitnih informacija. Premali blokovi gube kontekst. Stoga dobra podjela ne slijedi slijepo neku brojku, već strukturu, značenje i kasniju upotrebu sadržaja.

Ovaj je vodič namijenjen timovima za web stranice, podršku i sadržaj. Objašnjava kako semantički podijeliti sadržaj, sačuvati metapodatke, smanjiti duplikate i pomoću realističnih upita za pretraživanje provjeriti funkcionira li odabrana strategija. Pristup je neovisan o pružatelju usluga i može se primijeniti kako na klasično vektorsko pretraživanje tako i na hibridne postupke dohvaćanja (retrieval).

Zašto RAG-chunking oblikuje kvalitetu odgovora

Kod arhitekture Retrieval-Augmented Generation sustav najprije traži relevantne gradivne blokove znanja i zatim ih prosljeđuje jezičnom modelu. Granice chunkova (ulomaka) stoga određuju što se uopće može zajedno pronaći i upotrijebiti kao kontekst. Ako se uvjet cijene odvoji od svoje iznimke, formalno ispravno pretraživanje ipak može pružiti nepotpunu osnovu. Ako pak chunk sadrži cijelu stranicu proizvoda s navigacijom, varijantama i podnožjem, ključni odlomak natječe se s mnogo šuma.

Chunking utječe na nekoliko dimenzija kvalitete odjednom:

• Pronalažljivost: Stane li tražena izjava jasno u kompaktnu jedinicu?
• Kontekst: Ostaju li naslov, objašnjenje, ograničenje i primjer zajedno?
• Preciznost: Sadrži li pogodak što manje nevažnih tema?
• Sljedivost: Može li se izvadak dodijeliti valjanom izvoru, jeziku i verziji?

Microsoft opisuje fiksne, varijabilne i semantičke postupke te naglašava da se naslovi i drugi signali izgleda mogu koristiti za smislene granice. AWS također razlikuje fiksne, hijerarhijske i semantičke strategije. Zajednička praktična pouka: Tehnička podjela trebala bi pratiti sadržajnu strukturu gdje god je ona pouzdano prisutna.

Započnite sa semantičkim ulomcima umjesto proizvoljnih rezova

Dobra polazišna točka je postojeća struktura stranice. H2 i H3 naslovi, odlomci, popisi, FAQ pitanja, tablice i jasno omeđene napomene već nose značenje. Ulomak o rokovima povrata ne bi smio završiti posred rečenice ili između pravila i iznimke. FAQ pitanje i njegov odgovor pripadaju u isti chunk. Kod uputa, korak akcije, preduvjet i upozorenje trebaju po mogućnosti ostati zajedno.

Praktična logika granica

1. Prvo podijelite prema naslovima dokumenta, stranice i glavnim naslovima.
2. Provjerite obrađuje li ulomak točno jednu razumljivu glavnu temu.
3. Rastavite samo ulomke koji su preveliki za dohvaćanje ili kontekst modela.
4. Spojite vrlo kratke fragmente s odgovarajućim susjednim ulomkom.
5. Priložite naslov i putanju strukture kao kontekst svakom dijelu.

Uz čist HTML ili Markdown ova se metoda može lako automatizirati. Nestrukturirani PDF-ovi, neujednačeni izvozi i skenirani dokumenti često zahtijevaju prethodno prepoznavanje izgleda ili teksta. Pritom posebno kontrolirajte tablice, stupce, zaglavlja i prijelome stranica: Ono što vizualno stoji jedno pored drugog može pri očitavanju završiti u pogrešnom redoslijedu.

Tretirajte veličinu chunka kao testnu vrijednost, a ne kao dogmu

Ne postoji univerzalno idealna veličina chunka. Microsoft navodi 512 tokena s 25 posto preklapanja kao moguću početnu točku za određene scenarije, ali ističe da optimalna postavka ovisi o sadržaju i modelu. AWS također dokumentira konfigurabilne veličine i preklapanja. Takve su vrijednosti smislene početne hipoteze – ne i dokaz kvalitete.

Kratki FAQ odgovori često funkcioniraju kao samostalne jedinice. Detaljne upute za postupke zahtijevaju više konteksta. Pravni ili ugovorni tekstovi ne bi trebali razdvajati pravilo, područje primjene i iznimku. Usporedbe proizvoda pak mogu imati smisla po redovima ili ulomcima ako su priloženi zaglavlja stupaca i poveznica s proizvodom.

Kako prepoznati prevelike ili premale chunkove

Chunk je tipično prevelik ako su u njemu pomiješane višestruke namjere pretraživanja, ako relevantna rečenica nestaje između navigacije i sporednih informacija ili ako mnogi pogoci vraćaju isti opsežni blok. Premali je ako zamjenice više nemaju referencu, nedostaju naslovi, uvjeti su odvojeni od izjava ili je potrebno više fragmenata da bi se razumjelo jedno jednostavno pitanje.

Stoga usporedite najmanje dvije ili tri varijante s istim skupom pitanja. Promijenite samo jedan parametar odjednom, primjerice ciljnu veličinu ili logiku granica. Tako ostaje vidljivo što stvarno poboljšava kvalitetu pogodaka i dokaze u odgovorima.

Preklapanje štiti kontekst – i istovremeno stvara duplikate

Malo preklapanje može spriječiti da se ključna rečenica izgubi izravno na granici chunka. Posebno je korisno kada je tehnička podjela po duljini neizbježna. Međutim, previše preklapanja ima nuspojave: Gotovo identični pogoci zauzimaju više mjesta u rezultatima, povećavaju opseg konteksta i mogu umjetno dominirati izjavom.

Stoga koristite preklapanje ciljano. Kod ulomaka zasnovanih na strukturi često je dovoljno uključiti naslov, putanju strukture i kratak prijelaz. Kod dužih kontinuiranih tekstova može biti smislen mali udio prethodnog ulomka. Nakon toga izmjerite ostaju li različiti relevantni izvori među vrhunskim pogodcima ili ih potiskuju duplikati.

Metapodaci čine chunk pouzdanim u radu

Čisti tekst rijetko je dovoljan za produkcijsku bazu znanja. Svaki chunk treba zadržati svoje podrijetlo i područje primjene. AWS opisuje metapodatke kao osnovu za filtre pri upitima. U bazi znanja web stranice posebno su korisna sljedeća polja:

• kanonski izvorni URL i naslov stranice,
• putanja naslova unutar stranice,
• jezik ili lokalizacija (locale),
• vrsta sadržaja kao što su FAQ, uputa, smjernica ili detalji o proizvodu,
• datum objave odnosno izmjene,
• proizvod, regija ili ciljna skupina, ako je stručno relevantno,
• status pristupa i odobrenja za nejavne sadržaje.

Time se omogućuje, na primjer, pretraživanje samo hrvatskog, trenutno odobrenog sadržaja podrške. Izvor se također može linkati u odgovoru i ciljano ponovno obraditi prilikom kasnijeg ažuriranja. Kako sustavno osigurati ažurnost pokazuje vodič Održavanje baze znanja AI chatbota aktualnom.

Uklonite opći predložak (boilerplate) i duplikate prije indeksiranja

Navigacija, obavijesti o kolačićima, ponavljajući kontaktni blokovi i globalna podnožja ne pripadaju u svaki chunk. U suprotnom nastaju stotine gotovo identičnih unosa koji mogu potisnuti stvarni sadržaj. Uklonite ponavljajuće elemente stranice prije podjele i normalizirajte nepotrebne razmake, dekorativne znakove i tehničke fragmente.

Također i sadržajni duplikati zahtijevaju pažnju. Ako je isto pravilo o povratu različito formulirano na stranicama pomoći, proizvoda i dostave, treba odrediti odgovorni primarni izvor. Zastarjele kopije se uklanjaju, preusmjeravaju ili im se jasno smanjuje prioritet. Postupak chunkinga ne može pretvoriti proturječne izvore u pouzdano znanje.

Svjesno obradite posebne slučajeve

FAQ sadržaji

Spremite pitanje i odgovor zajedno. Kod vrlo kratkih odgovora dopunite nadređeno tematsko područje. Varijante istog pitanja mogu biti korisne za pretraživanje, ali ih ne bi trebalo indeksirati kao višestruki tekst odgovora.

Tablice i popisi

Redak tablice bez zaglavlja stupaca većinom je nerazumljiv. Stoga ponovite ili navedite relevantne pojmove iz zaglavlja u chunku. Kod dugih popisa svaki bi dio trebao zadržati naslov popisa i zajednički uvod. Nakon izdvajanja provjerite jesu li vrijednosti i dalje dodijeljened odgovarajućem svojstvu.

Višejezične stranice

Razdvojite sadržaje prema lokalizaciji i spremite jezik kao metapodatak. Upit na hrvatskom ne bi smio slučajno dobiti zastarjeli engleski ulomak samo zato što se pojavljuju slični pojmovi. Zajednički identifikatori prijevoda ili stranica pomažu u povezivanju varijanti bez njihovog miješanja u istom bloku teksta.

Provedite testove dohvaćanja prije testiranja odgovora

Prvo procijenite daje li pretraživanje pravi odlomak. Tek nakon toga procjenjujete formulaciju jezičnog modela. Mali Zlatni skup (Golden Set) stvarnih korisničkih pitanja trebao bi sadržavati jasna pitanja, sinonime, višedijelne zahtjeve, granične slučajeve i pitanja bez potkrepljenog odgovora. Za svako pitanje unaprijed definirajte koji se izvor odnosno ulomak očekuje.

Provjerite najmanje:

• pojavljuje li se očekivani ulomak među prvim pogodcima,
• potiskuju li irelevantni ili dvostruki pogoci važne izvore,
• nalaze li se svi potrebni uvjeti i iznimke u dostavljenom kontekstu,
• ostaju li izvor i njegov status ažurnosti slijedivi,
• izmišlja li sustav sigurno nikakav odgovor u slučaju nedostatka znanja.

Članak Mjerenje kvalitete odgovora AI chatbota uz Golden Set i RAG testove opisuje odgovarajući postupak provjere. Za vidljive dokaze, vodič Potkrepljivanje odgovora chatbota izvorima nadopunjuje perspektivu provjere linkova i nesigurnosti.

Kontrolni popis za uvođenje

1. Popišite sadržaj: Obuhvatite vrste stranica, jezike, formate i odgovorne izvore.
2. Provjerite izdvajanje: Kontrolirajte naslove, tablice i redoslijed čitanja na reprezentativnim primjerima.
3. Definirajte granice: Dajte prednost semantičkim ulomcima i koristite fiksne veličine samo kao zamjensku logiku.
4. Sačuvajte kontekst: Priložite naslov stranice, putanju naslova i potrebne prijelaze.
5. Planirajte metapodatke: Strukturalno spremite URL, lokalizaciju, ažurnost, vrstu sadržaja i status odobrenja.
6. Uklonite duplikate: Očistite opće predloške (boilerplate) i proturječne kopije prije indeksiranja.
7. Testirajte varijante: Usporedite veličine i preklapanje s istim Golden Setom.
8. Nadzirite rad: Redovito analizirajte nedostajuće pogotke, zastarjele izvore i povratne informacije korisnika.

Zaključak: Dobri chunkovi su razumljive jedinice znanja

RAG-chunking nije jednokratna tehnička postavka, već arhitektura sadržaja za strojno dohvaćanje. Dobri chunkovi odgovaraju na jasno omeđen dio zahtjeva, zadržavaju svoj potrijebni kontekst i mogu se dodijeliti valjanom izvoru. Naslovi, metapodaci i kontrolirano preklapanje pritom su jednako važni kao i sama duljina.

Započnite s nekoliko reprezentativnih vrsta sadržaja, mjerite dohvaćanje prije stila odgovora i dokumentirajte svaku promjenu. Ako zatim želite izgraditi chatbot za web stranicu na strukturiranoj bazi znanja, pronaći ćete odgovarajući ulazak na Pregledu funkcija ChatReacta.

Izvori

• Microsoft Learn: Chunk large documents for vector search solutions in Azure AI Search
• Microsoft Learn: Chunk and vectorize by document layout
• AWS Bedrock: How content chunking works for knowledge bases
• AWS Bedrock: Include metadata in a data source