LLM-as-a-Judge do chomhrá-róbait láithreáin ghréasáin: rúibricí, trialacha dalla agus calabrú daonna

Má dhéanann tú cáilíocht chatbot láithreáin gréasáin a sheiceáil go rialta, tagann tú go tapa ar theorainn phraiticiúil: aithníonn rialacha beachta naisc bhriste, foinsí in easnamh nó formáidí neamhcheadaithe. Ach is deacair dóibh a mheas an bhfuil freagra i ndáiríre cabhrach, intuigthe agus oiriúnach don cheist. Is anseo go díreach a thagann LLM-as-a-Judge do chatbots láithreáin ghréasáin i bhfeidhm. Sa chur chuige seo, déanann samhail teanga freagraí a mheas de réir rúibric shocraithe, in ionad ceist an chustaiméara a fhreagairt í féin.

Is féidir leis an modh seo athbhreithnithe a bhrostú agus líon níos mó tástálacha a chlúdach. Ach ní meaisín fírinne neodrach é. D’fhéadfadh Judge freagraí fada a fhabhrú, a bheith faoi thionchar ord dhá leagan, nó breithiúnas difriúil a thabhairt i dteangacha áirithe. Dá bhrí sin, comhcheanglaíonn próiseas iontaofa seiceálacha cinntitheacha, critéir mheasúnaithe atá sainmhínithe go soiléir, comparáidí dalla agus sampla tagartha beag daonna a chothaítear go leanúnach.

Cad a dhéanann LLM-as-a-Judge i ndáiríre i dtástáil chatbot

De ghnáth, faigheann Judge ceist an úsáideora, an comhthéacs riachtanach, freagra chatbot amháin nó dhó agus treoir mheasúnaithe. Mar shampla, tugann sé toradh pas/teip, gráid pháirteacha nó rogha idir leagan A agus leagan B. Déanann moltaí OpenAI maidir le evals idirdhealú idir critéir is féidir a sheiceáil go hoibiachtúil agus measúnuithe le tacaíocht samhla. Maidir le chatbots láithreáin ghréasáin, tá an deighilt seo ríthábhachtach: baineann infhaighteacht URL, struchtúr JSON, réimsí éigeantacha agus comhsheasmhacht foinsí le seiceálacha cód; is féidir le Judge tonúlacht, ábharthacht agus cé chomh gníomh-dhírithe is atá an freagra a mheas freisin.

I gcás freagraí oscailte, tá trí fhoirm an-úsáideach:

• Pointwise: Meastar freagra amháin ina aonar i gcoinne rúibrice. Oireann sé seo do gheataí eisithe le híosluachanna seasta.
• Pairwise: Cuirtear dhá fhreagra i gcomparáid go ceilte. Tá sé seo úsáideach nuair a athraítear prompt, retrieval nó samhail.
• Bunaithe ar thagairt: Faigheann an Judge fíricí ionchais, foinsí ceadaithe nó freagra samplach seiceáilte freisin. Neartaíonn sé seo critéir fhíorasacha.

Déanann an taighde bunúsach ar MT-Bench agus Chatbot Arena cur síos ar na leaganacha seo go díreach agus léiríonn sé a dteorainneacha ag an am céanna. Ní hé an chonclúid phraiticiúil ná “daoine a ionadú”, ach: seiceáil cháilíochtúil shuibiachtúil a dhéanamh níos inscálaithe agus an t-am daonna atá fágtha a dhíriú ar chásanna teorann.

Ní mór do rúibric iompar inbhraite a mheas

Cruthaíonn critéir neamhshoiléire breithiúnais neamhshoiléire. Ní rúibric úsáideach é “freagra maith”. Is fearr critéir ar leithligh atá bunaithe ar airíonna infheicthe an fhreagra. Maidir le chatbot láithreáin ghréasáin le tacaíocht RAG, d’fhéadfadh rúibric a bheith mar seo:

1. Dílseacht d’fhíricí: Tá gach ráiteas is féidir a fhíorú clúdaithe ag an gcomhthéacs a cuireadh ar fáil.
2. Bainteacht leis an tasc: Réitíonn an freagra ceist shonrach an úsáideora, in ionad eolas gaolmhar amháin a thabhairt ar ais.
3. Iomláine: Ní fhágtar réamhriachtanais, srianta ná na chéad chéimeanna eile riachtanacha ar lár.
4. Teorainneacha sábháilte: Nuair atá fianaise in easnamh, cuirtear an éiginnteacht in iúl; meastar sonraí cumtha mar earráid thromchúiseach.
5. Treoshuíomh gnímh: Treoraíonn an freagra chuig chéad chéim chiallmhar eile, gan ligean air go bhfuil gníomhartha neamhdeimhnithe déanta.
6. Teanga agus ton: Oireann an teanga, an modh labhartha agus an leibhéal saineolais don iarratas agus don chainéal.

Teastaíonn samplaí tagartha ó gach critéar. Cad is brí le 0, le 1 nó le 2? Cé na hearráidí a chuireann deireadh leis an bpróiseas beag beann ar an scór iomlán? Níor cheart, mar shampla, go bhféadfaí uimhir theileafóin a cumadh as an aer a chúiteamh le dea-fhoirmliú. Coinníonn critéir “veto” den chineál seo teorainneacha sábháilteachta agus dílseachta d’fhíricí scartha ó thoisí cáilíochta níos boige.

Ba chóir seiceálacha cinntitheacha a dhéanamh roimh an moltóir IS

Botún coitianta ó thaobh costais agus cáilíochta de is ea ligean do shamhail amháin gach rud a mheas. Is féidir go leor coinníollacha a sheiceáil ar bhealach níos saoire agus níos in-atáirgthe:

• Níl san fhreagra ach naisc cheadaithe, agus tugann gach URL an stádas a bhfuiltear ag súil leis.
• Tá na haitheantais doiciméad a luadh le fáil i dtoradh an aisghabhála.
• Tá faisnéis éigeantach, uimhreacha, ainmneacha táirgí agus formáidí dáta ag teacht leis na sonraí foinse struchtúrtha.
• Ní sháraíonn an freagra aon fhad sainithe agus níl aon ionadchoinneálaithe toirmiscthe ann.
• Tá scéimre bhailí, údarú bailí agus eochair idempotency bhailí ag glao uirlise.

Ní théann ach na cásanna a éiríonn leo sa bhunseiceáil seo ar aghaidh chuig an moltóir. Íslíonn sé sin costais API, agus bíonn na torthaí níos éasca a mhíniú: tagann earráid chrua ó thástáil is féidir a thuiscint; soláthraíonn an moltóir an measúnú cáilíochta comhlántach. Tá an socrú seo ag teacht freisin leis an dréacht NIST maidir le meastóireachtaí tagarmharcála uathoibrithe, a bhreathnaíonn ar an bprótacal meastóireachta mar chód curtha i bhfeidhm agus a mheasann cáilíocht dhearadh an mholtóra a bheith lárnach do bhrí na dtorthaí.

Laghdaíonn tástálacha dalla claonadh suímh agus claonadh branda

I meastóireachtaí péireáilte, ba cheart ainm na samhla, an soláthraí, leagan an phrompta agus ainmniúcháin inmheánacha a choinneáil i bhfolach ón moltóir. Cuirtear an dá fhreagra i láthair mar iarrthóirí neodracha A agus B. Ina theannta sin, ba cheart an t-ord a mhalartú: A/B uair amháin, B/A uair amháin. Ní áirítear bua ach amháin má thugann an dá rith an rogha chéanna; marcáiltear breithiúnais chontrártha mar chomhscór nó mar chás le hathbhreithniú.

Ní réamhchúram acadúil é sin. Ba é imscrúdú córasach ar chlaonadh suímh a d’aimsigh éifeachtaí intomhaiste ordaithe, a bhí ag brath ar an tasc, ar fud roinnt samhlacha moltóra agus tascanna éagsúla. Maidir le foireann táirge, ciallaíonn sé sin: ní geata eisiúna é measúnú péireáilte amháin. Ar a laghad, ba cheart malartú ordaithe, socruithe cobhsaí don mholtóir agus leaganacha taifeadta a bheith mar chuid den phróiseas.

Níor cheart don fhad, ach oiread, éirí ina chritéar ionaid don cháilíocht gan é a thabhairt faoi deara. Cuir péirí tástála leis nach bhfuil sa fhreagra fada iontu ach athrá agus ina gclúdaíonn freagra gairid na fíricí riachtanacha go léir go beacht. Má roghnaíonn an moltóir an leagan teannta go rialta, caithfear an rúibric a ghéarú nó an toradh a chur faoi rialú daonna níos déine.

Fágann calabrú daonna go bhfuil an scór inúsáidte don chinnteoireacht

Ní bhíonn scór an mholtóra úsáideach ach nuair is eol cé chomh maith agus a thagann sé le cinntí na foirne. Chuige sin, is leor i dtús báire tacar beag calabrúcháin atá curtha le chéile d’aon ghnó: ceisteanna coitianta, cásanna tacaíochta criticiúla, bearnaí eolais, ionchuir débhríocha, toimhdí bréagacha, sonraí íogaire agus roinnt teangacha.

Seo mar a chruthaítear sampla tagartha iontaofa

1. Déanann beirt saineolaithe na cásanna céanna a mheas go neamhspleách de réir na rúibrice céanna.
2. Pléitear na difríochtaí; cuirtear pointí doiléire sa rúibric i dtéarmaí níos nithiúla.
3. Déanann an moltóir na cásanna céanna a mheas gan eolas ar na lipéid dhaonna.
4. Tomhaiseann an fhoireann comhaontú de réir critéir, ní hamháin meán iomlán.
5. Cuirtear cinntí míchearta leis an sampla mar thástálacha aischéimniúcháin nua.

Luann NIST comparáid le measúnú daonna, roinnt breithiúna agus comhaontú idir-rátálaithe mar chleachtais úsáideacha do shocruithe LLM-as-a-Judge. Is tábhachtach an treo anseo: is daoine a chalabraíonn an ionstraim tomhais. Níor cheart don bhreitheamh a chinneadh go siarghabhálach cén chuma “ba cheart a bheith” ar na lipéid dhaonna.

Tá meastóireachtaí atá sonrach don locale de dhíth ar chatbots suíomhanna gréasáin ilteangacha

Tá sé áisiúil rúibric i mBéarla a rith thar fhreagraí aistrithe, ach d’fhéadfadh sé earráidí ábhartha a cheilt. Bíonn foirmeacha béasaíochta, téarmaí teicniúla cumaisc, fad nádúrtha abairtí agus soiléireacht an handoff éagsúil ó theanga go teanga. Dá bhrí sin, déan an freagra bunaidh a mheas ina locale féin agus cinntigh go bhfuil máistreacht iontaofa ag an mbreitheamh ar an teanga sin.

Tugann staidéar le déanaí ar chlaonadh teanga i mbreithiúna LLM péireáilte le fios go bhfuil difríochtaí feidhmíochta idir teaghlaigh teangacha agus claonadh i bhfabhar freagraí Béarla i gcomparáidí tras-teangacha. Do chatbots ilteangacha, is é an toradh atá air sin: ná bíodh rangú díreach ann ina seasann freagra Gaeilge in aghaidh freagra Béarla. Teastaíonn cásanna tástála ar leith, ancairí seiceáilte ag daoine agus tairseacha ar leith do gach locale. Tá treoir níos cruinne maidir le tacair tástála den sórt sin a thógáil ar fáil freisin san alt faoi QA locale do bhunachair eolais ilteangacha.

Sreabhadh oibre eisiúna praiticiúil i seacht gcéim

1. Sainmhínigh raon an athraithe: Taifead cé acu ar athraíodh an prompt, an tsamhail, an retrieval, an fhoinse sonraí nó loighic na huirlise.
2. Roghnaigh cásanna ábhartha: Cuir cásanna leis an Golden Set a thástálann an t-athrú seo go dian.
3. Déan seiceálacha dochta: Déan tástáil dhéitéarmanaíoch ar fhoinsí, URLanna, schemas, ceadanna agus faisnéis éigeantach.
4. Measúnaigh go dall i bpéirí: Cuir an seanfhreagra agus an freagra nua i gcomparáid gan leid faoin leagan agus sa dá ord.
5. Seiceáil critéir veto: Blocálann siabhránachtaí, earráidí cosanta sonraí nó earráidí gníomhaíochta an rolladh amach, beag beann ar an meán.
6. Déan athbhreithniú ar chásanna imeallacha: Téann breithiúnais chontrártha ón mbreitheamh agus cásanna tábhachtacha custaiméirí chuig daoine.
7. Leaganaigh an toradh: Sábháil an tacar sonraí, an rúibric, samhail an bhreithimh, an prompt agus an luach tairsí le chéile.

An té a choinníonn cheana féin Golden Set do cháilíocht freagraí ní gá dó córas comhthreomhar a thógáil mar sin. Is ciseal scórála breise é LLM-as-a-Judge thar na cásanna ionadaíocha céanna. Maidir le comharthaí táirgthe, is é Chatbot-Observability atá freagrach fós; míníonn meastóireachtaí as líne roimh an rolladh amach an dócha go mbeidh athrú níos fearr.

Cé na méadrachtaí ba cheart a bheith sa tuarascáil cháilíochta

Is minic a cheileann meánscór amháin an rud is tábhachtaí. Bíonn tuarascáil dhlúth le roinnt peirspictíochtaí níos úsáidí:

• Ráta pasála de réir critéar rúibrice agus locale
• Sciar d’earráidí crua veto
• Ráta bua péireach an leagain nua i gcoinne an leagain roimhe seo
• Comhsheasmhacht suímh tar éis malartú A/B agus B/A
• Comhaontú idir an breitheamh agus an tagairt dhaonna
• Sciar de chásanna contrártha nó de chásanna a ardaíodh de láimh
• Costas agus am rite in aghaidh gach cás tástála a ndearnadh measúnú iomlán air

Ba cheart an tairseach don rolladh amach a bheith socraithe roimh an rith. Mar shampla: gan earráidí veto nua, dílseacht do na fíricí nach bhfuil níos measa ná roimhe, réiteach tascanna níos fearr agus gan aon mheath suntasach in aon locale. Ar an gcaoi sin, seachnaíonn an fhoireann roghnú i ndiaidh an scéil ar an méadracht amháin a fhágann go mbuaíonn an leagan inmhianaithe. Taispeánann an treoir atá ann cheana maidir le tástálacha A/B agus guardrails conas a nasctar na comharthaí as líne seo níos déanaí le turgnaimh táirge rialaithe.

Conclúid: Is uirlis tomhais é an breitheamh, ní córas faofa uathoibríoch é

Is féidir le LLM-as-a-Judge dearbhú cáilíochta do chatbots láithreáin ghréasáin a scálú go mór, má shainítear scóip an taisc go soiléir. Tá an croílár iontaofa comhdhéanta de rúibricí inbhreathnaithe, réamhsheiceálacha cinntitheacha, comparáidí péireáilte dall, malartú ord, cásanna tástála atá sonrach don locale agus calabrú daonna rialta. Gan na rialuithe seo, bíonn cuma chruinn ar scór, cé nach léiríonn sé ach roghanna leid an bhreithimh.

Tosaigh le Golden Set teoranta atá ábhartha don ghnó agus le dhá nó trí chritéar. Seiceáil ar dtús an leibhéal comhaontaithe leis na hathbhreithneoirí saineolais agaibh. Ní fiú sraitheanna tástála aischéimnithe níos mó a uathoibriú go dtí go mbíonn an uirlis tomhais cobhsaí. Cuidíonn ChatReact le foirne eolas láithreáin ghréasáin a chur i struchtúr agus a dhéanamh inúsáidte le haghaidh freagraí chatbot, agus próisis cháilíochta a fhorbairt timpeall ar aisghabháil, tacaíocht agus ábhar ilteangach.

Foinsí

• OpenAI: Dea-chleachtais maidir le meastóireacht
• NIST AI 800-2 (Dréacht Poiblí Tosaigh): Cleachtais le haghaidh meastóireachtaí tagarmhairc uathoibrithe ar shamhlacha teanga
• Zheng et al.: Measúnú ar LLM-as-a-Judge le MT-Bench agus Chatbot Arena
• Shi et al.: Na breithiúna a mheas – Claontacht suímh in LLM-as-a-Judge
• Zhou et al.: Cothroime nó líofacht? Claontacht teanga i LLM-as-a-Judge péirebhunaithe