Busca híbrida e reranking para chatbots de IA: melhores resultados para RAG

Os chatbots de sites raramente falham porque uma base de conhecimento não contém nenhuma informação. Mais frequentemente, a etapa de recuperação não encontra a passagem que se adapta à questão e ao contexto específico. Os visitantes utilizam nomes de produtos, mensagens de erro e números de artigos, mas também formulam livremente: “Por que o chatbot mostra a tarifa errada?” ou “Ainda posso alterar um pedido que já foi enviado?” Para esta combinação, nem a pesquisa pura por palavra-chave nem a pesquisa vetorial pura são suficientes como resposta geral. A Pesquisa Híbrida combina ambos os sinais para que um chatbot RAG obtenha fontes mais confiáveis ​​em seu contexto de resposta.

Pesquisas de palavras-chave e vetores realizam tarefas diferentes

A pesquisa por palavra-chave é poderosa quando as palavras precisam aparecer exatamente. Isto se aplica a números de pedidos, nomes de produtos, mensagens de erro específicas, nomes de contratos ou versões como “2.4”. Pode mostrar claramente porque um documento se encaixa: a palavra que você procura está no título, no cabeçalho ou na passagem. Sua fraqueza é evidente na linguagem cotidiana, nos sinônimos e nas formulações incompletas. A dúvida de um visitante sobre uma “cópia da fatura” não necessariamente encontra uma página que diz apenas “baixar o recibo”.

A pesquisa vetorial preenche essa lacuna. Representa questão e conteúdo como uma proximidade semântica e pode, portanto, encontrar preocupações semelhantes, mesmo que faltem os mesmos termos. Isso ajuda com perguntas de suporte formuladas naturalmente, variantes multilíngues e nomes diferentes para o mesmo processo. Contudo, a proximidade semântica por si só não é um passe livre: uma passagem pode ser semelhante ao tópico, mas dizer respeito a uma versão de produto diferente, a um mercado diferente ou a uma regra expirada. É exatamente por isso que a verificação de contexto pertence ao pipeline de recuperação e não ao modelo de linguagem.

Por que a pesquisa híbrida é um ponto de partida sensato

A Microsoft descreve a Pesquisa Híbrida como uma consulta conjunta com texto completo e partes vetoriais. Ambas as consultas são executadas em paralelo e suas listas de resultados são mescladas. Isso é atraente para sites de empresas porque os termos exatos são mantidos e, ao mesmo tempo, o conteúdo relacionado e bem formulado fica acessível. Um chatbot não precisa permitir que os visitantes escolham entre uma pesquisa “técnica” e uma “semântica”. A seleção é criada em segundo plano e pode ser verificada para todas as questões usando o mesmo processo de qualidade.

A Pesquisa Híbrida melhora o conjunto de candidatos; não produz verdade. O chatbot só pode utilizar conteúdo aprovado para a situação específica. Sites públicos, designs internos e dados protegidos de clientes não pertencem a um contexto comum e descontrolado. É igualmente importante comportar-se com clareza se nenhuma fonte adequada estiver disponível: consultas, links para a página de contato ou transferência humana são mais seguros do que uma suposição formulada com fluência.

RRF compreensível: mesclar classificações

As pontuações das pesquisas de texto completo e vetoriais têm significados e escalas diferentes. Adicioná-los diretamente ou inventar um limite fixo para eles geralmente leva a resultados instáveis. Reciprocal Rank Fusion, ou RRF, portanto, funciona com a posição de um documento em cada lista de classificação. Um documento que aparece no topo de ambas as listas recebe um forte sinal combinado. Um documento que só é visível em uma lista também pode ser levado em consideração, mas não pode substituir automaticamente todo o resto.

O RRF não é um valor padrão mágico ou uma fórmula de substituição para testes técnicos. Quantos candidatos de cada pesquisa são incluídos na fusão, quais filtros se aplicam previamente e quando um resultado é considerado utilizável depende do conteúdo e do risco. Para dúvidas comuns sobre produtos, uma janela pequena e focada pode ser útil. Mais candidatos podem ser necessários para instruções complexas ou diagnóstico de erros. A chave é comparar a mudança com questões reais em relação a um conjunto de testes, em vez de adotar um parâmetro universal a partir de um exemplo.

Reclassificação semântica como um segundo nível limitado

Após uma boa pré-seleção, um reclassificador pode reavaliar o conjunto mais restrito de candidatos para toda a questão. A Microsoft atribui a classificação semântica como uma classificação secundária acima de uma lista de resultados já pré-classificada. O Amazon Bedrock descreve a reclassificação como uma avaliação de documentos de texto quanto à sua relevância para a consulta. Esta segunda etapa é adequada para questões com múltiplas condições: por exemplo, se uma alteração tarifária é possível depois que um pedido já foi enviado e existe um determinado tipo de contrato.

A reclassificação deve ser deliberadamente limitada. Custa latência adicional e pode ser cobrado dependendo do serviço. Portanto, não entregue toda a base de conhecimento a um reclassificador, mas apenas o conjunto superior que já foi filtrado e mesclado. Defina um orçamento de tempo e um substituto. Caso o orçamento seja ultrapassado, o chatbot pode mostrar a lista de fontes mais confiável, pedir esclarecimentos ou passar a conversa para uma equipe de suporte. Um reclassificador não corrige conteúdo desatualizado, ausente ou não aprovado.

Filtros de metadados protegem o contexto

Os metadados geralmente têm um impacto maior na qualidade da resposta do que outra opção de modelo. Para cada fonte, mantenha pelo menos idioma, produto ou serviço, versão, mercado, grupo-alvo e validade, na medida em que essas informações sejam relevantes para uso. Um filtro para o cliente ou área de autorização correta deve entrar em vigor antes da saída. Para um site público, um chatbot só pode recuperar conteúdo público; Autorizações verificáveis ​​adicionais se aplicam a uma área registrada.

O tempo também é um problema de metadados. As listas de preços, condições de entrega e instruções devem ter uma data de atualização clara ou um status de validade controlado. Se a fonte não for mais confiável, ela deverá ser removida do índice ou colocada em uma trilha de auditoria separada. Os filtros devem refletir requisitos que sejam compreensíveis para os visitantes e não manipular secretamente a classificação. Portanto, documente quais filtros se aplicam a qual classe de pergunta e como uma equipe analisa as alterações.

Um pipeline concreto da consulta ao contexto

1. Pergunta de normalização:Reconheça a linguagem e o contexto óbvio sem armazenar ou alterar desnecessariamente informações pessoais.
2. Verifique o acesso e os metadados:Antes da recuperação, determine quais fontes são permitidas por produto, mercado, função e período de validade.
3. Recuperar em paralelo:Execute pesquisas de texto completo e vetoriais no mesmo conjunto de fontes permitido.
4. Mesclar classificações:Combine as listas com RRF e mantenha os sinais de linhagem por candidato para depuração.
5. Reclassificação limitada:Execute a avaliação de relevância apenas no pequeno conjunto superior e meça a latência.
6. Contexto seguro:Verifique se há duplicatas, o status da fonte e o comprimento apropriado antes que as passagens sejam enviadas para o modelo de resposta.
7. Responda com limite:Prove as fontes, destaque a incerteza e use a transferência segura quando necessário.

Exemplo prático: Situação do envio e alteração tarifária

Suponha que um visitante pergunte: “Ainda posso alterar minha tarifa mesmo que o pacote já esteja a caminho?” A pesquisa por palavra-chave pode encontrar uma página sobre “Mudar plano” e um artigo de suporte com “Pacote em movimento”. A pesquisa vetorial encontra um guia que descreve o processo como uma alteração após o envio. O RRF traz documentos que combinam os dois aspectos. Um reclassificador pode então verificar se a passagem relevante realmente contém a combinação de tarifa e frete.

Antes de responder, filtre por mercado afetado, linha de produtos e status de validade atual. Se as fontes forem contraditórias ou faltarem detalhes necessários, o chatbot não deve inferir de casos semelhantes. Ele pode dizer de forma transparente qual condição está aberta e orientar o visitante para uma opção de contato adequada e verificada. Isso mantém a conversa útil sem inventar uma promessa não financiada.

Casos sem resultado e depuração de pontuação

Um resultado sem resultado é muitas vezes um sinal de uma lacuna de conhecimento, e não de uma busca interrompida. Portanto, distinga pelo menos quatro casos: não existe nenhuma fonte permitida, existem fontes mas não há resultados suficientemente correspondentes, a questão é ambígua ou um erro técnico impede a recuperação. Cada caso precisa de uma reação própria e compreensível. “Não consigo encontrar uma resposta confiável para isso nas informações divulgadas” é mais honesto do que uma frase genérica sem próximo passo.

As pontuações finais por si só não são suficientes para depuração. Para cada pergunta do teste, as equipes devem ser capazes de ver quais filtros foram eficazes, quais documentos vieram de pesquisas por palavras-chave e vetores, como eles foram mesclados e se a reclassificação alterou a ordem. Salve apenas os dados necessários para a qualidade e processados ​​de maneira eficiente. Procure padrões: faltam alguns sinônimos? Uma fonte antiga ofusca o novo conteúdo? Uma localidade quebra a lógica dos metadados? Somente a causa específica decide se a fragmentação, os metadados, a manutenção da fonte ou a classificação precisam ser alterados.

Conjunto de testes, métricas e orçamento de custos

Um pequeno Golden Set com 30 a 50 perguntas realistas é um bom começo. Para cada pergunta, insira as fontes esperadas, as fontes inadmissíveis e a reação desejada caso você não tenha conhecimento. Meça separadamente se uma fonte correta está entre os candidatos, se ela tem uma classificação suficientemente alta e se a resposta final utiliza apenas informações comprovadas. Adicione conscientemente erros de digitação, termos exatos, formulações naturais, multilinguismo e casos negativos críticos.

Altere apenas uma variável por execução de teste: um filtro, o número de candidatos, a profundidade da reclassificação ou a estrutura do bloco. Observe também o tempo de resposta e o número de chamadas de modelo externo. Uma pontuação de relevância mais alta pode ser inútil se a resposta atrasar ou se o custo das perguntas padrão comuns aumentar. Portanto, defina um orçamento de latência e custo para cada classe de questões. Respostas padrão rápidas e bem documentadas e envios conservadores são mais valiosos para muitos sites do que uma classificação extremamente complexa.

Erros típicos durante a introdução

• Compare diretamente as pontuações brutas de palavras-chave e vetores, mesmo que suas escalas não sejam as mesmas.
• Rascunhos de índices, listas de preços antigas ou conteúdo protegido sem filtros de status e permissão.
• Aplicar reclassificação a muitos candidatos e não controlar a latência e os custos.
• Trate uma demonstração com algumas boas perguntas como prova suficiente de qualidade.
• Se não houver fonte, gere uma resposta plausível em vez de incertezas, dúvidas ou transferências.
• Não ser capaz de versionar e depois explicar as alterações nas fontes, fragmentação e classificação.

Lista de verificação introdutória

• Defina fontes permitidas e limites de permissão antes da indexação.
• Mantenha metadados para idioma, produto, versão, mercado e validade.
• Recupere texto completo e pesquisa vetorial em paralelo e depois mescle usando RRF.
• Use a reclassificação apenas para um conjunto pequeno e permitido de candidatos.
• Avalie links de origem, respostas sem resultados e transferência humana no conjunto de testes.
• Meça a latência, o custo e as respostas falsas críticas por mudança.

Conclusão

A Pesquisa Híbrida é um ponto de partida robusto para chatbots de sites com diferentes formulários de perguntas. A pesquisa por palavra-chave mantém sinais precisos, a pesquisa vetorial revela preocupações semelhantes, o RRF conecta suas classificações e um reclassificador limitado pode melhorar a lista restrita. No entanto, o aumento sustentável da qualidade advém de fontes bem conservadas, metadados apropriados, testes compreensíveis e uma lógica de resposta que revela os seus limites. Isso torna a recuperação verificável em vez de apenas tecnicamente impressionante.

Fontes e mais informações

• Microsoft Learn: pesquisa híbrida
• Microsoft Learn: Relevância e RRF na Pesquisa Híbrida
• Microsoft Learn: classificação semântica
• Amazon Bedrock: Reclassificação
• ChatReact: fragmentação RAG para chatbots de IA
• ChatReact: Testando a qualidade da resposta com Golden Set
• ChatReact: Mantenha sua base de conhecimento atualizada