Improvement Agent
O Agente de Melhoria é uma ferramenta com IA que ajuda você a aprimorar sistematicamente as respostas do seu chatbot com base no feedback real dos clientes.
Overview
Quando um chat é marcado como "needs improvement", o Agente de Melhoria analisa:
- A conversa original
- Onde o chatbot não respondeu de forma ideal
- Como as respostas podem ser melhoradas
Accessing the Improvement Agent
Existem três formas de iniciar uma sessão de melhoria:
From the Chat Detail View
- Vá para Chats no dashboard e abra um chat
- Na seção "AI Improvement Agent", você verá o status do feedback
- Se o chat estiver marcado como "Needs Improvement", clique Melhorar com IA
From the Chats List
Chats com avaliação negativa que ainda não foram melhorados mostram um botão Melhorar com IA inline diretamente na lista de Chats — clique nele para entrar diretamente no agente sem abrir o chat primeiro.
From a Chat Review Email
Se você receber um email de revisão de chat e clicar Precisa de melhoria, será levado diretamente para uma sessão do Agente de Melhoria para esse chat. Veja Rating chats from email abaixo.
The Improvement Process
1. Analyze the Original Conversation
O painel esquerdo mostra a conversa original do chat:
- Cada mensagem é numerada para referência fácil
- Mensagens do usuário (roxo) e respostas do bot (cinza) são codificadas por cor
- Mensagens do bot têm um botão "Improve" para selecioná-las para melhoria
Smart Message Selection:
- Se o chat contém apenas uma mensagem do bot, ela é pré-selecionada automaticamente — o agente sabe imediatamente qual resposta você quer melhorar.
- Se houver múltiplas mensagens do bot, a saudação do agente orientará você a clicar em "Improve" ao lado da mensagem específica que deseja corrigir. A mensagem selecionada é destacada em azul e uma barra indicadora aparece perto do campo de entrada do chat.
2. Chat with the Improvement Agent
O painel central é um chat interativo com o Agente de Melhoria de IA:
- Descreva o que não foi ideal na conversa
- Peça sugestões de melhoria
- Discuta estratégias alternativas de resposta
- Faça referência a mensagens específicas da conversa original
Example Prompts:
- "The answer to question 3 was too vague. How could the bot respond better?"
- "The bot didn't understand the product inquiry. What can we improve?"
- "Suggest a better fallback response when the bot is uncertain."
3. Review and Apply Suggestions
O painel direito mostra as sugestões de melhoria geradas:
| Suggestion Type | Description |
|---|---|
| New FAQ / Update FAQ / Delete FAQ | Cria, edita ou remove uma FAQ para fechar a lacuna de conhecimento |
| New / Update / Delete Core Instruction | Ajusta as instruções centrais do seu chatbot |
| Atualizar persona | Refina a descrição da persona do chatbot |
Para cada sugestão, você pode:
- Simular: Testar como o bot responderia com a melhoria (use Simular tudo para executar a simulação para todas as sugestões pendentes de uma vez)
- Aplicar: Aplicar a melhoria
- Reject: Descartar a sugestão
Test Simulation
Antes de aplicar uma sugestão, você pode simulá-la:
- Clique Simular em uma sugestão (ou Simular tudo para testar todas as sugestões pendentes)
- A simulação mostra:
- A pergunta original do usuário
- A resposta simulada com a alteração aplicada
- A resposta original do bot permanece visível no painel esquerdo para comparação
- Avalie a resposta simulada:
- Perfeita!: O agente confirma que a sugestão está pronta — aplique-a com o botão Aplicar
- Quase boa: O agente refina a sugestão com base no que ainda falta
- Não é bom: O agente pergunta o que havia de errado com a resposta simulada para poder retrabalhar a sugestão
Avaliar uma simulação nunca aplica ou descarta a sugestão por si só. Use os botões Aplicar e Reject na sugestão para tomar a decisão final.
Completing a Session
Uma vez que você tenha tratado todas as sugestões, clique Concluir melhoria no painel de sugestões:
- O botão permanece desabilitado até que cada sugestão tenha sido aplicada ou rejeitada
- Ao concluir, você é levado de volta para a lista de Chats
- O chat passa a exibir um distintivo como Melhorado, e sua visualização de detalhes mostra um link Ver melhoria de volta para a sessão
Feedback Workflow
Rating Chats
Antes que o Agente de Melhoria possa ser usado, um chat deve ser avaliado:
- Abra um chat
- Na seção "AI Improvement Agent":
- Boas (Thumbs up): Marca como exemplo positivo
- Precisa de melhoria (Thumbs down): Marca o chat como necessitando melhoria e recalcula a pontuação de confiança — um botão Melhorar com IA então aparece para iniciar o agente
- Revisado (Check): Marca o chat como revisado/dispensado sem avaliá-lo como bom ou ruim (não afeta a pontuação de confiança e não dispara emails ou sessões de melhoria)
Quando você marcar um chat como Precisa de melhoria, a IA classifica automaticamente quão grave foi o problema — isso determina quanto a avaliação afeta sua pontuação de confiança (veja Confidence score abaixo).
As avaliações não são finais: chats marcados como Good ou Reviewed podem ser reabertos mais tarde com o botão Marcar como precisa de melhoria na página de detalhes do chat. A pontuação de confiança é recalculada e o Agente de Melhoria volta a ficar disponível.
Rating Chats from Email
Você também pode avaliar chats diretamente dos emails de revisão de chat que recebe, sem abrir o dashboard. Cada email mostra a conversa e pergunta "Was this a good response?" com dois botões:
- Sim, boa resposta: Marca o chat como positivo e leva você a uma página de sucesso mostrando sua pontuação de confiança atualizada — incluindo como mudou a pontuação da categoria de resposta afetada
- Precisa de melhoria: Marca o chat como negativo e leva você diretamente para uma sessão do Agente de Melhoria para esse chat
Os links de avaliação nos emails de revisão expiram após 7 dias. Você sempre pode avaliar o chat mais tarde no dashboard.
Using the Learning Phase
Durante a fase de aprendizado, você será automaticamente solicitado a avaliar chats — pedidos de avaliação chegam como emails de revisão de chat. Isso acelera significativamente a melhoria do seu chatbot.
Confidence Score
A pontuação de confiança resume suas revisões de conversas em uma escala 0–100. Você a encontrará na aba Confiança das configurações do seu chatbot. É uma ajuda para revisão de qualidade, não uma garantia de correção factual nem uma avaliação por estrelas do cliente.
Per-Category Scoring
As conversas são agrupadas em categorias de resposta, e cada categoria recebe sua própria pontuação de confiança além da pontuação global:
Cada categoria usa até 20 revisões recentes pontuadas e seus ajustes, incluindo a severidade das avaliações negativas. A pontuação global é a média das categorias que possuem conversas revisadas. Recon_hecimentos Revisado sem avaliação positiva ou negativa não contribuem como revisão pontuada.
- As categorias são criadas automaticamente conforme os chats ocorrem
- Você pode adicionar, renomear ou excluir categorias na aba Confidence (chats de uma categoria excluída são movidos para uma categoria de fallback automática)
- Você também pode reatribuir manualmente um chat individual para uma categoria diferente a partir da página de detalhes desse chat, independentemente da categorização automática
Severity of Negative Ratings
Cada thumbs-down é automaticamente classificado pela IA em um dos quatro níveis de severidade que determinam quanto a avaliação reduz a pontuação de confiança:
- Minor issue
- Moderate issue
- Major issue
- Critical issue
A página de detalhes do chat mostra a severidade atribuída, o ajuste de pontuação aplicado e a razão. Se você discordar da classificação, use o dropdown Override severity para alterá-la — a pontuação de confiança é recalculada imediatamente.
Notifications
Alcançar o limite configurado com revisões suficientes pode acionar uma sugestão para finalizar o aprendizado. Isso não encerra automaticamente a fase de aprendizado. Reveja as respostas do bot e escolha Encerrar fase de aprendizado você mesmo quando estiver pronto.
Chatbots → Geral → Notificações
Receba conversas completas por email. Gerencie destinatários, tipo de email e frequência aqui.
- Adicionar destinatário: Endereço de email.
- Tipo de envio: Somente transcrição / Com revisão.
- Frequência: Every chat, Hourly, Daily, Weekly.
- Ativa → Salvar Alterações.
Transcrições de chat estão incluídas em todos os planos. Botões de revisão requerem um plano com chat reviews.
Novos chats após a ativação apenas. Diário às 09:00 UTC; semanalmente às segundas-feiras às 09:00 UTC.
Reset Session
Se você quiser iniciar uma nova sessão de melhoria:
- Clique Reiniciar no cabeçalho
- Confirme o reset
- Todas as mensagens e sugestões pendentes são deletadas — alterações que você já aplicou são mantidas
Availability
O Agente de Melhoria está disponível no plano Professional e superior, e também está incluído durante o trial Starter Pro de 14 dias.
Best Practices
- Seja específico: Quanto mais precisamente você descrever o problema, melhores serão as sugestões
- Forneça contexto: Mencione qual resposta você esperaria
- Simule antes de aplicar: Sempre teste as sugestões primeiro
- Use regularmente: Sessões de melhoria semanais mantêm seu bot atualizado