Improvement Agent

O Improvement Agent é uma ferramenta com IA que ajuda você a melhorar sistematicamente as respostas do seu chatbot com base no feedback real dos clientes.

Visão geral

Quando um chat é marcado como "needs improvement", o Improvement Agent analisa:

• A conversa original
• Onde o chatbot não respondeu de forma ideal
• Como as respostas podem ser aprimoradas

Acessando o Improvement Agent

Existem três maneiras de iniciar uma sessão de melhoria:

A partir da visualização de detalhes do chat

1. Vá para Chats no painel e abra um chat
2. Na seção "AI Improvement Agent", você verá o status do feedback
3. Se o chat estiver marcado como "Needs Improvement", clique em Improve with AI

A partir da lista de Chats

Chats com avaliação negativa que ainda não foram melhorados mostram um botão inline Improve with AI diretamente na lista de Chats — clique nele para entrar diretamente no agent sem abrir o chat primeiro.

A partir de um e-mail de revisão de chat

Se você receber um e-mail de revisão de chat e clicar em Needs improvement, será levado diretamente para uma sessão do Improvement Agent para esse chat. Veja Rating chats from email abaixo.

O processo de melhoria

1. Analisar a conversa original

O painel esquerdo mostra a conversa original do chat:

• Cada mensagem é numerada para referência fácil
• Mensagens do usuário (roxo) e respostas do bot (cinza) são codificadas por cores
• Mensagens do bot têm um botão "Improve" para selecioná‑las para melhoria

Seleção inteligente de mensagens:

• Se o chat contém apenas uma mensagem do bot, ela é pré‑selecionada automaticamente — o agente sabe imediatamente qual resposta você deseja melhorar.
• Se houver várias mensagens do bot, a saudação do agente irá orientá‑lo a clicar em "Improve" ao lado da mensagem específica que você deseja corrigir. A mensagem selecionada é destacada em azul e uma barra indicadora aparece perto do campo de entrada do chat.

2. Conversar com o Improvement Agent

O painel central é um chat interativo com o AI Improvement Agent:

• Descreva o que não foi ideal na conversa
• Peça sugestões de melhoria
• Discuta estratégias de resposta alternativas
• Faça referência a mensagens específicas da conversa original

Exemplos de prompts:

• "The answer to question 3 was too vague. How could the bot respond better?"
• "The bot didn't understand the product inquiry. What can we improve?"
• "Suggest a better fallback response when the bot is uncertain."

3. Revisar e aplicar sugestões

O painel direito mostra as sugestões de melhoria geradas:

Para cada sugestão, você pode:

• Simulate: Testar como o bot responderia com a melhoria (use Simulate All para executar a simulação para todas as sugestões pendentes de uma vez)
• Apply: Aplicar a melhoria
• Reject: Descartar a sugestão

Simulação de teste

Antes de aplicar uma sugestão, você pode simulá‑la:

1. Clique em Simulate em uma sugestão (ou Simulate All para testar todas as sugestões pendentes)
2. A simulação mostra:
   • A pergunta original do usuário
   • A resposta simulada com a alteração aplicada
   • A resposta original do bot permanece visível no painel esquerdo para comparação
3. Avalie a resposta simulada:
   • Perfect!: O agent confirma que a sugestão está pronta — aplique‑a com o botão Apply
   • Almost good: O agent refina a sugestão com base no que ainda está faltando
   • Not good: O agent pergunta o que houve de errado com a resposta simulada para poder retrabalhar a sugestão

Concluindo uma sessão

Depois de tratar todas as sugestões, clique em Complete Improvement no painel de sugestões:

• O botão permanece desabilitado até que todas as sugestões tenham sido aplicadas ou rejeitadas
• Ao concluir, você retorna à lista de Chats
• O chat recebe então uma etiqueta Improved, e sua visualização de detalhes mostra um link View Improvement de volta para a sessão

Fluxo de feedback

Avaliando chats

Antes que o Improvement Agent possa ser usado, um chat deve ser avaliado:

1. Abra um chat
2. Na seção "AI Improvement Agent":
   • Good (Polegar para cima): Marca como exemplo positivo
   • Needs Work (Polegar para baixo): Marca o chat como necessitando melhoria e recalcula a pontuação de confiança — um botão Improve with AI então aparece para iniciar o agent
   • Reviewed (Check): Marca o chat como revisado/descartado sem avaliá‑lo como bom ou ruim (não afeta a pontuação de confiança e não dispara e-mails ou sessões de melhoria)

Quando você marca um chat como Needs Work, a IA classifica automaticamente quão grave foi o problema — isso determina quanto a avaliação afeta sua pontuação de confiança (veja Confidence score abaixo).

As avaliações não são finais: chats marcados como Good ou Reviewed podem ser reabertos mais tarde com o botão Mark as needs improvement na página de detalhes do chat. A pontuação de confiança é recalculada e o Improvement Agent fica disponível novamente.

Avaliando chats a partir de e-mail

Você também pode avaliar chats diretamente a partir dos e-mails de revisão de chat que recebe, sem abrir o painel. Cada e‑mail mostra a conversa e pergunta "Was this a good response?" com dois botões:

• Yes, good answer: Marca o chat como positivo e leva você a uma página de sucesso mostrando sua pontuação de confiança atualizada — incluindo como a pontuação da categoria de resposta afetada mudou
• Needs improvement: Marca o chat como negativo e leva você diretamente para uma sessão do Improvement Agent para esse chat

Usando a fase de aprendizado

Durante a fase de aprendizado, você será automaticamente solicitado a avaliar chats — requisições de avaliação chegam como e‑mails de revisão de chat. Isso acelera significativamente a melhoria do seu chatbot.

Pontuação de confiança

A pontuação de confiança mede com que confiabilidade seu chatbot responde, com base nas suas avaliações. Você a encontra na aba Confidence das configurações do seu chatbot.

Pontuação por categoria

As conversas são agrupadas em categorias de resposta, e cada categoria recebe sua própria pontuação de confiança além da pontuação global:

• Categorias são criadas automaticamente conforme os chats ocorrem
• Você pode adicionar, renomear ou excluir categorias na aba Confidence (chats de uma categoria excluída são movidos para uma categoria de fallback automática)

Severidade das avaliações negativas

Cada polegar para baixo é classificado automaticamente pela IA em um dos quatro níveis de severidade que determinam quanto a avaliação reduz a pontuação de confiança:

• Minor issue
• Moderate issue
• Major issue
• Critical issue

A página de detalhes do chat mostra a severidade atribuída, o ajuste de pontuação aplicado e a razão. Se você discordar da classificação, use o menu suspenso Override severity para alterá‑la — a pontuação de confiança é recalculada imediatamente.

E‑mails de revisão de chat

Na aba Confidence você controla com que frequência recebe e‑mails de revisão de chat:

• O interruptor Chat Review Emails ativa ou desativa os e‑mails de revisão completamente
• Para cada categoria, você pode definir sua própria frequência de e‑mail: After every chat, Every X hours, Daily, Weekly, ou Never

Isso permite que você monitore de perto categorias fracas enquanto silencia categorias que já têm um bom desempenho.

Reiniciar sessão

Se quiser iniciar uma nova sessão de melhoria:

1. Clique em Restart no cabeçalho
2. Confirme a reinicialização
3. Todas as mensagens e sugestões pendentes são excluídas — alterações que você já aplicou são mantidas

Disponibilidade

Melhores práticas

1. Seja específico: Quanto mais precisamente você descrever o problema, melhores serão as sugestões
2. Forneça contexto: Mencione qual resposta você esperava
3. Simule antes de aplicar: Sempre teste as sugestões primeiro
4. Use regularmente: Sessões de melhoria semanais mantêm seu bot atualizado

Próximos passos

• FAQ Management →
• Knowledge Base →
• Chatbot Settings →