Improvement Agent

Der Improvement Agent ist ein KI-gestütztes Tool, das Ihnen dabei hilft, die Antworten Ihres Chatbots systematisch anhand von echtem Kundenfeedback zu verbessern.

Übersicht

Wenn ein Chat als „needs improvement“ markiert wird, analysiert der Improvement Agent:

• Die ursprüngliche Konversation
• Wo der Chatbot nicht optimal geantwortet hat
• Wie die Antworten verbessert werden können

Zugriff auf den Improvement Agent

Es gibt drei Möglichkeiten, eine Improvements-Session zu starten:

Aus der Chat-Detailansicht

1. Gehen Sie im Dashboard zu Chats und öffnen Sie einen Chat
2. Im Bereich „AI Improvement Agent“ sehen Sie den Feedback-Status
3. Wenn der Chat als Needs Improvement markiert ist, klicken Sie auf Improve with AI

Aus der Chat-Liste

Chats mit einer negativen Bewertung, die noch nicht verbessert wurden, zeigen direkt in der Chats-Liste einen Inline-Button Improve with AI — klicken Sie darauf, um direkt in den Agenten zu springen, ohne den Chat zuerst zu öffnen.

Aus einer Chat-Review-E-Mail

Wenn Sie eine Chat-Review-E-Mail erhalten und auf Needs improvement klicken, werden Sie direkt in eine Improvement Agent-Sitzung für diesen Chat geführt. Siehe Rating chats from email weiter unten.

Der Verbesserungsprozess

1. Analyse der ursprünglichen Konversation

Das linke Panel zeigt die ursprüngliche Chat-Konversation:

• Jede Nachricht ist zur einfachen Referenz nummeriert
• Benutzer-Nachrichten (lila) und Bot-Antworten (grau) sind farblich gekennzeichnet
• Bot-Nachrichten haben eine "Improve"-Schaltfläche, um sie für Verbesserungen auszuwählen

Intelligente Nachrichten-Auswahl:

• Wenn der Chat nur eine Bot-Nachricht enthält, wird diese automatisch vorausgewählt — der Agent weiß sofort, welche Antwort Sie verbessern möchten.
• Wenn es mehrere Bot-Nachrichten gibt, weist die Begrüßung des Agenten Sie an, neben der spezifischen Nachricht, die Sie korrigieren möchten, auf "Improve" zu klicken. Die ausgewählte Nachricht wird blau hervorgehoben und eine Anzeigeleiste erscheint in der Nähe der Chat-Eingabe.

2. Chatten mit dem Improvement Agent

Das mittlere Panel ist ein interaktiver Chat mit dem AI Improvement Agent:

• Beschreiben Sie, was an dem Chat nicht optimal war
• Fragen Sie nach Verbesserungsvorschlägen
• Diskutieren Sie alternative Antwortstrategien
• Beziehen Sie sich auf spezifische Nachrichten aus dem ursprünglichen Chat

Beispiel-Prompts:

• „Die Antwort auf Frage 3 war zu vage. Wie könnte der Bot besser antworten?"
• „Der Bot hat die Produktanfrage nicht verstanden. Was können wir verbessern?"
• „Schlagen Sie eine bessere Fallback-Antwort vor, wenn der Bot unsicher ist."

3. Vorschläge prüfen und anwenden

Das rechte Panel zeigt die generierten Verbesserungsvorschläge:

Für jeden Vorschlag können Sie:

• Simulate: Testen, wie der Bot mit der Verbesserung antworten würde (verwenden Sie Simulate All, um die Simulation für alle ausstehenden Vorschläge gleichzeitig auszuführen)
• Apply: Die Verbesserung anwenden
• Reject: Den Vorschlag verwerfen

Testsimulation

Bevor Sie einen Vorschlag anwenden, können Sie ihn simulieren:

1. Klicken Sie auf Simulate bei einem Vorschlag (oder Simulate All, um alle ausstehenden Vorschläge zu testen)
2. Die Simulation zeigt:
   • Die ursprüngliche Nutzerfrage
   • Die simulierte Antwort mit der angewendeten Änderung
   • Die ursprüngliche Bot-Antwort bleibt im linken Panel zur Vergleichszwecken sichtbar
3. Bewerten Sie die simulierte Antwort:
   • Perfect!: Der Agent bestätigt, dass der Vorschlag fertig ist — wenden Sie ihn mit der Apply-Schaltfläche an
   • Almost good: Der Agent verfeinert den Vorschlag basierend darauf, was noch fehlt
   • Not good: Der Agent fragt, was an der simulierten Antwort falsch war, damit er den Vorschlag überarbeiten kann

Eine Sitzung abschließen

Sobald Sie jeden Vorschlag bearbeitet haben, klicken Sie im Vorschlags-Panel auf Complete Improvement:

• Die Schaltfläche bleibt deaktiviert, bis jeder Vorschlag angewendet oder verworfen wurde
• Nach Abschluss werden Sie zur Chats-Liste zurückgeführt
• Der Chat erhält dann das Badge Improved, und in der Detailansicht des Chats wird ein View Improvement-Link zurück zur Sitzung angezeigt

Feedback-Workflow

Chats bewerten

Bevor der Improvement Agent verwendet werden kann, muss ein Chat bewertet werden:

1. Öffnen Sie einen Chat
2. Im Bereich „AI Improvement Agent“:
   • Good (Daumen hoch): Markiert als positives Beispiel
   • Needs Work (Daumen runter): Markiert den Chat als verbesserungswürdig und berechnet die Vertrauenspunktzahl neu — ein Improve with AI-Button erscheint, um den Agenten zu starten
   • Reviewed (Häkchen): Markiert den Chat als überprüft/abgelehnt, ohne ihn als gut oder schlecht zu bewerten (beeinflusst die Vertrauenspunktzahl nicht und löst keine E-Mails oder Verbesserungssitzungen aus)

Wenn Sie einen Chat als Needs Work markieren, klassifiziert die KI automatisch, wie schwerwiegend das Problem war — dies bestimmt, wie stark die Bewertung Ihre Vertrauenspunktzahl beeinflusst (siehe Confidence score weiter unten).

Bewertungen sind nicht endgültig: Chats, die als Good oder Reviewed markiert wurden, können später erneut geöffnet werden mit der Schaltfläche Mark as needs improvement auf der Chat-Detailseite. Die Vertrauenspunktzahl wird neu berechnet und der Improvement Agent wird wieder verfügbar.

Chats aus E-Mails bewerten

Sie können Chats auch direkt aus den Chat-Review-E-Mails, die Sie erhalten, bewerten, ohne das Dashboard zu öffnen. Jede E-Mail zeigt die Konversation und fragt „Was this a good response?“ mit zwei Schaltflächen:

• Yes, good answer: Markiert den Chat als positiv und führt Sie zu einer Erfolgsseite, die Ihre aktualisierte Vertrauenspunktzahl anzeigt — einschließlich wie sich die Punktzahl der betroffenen Antwortkategorie verändert hat
• Needs improvement: Markiert den Chat als negativ und führt Sie direkt in eine Improvement Agent-Sitzung für diesen Chat

Verwendung der Learning-Phase

Während der Learning-Phase werden Sie automatisch aufgefordert, Chats zu bewerten — Bewertungsanfragen kommen in Form von Chat-Review-E-Mails. Dies beschleunigt die Verbesserung Ihres Chatbots erheblich.

Confidence Score

Die Vertrauenspunktzahl misst, wie zuverlässig Ihr Chatbot antwortet, basierend auf Ihren Bewertungen. Sie finden sie im Confidence-Tab der Einstellungen Ihres Chatbots.

Bewertung pro Kategorie

Konversationen werden in Antwortkategorien gruppiert, und jede Kategorie erhält neben der globalen Punktzahl ihre eigene Vertrauenspunktzahl:

• Kategorien werden automatisch erstellt, sobald Chats stattfinden
• Sie können Kategorien im Confidence-Tab hinzufügen, umbenennen oder löschen (Chats aus einer gelöschten Kategorie werden in eine automatische Fallback-Kategorie verschoben)

Schweregrad negativer Bewertungen

Jeder Daumen nach unten wird automatisch von der KI in eine von vier Schweregraden klassifiziert, die bestimmen, wie stark die Bewertung die Vertrauenspunktzahl senkt:

• Minor issue
• Moderate issue
• Major issue
• Critical issue

Die Chat-Detailseite zeigt den zugewiesenen Schweregrad, die angewandte Punktanpassung und den Grund. Wenn Sie mit der Klassifizierung nicht einverstanden sind, verwenden Sie das Dropdown Override severity, um sie zu ändern — die Vertrauenspunktzahl wird sofort neu berechnet.

Chat-Review-E-Mails

Im Confidence-Tab steuern Sie, wie häufig Sie Chat-Review-E-Mails erhalten:

• Der Chat Review Emails-Schalter aktiviert oder deaktiviert Review-E-Mails vollständig
• Für jede Kategorie können Sie eine eigene E-Mail-Frequenz einstellen: After every chat, Every X hours, Daily, Weekly oder Never

Damit können Sie schwache Kategorien genau beobachten und Kategorien, die bereits gut abschneiden, stumm schalten.

Sitzung zurücksetzen

Wenn Sie eine neue Improvement-Session starten möchten:

1. Klicken Sie im Header auf Restart
2. Bestätigen Sie das Zurücksetzen
3. Alle Nachrichten und ausstehenden Vorschläge werden gelöscht — bereits angewendete Änderungen bleiben erhalten

Verfügbarkeit

Best Practices

1. Seien Sie spezifisch: Je genauer Sie das Problem beschreiben, desto besser die Vorschläge
2. Geben Sie Kontext: Nennen Sie, welche Antwort Sie erwartet hätten
3. Simulieren Sie vor dem Anwenden: Testen Sie Vorschläge immer zuerst
4. Regelmäßig verwenden: Wöchentliche Improvements-Sitzungen halten Ihren Bot aktuell

Nächste Schritte

• FAQ Management →
• Knowledge Base →
• Chatbot Settings →