Improvement Agent
Der Improvement Agent ist ein KI-gestütztes Tool, das Ihnen hilft, die Antworten Ihres Chatbots systematisch anhand von echtem Kundenfeedback zu verbessern.
Überblick
Wenn ein Chat als „needs improvement“ markiert wird, analysiert der Improvement Agent:
- Die ursprüngliche Konversation
- Wo der Chatbot nicht optimal geantwortet hat
- Wie die Antworten verbessert werden können
Zugriff auf den Improvement Agent
Es gibt drei Möglichkeiten, eine Improvement-Session zu starten:
Aus der Chat-Detailansicht
- Gehen Sie zu Chats im Dashboard und öffnen Sie einen Chat
- Im Bereich „AI Improvement Agent“ sehen Sie den Feedback-Status
- Wenn der Chat als „Needs Improvement“ markiert ist, klicken Sie auf Mit KI verbessern
Aus der Chat-Liste
Chats mit negativer Bewertung, die noch nicht verbessert wurden, zeigen direkt in der Chats-Liste eine inline Mit KI verbessern-Schaltfläche — klicken Sie darauf, um direkt in den Agenten zu springen, ohne den Chat zuerst zu öffnen.
Aus einer Chat-Review-E-Mail
Wenn Sie eine Chat-Review-E-Mail erhalten und auf Verbesserungsbedarf klicken, werden Sie direkt in eine Improvement-Agent-Session für diesen Chat geführt. Siehe Rating chats from email weiter unten.
Der Verbesserungsprozess
1. Analyse der Originalkonversation
Das linke Panel zeigt die ursprüngliche Chat-Konversation:
- Jede Nachricht ist zur einfachen Referenz nummeriert
- Nutzernachrichten (lila) und Bot-Antworten (grau) sind farblich unterschieden
- Bot-Nachrichten haben eine „Improve“-Schaltfläche, um sie für Verbesserungen auszuwählen
Intelligente Auswahl von Nachrichten:
- Wenn der Chat nur eine Bot-Nachricht enthält, wird diese automatisch vorausgewählt — der Agent erkennt sofort, welche Antwort Sie verbessern möchten.
- Bei mehreren Bot-Nachrichten leitet Sie die Begrüßung des Agenten an, neben der spezifischen Nachricht, die Sie korrigieren möchten, auf „Improve“ zu klicken. Die ausgewählte Nachricht wird blau hervorgehoben und eine Indikatorleiste erscheint in der Nähe der Chat-Eingabe.
2. Chat mit dem Improvement Agent
Das mittlere Panel ist ein interaktiver Chat mit dem KI-gestützten Improvement Agent:
- Beschreiben Sie, was an dem Chat nicht optimal war
- Bitten Sie um Verbesserungsvorschläge
- Diskutieren Sie alternative Antwortstrategien
- Beziehen Sie sich auf bestimmte Nachrichten aus dem Original-Chat
Beispiel-Prompts:
- „Die Antwort auf Frage 3 war zu vage. Wie könnte der Bot besser antworten?"
- „Der Bot hat die Produktanfrage nicht verstanden. Was können wir verbessern?"
- „Schlagen Sie eine bessere Fallback-Antwort vor, wenn der Bot unsicher ist."
3. Vorschläge überprüfen und anwenden
Das rechte Panel zeigt die generierten Verbesserungsvorschläge:
| Suggestion Type | Description |
|---|---|
| New FAQ / Update FAQ / Delete FAQ | Erstellt, bearbeitet oder entfernt eine FAQ, um die Wissenslücke zu schließen |
| New / Update / Delete Core Instruction | Passt die Kernanweisungen Ihres Chatbots an |
| Persona ändern | Verfeinert die Persona-Beschreibung des Chatbots |
Für jeden Vorschlag können Sie:
- Simulieren: Testen, wie der Bot mit der Verbesserung antworten würde (verwenden Sie Alle simulieren, um die Simulation für alle ausstehenden Vorschläge auf einmal auszuführen)
- Anwenden: Die Verbesserung anwenden
- Ablehnen: Den Vorschlag verwerfen
Test-Simulation
Bevor Sie einen Vorschlag anwenden, können Sie ihn simulieren:
- Klicken Sie auf Simulieren bei einem Vorschlag (oder Alle simulieren, um alle ausstehenden Vorschläge zu testen)
- Die Simulation zeigt:
- Die ursprüngliche Nutzerfrage
- Die simulierte Antwort mit angewendeter Änderung
- Die ursprüngliche Bot-Antwort bleibt im linken Panel zum Vergleich sichtbar
- Bewerten Sie die simulierte Antwort:
- Passt!: Der Agent bestätigt, dass der Vorschlag bereit ist — wenden Sie ihn mit der Schaltfläche Anwenden an
- Fast gut: Der Agent verfeinert den Vorschlag basierend auf dem, was noch fehlt
- Nicht gut: Der Agent fragt, was an der simulierten Antwort falsch war, damit er den Vorschlag überarbeiten kann
Das Bewerten einer Simulation wendet den Vorschlag niemals automatisch an oder verwirft ihn. Verwenden Sie die Schaltflächen Anwenden und Ablehnen beim Vorschlag, um die endgültige Entscheidung zu treffen.
Sitzung abschließen
Sobald Sie jeden Vorschlag bearbeitet haben, klicken Sie im Vorschlags-Panel auf Verbesserung abschließen:
- Die Schaltfläche bleibt deaktiviert, bis jeder Vorschlag angewendet oder abgelehnt wurde
- Nach Abschluss werden Sie zur Chats-Liste zurückgebracht
- Der Chat erhält dann ein Badge mit Verbessert, und in der Detailansicht des Chats wird ein Verbesserung ansehen-Link zurück zur Session angezeigt
Feedback-Workflow
Chats bewerten
Bevor der Improvement Agent verwendet werden kann, muss ein Chat bewertet werden:
- Öffnen Sie einen Chat
- Im Bereich „AI Improvement Agent“:
- Gut (Daumen hoch): Markiert als positives Beispiel
- Nachbessern (Daumen runter): Markiert den Chat als verbesserungswürdig und berechnet den Vertrauens-Score neu — eine Mit KI verbessern-Schaltfläche erscheint dann, um den Agenten zu starten
- Überprüft (Häkchen): Markiert den Chat als geprüft/abgelehnt, ohne ihn als gut oder schlecht zu bewerten (beeinträchtigt den Vertrauens-Score nicht und löst keine E-Mails oder Verbesserungssitzungen aus)
Wenn Sie einen Chat als Nachbessern markieren, klassifiziert die KI automatisch, wie schwerwiegend das Problem war — dies bestimmt, wie stark die Bewertung Ihren Vertrauens-Score beeinflusst (siehe Confidence score weiter unten).
Bewertungen sind nicht endgültig: Als Good oder Reviewed markierte Chats können später mit der Schaltfläche Als Verbesserungsbedarf markieren auf der Chat-Detailseite wieder geöffnet werden. Der Vertrauens-Score wird neu berechnet und der Improvement Agent steht erneut zur Verfügung.
Chats per E-Mail bewerten
Sie können Chats auch direkt aus den Chat-Review-E-Mails bewerten, ohne das Dashboard zu öffnen. Jede E-Mail zeigt die Konversation und fragt „Was this a good response?“ mit zwei Schaltflächen:
- Ja, gute Antwort: Markiert den Chat als positiv und führt Sie zu einer Erfolgsseite, die Ihren aktualisierten Vertrauens-Score zeigt — einschließlich der Änderung des Scores der betroffenen Antwortkategorie
- Verbesserungsbedarf: Markiert den Chat als negativ und führt Sie direkt in eine Improvement-Agent-Session für diesen Chat
Die Bewertungslinks in Review-E-Mails verfallen nach 7 Tagen. Sie können den Chat jederzeit später im Dashboard bewerten.
Nutzung der Lernphase
Während der Lernphase werden Sie automatisch aufgefordert, Chats zu bewerten — Bewertungsanfragen kommen als Chat-Review-E-Mails. Dies beschleunigt die Verbesserung Ihres Chatbots erheblich.
Vertrauens-Score
Der Vertrauens-Score fasst Ihre Konversationsbewertungen auf einer 0–100-Skala zusammen. Sie finden ihn im Confidence-Tab der Einstellungen Ihres Chatbots. Er dient als Hilfsmittel zur Qualitätsprüfung, ist aber keine Garantie für sachliche Richtigkeit oder eine Kunden-Sternebewertung.
Kategoriespezifische Bewertung
Konversationen werden in Antwortkategorien gruppiert, und jede Kategorie erhält neben dem globalen Score ihren eigenen Vertrauens-Score:
Jede Kategorie verwendet bis zu 20 kürzliche bewertete Reviews und deren Anpassungen, einschließlich der Schwere negativer Bewertungen. Der globale Score ist der Durchschnitt der Kategorien, die bewertete Konversationen haben. Überprüft-Bestätigungen ohne positive oder negative Bewertung tragen nicht zu einem bewerteten Review bei.
- Kategorien werden automatisch erstellt, wenn Chats stattfinden
- Sie können Kategorien im Confidence-Tab hinzufügen, umbenennen oder löschen (Chats aus einer gelöschten Kategorie werden in eine automatische Fallback-Kategorie verschoben)
- Sie können auch manuell einen einzelnen Chat von der Detailseite dieses Chats einer anderen Kategorie zuweisen, unabhängig von der automatischen Kategorisierung
Schweregrad negativer Bewertungen
Jedes Daumen-runter wird automatisch von der KI in eine von vier Schweregradstufen klassifiziert, die bestimmen, wie stark die Bewertung den Vertrauens-Score senkt:
- Kleines Problem
- Mittleres Problem
- Großes Problem
- Kritisches Problem
Die Chat-Detailseite zeigt den zugewiesenen Schweregrad, die angewendete Score-Anpassung und den Grund an. Wenn Sie mit der Klassifizierung nicht einverstanden sind, verwenden Sie das Dropdown Schweregrad anpassen, um sie zu ändern — der Vertrauens-Score wird sofort neu berechnet.
Benachrichtigungen
Das Erreichen des konfigurierten Schwellenwerts mit ausreichend Reviews kann eine Empfehlung auslösen, die Lernphase zu beenden. Es beendet die Lernphase nicht automatisch. Überprüfen Sie die Antworten des Bots und wählen Sie selbst Lernphase beenden, wenn Sie bereit sind.
Chatbots → Allgemein → Benachrichtigungen
Vollständige Konversationen per E-Mail empfangen. Empfänger, E-Mail-Typ und Frequenz hier verwalten.
- Empfänger hinzufügen: E-Mail-Adresse.
- Versandart: Nur Transcript / Mit Review.
- Häufigkeit: Jeder Chat, Stündlich, Täglich, Wöchentlich.
- Aktiv → Änderungen speichern.
Chat-Transkripte sind in allen Plänen enthalten. Review-Schaltflächen erfordern einen Plan mit Chat-Reviews.
Neue Chats nur nach Aktivierung. Täglich um 09:00 UTC; wöchentlich montags um 09:00 UTC.
Sitzung zurücksetzen
Wenn Sie eine neue Improvement-Session starten möchten:
- Klicken Sie im Header auf Neu starten
- Bestätigen Sie das Zurücksetzen
- Alle Nachrichten und ausstehenden Vorschläge werden gelöscht — bereits angewendete Änderungen bleiben erhalten
Verfügbarkeit
Der Improvement Agent ist im Professional-Plan und höher verfügbar und ist außerdem während der 14-tägigen Starter Pro-Testphase enthalten.
Best Practices
- Seien Sie spezifisch: Je genauer Sie das Problem beschreiben, desto besser die Vorschläge
- Kontext bereitstellen: Nennen Sie, welche Antwort Sie erwartet hätten
- Vor dem Anwenden simulieren: Testen Sie Vorschläge immer zuerst
- Regelmäßig verwenden: Wöchentliche Improvement-Sessions halten Ihren Bot aktuell