Разговорна памет в AI чатбота: Запомняне, коригиране и навременно забравяне

„Запомни предпочитания ми адрес за доставка“ може да направи уебсайт чатбота удобен. Същият механизъм обаче може да пренесе стари, грешни или чувствителни данни в последващи разговори. Често се смесват три неща: краткосрочната история на сесията, компактното резюме за продължаване и постоянният потребителски профил. Те имат различни цели, рискове и срокове за съхранение.

Затова добрата разговорна памет не съхранява възможно най-много. Тя съхранява малко на брой, ясно обосновани факти с произход, валидност и видим контрол. Това ръководство показва технически и редакционен модел, който обединява ползата, коректността и защитата на данните.

Чисто разделяне на три вида памет

Контекст на сесията съдържа последните съобщения, за да останат последващите въпроси разбираеми. Той приключва след кратък период на неактивност или с изричното прекратяване на чата. Резюмета за продължаване редуцират по-дълга история до необходимия работен статус, например все още отворена тема в съпорта. Постоянни характеристики важат за множество сесии, например съзнателно запазена от потребителя езикова настройка.

Разделението предотвратява превръщането на пълния протокол от чата в неограничен профил. Всеки тип памет получава собствена цел, достъп, изтичане и път за изтриване. Техническа таблица с поле „memory“ без това разграничение се проверява трудно и още по-трудно се почиства надеждно.

Запомняйте само изрични и подходящи факти

Чатботът не трябва автоматично да извлича постоянна характеристика от всяко изказване. „Днес ми трябва фактура на английски“ не означава непременно, че английският е дългосрочното предпочитание. Запазвайте за постоянно само данни, чиято полза надхвърля настоящата сесия и чието съхранение остава очаквано за потребителя.

Особено чувствителна информация, свободни данни за здравето, платежни данни, пароли и еднократни кодове за автентификация не принадлежат към общата памет на чата. За бизнес транзакции подходящото място за съхранение обикновено е съответната специализирана система. Чатботът може да извлече споделена референция, вместо да поддържа второ дублиращо копие.

Записаният факт се нуждае от метаданни

Запазвайте спомена като структуриран запис, а не как непроверен текстов блок. Полезни полета са:

• Стойност и тип: например предпочитан език или избрана продуктова категория.
• Произход: изричен въведен текст от потребителя, потвърдено резюме или верифицирана специализирана система.
• Цел: защо стойността ще бъде необходима в следващия разговор.
• Обхват на валидност: потребител, организация, уебсайт и, ако е приложимо, локал.
• Момент и изтичане: кога е запазено, кога е потвърдено за последно и кога се изтрива автоматично.
• Статус на доверие: непотвърдено предположение, потвърдено или верифицирано.

Свободните резюмета от модела могат да бъдат полезни, но трябва да останат разпознаваеми като такива. Те не бива мълчаливо да се превръщат във верифицирани клиентски данни.

Питайте видимо преди запазване

Ако дадена информация трябва да се използва извън настоящата сесия, интерфейсът се нуждае от разбираем избор. Посочете конкретната стойност, целта и опцията за изтриване. Малко потвърждение като „Да запазим ли този език за бъдещи разговори?“ е по-ясно от общо съгласие за персонализирани услуги.

В зависимост от целта правното основание може да варира и трябва да се проверява според конкретния проект. Интерфейсът не трябва да го налага чрез подвеждащи модели (dark patterns). Отказът не бива излишно да възпрепятства нормалния достъп до чата. Записвайте решението отделно от съхраненото съдържание.

Припомнянето винаги е и извличане

При следващия разговор целият профил не бива сляпо да се копира във всеки промпт. Първо се проверяват самоличността и клиентът (tenant), а след това се зареждат само характеристиките, необходими за настоящия намек (intent). Въпрос относно фактура може да изисква език и клиентски номер, но не и предишна жалба за продукт.

Покажете на модела също произхода и възрастта на данните. Старо, непотвърдено резюме трябва да предизвика уточняващ въпрос. От друга страна, стойност от авторитетна система може да се използва целево. Така несигурността не се прикрива от гладки формулировки.

Корекцията като стандартен продуктов функционален път

Хората променят мнението си, а моделите обобщават грешно. Затова осигурете изглед „Какво помни чатботът“ с възможности за редактиране и изтриване. По време на разговор изказване като „Това вече не е вярно“ трябва да идентифицира засегнатата стойност и да я потвърди преди промяната.

Корекциите трябва да достигнат до всички съответни нива: профил, търсачески индекс, кеш и получени резюмета. Промяната само на видимото поле, докато старо вграждане (embedding) продължава да връща резултати, създава трудни за обяснение рецидиви. Поддържайте одитен запис за промяната, без излишно да запазвате изтритата чувствителна стойност в лога.

Техническо налагане на изтичането и изтриването

Член 5 от GDPR залага минимизирането на данни и ограничението на съхранението. Превърнете тези принципи в автоматични правила. Текстът от сесията може да изчезне след кратко време, състоянието за продължаване — след приключване на случая, а предпочитанията — след по-дълга, но дефинирана неактивност. „Неограничено, ако по-късно е полезно“ не е стабилен срок.

Заявката за изтриване се нуждае от проследима верига. Основен запис, векторно изображение (embedding), кеш, експорт за анализи и правило за резервно копие трябва да бъдат взети предвид. Резервните копия технически могат да имат различни срокове, но не трябва да връщат изтрити данни обратно в активната услуга. Тествайте изтриването редовно с маркирани тестови данни.

Без тайни обучения на модела от чатове

Продуктовата памет и обучението на модела са различни цели. Това, че потребителят запазва информация за следващия контакт с поддръжката, не означава автоматично съгласие за подобряване на общ модел. Поддържайте наборите от данни за обучение или оценка организационно и технически отделени и анонимизирайте само ако анонимизацията е наистина надеждна.

Европейският комитет по защита на данните (EDPB) подчертава в своето становище относно AI моделите, че въпросът дали един модел е анонимен трябва да се оценява за всеки конкретен случай. Простото премахване на видимите имена не е автоматично достатъчно. За много екипи, поддържащи уебсайтове, е по-лесно и по-безопасно по подразбиране да не третират продуктивните чатове като корпус за обучение.

Измерване на качеството и сигурността

Паметта се нуждае от собствени тестове. Проверявайте за грешно присвояване между потребители и клиенти (tenants), изтекли стойности, противоречиви данни, оттегляне на съгласие, експорт и пълно изтриване. Измервайте не само колко често се използват спомените, но и колко често потребителите ги коригират или ги намират за изненадващи.

Един „Golden Set“ може да съдържа сценарии като: двама души на едно и също устройство, смяна на ролята в организация, променен адрес за доставка, смяна на езика, изтрит акаунт и чувствителна информация, която никога не трябва да се запазва. Всеки нов рилийз трябва да доказва, че изолацията и изтичането продължават да работят.

Прагматичен план за въвеждане

1. Инвентаризация на видовете памет и целите.
2. Дефиниране на произход, валидност и срок за всеки тип.
3. Започване с безобидно, изрично потвърдено предпочитание.
4. Ограничаване на извличането до клиент, самоличност и настоящ намек.
5. Осигуряване на изглед, коригиране, експорт и изтриване.
6. Включване на получените хранилища и кешовевъв веригата за изтриване.
7. Редовно тестване на изолацията, изтичането и възстановяването.

Заключение: Добрата памет може да обясни защо знае нещо

Полезната памет на чатбота е малка, структурирана и контролируема. Тя разграничава краткосрочния контекст от постоянните характеристики, съхранява само подходящи факти и прави произхода и изтичането видими. Потребителите могат да коригират или изтриват данни, без да се налага да отварят тикет към съпорта.

Не започвайте с въпроса кои данни технически могат да бъдат съхранени. Започнете с една-единствена информация, чиято бъдеща полза е ясна – и едновременно с това проектирайте пътя как тя се потвърждава, коригира и напълно забравя.

Източници

• EUR-Lex: Общ регламент относно защитата на данните, по-специално член 5
• EDPB: Opinion 28/2024 on AI Models and Personal Data
• EDPB: Fundamentals of Secure AI Systems with Personal Data
• NIST Privacy Framework