Gallery

Docs

История изменений

История релизов

НАЧАЛО РАБОТЫ С ПЛАТФОРМОЙ

ПЕРЕД СОЗДАНИЕМ АГЕНТА

КОНСТРУКТОР СЦЕНАРИЯ АГЕНТА

СОЗДАНИЕ АГЕНТА НА ПЛАТФОРМЕ

ОБУЧЕНИЕ И ТЕСТИРОВАНИЕ АГЕНТА

РАЗМЕЩЕНИЕ АГЕНТА В КАНАЛАХ

ЭКСПЛУАТАЦИЯ АГЕНТА

АНАЛИТИКА ОБЩЕНИЯ АГЕНТА

Explore

ОБУЧЕНИЕ И ТЕСТИРОВАНИЕ АГЕНТА

Тестирование сценария Агента

Для того чтобы максимально эффективно протестировать

@Агент⁠

а, необходимо выполнить следующие шаги:

Составить максимально полный список вопросов к

@Агент⁠

у. Необходимо продумать, как реальный

@Собеседник⁠

будет формулировать вопросы, и постараться предусмотреть большинство из них. Также в список вопросов необходимо включить фразы, которые

@Агент⁠

не должен распознавать и должен отправлять в

@fallback⁠

Прогнать список вопросов через

@Агент⁠

а, проверить распознавание

@Интент⁠

ов и подсчитать процент правильных ответов

@Агент⁠

а. Если фраза не распознается (попадает в

@fallback⁠

) или попадает не в тот

@Интент⁠

, в который должна, выписываем ее и указываем название

@Интент⁠

а, куда она должна была попасть. После того как все

@Интент⁠

ы будут проверены, нужно занести выписанные фразы в соответствующие

@Интент⁠

ы и переобучить

@Агент⁠

а. Если нерелевантные фразы, которые

@Агент⁠

не должен распознавать, попадают не в

@fallback⁠

, а в

@Интент⁠

ы, после завершения регрессионного тестирования следует попробовать подобрать более оптимальное значение

@Threshold⁠

. Подробнее в разделе

Тестирование и улучшение распознавания Агента: подбор Confidence threshold⁠

После переобучения

@Агент⁠

а снова пройтись по списку

@Интент⁠

ов и проверить каждый. Вновь подсчитать процент правильных ответов. Если

@Интент⁠

ы продолжают путаться, проверяем

@Обучающая выборка⁠

. Если

@Обучающая фраза⁠

в выбор

@Обучающая выборка⁠

разных

@Интент⁠

ов слишком похожи, нужно либо сделать

@Обучающая выборка⁠

этих

@Интент⁠

ов более отличными друг от друга (убрать похожие формулировки, добавить больше отличающихся фраз), либо объединить путающиеся

@Интент⁠

ы в один.

Если в

@Сценарий⁠

задействованы

@Словарь⁠

, работа

@Словарь⁠

проверяется следующим образом: нужно задать вопросы с целью попасть в конкретную

@Ветка сценария⁠

— одно из разветвлений с референсом — либо ветка true. Если фраза попадает не в ту ветку, в которую должна, то идем в

@Словарь⁠

и проверяем, есть ли использованное в фразе слово в выборке

@Словарь⁠

. Если нет — добавляем, если есть — проверяем, нет ли этого же слова в других

@Сущность⁠

После сохранения изменений в

@Словарь⁠

еще раз пройтись по всем

@Ветка сценария⁠

и, в случае непопадания в нужную

@Ветка сценария⁠

, добавить недостающие слова в

@Словарь⁠

Также необходимо проверить работу всего функционала. Особое внимание стоит уделить слотам со сложным функционалом —

@Regular Expression⁠

@Memory⁠

Проверить скорость перевода на оператора, если такой переход предусмотрен.

Проверить работу

@Внешний запрос⁠

и скорость интеграции с внешними сервисами, если они предусмотрены.

Провести тест в каждом задействованном

@Канал Агента⁠

: мессенджеры, виджет и пр.

Проверить орфографию, пунктуацию и грамматику.

Важно: для того чтобы внесенные изменения вступили в силу, не забудьте переобучить вашего
@Агент⁠
а с помощью кнопки Train в
@БотБилдер⁠
е.

Want to print your doc?
This is not the way.

Try clicking the ⋯ next to your doc name or using a keyboard shortcut (

CtrlP

) instead.