Динамическая проверка агентов с помощью ИИ

Динамическая проверка — функция, которая симулирует диалог пользователя с ботом, проверяет соблюдение правил и предлагает изменения в инструкциях и характеристиках (traits). Рабочий процесс: создайте правила → сохраните сценарий → запустите → просмотрите предложенные изменения → примените или отмените.

Проверка расходует кредиты. Чем больше правил и контекста — тем выше расход.

Сценарий (AgentImprovement) — сохранённая конфигурация: название, выбранные правила, при необходимости дополнение к системному промпту (аналогично сообщениям с role: system в OpenAI-совместимом API — текст добавляется к системному промпту агента на каждом шаге симулированного диалога). Создайте один раз — запускайте многократно без повторного ввода.

На странице агента → «Динамическая проверка» — список сценариев. «Создать сценарий» — новая конфигурация. «История динамической проверки» — все прогоны. «Сравнения по моделям» — список запусков матрицы «правила × модели» с кратким итогом по статусам прогонов и ячейкам матрицы.

Правила задают, что проверяется в диалоге и что симулирует пользователь. У каждого правила:

• Название (необязательно) — метка, например «Trial при вопросах о ценах».
• Желаемое поведение ассистента (обязательно) — что проверяется: как агент должен отвечать.
• Поведение пользователя (необязательно) — что симулировать: темы вопросов, тон. Формат «User: … Assistant: …». Первая строка «User:» используется как начальное сообщение симуляции.

Правила создаются через «Управление правилами» при редактировании сценария. Можно добавить вручную или из шаблона. При добавлении из шаблона правило автоматически выбирается для запуска.

На странице сценария выберите хотя бы одно правило. Нажмите «Запустить» — создаётся прогон (AgentImprovementRun). Статусы:

• Ожидает — в очереди.
• Выполняется — симуляция диалога, проверка правил, генерация предложений ИИ.
• Завершено — можно применить изменения.
• Ошибка / Отменено.

Ход выполнения отображается в реальном времени. Кнопка «Отменить» останавливает выполняющийся прогон.

Запуск из чата: в окне чата с агентом нажмите «Улучшить агента» — откроется страница динамической проверки.

Ошибка прогона: если выполнение оборвалось, на странице прогона показывается понятное сообщение (лимиты, тайм‑аут, недоступная модель и т.д.), а не только общий текст.

На странице динамической проверки можно выбрать несколько сценариев и несколько чат‑моделей с поддержкой инструментов (тот же набор, что и для модели агента) и запустить сравнение по моделям. Для каждой пары «сценарий × модель» создаётся отдельный прогон; результаты собираются в группу сравнения.

Матрица на странице группы: строки — правила, столбцы — модели. В ячейке — пройдено / не пройдено по оценке правила; переход на страницу прогона — из шапки столбца или из ячейки. Страница группы обновляется по мере завершения прогонов без ручного обновления вкладки.

Статус в шапке столбца относится ко всему прогону («Ошибка» — сбой выполнения; «Завершено» — прогон дошёл до конца). В ячейках — результат проверки правил при успешном прогоне.

Когда прогон завершён, отображаются предложенные изменения: обновлённая инструкция и/или характеристики (traits).

• Применить — изменения сохраняются в агенте, создаётся новая версия.
• Применить и проверить снова — применить и запустить новый прогон с теми же правилами.

История запусков — «История динамической проверки» в разделе динамической проверки агента.