side menu

Отладить работу AI-агента

В ELMA Cortex доступны различные способы отладки AI‑агента. Вы можете:

Используя эти данные, вы сможете оценить, насколько работа AI‑агента соответствует вашим требованиям, а также найти причины ошибок. Затем скорректируйте поведение агента с помощью его настроек: измените инструкции, параметры или инструменты.

Чтобы использовать опции отладки, в левом меню ELMA Cortex нажмите значок cortex-agents-icon и перейдите на страницу агента.

Проверить работу AI-агента в тестовом чате

На вкладке Тестовый чат можно проверить работу AI‑агента, имитируя диалог пользователя с ботом в ELMA365.

Справа располагается чат с агентом, а слева можно посмотреть подробную информацию о его действиях. Рассмотрим, какие возможности для отладки агента доступны в тестовом чате.

  1. Отправка запросов в чат.

Если в инструментах AI‑агента настроена авторизация по протоколу OAuth 2.0, вы увидите кнопку входа — для использования чата разрешите доступ к своим данным. Позже можно отозвать доступ, нажав справа от поля для ввода значок выхода из учётной записи.

После этого вы можете:

cortex-ai-agent-calibration-1

  • писать сообщения в поле для ввода;
  • прикреплять файлы, нажав значок скрепки;
  • указывать ресурсы, нажав значок cortex-resource-icon — добавлять дополнительные источники информации, которые задают контекст для ответов AI‑агента. Это позволяет имитировать взаимодействие пользователя с системой, добавляя данные, которые должны быть на экране сотрудника:
    • Текст — произвольный текст, дополняющий запрос;
    • Приложение ELMA365 — ссылка на элемент любого приложения ELMA365. AI‑агент считывает информацию из его карточки так же, как если бы пользователь открыл её в системе и задал вопрос в чате;
    • Сессия ELMA365 — ссылка на элемент приложения Сессии из системного раздела Линии;
    • Файл ELMA365 — ссылка на файл из раздела Файлы или вложение в карточке элемента в ELMA365.
  1. Работа с ответами AI‑агента.

После начала диалога вы можете:

cortex-ai-agent-calibration-2

  • посмотреть все инструменты AI‑агента и их параметры — нажмите напротив названия агента значок cortex-chat-tools, чтобы увидеть список его инструментов, затем выберите инструмент для изучения его JSON‑схемы. В ней вы увидите:

cortex-ai-agent-calibration-3

    • кодовое название инструмента;
    • описание инструмента — текстовую инструкцию с действиями, которые совершаются с помощью инструмента. По ней AI‑агент определяет, в каких случаях инструмент следует применять;
    • параметры инструмента — свойства, которые используются при выполнении действия, с указанием типа данных, обязательности заполнения и т. д. Например, для инструмента из пользовательского набора инструментов ELMA365, который назначает задачи, вы увидите поля задачи, доступные AI‑агенту. Если для выполнения действия с нужным результатом параметров недостаточно, перейдите к инструменту и измените его настройки;
  • посмотреть детали вызова инструмента — если для ответа на запрос AI‑агент обращался к инструментам, их названия отобразятся под его именем. Нажмите на название инструмента, чтобы на правой панели:
    • увидеть структуру выходных и выходных данных — для их копирования нажмите cortex-copy-icon;
    • перейти к JSON‑схеме инструмента — для этого на правой панели нажмите значок cortex-json-schema-icon. Отобразится такая же информация, как при просмотре схемы в списке инструментов.

Если при работе AI‑агента возникла ошибка, она отображается в чате схожим образом и выделяется красным цветом. Нажмите на её название, чтобы узнать подробности;

  • начать диалог заново — для этого нажмите вверху левой панели кнопку Очистить чат. Это позволяет применить обновлённые настройки агента, а также не учитывать контекст предыдущей переписки при проверке нового запроса.

Включить трассировку для AI-агента

Для AI‑агентов доступна трассировка — отслеживание шагов AI‑агента при обработке запросов. Вы сможете посмотреть показатели по обращению к языковой модели, использованию инструментов, получению данных, результатам вычислений, формированию финального ответа. Также в трейсах вы увидите информацию о параметрах модели, расходе токенов и задержках при формировании ответов.

Трассировка AI‑агентов в ELMA Cortex осуществляется с помощью платформы Arize Phoenix, которая располагается на отдельном сервере.

Для использования трассировки:

  1. На вкладке Трассировка включите опцию Включить Arize Phoenix.
  2. Заполните появившиеся поля:
  • Адрес инстанса Phoenix — вставьте адрес вашего сервера Arize Phoenix;
  • Идентификатор проекта — укажите, в каком проекте в Arize Phoenix должны сохраняться трейсы по агенту.
  1. Нажмите Сохранить.

После этого трейсы для анализа можно посмотреть в указанном проекте Arize Phoenix.

Посмотреть историю взаимодействия с AI-агентом в тредах

На вкладке Треды в виде списка отображаются:

  • диалоги в тестовом чате — каждая переписка до очищения чата представлена в виде отдельного треда. Вы можете вернуться к определённому диалогу, например, чтобы снова посмотреть возникшую ошибку;
  • диалоги пользователей с AI‑агентом в ELMA365 — позволяют проанализировать практическое применение агента.

В таблице вы увидите название треда и дату начала переписки. Нажав на тред, вы можете посмотреть содержание диалога и использованные инструменты так же, как в тестовом чате.

Когда AI‑агент отлажен и готов к работе, сделайте его доступным для пользователей.

cortex-configure-agent.html cortex-agent-access.html