В ELMA Cortex доступны различные способы отладки AI‑агента. Вы можете:
- проверить работу AI‑агента в тестовом чате — проанализировать ответы на запросы и вызов инструментов;
- включить трассировку AI‑агента — собирать данные о каждом шаге обработки запроса, чтобы изучить их и оптимизировать работу агента;
- когда агент уже используется в ELMA365 — посмотреть историю переписки с AI‑агентом в тредах.
Используя эти данные, вы сможете оценить, насколько работа AI‑агента соответствует вашим требованиям, а также найти причины ошибок. Затем скорректируйте поведение агента с помощью его настроек: измените инструкции, параметры или инструменты.
Чтобы использовать опции отладки, в левом меню ELMA Cortex нажмите значок агента 
и выберите нужного AI‑агента, чтобы перейти на его страницу.
Проверить работу AI-агента в тестовом чате
На вкладке Тестовый чат можно проверить работу AI‑агента, имитируя диалог пользователя с ботом в ELMA365.
Слева располагается чат с агентом, а справа можно посмотреть подробную информацию о его действиях. Рассмотрим, какие возможности для отладки агента доступны в тестовом чате.
Отправка запросов в тестовый чат
Если в инструментах AI‑агента настроена авторизация по протоколу OAuth 2.0, вы увидите кнопку входа — для использования чата разрешите доступ к своим данным. Позже можно отозвать доступ, нажав справа от поля для ввода значок выхода из учётной записи.
После этого в левой части страницы вы сможете:
- писать сообщения в поле для ввода;
- прикреплять файлы, нажав значок скрепки;
- указывать дополнительные источники данных, нажав значок добавления ресурса
. Это позволяет задать контекст для ответов AI‑агента, показывая информацию, которая должна быть на экране сотрудника:- Текст — произвольный текст, дополняющий запрос;
- Приложение ELMA365 — ссылка на элемент любого приложения ELMA365. AI‑агент считывает информацию из его карточки так же, как если бы пользователь открыл её в системе и задал вопрос в чате;
- Сессия ELMA365 — ссылка на элемент приложения Сессии из системного раздела Линии;
- Файл ELMA365 — ссылка на файл из раздела Файлы или вложение в карточке элемента в ELMA365.
Работа с ответами AI-агента
После отправки запроса в чате слева вы увидите инструменты, которые вызывал AI‑агент, а также сформированный ответ. Если при настройке AI‑агента выбрана среда выполнения ReAct, отобразятся текстовые размышления, которые языковая модель выполняла между вызовами инструментов.
В чате вы можете:
- Нажать кнопку Очистить чат, чтобы начать диалог заново. Это позволяет применить обновлённые настройки AI‑агента, а также не учитывать контекст предыдущей переписки при проверке нового запроса.
- Изучить доступные AI‑агенту инструменты и их параметры, нажав напротив его имени значок ящика с инструментами
. В открывшемся окне выберите инструмент, чтобы открыть его JSON‑схему. В ней отображаются:
- кодовое название инструмента;
- описание инструмента — текстовую инструкцию с действиями, которые совершаются с помощью инструмента. По ней AI‑агент определяет, в каких случаях инструмент следует применять;
- параметры инструмента — свойства, которые используются при выполнении действия, с указанием типа данных, обязательности заполнения и т. д. Например, для инструмента из пользовательского набора инструментов ELMA365, который назначает задачи, вы увидите поля задачи, доступные AI‑агенту. Если для выполнения действия с нужным результатом параметров недостаточно, перейдите к инструменту и измените его настройки.
- Посмотреть детали вызова инструмента, нажав в чате на его текст. Тогда в правой части страницы можно:
- перейти к JSON‑схеме инструмента — для этого на правой панели нажмите значок фигурных скобок
. Отобразится такая же информация, как при просмотре схемы в списке инструментов. - увидеть структуру выходных и выходных данных — для их копирования нажмите значок планшета
;
Если при работе AI‑агента возникла ошибка, она отображается в чате схожим образом и выделяется красным цветом. Нажмите на её название, чтобы узнать подробности.
Включить трассировку для AI-агента
Для AI‑агентов доступна трассировка — отслеживание шагов AI‑агента при обработке запросов. Вы сможете посмотреть:
- данные, которые получает и возвращает языковая модель;
- расход токенов на обработку запросов;
- факты вызова инструментов;
- данные о задержках при формировании ответов.
Трассировка AI‑агентов в ELMA Cortex осуществляется с помощью платформы Arize Phoenix, которая располагается на отдельном сервере.
Для использования трассировки:
- На вкладке Трассировка включите опцию Включить Arize Phoenix.
- Заполните появившиеся поля:
- Адрес инстанса Phoenix — вставьте адрес вашего сервера Arize Phoenix;
- Идентификатор проекта — укажите, в каком проекте в Arize Phoenix должны сохраняться трейсы по агенту.
- Нажмите Сохранить.
После этого трейсы для анализа можно посмотреть в указанном проекте Arize Phoenix.
Посмотреть историю взаимодействия с AI-агентом в тредах
На вкладке Треды в виде списка отображаются:
- диалоги в тестовом чате — каждая переписка до очищения чата представлена в виде отдельного треда. Вы можете вернуться к определённому диалогу, например, чтобы снова посмотреть возникшую ошибку;
- диалоги пользователей с AI‑агентом в ELMA365 — позволяют проанализировать практическое применение агента.
В таблице вы увидите название треда и дату начала переписки. Нажав на тред, вы можете посмотреть содержание диалога и использованные инструменты так же, как в тестовом чате.
Когда AI‑агент отлажен и готов к работе, сделайте его доступным для пользователей.