Для AI‑операции в ELMA Cortex доступно несколько способов отладки на разных этапах её настройки и использования:
- проверить работу AI‑операции в тестовом чате — отправить входные данные и оценить результат;
- включить трассировку AI‑операции — собирать данные о каждом шаге обработки запроса, чтобы оптимизировать работу AI‑операции;
- проанализировать историю вызовов AI‑операции — когда операция уже используется, можно посмотреть, как обрабатываются практические задачи в ELMA365.
Используя эти данные, вы сможете оценить, насколько работа AI‑операции соответствует вашим требованиям, а также найти причины ошибок. Затем можно скорректировать работу операции с помощью её настроек: изменить инструкции, параметры генерации ответа, формат входных данных или ответа, доступные инструменты.
Чтобы использовать опции отладки, в левом меню ELMA Cortex перейдите на страницу AI-Операции и выберите нужную операцию в списке.
Проверить работу AI-операции в тестовом чате
На вкладке Тестовый чат можно проверить работу AI‑операции, отправляя ей входные данные и анализируя ответы. Данные передаются в форматах, указанных в настройках AI‑операции.
Слева на странице располагается чат для отправки входных данных и отображения ответа, а справа — подробная информация об использованных инструментах. Рассмотрим, какие возможности для отладки AI‑операции доступны в тестовом чате.
Шаг 1. Отправить входные данные в тестовый чат
Если в инструментах AI‑операции настроена авторизация по протоколу OAuth 2.0, перед работой с чатом разрешите доступ к своим данным. Для этого в нижней части вкладки нажмите появившуюся кнопку Согласен. Позже можно отозвать доступ, нажав справа от поля для ввода значок выхода.
После этого в левой части страницы вы сможете:
- указывать входные данные в поле для ввода — в зависимости от формата, заданного при настройке AI‑операции, введите текст или передайте JSON‑объект.
Если при настройке AI‑операции в качестве формата задана определённая схема JSON, то значения в полях проверяются на соответствие указанным правилам. Например, если отсутствуют обязательные поля или не совпадает тип данных, вы увидите ошибку и не сможете отправить сообщение в чат;
- прикреплять файлы — для этого нажмите значок скрепки;
- указывать дополнительные источники данных — нажмите значок добавления ресурса
. Это позволяет задать дополнительный контекст для ответов AI‑операции:- Текст — произвольный текст, дополняющий запрос;
- Приложение ELMA365 — ссылка на элемент любого приложения ELMA365. AI‑операция считывает данные из его карточки;
- Сессия ELMA365 — ссылка на элемент приложения Сессии из системного раздела Линии;
- Файл ELMA365 — ссылка на файл из раздела Файлы или вложение в карточке элемента в ELMA365.
- открыть окно ввода на весь экран — опция доступна, если вы передаёте данные в формате JSON. Для этого нажмите под полем для ввода значок разворачивания
.
Каждое сообщение, отправленное в чат, обрабатывается отдельно. Контекст предыдущих сообщений не учитывается, так как при каждом вызове AI‑операция выполняет действия однократно на основе входных данных.
Шаг 2. Проанализировать ответ AI‑операции
После отправки сообщения в чате слева вы увидите инструменты, которые использовала AI‑операция, а также сформированный ответ. Если при настройке AI‑операции выбрана среда выполнения ReAct, отобразятся текстовые размышления, которые языковая модель выполняла между вызовами инструментов.
В чате вы можете:
- Нажать кнопку Очистить чат, чтобы при обработке следующих сообщений применять обновлённые настройки AI‑операции.
- Изучить инструменты, доступные AI‑операции, и их параметры. Для этого нажмите напротив её имени значок ящика с инструментами
. В открывшемся окне выберите инструмент, чтобы открыть его JSON‑схему. В ней отображаются:
- название (код) инструмента;
- описание инструмента — текстовая инструкция с действиями, которые совершаются с помощью инструмента. По ней AI‑операция определяет, в каких случаях инструмент применяется;
- параметры инструмента — свойства, которые используются при выполнении действия, с указанием типа данных, обязательности заполнения и т. д. Например, в пользовательском наборе инструментов ELMA365 настроен инструмент, назначающий пользователям задачи. В его JSON‑схеме вы увидите поля задачи, доступные AI‑операции. Если для выполнения действия параметров недостаточно, например, отсутствуют поля для указания исполнителя и срока, перейдите к инструменту и измените его настройки.
- Посмотреть детали вызова инструмента, нажав в чате на его текст. Тогда в правой части страницы можно:
- перейти к JSON‑схеме инструмента — для этого нажмите значок фигурных скобок
. Отобразится такая же информация, как при просмотре схемы в списке инструментов; - увидеть структуру выходных и выходных данных — чтобы скопировать её, нажмите значок планшета
.
Если при работе AI‑операции возникла ошибка, она отображается в чате так же, как вызов инструмента, и выделяется красным цветом. Нажмите на её название, чтобы узнать подробности.
Включить трассировку для AI-операции
Для отладки AI‑операций доступна трассировка — отслеживание шагов, выполняемых при обработке запросов. Она позволяет посмотреть данные, которые получает и возвращает языковая модель, расход токенов на обработку запросов факты вызова инструментов и т. д.
Трассировка в ELMA Cortex осуществляется с помощью внешней платформы Arize Phoenix, которая располагается на отдельном сервере. Настройка выполняется так же, как включение трассировки для AI‑агента.
Посмотреть историю вызовов AI-операции
На вкладке Вызовы можно в виде списка увидеть все запуски AI‑операции:
- в тестовом чате;
- из бизнес-процессов, интерфейсов и скриптов в ELMA365.
По каждому вызову в сокращённом виде отображаются входные данные и ответ, а также успешность вызова и его дата.
Нажмите на вызов, чтобы полностью изучить входные данные, результат выполнения AI‑операции и её инструменты так же, как в тестовом чате.