AI‑агенты, AI-операции и умный поиск в ELMA Cortex работают на основе больших языковых моделей (LLM). Модели используются при формировании ответов на запросы, анализе файлов, описании изображений, обработки текста для смыслового поиска, ранжирования результатов поиска для повышения точности.
Вы можете использовать один или несколько источников языковых моделей. Доступны:
- провайдеры облачных моделей: OpenAI, Yandex Cloud, Giga, Infinity, DeepInfra;
- сервисы с OpenAI-совместимым API;
- ваши серверы vLLM с развернутыми моделями.
При подключении провайдера становятся доступны его готовые языковые модели. Также поддерживаются модели, прошедшие процедуру тонкой настройки, то есть дополнительно обученные и адаптированные под решение задач вашей компании.
Вы можете подключить в ELMA Cortex одного или нескольких провайдеров языковых моделей, чтобы затем указывать нужную модель при настройке AI‑агентов, AI‑операций и умного поиска.
Настроить подключение к провайдеру моделей
В левом меню ELMA Cortex нажмите значок 
, чтобы открыть страницу Провайдеры моделей.
- Напротив названия страницы нажмите значок плюса.
- Заполните поля:
- Название — введите имя, которое отобразится в списке провайдеров;
- Провайдер — выберите сервис, предоставляющий языковые модели;
- API key — вставьте в поле ключ, полученный на стороне провайдера. Он будет использоваться для аутентификации запросов ELMA Cortex.
Также заполните дополнительную опцию, которая различается в зависимости от провайдера:
- Base URL — введите базовый адрес для обращения к серверу провайдера;
- Folder ID — для Yandex Cloud укажите идентификатор каталога сервисного аккаунта, от имени которого отправляются запросы;
- Scope — для Giga укажите, к какой версии API выполняются запросы.
- Нажмите Сохранить.
Провайдер добавится в список на странице Провайдеры моделей. Все готовые модели, которые он предоставляет, будут доступны для выбора при настройке компонентов ELMA Cortex.
Добавить дополнительные модели
Если у вас есть дополнительные модели, обученные под задачи вашей компании, добавьте их в список доступных моделей в настройках провайдера:
- На странице Провайдеры моделей выберите провайдера, чтобы открыть его настройки.
- Напротив поля Доп. модели нажмите значок плюса и заполните поля:
- Название — индивидуальное имя модели, которое указывается при её обучении на стороне провайдера и соответствует идентификатору для доступа к ней по API;
- Тип модели — выберите, для чего будет использоваться модель:
- LLM — для генерации ответов на запросы. Модель этого типа доступна при настройке AI‑агентов и AI‑операций;
- Embedding — чтобы преобразовывать текст в векторный формат, т. е. получать эмбеддинги для поиска с учётом контекста. Модель доступна в настройках индексации умного поиска;
- Rerank — для сортировки результатов поиска по релевантности. Модель доступна в настройках ранжирования умного поиска;
- Длина контекстного окна — максимальная длина истории сообщений, которую модель может учитывать при формировании ответа. Указывается в токенах.
- Нажмите Добавить.
В окне настроек в появившейся таблице отобразится запись о добавленной модели. Вы можете удалить запись, нажав напротив неё значок корзины, а также стереть все дополнительные модели провайдера, нажав в правом верхнем углу таблицы Очистить.
- После добавления всех моделей нажмите Сохранить.
Действия с провайдерами моделей
На странице Провайдеры моделей отображаются все подключённые провайдеры. Нажмите значок трёх точек в строке с названием, чтобы применить действия:
- Изменить — отредактировать настройки подключения провайдера;
- Удалить — провайдер исчезнет из списка без возможности восстановления. Если его модели уже используются в настройках компонентов ELMA Cortex, замените их на модели другого провайдера;
- Включен, Выключен — по умолчанию после добавления провайдера его модели сразу можно использовать. Вы можете временно отключить доступ к провайдеру, например при технических сбоях. Чтобы компоненты ELMA Cortex продолжили работу, укажите в их настройках модели другого провайдера.